JP2015230383A - 画像表示装置および画像表示システム - Google Patents

Abstract

【課題】接眼光学系を用いることなく、虚像を適切に表示することが可能な小型の画像表示装置を提供する。
【解決手段】画像表示装置は、複数の画素を有し、複数の画素から出射する複数の光束を独立に変調可能な画像変調手段と、複数の画素から出射する複数の光束を、観察者の瞳孔内の点で交差する複数の平行光束に変換するレンズ手段とを有し、画像変調手段は、複数の平行光束が、虚像面に設けられた仮想の画素群から瞳孔内の点に入射する光束と一致するように、複数の光束を変調する。
【選択図】図９

Description

本発明は、頭部などに装着して観察者の眼に近い位置で用いられる画像表示装置に関する。

従来から、画像表示装置に表示された画像を虚像として接眼光学系を介して拡大投影し、広画角画像として観察可能な装置が知られている。例えば、観察者の頭部に装着して虚像を観察することが可能な装置は、ヘッドマウントディスプレイ（ＨＭＤ）と呼ばれ、小型であって広画角画像を表示することが可能な装置として注目されている。しかしながら、通常、このような装置には、高画角画像を得るための接眼光学系が必要となる。このような接眼光学系は、口径が大きく、かつ、焦点距離が短い高倍率であるために光学系の厚肉化や収差補正のための多数のレンズが必要とされ、画像表示装置が大型化および重量化する。

特許文献１には、接眼光学系を用いることなく、虚像を表示することが可能な画像表示装置が開示されている。

特開２００７−３９８４号公報

しかしながら、特許文献１の構成では、虚像を所望の位置に表示することができない。また特許文献１の構成では、虚像の解像度が意図した解像度と一致せず、虚像が劣化したように見えてしまうことや、観察者の眼の位置によっては二重像が観察されてしまう、という問題もある。このように特許文献１の構成では、虚像を適切に表示することが困難である。

そこで本発明は、接眼光学系を用いることなく、虚像を適切に表示することが可能な小型の画像表示装置および画像表示システムを提供する。

本発明の一側面としての画像表示装置は、複数の画素を有し、該複数の画素から出射する複数の光束を独立に変調可能な画像変調手段と、前記複数の画素から出射する複数の光束を、観察者の瞳孔内の点で交差する複数の平行光束に変換するレンズ手段とを有し、前記画像変調手段は、前記複数の平行光束が、虚像面に設けられた仮想の画素群から前記瞳孔内の点に入射する光束と一致するように、前記複数の光束を変調する。

本発明の他の側面としての画像表示システムは、前記画像表示装置と、前記画像表示装置に画像情報を供給する画像情報供給装置とを有する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、接眼光学系を用いることなく、虚像を適切に表示することが可能な小型の画像表示装置および画像表示システムを提供することができる。

第一実施形態において、接眼光学系を用いずに虚像を観察することが可能な画像表示装置の説明図である。 第一実施形態において、模擬光束の説明図である。 第一実施形態において、虚像から出射した実際の光束の説明図である。 第一実施形態において、模擬光束の通過点を示す表である。 第一実施形態において、平行光束の交点面Ａと虚像面Ｂとが一致しない場合の説明図である。 第一実施形態において、虚像の画素ピッチΔｉと平行光束の交点Δｃの間隔とが一致しない場合の説明図である。 第一実施形態において、画素ピッチΔｄと光束集束点ピッチΔｐとの関係図である。 第一実施形態において、画素ピッチΔｄと光束集束点ピッチΔｐとの関係図である。 第一実施形態において、交点面Ａの位置と虚像の画素ピッチΔｉとの関係図である。 第二実施形態において、メインローブによる正常な虚像観察の説明図である。 第二実施形態において、サイドローブによる二重像発生の説明図である。 第二実施形態における画像表示装置の構成図である。 第二実施形態における画像表示装置の構成図である。 第三実施形態において、マイクロレンズアレイの光学収差の影響の説明図である。 第三実施形態において、有効瞳領域によるビーム判定方法の説明図である。 第三実施形態における座標変換テーブルである。 第三実施形態におけるスポットダイアグラムの例である。 第四実施形態において、虚像の像高が高い場合の説明図である。 第四実施形態において、虚像の像高が高い場合の説明図である。 第四実施形態における画像表示装置の説明図である。 第四実施形態におけるビーム有効条件の説明図である。 第四実施形態における異常観察時の説明図である。 第四実施形態における正常観察時の説明図である。 第五実施形態における画像表示装置の構成図である。 第五実施形態における画像表示装置の構成図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第一実施形態）
まず、図１を参照して、接眼光学系を用いずに虚像を表示することが可能な画像表示装置の原理について説明する。図１は、接眼光学系を用いずに虚像を表示することが可能な画像表示装置の説明図である。

図１において、１はディスプレイ（２次元画像表示素子）である。ディスプレイ１は、複数の画素を有し、これらの画素から出射する光束を独立に変調可能な画像変調素子（画像変調手段）である。ディプレイ１としては、例えば、液晶ディスプレイや、有機ＥＬディスプレイなどの自発光型の表示手段を用いることができる。２はＭＬＡ（マイクロレンズアレイ）である。ＭＬＡ２は、ディスプレイ１の複数の画素から出射する複数の光束（全光束のうち少なくとも一部の光束）を、観察者の瞳孔内の点（光束集束点）で交差する複数の平行光束（コリメート光または単一指向性ビーム）に変換するレンズ手段である。３は観察者の眼（瞳）である。ディスプレイ１は、ＭＬＡ２の個々の要素レンズから焦点距離ｆｍだけ離れた位置に配置されている。ＭＬＡ２は、ディスプレイ１上の画素から出射した光束を平行光束に変換し、ＭＬＡ２の個々の要素レンズから平行光束が出射される。なお、各図においては、特に断りのない限り、全ての光束がその光束の光軸によって表される「光線」として示される。なお本実施形態において、画像表示装置（ディスプレイ１およびＭＬＡ２）と、画像表示装置に画像情報を供給する画像情報供給装置１４（コンピュータ）とを備えた画像表示システムを提供することもできる。

ディスプレイ１の３つの画素は、ＭＬＡ２の１つの要素レンズに対応している。ディスプレイ１の各画素からの光束は、所定の３つの方向に出射される。例えば、ＭＬＡ２の要素レンズ２−２にはディスプレイ１の３つの画素１−２−ａ、１−２−ｂ、１−２−ｃが対応している。画素１−２−ａ、１−２−ｂ、１−２−ｃからの光束は、それぞれ、観察者の眼３（瞳）内の点３−ａ、３−ｂ、３−ｃ（光束集束点）に入射するよう調整（設計）されている。このような関係は、他の全ての要素レンズにおいても成立している。例えば要素レンズ２−３に対して３つの画素１−３−ａ、１−３−ｂ、１−３−ｃが対応している。画素１−３−ａ、１−３−ｂ、１−３−ｃからの光束は、それぞれ、観察者の眼３（瞳）内の点３−ａ、３−ｂ、３−ｃに入射するように調整（設計）されている。

次に、図１に示される画像表示装置を用いて、接眼光学系を用いずに虚像を表示する原理について説明する。一例として、図１中の虚像４を表示する方法について説明する。虚像４（仮想光源列）は、画素４−１、４−２、４−３、４−４（仮想の画素群）で形成される。例えば画素４−１を観察者が認識するには、画素４−１から放射される画像表示光を模擬した光束（模擬光束）が観察者の瞳に入射すればよい。この模擬光束は、図１において、画素１−１−ａ、１−２−ｂ、１−３−ｃから出射して要素レンズ２−１、２−２、２−３で平行光束に変換されて眼３（瞳）内の点３−ａ、３−ｂ、３−ｃをそれぞれ通過する３つの光束に対応する。

図２は、模擬光束の説明図であり、虚像４の画素４−１からの３つの模擬光束が眼３（瞳）内の点３−ａ、３−ｂ、３−ｃに入射する様子を示している。図３は、虚像４から出射した実際の光束の説明図であり、実際に虚像４の画素４−１自体が光って画像表示光を放射している場合における画像表示光束が観察者の眼３（瞳）に入射する様子を示している。

図２および図３からわかるように、光束の指向性という観点で見ると、両者は類似している。このため、観察者にとっては、図２および図３のいずれの状態でも、画素４−１から放射される光として認識されうる。本実施形態において、ディスプレイ１の画素１−１−ａ、１−２−ｂ、１−３−ｃにそれぞれ同一の光強度および色を与えると、観察者は、これらの画素から放射されている光束が一つの画素４−１から放射されているものとして認識すると考えられる。同様に、虚像４上の画素４−２、４−３、４−４を観察者に認識させる場合においても、各画素の中心位置で交わる光束群同士にそれぞれ同一の光強度および色を与えることで、これを実現することができる。

図４は、虚像４を観察者に認識させるために、模擬光束が通過すべき点の条件を示す表である。図４は、模擬光束の通過点として、虚像４上の画素４−１〜４−４、ディスプレイ１上の画素１−１−ａ〜１−６−ｃ、および、眼３（瞳）上の点ａ〜ｃの関係をそれぞれ示している。ＭＬＡ２から出射して眼３（瞳）上の複数の異なる点に入射する複数の光束をまとめて観察することにより、虚像４上の１つの画素からの光束を模擬することになる（模擬光束が得られる）。このような模擬光束を得るには、ディスプレイ１の画素１−１−ａ、１−１−ｂ、１−１−ｃに、観察者の眼３（瞳）内の点３−ａ、３−ｂ、３−ｃに対する視差画像をそれぞれ表示すればよい。

なお、図１は平面図であるため、水平断面内での光学配置を示しているが、ディスプレイ１上の各画素、ＭＬＡ２の各要素レンズ、眼３（瞳）上の各位置（光束通過点）は、いずれも２次元状に配置されている（２次元マトリクス配置となっている）。このため、同様の関係は鉛直面内でも成立し、その結果、２次元マトリクス画素で構成される虚像４が再生可能である。

このような構成により、観察者は、接眼光学系を用いずに虚像（眼の調節の近点よりも離れた位置の虚像）を観察することができる。その結果、ＨＭＤなどの画像表示装置の大型化や重量化を回避することが可能である。ここで、「眼の調節の近点」とは、眼の調節によって明瞭に対象物を見ることのできる最も近い点のことであり、明視の距離という場合もある。眼の調節の近点は、文献（内海隆：眼科検査法ハンドブック第３版、ｐ６２、１９９９）によると、１０歳で７ｃｍ（１４Ｄ）、２０歳で１０ｃｍ（１０Ｄ）、３０歳で１４．３ｃｍ（７Ｄ）のように年齢に応じて変化する（Ｄ：視度を表すディオプター）。例えば、６．７ｃｍ（１５Ｄ）よりも近い位置に本実施形態の虚像表示を行うＭＬＡ２（要素レンズ）を配置することにより、ＭＬＡ２に眼の調節は合焦せず、再生される虚像のほうに合焦しやすくなる。

ところで、図１は、複数の平行光束の交点位置が、想定する虚像４上の画素の中心位置（例えば画素４−１の中心）と一致しているという前提で描かれている。しかし、平行光束の交点位置（複数の平行光束の中心の進行方向に対する逆延長線が互いに交差する交点を含む複数の平面のうちの一つの位置）と虚像４上の画素の中心位置とは、必ずしも一致するとは限らない。すなわち、図５に示されるように、平行光束の交点位置（交点面Ａ）と想定する虚像４上の画素の中心位置（虚像面Ｂ）とが一致しない場合が考えられる。図５において、ＭＬＡ２のレンズ主平面から虚像面Ｂまでの距離ｚｂは、ＭＬＡ２のレンズ主平面から交点面Ａまでの距離ｚａよりも長い。なお、本明細書および図面において、距離のパラメータは全て「光学的距離」とみなして考えている。すなわち、「光学的距離＝実際の距離／光学屈折率」という換算済みの数値である。このような場合、例えば画素４−１の情報を観察者に認識させようとしても、模擬光束は交点面Ａから出射する光束を模擬しているため、観察者は画素４−１を認識することができない。

そこで本実施形態では、距離ｚａと距離ｚｂとが互いに略一致するように画像表示装置を構成する。ここで、「略一致」とは、距離ｚａと距離ｚｂとが厳密に一致する場合だけでなく、実質的に一致すると評価される場合も含む意味である。略一致の具体的範囲については後述する。

また、交点面Ａと虚像面Ｂとが略一致している場合でも、虚像４の画素ピッチΔｉが複数の平行光束の交点の間隔Δｃと等しくないと（略一致していないと）、所望の解像度の虚像を観察することができない。例えば図６に示されるように、元の虚像４の画素ピッチΔｉが複数の平行光束の交点の間隔Δｃの１／２以下の場合を考える。このとき、図６に示される虚像４の画素４−１〜４−７のうち、観察者が認識可能な画素は画素４−１、４−３、４−５、４−７の４点のみとなり、虚像の解像度は１／２以下に劣化してしまう。また、虚像４の画素ピッチΔｉと平行光束の交点の間隔Δｃとの比が整数ではない場合、画素ピッチΔｉを間隔Δｃにサンプリングする際にうねりのような周期的画像劣化ノイズが発生し、より画像劣化が目立つ。

そこで本実施形態では、虚像４の画素ピッチΔｉと平行光束の交点の間隔Δｃとを等しくする（略一致させる）か、または、Δｉ／ΔｃもしくはΔｉ／Δｃが整数となるように設定する。具体的な方法については後述する。このように虚像４の画素ピッチΔｉと平行光束の交点の間隔Δｃとを設定することにより、予め用意する虚像４の解像度が最適化され、観察者により観察される虚像４の解像度劣化を最小限に低減することができる。

ところで、図１に示されるような光学特性を有する画像表示装置を実現するには、ディスプレイ１、ＭＬＡ２、および、眼３（瞳）の各種光学パラメータの間に一定の関係が成立している必要がある。また、前述のように、虚像４の位置や解像度を最適化するには、その位置や解像度を、前記光学パラメータを用いて予め求めておくことが望ましい。そこで本実施形態では、これらの関係を予め求めておき、有効な条件で画像表示装置を構成する。

まず、各種光学パラメータとして、ＭＬＡ２のレンズ主平面と眼３（瞳）内の光束集束点（点３−ａ〜３−ｃ）との間の距離をｚｅ、ＭＬＡ２のレンズ主平面とディスプレイ１上の画素との間の光学距離をｚｍとする。また、ＭＬＡ２のレンズ主平面と平行光束（３つの直線）の交点（交点面Ａ）との間の距離をｚａとする。また、眼３（瞳）内の隣接する光束集束点（点３−ａ〜３−ｃ）の間の距離（光束集束点ピッチ）をΔｐ、ＭＬＡ２の要素レンズ間のピッチ（レンズピッチ）をΔｌ、ディスプレイ１の画素ピッチをΔｄとする。

このとき、図７中に太線で示される２つの三角形の相似関係より、ディスプレイ１の画素ピッチΔｄと眼３（瞳）内の隣接する光束集束点の間の距離（光束集束点ピッチΔｐ）との間に、以下の式（１）で表される関係が成立することが好ましい。

また、図８中に太線で示される２つの三角形の相似関係より、ＭＬＡ２のレンズピッチΔｌとディスプレイ１の画素ピッチΔｄとの間に、以下の式（２）で表される関係が成立することが好ましい。

式（２）中のＮは、眼３（瞳）内に形成される光束集束点の数である。これは、ＭＬＡ２の一つの要素レンズに、ディスプレイ１のＮ個の画素が対応するということを意味する。

式（１）、（２）に従って、具体的な設計を行うことができる。標準的な接眼光学系ではアイレリーフを２０ｍｍ程度確保する必要があるため、例えばｚｅ＝２０ｍｍと設定される。また、人間の瞳孔径は３〜７ｍｍ程度である。このため、複数の模擬光束（模擬光束群）を観察者が常に同時に観察可能にするには、光束集束点ピッチΔｐを１ｍｍ、光束集束点の数Ｎを３にそれぞれ設定することが好ましい。これらの数値を式（１）、（２）に代入すると、以下の式（３）、（４）が得られる。

式（３）、（４）より、ディスプレイ１の画素ピッチΔｄを１０μｍに設定した場合、ｚｍ＝２００μｍ、Δｌ＝２．９８ｍｍに設定すればよいことがわかる。

続いて、虚像４の位置および解像度の関係式を求める。前述のように、虚像４の位置（虚像面Ｂ）は、平行光束の交点面Ａに略一致させる必要がある。このため、交点面Ａの位置をその他の光学パラメータで表すことが必要になる。

図９は、光束の交点面Ａの位置と虚像４の画素ピッチΔｉとの関係図である。図９では、交点面Ａでの複数の光束を詳細に説明するため、各種の構成部品を省き、光束の光軸を表す光線群のみが示されている。複数の光束は、図９中の太線で示されるように、光束集束点とＭＬＡ２の要素レンズの中心とを結ぶ直線の延長線上で互いに交わる。図９からわかるように、通常、光束集束点面ＣとＭＬＡ主平面Ｄとは平行である。このため、交点面Ａも光束集束点面ＣおよびＭＬＡ主平面Ｄと平行な面となる。また、光束集束点およびＭＬＡ２の要素レンズの中心点は離散的に存在するため、交点面Ａの位置も離散的に存在する。交点を形成する２つの光束の、光束集束点面Ｃ上での間隔とＭＬＡ主平面Ｄ上での間隔は、自然数ｍ、ｎを用いて、ｍΔｌ、ｎΔｐとそれぞれ表され、自然数ｍ、ｎの組み合わせにより交点面Ａは一意的に決定される。このとき、ＭＬＡ主平面Ｄから交点面Ａまでの距離ｚａは、以下の式（５）のように表される。

また、自然数ｍ、ｎ、および、自然数ｍ、ｎの最大公約数μを用いて、交点面Ａ上での光束の交点の間隔Δｃは、以下の式（６）のように表される。

式（６）において、最大公約数μは、例えば（ｍ，ｎ）＝（２，１）の場合と、（ｍ，ｎ）＝（４，２）の場合は交点面Ａが同一となり、かつ、光束の交点の間隔Δｃも同一となることを示している。

続いて、交点面Ａと虚像面Ｂとをどの程度一致させれば効果的であるか、すなわち前述の「略一致」の程度、について説明する。図５に示される交点面Ａ上の光束の交点の間隔Δｃは、式（６）のように表される。一方、想定する虚像面Ｂ上における虚像４の画素ピッチΔｉは、図７中の太線で示される三角形の関係を、虚像面Ｂを含む関係に拡大したものと考えることができる。このため、虚像４の画素ピッチΔｉは、以下の式（７）のように表される。

交点面Ａと虚像面Ｂとに奥行き方向のずれがある場合、観察者から見て、そのずれは光束の交点の間隔Δｃと虚像４の画素ピッチΔｉとのずれ（ピッチずれ）という形で現れる。このピッチずれが虚像４の全画素にわたって１画素未満であれば、画像構成の破綻はないと考えてよい。そこで、光束の交点の間隔Δｃと虚像４の画素ピッチΔｉとのずれ（ピッチずれ）の画像最端部での累積値が１画素未満となる条件を求めればよい。虚像として表示される画像は、一般的に２次元の画素マトリクスとして表現される。このため、このときの縦と横の画素数のうち大きい方の画素数をＮとすると、以下の条件式（８）が導かれる。

条件式（８）に式（６）、（７）を代入し、ｚｂについて展開すると、以下の条件式（９）が得られる。

式（９）は、交点面Ａと虚像面Ｂとをどの程度一致させるべきか、すなわち前述の「略一致」の程度を示す条件式となる。

このように本実施形態において、画像表示装置は、虚像面Ｂの位置（距離ｚｂ）が、式（５）から求められる光束の交点面Ａの位置（距離ｚａ）と略一致するように設計される。このとき模擬光束群は、前述のように、ＭＬＡ２により平行光束に変換されて観察者の眼３（瞳）に入射する。好ましくは、虚像面Ｂの位置（距離ｚｂ）において光束径が最も細くなるように調整することは、その位置から放射される光を模擬するのに都合がよい。このため好ましくは、ＭＬＡ主平面とディスプレイとの間の距離ｚｍ、および、ＭＬＡ２の要素レンズの焦点距離ｆｍは、以下の式（１０）を満たすように設計される。

また、予め虚像４として表示させたい画像の解像度（光束の交点の間隔Δｃ）は、式（６）を満たすように設定されることにより、画像の劣化を低減することができる。本実施形態において、虚像４の画素ピッチΔｉと光束の交点の間隔Δｃとを互いに等しくすることが最も望ましいが、これに限定されるものではない。例えば、Δｉ／ΔｃまたはΔｉ／Δｃが整数となるように設定することにより、画像サンプリング時に発生する周期的な画質劣化ノイズを低減することが可能である。

（第二実施形態）
次に、本発明の第二実施形態における画像表示装置について説明する。本実施形態は、観察者の眼の位置によっては二重像が観察されてしまう、という問題を解決するための構成例について示す。まず、この問題の発生理由について説明する。第一実施形態では、ディスプレイ１上のＮ個の画素群と、それに対応するＭＬＡ２の１つの要素レンズにより、３つの光束集束点（点３−ａ、３−ｂ、３−ｃ）が形成されることを説明した。しかし、ＭＬＡ２を用いた光学系では、常に、「サイドローブの発生」という問題が存在する。サイドローブとは、特定の画素からの光のうち、定められた要素レンズのみでなく複数の要素レンズに入射することで所望の方向以外への指向性を持つ光である。これに対し、特定の画素からの光のうち、定められた要素レンズのみに入射し所望の方向への指向性を持った光のことをメインローブという。

図１０は、メインローブによる正常な虚像観察の説明図である。図１０中の太線で示されるように、画素１−１−ａ、１−２−ａ、１−３−ａ、１−４−ａからの光は、それぞれ、ＭＬＡ２の要素レンズ２−１、２−２、２−３、２−４に入射し、光束集束点３−ａへの指向性を持っている。しかしながら、各画素からの光がそれぞれ異なる要素レンズに入射すると、前述のサイドローブが発生してしまう。

図１１は、サイドローブによる二重像発生の説明図である。図１１中の太点線で示されるように、画素１−１−ａ、１−２−ａ、１−３−ａ、１−４−ａからの光は、それぞれ、図１０の場合よりも紙面内で一つ下方のＭＬＡ２の要素レンズ２−２、２−３、２−４、２−５に入射し、光束集束点３−ｄへの指向性を持っている。光束集束点３−ｄに観察者が瞳を置くと、そこに集束する光束により虚像が観察できる。しかし、その虚像は本来、光束集束点３−ａから見えるべき視差画像であり、光束集束点３−ｄから見えるべき視差画像ではない。また、虚像が見える方向も、図１１から明らかなように、本来の虚像４の表示位置よりも紙面内上方にシフトした形で表示されてしまう。各画素からの光が拡散性を持っている場合などは、図１０の状態と図１１の状態とが同時に発生し得る。このため、サイドローブによる異常な虚像がメインローブによる正常な虚像に重畳して見えてしまう。例えば観察者の瞳が図１１中の光束集束点３−ｂ、３−ｃ、３−ｄの３つを含むような位置に置かれたとき、観察者は、正常な虚像と異常な虚像の二重像を認識してしまうことになる。

そこで本実施形態の画像表示装置は、図１２または図１３に示されるように、サイドローブの発生を解消または低減するように構成される。図１２は、本実施形態における画像表示装置の構成図であり、サイドローブの発生を低減させるための工夫をＭＬＡ２自体に施した構成例を示している。ＭＬＡ２の各要素レンズの境界に、光を遮断（遮光）する隔壁２ａ（遮光手段）が設けられている。このような構成を実現するには、例えば要素レンズを１つずつ製造してそれらの側面に遮光塗料を塗布し、それらをＭＬＡ２の状態に並べて接着する方法などを用いることができる。

また、従来のＭＬＡ２を活用してサイドローブを低減する方法として、図１３に示される構成がある。ＭＬＡ２を観察者から見て表裏逆向きに配置し、かつ、ＭＬＡ２とディスプレイ１との間に隔壁部品５（遮光手段）を挿入して配置する。隔壁部品５の黒い部分は遮光性部材であり、白い部分は透明部材または空気である。ＭＬＡ２は逆向きに配置されているため、光学的主平面位置は図１２の場合と略同一であり、光学的機能も同様である。ただし、遮光機能とレンズ機能とを分離しているため、部品の調達は図１３の構成のほうが容易である。例えば、隔壁部品５は、厚みのある金属に精密パターンを施すことが可能なメタルマスク技術や、光硬化性樹脂とレーザービームスキャンとを組み合わせて精密な３次元物体造形を行う光造形技術などを用いて製作可能である。ＭＬＡ２は、第一実施形態と同様のものを流用することができるため、図１３の構成のほうが容易に実現可能である。

（第三実施形態）
次に、本発明の第三実施形態における画像表示装置について説明する。本実施形態は、ＭＬＡ２の収差による虚像の位置ずれ、という問題を解決するための構成例について示す。まず、この問題の発生理由について説明する。

第一の実施形態および第二の実施形態では、ＭＬＡ２の光学的収差を考慮せず、主光線の幾何学的関係のみからディスプレイ１上の画素と虚像４上の画素との対応関係を求めている。しかしながら、実際には、ＭＬＡ２の光学的収差の影響により、虚像４の結像位置にずれが発生する可能性がある。

図１４は、ＭＬＡ２の光学収差の影響の説明図である。ここでは、ディスプレイ１上の画素１−３−ｂ、１−３−ｃと、ＭＬＡ２の要素レンズ２−３に着目して説明する。画素１−３−ｂから出射した発散光は、要素レンズ２−３によりビーム６−３−ｂに変換される。画素１−３−ｂは、要素レンズ２−３の光軸に近く、収差は発生しにくい。このためビーム６−３−ｂは、幾何的な設計値どおりに略平行光となり、観察者の眼３（瞳）内の光束集束点３−ｂを通過する。このとき観察者は、図１４中の短破線で示される方向（虚像４上の画素４−３の方向）から平行光が出射しているように見える。

一方、画素１−３−ｃから出射した発散光は、要素レンズ２−３によりビーム６−３−ｃに変換される。画素１−３−ｂは、要素レンズ２−３の光軸から遠く、収差が発生しやすい。このため、ビーム６−３−ｃは、収束光や発散光になってしまう現象や、観察者の眼３（瞳）の位置でのビームの中心位置が幾何的な設計値で定めた光束集束点３−ｂからずれてしまうという現象が発生する。このとき観察者からは、図１４中の一点鎖線で示される方向からビーム（平行光）が出射しているように見え、本来の設計値である図中の長破線で示される方向（虚像４上の画素４−１の方向）から出射するビームのようには見えない。すなわち虚像４上において、観察者から見える方向と設計上の方向との間には、図１４中の差εが生じる。

このような収差による影響を残した状態で、第一実施形態および第二実施形態と同様の画像データ生成を行い、ディスプレイ１上に画像を表示すると、虚像４が所望の方向および位置に結像せず、像面湾曲、歪み、または、ボケが発生することがある。

このような問題を解決するため、本実施形態においては、ＭＬＡ２の光学的収差を考慮した厳密な光線追跡によって、ディスプレイ１上の画素と虚像４上の画素との対応関係を求める。

図１５は、有効瞳領域によるビーム判定方法の説明図である。図１５において、面Ｄはディスプレイ１の画素面であり、画素面上の点（ｘ，ｙ）に輝度が与えられるものとする。点（ｘ，ｙ）から出射した光は、ＭＬＡ２の複数の要素レンズに入射する可能性があるが、ここでは中心座標（ｘ_ｍ，ｙ_ｍ）の要素レンズを通過するものとして考える。要素レンズから出射した光は、ビーム状になり、観察者の瞳孔位置である面Ｐに入射する。ここで、面Ｐ上でのビーム中心座標を（ｘ_ｐ，ｙ_ｐ）とする。ビーム中心座標（ｘ_ｐ，ｙ_ｐ）を用いて、ビームが虚像再生に有効であるか否かを判定する。このような判定は、画像表示装置の制御手段（不図示）により行われる。本実施形態では、観察者の瞳孔が配置されることを想定した面Ｐを設定し、面Ｐ上において瞳孔中心から一定半径内を有効瞳領域と定める。すなわち有効瞳領域は、観察者の瞳孔と同一の面上に、瞳孔の中心を中心とした円の内部領域として設定される。そして、ビーム中心座標（ｘ_ｐ，ｙ_ｐ）がこの有効瞳領域内に存在するか否かに応じて、そのビームの判定（有効または無効の判定）を行う。

例えば、有効瞳領域の半径をＲとし、瞳孔中心が面Ｐ内の点（０，０）に配置されるものと想定すると、以下の式（１１）の条件を満たす場合、そのビームは有効であると判定される。

なお、面Ｄ上の点（ｘ，ｙ）と要素レンズの中心座標（ｘ_ｍ，ｙ_ｍ）との対応関係は一通りに限定されるものではない。このため、複数の要素レンズの中心座標（ｘ_ｍ，ｙ_ｍ）に関して、ビームの判定を行うことが好ましい。

前述の判定にて有効であると判定されたビームについては、そのビームを構成する光線軌跡を虚像面（面Ｉ）まで逆追跡し、面Ｉ上でのビーム中心座標（ｘ’，ｙ’）を求める。このようにして、厳密な光線追跡に基づいた画素（ｘ，ｙ）と虚像点（ｘ’，ｙ’）の正確な対応関係を取得することができる。この関係は、例えば図１６に示されるような対応表としてデータを保有しておき、虚像再生時の座標変換テーブルとして使用することができる。

例えば、虚像４として画像輝度分布Ｉ’（ｘ’ｙ’）を有する画像を表示させようとする場合、図１６の座標変換テーブルに基づいて、（ｘ’，ｙ’）→（ｘ，ｙ）の変換を実施する。これにより、ディスプレイ１上の画像輝度分布Ｉ（ｘ，ｙ）を取得することができ、これをディスプレイ１上に表示すれば所望の虚像が観察可能となる。ただし、前述のように、実際には１つの点（ｘ，ｙ）に対して、複数の要素レンズ通過ビームが有効と判定される場合がある。このため、一対一の座標関係となるように選択ルールを定めておくことが好ましい。例えば、１つの点（ｘ，ｙ）に対して複数の要素レンズを通過するビームが有効と判定された場合、そのビームの面Ｐ上での中心座標（ｘ_ｐ，ｙ_ｐ）が瞳孔中心座標（０，０）に近い方を選択するというルールを設定することができる。このようなルールを定めておくことにより、（ｘ’，ｙ’）→（ｘ，ｙ）の変換は一意的に決定される。

前述のように、実際に虚像を表示する際には、（ｘ’，ｙ’）→（ｘ，ｙ）の変換を実施することになる。しかし、前述のビームの光線追跡方法では、（ｘ，ｙ）→（ｘ’，ｙ’）のデータ取得順序となっており、手順が逆であるため変換テーブルが作成しにくいという問題がある。そこでこの問題を解決するため、（ｘ’，ｙ’） →（ｘ，ｙ）の順序の光線追跡によるデータ取得が有効である。この方法の場合、光線追跡の出発点は虚像上の画素（ｘ’，ｙ’）となる。まず、図１５に示される制御手段１５は、画素（ｘ’，ｙ’）と要素レンズの中心座標（ｘ_ｍ，ｙ_ｍ）とを結ぶ直線が、有効瞳領域を通過するか否かを判定する。この判定は、複数の要素レンズについて行われる。制御手段１５は、前記直線が有効瞳領域を通過すると判定した場合にのみ、そのビーム光が逆進して要素レンズ２に入射してディスプレイ１上に結像するような逆光線追跡を行う。すなわち制御手段１５は、虚像４上の画素（仮想光源列の光源）、ＭＬＡ２、および、有効瞳領域を通過する光線のみについて逆光線追跡を行う。そして制御手段１５は、光線とディスプレイ１との交点位置に配置された画素に光を発するための輝度を与える。このときのディスプレイ１の面Ｄ上の結像位置（ｘ，ｙ）を、虚像上の画素（ｘ’，ｙ’）に対応する座標として取得することにより、容易に（ｘ’，ｙ’）→（ｘ，ｙ）の座標変換テーブル（データ変換テーブル）を得ることができる。記憶手段１６は、逆光線追跡の結果を、予めデータ変換テーブルとして記憶することができる。そして制御手段１５は、データ変換テーブルを用いて、ディスプレイ１に複数の光を変調させる。

なお、ビームの中心座標（ｘ_ｐ，ｙ_ｐ）や虚像上の画素（ｘ’，ｙ’）を算出する際、ビーム中心として、光線追跡ツールで出力されるビームスポットの「重心」位置を採用することが好ましい。図１７は、スポットダイアグラムの例であり、ビームスポットの重心の説明図である。ビームスポットは、ビームの瞳を分割し各瞳中心を通過する光線群の像面上到達点を描画したものである。そして、これらの到達点がいずれも等しい重量を有するものと仮定した場合、面Ｐの釣り合い支持が実現できる点を重心という。重心は、その性質上、光線の粗密分布と相関性があり、光線密度の高い領域に存在することが多い。したがって、重心は観察者から見て最もビーム強度が高く見える点であり、実質的なビームの中心とみなすことができる。

（第四実施形態）
次に、本発明の第四実施形態における画像表示装置について説明する。本実施形態は、虚像の像高が高く虚像の周辺部を観察する際に像がけられて観察できないという問題を解決するための構成例を示す。

まず、図１８および図１９を参照して、前記問題点について説明する。図１８および図１９は、虚像の像高が高い場合の説明図であり、第三実施形態のように観察者の瞳孔が配置される面Ｐに有効瞳領域を設け、有効瞳領域を通過するビームで虚像再生を行う方法を示している。図１８では、視野角が非常に高い位置の要素レンズから出射した光が有効瞳領域に入射する場合を示している。観察者が虚像の中心付近を観察する場合、観察者瞳孔と有効瞳領域とは略一致している。このため、観察者が見る虚像にはケラレが生じず、全面にわたって虚像を観察することができる。

一方、図１９に示されるように、観察者の眼３（眼球）が回転して虚像の周辺を観察する場合、観察者瞳孔、有効瞳領域（面Ｐ）とは異なる位置に移動する。このため、瞳孔に画像表示光が入射しなくなり、観察者が見る虚像にケラレが発生する。そこで本実施形態では、図２０に示されるように、「有効瞳領域」を面Ｐ上の円の内部ではなく、観察者の眼３（眼球）を中心とする３次元的な球体の内部に定義する。すなわち有効瞳領域は、観察者の眼球回転中心を中心とする球体の内部領域として設定される。

このような構成において、本実施形態の制御手段は、有効ビームの判定、および、（ｘ’，ｙ’）→（ｘ，ｙ）の座標変換処理を行う。すなわち制御手段は、中心座標（ｘ_ｍ，ｙ_ｍ）の要素レンズを出射したビームがこの有効瞳領域内を通過するか否かに応じて、ビームの有効／無効判定を行う。例えば、有効瞳領域の半径をＲとし、瞳孔中心が面Ｐ内の点（０，０）に配置されると想定すると、ビームと有効瞳領域との関係は図２１に示される関係となる。図２１において、太線の矢印は、要素レンズから出射した光線の出射方向を表している。図２１中のＡは、眼球中心と要素レンズの中心との間の距離、θは要素レンズからの射出光線と要素レンズの光軸とのなす角度、αは眼球中心と要素レンズの中心座標とを結ぶ直線と、ｚ軸（ＭＬＡ２の中心を通りＭＬＡ２に垂直な軸）とのなす角度である。ビームが有効瞳領域を通過する条件は、以下の式（１２）のように表される。

このため、要素レンズからの射出光線と要素レンズの光軸とのなす角度θが式（１２）の条件を満たす場合、そのビームは有効であると判定される。なお、面Ｄ上の点（ｘ，ｙ）と要素レンズの中心座標（ｘ_ｍ，ｙ_ｍ）との対応関係は、一通りに限定されるものではない。このため、複数の要素レンズの中心座標（ｘ_ｍ，ｙ_ｍ）について、有効／無効の判定を行うことが好ましい。この方法によれば、面Ｐとは関係なく、観察者の瞳孔が向く方向から瞳孔に入射するビームを有効であると判定することができる。このため観察者は、虚像の周辺部をケラレなく観察することが可能となる。

ただしこの方法の場合、虚像の中心部および周辺部を同時に観察することはできない。図２２および図２３は、異常観察時および正常観察時の説明図をそれぞれ示している。図２２に示されるように、図２０と同様の虚像再生ビームが出射している状況で、観察者の眼球が虚像中心の方向を向いた場合を考える。このとき、観察者の瞳孔には、虚像周辺部を再生するビームは入射しない。しかし、図２３に示されるように、ＭＬＡ２の中心付近の要素レンズから出射するビームに関しては、前述の有効判定アルゴリズムにより、眼球中心付近と瞳孔の両方を通過するビームが有効とされる。このため、観察者の眼球が虚像中心部の方向を向いている場合、問題なく虚像中心部を観察することができる。すなわち本実施形態の方法においては、常に眼球が向いた方向の中心視野の虚像は観察可能であるが、周辺視野の虚像は観察することが難しい。

（第五実施形態）
次に、本発明の第五実施形態における画像表示装置について説明する。第四実施形態によれば、眼球の向く方向の中心視野の虚像は観察可能であるが、周辺視野の虚像は観察できない。それを解決するため、本実施形態の画像表示装置は、眼球運動の検出機構（検出手段）、および、検出機構による検出値に応じて表示画像を生成する画像処理部（画像処理手段）を有する。眼球運動の検出機構は、例えば、鈴木謙二「カメラの視線入力ＡＦ技術」、光学、２３、ｐｐ２５−２６（１９９４）に開示されているような技術が用いて実現される。

図２４は、本実施形態における画像表示装置の構成図である。図２４において、７は照明手段であり、観察者の眼３（眼球）を照明する。照明手段７は、一般的には赤外線ＬＥＤを照明する。８は撮像手段であり、照明手段７により照明された眼３（眼球）の表面の輝度分布を撮像する。撮像手段８により撮像された輝度分布データは、画像処理部９に送られる。画像処理部９は、検出手段９１、画像処理手段９２、および、設定手段９３を備えている。検出手段９１は、画像解析により、観察者の瞳孔の位置を検出（算出）する。画像処理手段９２は、瞳孔の位置に基づいて画像データを生成する。より具体的には、設定手段９３は、検出された瞳孔の位置に応じて（瞳孔の位置に略一致するように）有効瞳領域を設定する。そして画像処理手段９２は、有効瞳領域の位置に基づいて光の輝度分布を調整する。

このように画像処理部９は、第三実施形態で説明したようなアルゴリズムを用いて、有効なビームを生成するための画素（ｘ，ｙ）と虚像点（ｘ’，ｙ’）との組み合わせを求める。さらに画像処理部９は、画素（ｘ，ｙ）と虚像点（ｘ’，ｙ’）との関係から、ディスプレイ１上に表示すべき画像（画像データ）をリアルタイムに生成し、画像出力部１０（画像出力手段）に画像データを送る。画像出力部１０は、その画像データに基づいて、ディスプレイ１に所望の画像を表示する。

図２４は、観察者の眼３（眼球）がＭＬＡ２の中心部を見ている場合における瞳孔と有効ビームとの関係を示している。このときの観察者にとって中心視となる虚像中心部および周辺視となる虚像高画角部の両方の画像生成ビームが眼３に入射する。このため観察者は、全面にわたってケラレのない虚像観察を行うことができる。一方、図２５は、観察者の眼球がＭＬＡ２の周辺部を見ている場合における瞳孔と有効ビームとの関係を示している。このときの観察者にとって中心視となる虚像高画角部および周辺視となる虚像中央部の両方の画像生成ビームが眼３に入射する。この場合にも、観察者は、全面にわたってケラレのない虚像観察を行うことができる。このように本実施形態によれば、観察者の眼球回転に応じて適正な画像表示を行うことができる。このため、虚像全面にわたってケラレのない虚像観察が可能となる。

各実施形態において、画像変調手段（ディスプレイ１）は、複数の平行光束が、虚像面に設けられた仮想の画素群（仮想光源列）から瞳孔内の点に入射する光束（模擬光束）と一致するように、複数の光束を変調する。換言すると、仮想光源列の位置は、複数の平行光束の中心の進行方向に対する逆延長線が互いに交差する交点を含む複数の平面のうちの一つの位置と一致している。または、複数の平行光束の焦点位置は、仮想光源列の位置と一致しているともいえる。ここで、一致とは、厳密に一致する場合だけでなく実質的に一致していると評価される場合（略一致）の意味である。より具体的には、この略一致の程度は、前述の式（９）が成立する範囲に相当する。

好ましくは、レンズ手段（ＭＬＡ２）は、コリメート光学系の集合体であるコリメート光学系アレイである。コリメート光学系アレイは、観察者の瞳孔から明視の距離よりも近い位置に配置される。仮想光源列は、観察者の瞳孔から明視の距離よりも遠い位置に仮想的に配置された光源列である。より好ましくは、コリメート光学系アレイは、観察者の瞳孔から視度にして１５ディオプターよりも近い位置に配置されている。

各実施形態によれば、表示させたい虚像の位置を予め正確に把握し、その位置情報に基づく画像データを生成することができる。このため、作業効率がよく、観察される虚像にも不具合が発生しない。また、表示させたい虚像の解像度を予め正確に把握し、その解像度情報に従って最適化された画像データを用意することができる。このため、作業効率がよく、観察される虚像の画質劣化を低減することが可能となる。

また、マイクロレンズアレイのサイドローブによる二重像発生を低減することができる。また、マイクロレンズアレイの光学収差による虚像の歪みや結像ずれを相殺し、良好な結像状態を得ることができる。また、観察者の眼球回転に応じたビームの有効／無効判定を行うことにより、虚像の高画角部観察時にも光束のケラレのない、良好な虚像提示を実現することができる。また、観察者の眼球回転を検出し、その検出結果に応じた画像データ生成を行うことにより、観察者の眼球がどの方向に向いても虚像全面が光束のケラレなく観察できる状態を維持することができる。なお各実施形態は、虚像の観察を行わせる光学機器への応用が有効であり、特に観察者が自らの頭部に装着するなどして拡大虚像を観察するのに用いる画像表示装置への応用が有望である。

各実施形態によれば、接眼光学系を用いることなく、虚像を適切に表示することが可能な小型の画像表示装置および画像表示システムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ ディスプレイ（画像変調手段）
２ ＭＬＡ（レンズ手段）

Claims (18)

1. 複数の画素を有し、該複数の画素から出射する複数の光束を独立に変調可能な画像変調手段と、
   前記複数の画素から出射する前記複数の光束を、観察者の瞳孔内の点で交差する複数の平行光束に変換するレンズ手段と、を有し、
   前記画像変調手段は、前記複数の平行光束が、虚像面に設けられた仮想の画素群から前記瞳孔内の点に入射する光束と一致するように、前記複数の光束を変調することを特徴とする画像表示装置。
2. 前記仮想の画素群の位置は、前記複数の平行光束の中心の進行方向に対する逆延長線が互いに交差する交点を含む複数の平面のうちの一つの位置と一致していることを特徴とする請求項１に記載の画像表示装置。
3. 前記複数の平行光束の焦点位置は、前記仮想の画素群の位置と一致していることを特徴とする請求項１または２に記載の画像表示装置。
4. 前記瞳孔内の点は、前記複数の平行光束が交差する複数の光束集束点であり、
   前記レンズ手段の主平面と前記仮想の画素群との間の光学的距離をｚｂ、前記レンズ手段の主平面と前記光束集束点との間の光学的距離をｚｅ、前記複数の平行光束の逆延長線が交差する複数の交点のピッチをΔｃ、隣接する前記複数の光束集束点の間の光学的距離をΔｐ、前記複数の光束集束点の数をＮとするとき、
   
   が成立することを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
5. 前記レンズ手段は、コリメート光学系の集合体であるコリメート光学系アレイであり、
   前記コリメート光学系アレイは、前記観察者の瞳孔から明視の距離よりも近い位置に配置され、
   前記仮想の画素群は、前記観察者の瞳孔から前記明視の距離よりも遠い位置に仮想的に配置された光源列である、ことを特徴とする請求項１乃至４のいずれか１項に記載の画像表示装置。
6. 前記コリメート光学系アレイは、前記観察者の瞳孔から視度にして１５ディオプターよりも近い位置に配置されていることを特徴とする請求項５に記載の画像表示装置。
7. 前記仮想の画素群に含まれる複数の光源のピッチは、前記複数の平行光束の逆延長線の複数の交点のピッチと一致していることを特徴とする請求項１乃至６のいずれか１項に記載の画像表示装置。
8. 前記レンズ手段は、光を遮光する遮光手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の画像表示装置。
9. 前記瞳孔内の点は、前記複数の平行光束が交差する複数の光束集束点であり、
   前記レンズ手段の主平面と前記光束集束点との間の光学的距離をｚｅ、前記レンズ手段の主平面と前記画像変調手段との間の光学的距離をｚｍ、隣接する前記複数の光束集束点の間の光学的距離をΔｐ、前記レンズ手段のレンズピッチをΔｌ、前記画像変調手段の画素ピッチをΔｄ、前記複数の光束集束点の数をＮとするとき、
   
   が成立することを特徴とする請求項１乃至８のいずれか１項に記載の画像表示装置。
10. 前記レンズ手段の主平面と前記複数の平行光束の逆延長線が交差する複数の交点を含む複数の平面のうち一つの平面との光学的距離をｚａとするとき、自然数ｍ、ｎを用いて、
    
    が成立することを特徴とする請求項９に記載の画像表示装置。
11. 前記複数の平行光束の逆延長線が交差する複数の交点のピッチをΔｃとすると、自然数ｍ、ｎおよび、自然数ｍ、ｎの最大公約数μを用いて、
    
    が成立することを特徴とする請求項９または１０に記載の画像表示装置。
12. 前記仮想の画素群の光源、前記レンズ手段、および、前記観察者の有効瞳領域を通過する光線のみについて逆光線追跡を行う制御手段を更に有し、
    前記制御手段は、前記光線と前記画像変調手段との交点位置に配置された画素に前記光を発するための輝度を与えることを特徴とする請求項１乃至３のいずれか１項に記載の画像表示装置。
13. 前記逆光線追跡の結果を予めデータ変換テーブルとして記憶する記憶手段を更に有し、
    前記制御手段は、前記データ変換テーブルを用いて、前記画像変調手段に前記複数の光を変調させることを特徴とする請求項１２に記載の画像表示装置。
14. 前記有効瞳領域は、観察者の瞳孔と同一の面上に、該瞳孔の中心を中心とした円の内部領域として設定されていることを特徴とする請求項１２または１３に記載の画像表示装置。
15. 前記有効瞳領域は、観察者の眼球回転中心を中心とする球体の内部領域として設定されていることを特徴とする請求項１２または１３に記載の画像表示装置。
16. 前記観察者の瞳孔の位置を検出する検出手段と、
    前記検出手段により検出された前記瞳孔の位置に基づいて画像データを生成する画像処理手段と、を有することを特徴とする請求項１乃至１５のいずれか１項に記載の画像表示装置。
17. 前記検出手段により検出された前記瞳孔の位置に応じて有効瞳領域の位置を設定する設定手段を更に有し、
    前記画像処理手段は、前記有効瞳領域の位置に基づいて前記光の輝度分布を調整することを特徴とする請求項１６に記載の画像表示装置。
18. 請求項１乃至１７のいずれか１項に記載の画像表示装置と、
    前記画像表示装置に画像情報を供給する画像情報供給装置と、を有することを特徴とする画像表示システム。