JP2008070525A - 画像表示装置及び複合現実感システム - Google Patents

Abstract

【課題】違和感のない現実空間映像又は複合現実空間映像の提示が可能であり、かつ該映像に対する歪補正処理を少なくする。
【解決手段】画像表示装置は、撮像素子２１と、該撮像素子上に像を形成する撮像光学系２２と、撮像素子を用いて生成された画像を表示する表示素子１１と、表示素子上に表示された画像を観察者の瞳に導く光学系であって、撮像光学系の光軸と同軸上に光軸が位置する表示光学系１２とを有する。撮像光学系と表示光学系は、被写界から撮像素子に向かう光束に対して撮像光学系で生じる歪曲収差量と表示光学系の射出瞳側から表示素子に向かう光束に対して表示光学系で生じる歪曲収差量とが同一の範囲にある光学系とする。さらに、表示素子に、撮像光学系により撮像素子上に形成される被写界像と同一の歪曲状態を有する画像を表示する。
【選択図】図１

Description

本発明は、撮像光学系により形成された被写体像を撮像素子により撮像し、該撮像により得られた画像を表示光学系を通して観察者に観察させる画像表示装置に関する。

実写画像である現実空間映像とＣＧ（コンピュータグラフィクス）画像である仮想空間映像とを合成して複合現実空間を作り出す複合現実感システムが知られている。

このシステムには、現実空間映像を取得するための撮像系（撮像光学系及び撮像素子）と現実空間映像に仮想空間映像を合成した複合現実空間映像を観察者に提示する表示系（表示素子及び表示光学系）とを有する画像表示装置が用いられる。この種の画像表示装置には、例えば、ビデオシースルータイプＨＭＤと称されるものがある。

そして、該画像表示装置において、複合現実空間映像を提示するにあたり、現実空間映像（被写界画像）を現実空間（実被写界）に対して等倍となるように表示することで、複合現実空間における操作が直感的に行える。また、撮像光学系の光軸と表示光学系の光軸とを一致させておくことで、視差の問題を生じることなく観察者を取り囲む現実空間の映像を表示し、それに仮想空間映像を合成した複合現実空間映像を提示できる。

上記のような画像表示装置において、撮像系で得られた現実空間映像には、撮像光学系の歪曲収差に起因した歪が発生しており、これにより、現実空間映像と仮想空間映像との合成位置関係にずれが発生し、複合現実感が不自然になるという問題がある。これを解決する方法として、特許文献１には、現実空間映像の歪を補正する補正手段を設け、歪が補正された現実空間映像と仮想空間映像とを合成する装置が開示されている。
特開２００２−２７１６９１号公報(段落００３６〜００３７、図１等)

上記のような画像表示装置においては、一般に、撮像光学系と同様に、表示光学系も歪曲収差を有している。このため、この表示光学系の歪曲収差による提示映像の歪も補正しなければ、観察者の感覚と提示される複合現実空間映像とにずれが生じ、違和感が生じる。

したがって、現実空間映像に対して仮想空間映像を合成する前に現実空間映像から撮像光学系の歪曲収差に起因した歪を排除する処理と、合成された複合現実空間映像に、表示光学系の歪曲収差に起因した歪を打ち消す歪を発生させる処理とが必要と考えられる。

しかしながら、これらの処理に要する時間や回路規模等の観点から、上記２つの処理のうち一方をなくすることができれば、より良い複合現実感システムを構成できる。

表示光学系は、表示素子からの光により射出瞳を形成する。そして、観察者は、射出瞳の近傍に眼を配置することで、表示素子上に表示された画像の拡大虚像を認識する。言い換えれば、表示光学系は、射出瞳位置を入射瞳として虚像位置に向かう光を表示素子上に結像させる。以下、このように表示光学系において、瞳から表示素子に向かって光（光線）を追うことを、逆光線追跡という。

表示光学系は、表示素子上の画像を、瞳位置近傍に眼を配置した観察者に提示する光学系であるため、該瞳と表示素子との間であって、瞳から所定距離離れた位置にしかレンズ等の光学素子を配置できない。該光学素子は、正の光学的パワー（焦点距離の逆数）、すなわち集光作用を有する。このため、逆光線追跡においては、表示素子上に樽型の歪曲が発生する。

この歪曲の発生を抑えるには、光学素子のパワーを抑えることが必要となる。しかし、これによって画角が小さくなり、できるだけ広画角での画像提示が求められる画像表示装置には好ましくない。

本発明は、違和感のない現実空間映像又は複合現実空間映像の提示が可能であり、かつ該映像に対する歪補正処理を少なくすることできるようにした画像表示装置及び複合現実感システムを提供することを目的の１つとしている。

本発明の一側面としての画像表示装置は、撮像素子と、該撮像素子上に像を形成する撮像光学系と、撮像素子を用いて生成された画像を表示する表示素子と、表示素子上に表示された画像を観察者の瞳に導く光学系であって、撮像光学系の光軸と同軸上に光軸が位置する表示光学系とを有する。そして、撮像光学系と表示光学系は、被写界から撮像素子に向かう光束に対して撮像光学系で生じる歪曲収差量と表示光学系の射出瞳側から表示素子に向かう光束に対して表示光学系で生じる歪曲収差量とが同一の範囲にある光学系とする。さらに、表示素子に、撮像光学系により撮像素子上に形成される被写界像と同一の歪曲状態を有する画像を表示することを特徴とする。

また、上記画像表示装置により現実空間映像を撮像し、該撮像された現実空間映像に生じている歪曲と同じ歪曲を有する仮想空間映像を該現実空間映像に対して位置を合わせて表示素子に表示させる画像処理装置を有する複合現実感システムも本発明の他の側面を構成する。

本発明によれば、観察者は現実空間に対して違和感のない現実空間映像又は複合現実空間映像を観察できる画像表示装置を実現することができる。さらに、提示映像に対して必要な歪補正処理を少なくすることができ、これにより、従来の画像表示装置に比べて、処理時間の短縮や処理のための回路規模の縮小を図ることができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である画像表示装置を含む複合現実感システムの構成を示している。

図中、１は表示系であり、１１はＬＣＤやエレクトロルミネセンス等の表示素子、１２は表示素子上に表示された画像の拡大像を観察者の眼Ｅに提示するための表示光学系を構成するレンズである。

２は撮像系であり、２１は撮像素子、２２は外界（実被写界、すなわち現実空間）を撮像して撮像素子上に被写界像を形成するための撮像光学系である。撮像光学系２２は、絞り２２２を有し、絞り２２２と撮像素子２１との間にはレンズ２２１が配置されている。また、絞り２２２と外界との間にはレンズ２２３が配置されている。なお、表示光学系の光軸は、撮像光学系２２の光軸と同軸上にある。

図中、３はパーソナルコンピュータ等の画像処理装置であり、撮像系２により取得された現実空間映像とＣＧ画像等の仮想空間映像とを合成して複合現実空間映像を作成し、この複合現実空間映像を表示素子１１に出力する。なお、画像処理装置３は、画像表示装置内に組み込まれていてもよいし、画像表示装置とは別に設けられていてもよい。

また、図には、レンズ１２，２２１，２２３を単レンズエレメントで構成されているように示しているが、これらはそれぞれ複数のレンズエレメントによって構成されていてもよい。また、図には、２２１を凸レンズ、２２３を凹レンズとして記載しているが、これらレンズ２２１，２２３がそれに限定されるものではない。

本実施例の画像表示装置は、表示系１の光軸と撮像系２の光軸とが一致するよう配置されている。また、撮像系２の画角と表示系１の画角とが一致するよう構成されている。なお、ここにいう「一致」は、厳密な一致だけでなく、多少のずれはあるが光学的に一致しているとみなせる場合をも含む。

これによって、撮像系２により取得された現実空間映像が、表示系１により等倍で観察者に提示される。すなわち、被写界に対する表示素子１１及び表示光学系１２により観察者に提示される被写界画像の倍率が１である。このようにして、観察者が画像表示装置を用いずに認識する現実空間と同一の空間認識を観察者に与えることができ、観察者は、複合現実空間においても現実空間で行うのと同様に違和感なく作業を行える。

図２には、本実施例において、表示光学系１２と撮像光学系２２との歪曲の違いの許容量を説明するための歪曲収差図である。図中、Ｌ１は表示光学系１２の歪曲収差曲線、Ｌ２は撮像光学系２２の歪曲収差曲線である。

表示光学系１２については、表示素子１１の有効表示領域（観察者に導かれる画像が表示される領域）の対角長Ｄｄの半値である最大像高を１に規格化し、表示光学系１２の射出瞳側ＳＤから表示素子１１の表示面への逆光線追跡での表示面上の歪曲収差を示している。

撮像光学系２２については、撮像素子２１の有効撮像領域（観察可能な現実空間映像を取得する領域）の対角長Ｄｉの半値を１に規格化し、被写体から撮像素子２１の撮像面への順光線追跡での表示面上の歪曲収差を示している。

ここで、理想像高をＹ’、実像高をＹとするとき、歪曲Distは、

Dist＝（Ｙ−Ｙ’）／Ｙ’ｘ１００（％）

で表される。

図２では、表示光学系１２と撮像光学系２２の歪曲をそれぞれDist_disp，Dist_camとしている。そして、最大像高を１に規格化したものを縦軸にとり、歪曲の値を横軸にとって、Dist_dispをプロットしたものをＬ１として、Dist_camをプロットしたものをＬ２として示している。

また、表示光学系１２と撮像光学系２２の最大像高における歪曲をそれぞれ、Dist_disp１，Dist_cam１とし、表示光学系１２と撮像光学系２２の像高５割における歪曲をそれぞれDist_disp２，Dist_cam２とする。Ddiff１，Ddiff２は表示光学系１２と撮像光学系２２との最大像高及び像高５割における歪曲の差を表している。

Ddiff１＝Dist_disp１−Dist_cam１
Ddiff２＝Dist_disp２−Dist_cam２

である。

また、撮像素子２１の有効撮像領域及び表示素子１１の有効表示領域における水平長さに対する対角長の比率をＤ／Hとし、水平方向の画素数をHpnとするときに、以下の式１，２の関係を満たすことが好ましい。

-2.5%≦Ddiff１≦2.5% ・・・式１
-2/(0.5xD/HxHpn/2)x100≦Ddiff２[%]≦2/(0.5xD/HxHpn/2)x100 ・・・式２

これらの式１，２を満たすことで、被写界から撮像素子２１に向かう光束に対して撮像光学系２１で生じる歪曲収差量と表示光学系１２の射出瞳ＳＤ側から表示素子１１に向かう光束に対して表示光学系１２で生じる歪曲収差量とが同一の範囲にあると言える。

式１の条件を外れると、撮像された現実空間と画像表示装置で観察（認識）する空間との倍率差が、画像表示装置を使用して作業を行う際に違和感を生じる程度に大きくなり、好ましくない。

また、式２の条件を外れると、画像表示装置を使用して作業を行う主領域となる画像中心領域において現実空間とのずれが大きくなり、細かい作業に対応することが困難となる。

更に望ましくは、以下の条件を満足することが好ましい。

-1.5%≦Ddiff１≦1.5% ・・・式１′
-1/(0.5xD/HxHpn/2)x100≦Ddiff２[%]≦1/(0.5xD/HxHpn/2)x100 ・・・式２′

これらの式１′，式２′を満たすことで、上述した倍率差や画像中心領域における現実空間とのずれが極めて小さくなり、空間認知における違和感がほとんどなくなり、また非常に精密な作業も行えるようになる。

以上の構成においては、表示素子１１の最大像高ＤＤ（＝Ｄｄ／２）と、撮像素子２１の最大像高ＤＩ（＝Ｄｉ／２）に対して、両者の焦点距離ｆＤ，ｆＩがＤＤ／ＤＩ＝ｆＤ／ｆＩを満たす場合を前提としている。但し、厳密にはこれを満たす必要は無く、

0.97≦（ｆＤ／ＤＤ）／（ｆＩ／ＤＩ）≦1.07 ・・・式３

の条件を満足する程度でよい。すなわち、現実空間と観察者の認識する空間との歪曲を除いた倍率差を抑えればよい。

なお、式３の範囲で生じる倍率差を含めて、上記式１，式２（又は式１’，式２’）の条件が成り立つようにすれば、更に好ましい。

図３は、本実施例における画像処理の流れを示す図である。図中、４は撮像光学系２２により撮像素子２１の撮像面上に理想的に結像すべき現実空間（現実空間映像）である。５は理想的に結像すべき現実空間４に重畳すべきＣＧ空間（仮想空間映像）である。６は観察者が認識する空間（複合現実空間映像）である。

２１ａは撮像面であり、４１は現実空間４に存在する被写体が、撮像面上に撮像光学系２２の歪曲収差により歪んで形成された像を示している。５１は歪処理後の仮想空間映像を示しており、ＣＧ空間５の原画像に、撮像光学系２２の歪曲収差により発生した現実空間４の歪曲と同じ歪曲を発生させた画像となっている。１１ａは表示素子の表示面であり、７は該表示面１１ａに表示すべき画像（合成画像）の例を示している。

現実空間４の像４１は、撮像光学系２２によって歪み、撮像素子２１の撮像面２１ａ上に示したように樽形状の像となる。撮像素子２１の光電変換機能により生成された撮影画像は、画像処理装置３へと送られる。

画像処理装置３内には、現実空間領域４に重畳されるべきＣＧ空間５の原画像が格納されている。撮像光学系２２は、図２に示したような歪曲収差を持っており、これを予め計測して撮像光学系歪曲データとして保存する。画像処理装置３は、該撮像光学系歪曲データを用いて、ＣＧ空間５の原画像をＣＧ空間５の中心からの距離Ｙに応じて歪ませる関数ｆ（Ｙ）を算出する。そして、該原画像に関数ｆ（Ｙ）を適用する処理を行い、樽形状に歪んだＣＧ画像５１を生成する。

画像処理装置３は、撮影画像と歪処理後のＣＧ画像５１とを合成し、複合現実空間を示す合成画像７を表示素子１１に出力する。この合成画像７も、樽形状に歪んでいる。表示素子１１の表示面上１１ａにおいては、特に画像処理は行われず、歪んだままの合成画像７が表示される。

本実施例の撮像光学系２２と表示光学系１２は、前述したように撮像光学系２２の順光線追跡と表示光学系１１の逆光線追跡とで同一範囲の歪曲を発生させる。すなわち、表示光学系１１が撮像光学系１２の歪を打ち消すような関係になっている。したがって、観察者に認識される空間６の画像は、ほとんど歪みがない画像として観察者に提示される。

以上のように、本実施例によれば、ＣＧ画像に対してのみ撮像光学系２２が有する歪曲収差により発生する歪曲と同一範囲の歪曲を発生させる処理を行うだけで、観察者に歪みのない合成画像、すなわち複合現実空間画像を認識させることが可能となる。

なお、撮像光学系２２の撮像面２１ａの中心に対する光軸ずれや表示光学系１２の表示面１１ａの中心に対する光軸ずれが生じている場合は、これらを補正する画像処理を適宜行えばよい。

また、上述した関数ｆ（Ｙ）は、撮影画像とＣＧ原画像とにおけるずれが１画素以内になるように、適当な次数を選べばよい。これにより、現実空間とＣＧ空間との位置ずれを許容範囲に抑えることができ、複合現実空間が不自然にならないようにすることができる。また、該ずれを０．５画素以内のずれとすれば、位置ずれが無視できるレベルとなり、更に好ましい。なお、ここでは関数近似による演算での歪補正処理例を示したが、歪補正テーブルを用いて歪補正処理を行う等、他の処理方法を用いてもよい。

さらに、撮像素子２１と表示素子１１との画素数が異なる場合には、合成画像に対して倍率変換処理や解像度変換処理を行って表示素子１１に表示させてもよい。

図４Ａ及び図４Ｂを用いて、本実施例における撮像光学系２２と表示光学系１２との瞳間距離ｐｄに関する条件を説明する。瞳間距離ｐｄとは、図４Ａに示すように、撮像光学系２２の入射瞳２２４と表示光学系１２の射出瞳ＳＤとの間の光軸方向距離である。図４Ｂのように、撮像光学系２２の入射瞳２２４と表示光学系１２の射出瞳ＳＤとが光学的に一致していれば（ｐｄ＝０）、撮像光学系２２を通して撮像した画像と、観察者が該装置を用いずに認識する画像とは、撮像光学系２２で発生する歪曲を除いて同一である。

本実施例では、表示光学系１２で発生する歪曲によって、撮像光学系２２を通して取得された歪曲した撮影画像を歪曲状態を維持したまま表示素子１１に表示させることで、観察者が該装置を用いずに認識する画像と同一の画像を観察することができる。このため、観察者は、現実空間を正しく認識できる。

しかしながら、これを実現するためには、図４Ｂに示すように巨大な反射鏡２２５を配置することが必要となり、装置の大型化に繋がる。このため、本実施例では、瞳間距離ｐｄを、式４のように設定する。

２０ｍｍ≦ｐｄ≦６０ｍｍ ・・・式４

これにより、装置を小型化することができる。瞳間距離ｐｄが式４の下限値を下回ると、装置が大型化する。一方、上限値を超えると、明視の近距離物体を観察する際に、撮影画像と表示画像との間の倍率ずれなどが認識されるため、好ましくない。

更に望ましくは、

３０ｍｍ≦ｐｄ≦５０ｍｍ ・・・式４′

を満たすとよい。これにより、上記問題が更に生じにくくなり、好ましい。

これらの条件を達成するために、図４Ｃに示すように、図４Ｂよりも小型の反射鏡などの屈曲光学素子２２５′を適宜配置することが好ましい。

また、本実施例の撮像光学系２２は絞り２２２の被写体側及び像側にそれぞれ部分光学系２２３、２２１を有する。絞り２２２より被写体側にあるレンズ２２３の光学的パワー（屈折力）をφ１、撮像光学系２２の全系の光学的パワーをφとするときに、以下の条件を満足するとよい。

-0.25≦φ１／φ≦0.25 ・・・式５

なお、上述したように、レンズ２２３を複数のレンズエレメントで構成してもよく、この場合は、該複数のレンズエレメントの合成光学的パワーが上記式５を満たせばよい。

式５の範囲を外れると、撮像光学系２２での順光線追跡と表示光学系１２での逆光線追跡とで同一範囲の歪曲収差を発生させることが困難になる。

また、撮像光学系２２として比較的広角の光学系を用いる場合、レンズ２２１と撮像素子２１との間の距離（バックフォーカス）が短くなり易い。これにより、レンズ２２１と撮像素子２１との間にローパスフィルタや赤外カットフィルタ等を配置することが難しくなる。このため、上記式５の条件に代えて、

-0.25≦φ１／φ≦0 ・・・式５′

を満足するようにすれば、バックフォーカスを確保し易くなり、好ましい。

図５には、本発明の実施例２である画像表示装置の構成を示す。実施例１では表示光学系及び撮像光学系をそれぞれレンズを用いて構成した。これに対し、本実施例では、表示光学系１２０を、屈折率が１より大きい媒質上に３つの面１２１１，１２１２，１２１３を形成したプリズム状の光学素子１２１を用いて構成している。また、撮像光学系２２０も、屈折率が１より大きい媒質上に３つの面２２６１，２２６２，２２６３が形成されたプリズム状の光学素子２２６を用いて構成している。なお、実施例１において絞りより被写体側に設けられていたレンズも本実施例では用いていない。

本実施例では、現実空間から絞り２２２を通った光が、面２２６１から光学素子２２６に入射し、面２２６２，２２６１で内部反射した後、面２２６３を透過して撮像素子２１に像を形成している。また、表示素子１１に表示された画像光は、面１２１３から光学素子１２１に入射し、面１２１１，１２１２で内部反射した後、面１２１１から射出して瞳ＳＤを形成し、観察者の眼Ｅに導かれる。撮像光学系２２０及び表示光学系１２０に光学素子２２６，１２１を用いて光路を折り畳むことにより、実施例１に比べて画像表示装置を薄く構成できる。

また、表示光学系１２０及び撮像光学系２２０とも、１つの光学素子を用いて構成しているため、その構成面に最低１つの曲面が必要である。特に、内部反射面を曲面とすると、小さな曲率で大きな光学的パワーを得られるため好ましい。本実施例では、面１２１２，２２６２を凹面反射面としている。

また、中心画角主光線に対して偏心した曲面を配置すると、画像に非回転対称な歪曲が生じる。中心画角主光線は、撮像光学系２２０においては、絞り２２２の中心から撮像素子２１の撮像面（有効撮像領域）の中心に至る光線である。また、表示光学系１２０においては、表示素子１１の表示面（有効表示領域）の中心から射出瞳ＳＤの中心に至る光線である。本実施例では、両光学系２２０，１２０に凹面かつ偏心した曲面反射面を配置することで、非回転対称な歪曲を含めて両光学系２２０，１２０で発生する画像の歪が打ち消されるように構成している。

なお、偏心曲面を配置したことで、歪曲以外の収差も非回転対称に発生するが、これを補正するために、撮像光学系２２０及び表示光学系１２０のいずれにも非回転対称形状の面を配置するとよい。これにより、両光学系２２０，１２０の結像性能を向上させることができる。

本実施例においても、前述した式１，式２（又は式１′，式２′）の条件が満足されるようにして、現実空間と同一の複合現実空間が認識できるようにすることが望ましい。但し、歪曲が非回転対称であるので、式１，式２（又は式１′，式２′）の条件が各アジムスにおいて満足されるようにすることが望ましい。

また、撮像光学系２２０の光学素子２２６に、表示光学系１２０の光学素子１２１の形状を撮像素子２１と表示素子１１の有効領域のサイズ比率に応じて倍率を変えたものを用いれば、現実空間と同一の複合現実空間がより認識され易くできるため、好ましい。

表示素子１１と光学素子１２１との間の距離は、観察者から明視の有限距離に虚像を提示するための距離ｄｄに設定されている。また、撮像素子２１と光学素子２２６との間の距離は、有限距離の外界からの画像を撮像素子２１上に形成するための距離ｄｉに配置される。このため、ｄｉとｄｄはその比率が撮像素子２１と表示素子１１の有効領域のサイズ比率と同じにはなっていない。つまり、厳密には撮像光学系２２０と表示光学系１２０で発生する歪曲は同一ではないが、同一とみなせる範囲の歪曲収差を発生させることはできる。

したがって、実施例１と同様に、ＣＧ空間の原画像に撮像光学系２２０で発生する歪曲と同一の歪曲を与える画像処理を行うだけで、観察者はほぼ歪のない複合現実空間を認識することが可能となる。

また、本実施例においても、撮像光学系２２０に反射鏡を組み込み、撮像光学系２２０の瞳２２４と表示光学系１２０の瞳ＳＤとの距離に関して、式４（又は式４′）の条件を満足させることが好ましい。

図６には、本発明の実施例３である画像表示装置の構成を示す。実施例１では表示光学系及び撮像光学系をそれぞれレンズを用いて構成した。これに対し、本実施例では、表示光学系１２０を、実施例２と同じ屈折率が１より大きい媒質上に３つの面１２１１，１２１２，１２１３を形成したプリズム状の光学素子１２１を用いて構成している。また、撮像光学系２２０′のうち絞り２２２より被写体側には、屈折率が１より大きい媒質上に３つの面２２７１，２２７２，２２７３が形成されたプリズム状の光学素子２２７を配置している。なお、絞り２２２よりも撮像素子側に配置されたレンズ２２８は、自由曲面を含むレンズ２２８としている。該レンズ２２８は、単レンズエレメントで構成してもよいし、複数のレンズエレメントにより構成してもよい。

表示光学系１２０については、実施例２と同じであるため、説明を省く。撮像系においては、現実空間からの光が面２２７１から光学素子２２７に入射し、面２２７２，２２７１で内部反射した後に面２２７３から光学素子２２７を射出して、絞り２２２へと向かう。絞り２２２を通った光は、レンズ２２８を介して撮像素子２１に被写体像を形成する。

本実施例においても、光学素子２２７を偏心曲面を有する光学素子として、薄型化を達成することが好ましい。この場合に光学素子２２７において生じる偏心歪曲は、レンズ２２８に配置した偏心曲面で補正したり、表示光学系１２で画像の偏心歪曲分を打ち消したりするようにしてもよい。

本実施例においても、前述した式１，式２（又は式１′，式２′）の条件が満足されるようにして、現実空間と同一の複合現実空間が認識できるようにすることが望ましい。但し、歪曲が非回転対称であるので、式１，式２（又は式１′，式２′）の条件が各アジムスにおいて満足されるようにすることが望ましい。

本実施例によれば、実施例１と同様に、ＣＧ空間の原画像に撮像光学系２２０′で発生する歪曲と同一の歪曲を与える画像処理を行うだけで、観察者はほぼ歪のない複合現実空間を認識することが可能となる。

なお、本実施例における絞り２２２より被写体側に設けられた光学素子２２７の光学的パワーをφ１とし、撮像光学系２２０′の全体の光学的パワーをφとするとき、

-0.25≦φ１/φ≦0.25 ・・・式５

を満足することが好ましい。この範囲を外れると、撮像光学系２２０′での順光線追跡と表示光学系１２０での逆光線追跡とで同一範囲の歪曲収差を発生させることが困難になるからである。

更に、

-0.25≦φ１/φ≦0 ・・・式５′

とすれば、バックフォーカスが確保し易くなり、より好ましい。

また、本実施例においては、撮像光学系２２０′の光路を折り曲げる役割を光学素子２２７に持たせており、これにより結像に寄与しない面を減らして、少ない構成要素で撮像光学系２２０′を構成している。

また、本実施例でも、撮像光学系２２０′と表示光学系１２０との瞳間距離ｐｄに関する条件式４（又は式４′）を満足している。これにより、小型で、且つ違和感なく近距離作業を行うことができる画像表示装置を実現できる。

図７には、本発明の実施例４である画像表示装置の構成を示す。実施例１では表示光学系及び撮像光学系をそれぞれレンズを用いて構成した。これに対し、本実施例では、表示光学系１２０を、実施例２と同じ屈折率が１より大きい媒質上に３つの面１２１１，１２１２，１２１３を形成したプリズム状の光学素子１２１を用いて構成している。また、撮像光学系２２は、実施例１と同じレンズ２２１，２２３を用いて構成している。

本実施例でも、前述した式１，式２（又は式１′，式２′）、の条件が満足されるようにして、現実空間と同一の複合現実空間が認識できるようにすることが望ましい。

本実施例によれば、実施例１と同様に、ＣＧ空間の原画像に撮像光学系２２０′で発生する歪曲と同一の歪曲を与える画像処理を行うだけで、観察者はほぼ歪のない複合現実空間を認識することが可能となる。

また、本実施例でも、撮像光学系２２と表示光学系１２０との瞳間距離ｐｄに関する条件式４（又は式４′）を満足している。これにより、小型で、且つ違和感なく近距離作業を行うことができる画像表示装置を実現できる。

本発明の実施例１である画像表示装置を含む複合現実感システムを示す図。 実施例１における撮像光学系の順光線追跡及び表示光学系の逆光線追跡での歪曲収差図。 実施例１の複合現実感システムにおける画像処理の流れを説明する図。 実施例１における撮像光学系の瞳と表示光学系の瞳との位置関係を説明する図。 比較例における撮像光学系の瞳と表示光学系の瞳との位置関係を説明する図。 実施例１において屈曲光学素子を配置した場合における撮像光学系の瞳と表示光学系の瞳との位置関係を説明する図。 本発明の実施例２である画像表示装置を示す図。 本発明の実施例３である画像表示装置を示す図。 本発明の実施例４である画像表示装置を示す図。

符号の説明

１ 表示系
２ 撮像系
１１ 表示素子
１２，１２０ 表示光学系
２１ 撮像素子
２２，２２０，２２０′ 撮像光学系

Claims (7)

1. 撮像素子と、
   該撮像素子上に像を形成する撮像光学系と、
   前記撮像素子を用いて生成された画像を表示する表示素子と、
   前記表示素子上に表示された画像を観察者の瞳に導く光学系であって、前記撮像光学系の光軸と同軸上に光軸が位置する表示光学系とを有し、
   前記撮像光学系と前記表示光学系は、被写界から前記撮像素子に向かう光束に対して前記撮像光学系で生じる歪曲収差量と前記表示光学系の射出瞳側から前記表示素子に向かう光束に対して前記表示光学系で生じる歪曲収差量とが同一の範囲にある光学系であり、
   前記表示素子に、前記撮像光学系により前記撮像素子上に形成される被写界像と同一の歪曲状態を有する画像を表示することを特徴とする画像表示装置。
2. 被写界に対する前記表示素子及び前記表示光学系により観察者に提示される被写界画像の倍率が１であることを特徴とする請求項１に記載の画像表示装置。
3. 前記歪曲収差量が同一の範囲とは、
   -2.5%≦Ddiff≦2.5%
   但し、Ddiff＝Dist_cam-Dist_disp
   なる条件を満たす範囲であることを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記歪曲収差量が同一の範囲とは、
   -2/(0.5xD/HxHpn/2)x100≦Ddiff[%]≦2/(0.5xD/HxHpn/2)x100
   但し、Ddiff＝Dist_cam-Dist_disp、D/Hは前記撮像素子の有効撮像領域及び前記表示素子の有効表示領域における水平長さに対する対角長の比率、Hpnは水平方向の画素数
   なる条件を満たす範囲であることを特徴とする請求項１又は２に記載の画像表示装置。
5. 前記撮像光学系は、該撮像光学系の絞りから前記撮像素子までの部分光学系が正の光学的パワーを有し、前記表示光学系は、該表示光学系の射出瞳から前記表示素子までの間で正の光学的パワーを有することを特徴とする請求項１から４のいずれか１つに記載の画像表示装置。
6. 前記撮像光学系は、絞りと、該絞りの被写体側及び像側にそれぞれ部分光学系を有し、以下の条件を満足することを特徴とする画像表示装置。
   -0.25≦φ１／φ≦0.25
   但し、φは前記撮像光学系の全系の光学的パワーであり、φ１は前記絞りよりも被写体側の部分光学系の光学的パワーである。
7. 請求項１から６のいずれか１つに記載の画像表示装置により現実空間映像を撮像し、
   該撮像された現実空間映像に生じている歪曲と同じ歪曲を有する仮想空間映像を該現実空間映像に対して位置を合わせて前記表示素子に表示させる画像処理装置を有することを特徴とする複合現実感システム。