JP2008090039A - 複合表示装置 - Google Patents

Abstract

【課題】 ビデオシースルー方式で３次元映像や２次元映像を水平方向に広画角に拡大して表示し、良好に観察することができる複合表示装置を得ること。
【解決手段】 撮像光学系と、該撮像光学系によって外界画像が形成される撮像素子とを備える撮像系と、
該撮像系で得られた外界画像を表示する表示素子と、該表示素子からの光を観察眼へ導光する表示光学系とを備える表示系とを有する画像表示装置を、観察者の左右眼用に一対設けた複合表示装置において、
該撮像系の撮像画角は該表示系の表示画角に比べて大きく、該左右眼用の該撮像系による撮像画像の一方向のオーバーラップ率は、該左右眼用の該表示系による表示画像の該一方向のオーバーラップ率に比べて大きいこと。
【選択図】図１

Description

本発明は、複合表示装置に関し、例えば撮像系により取得した外界の光景（外界画像、外界情報）に、コンピューター等で人工的に作り出した画像を重ね合わせて双方を表示手段に表示して表示光学系を介して観察する際に好適なものである。

従来、外界の画像情報を得る撮像系および表示素子に表示した画像を観察するための表示系の双方を有する画像表示装置を観察者の左右眼用に一対設けた複合表示装置（画像観察システム）が知られている。

この複合表示装置では、外界画像（外界情報）をＣＣＤカメラ等の撮影系で得て、外界画像を電気信号に変換し、それをＣＲＴやＬＣＤなどの表示素子に表示している。そして、表示光学系を介して表示素子に表示した外界画像を両眼視差を用いて立体観察（以下ビデオシースルー方式）している。これによって、あたかも外界を裸眼で観察しているように構成している。

以下、この観察方式をビデオシースルーという。

一方、カメラによって撮像された外界画像にコンピューターグラフィックス等により生成された画像やビデオ等によって記録された映像を加えて表示素子に合成表示する。そして、表示素子に現実空間と仮想空間を合成表示し、双方を観察できるようにした頭部装着用の画像観察システムが知られている（特許文献１，２）。
特開平６−２８１８７８号公報 特開２００１−２４９３０２号公報

頭部装着用の画像観察システム（ＨＭＤ）では、一般に視野角が３０度程度である。広画角のＨＭＤでも視野角は６０度程度である。

視野角が大きくできないのは、ＨＭＤを構成する表示系の光学的な配置上の限界が原因となっている。

例えば、両眼で同じ視野角で映像を観察する場合、アイレリーフをある程度の長さ確保することと、眼幅が決まっていること等から内側の視野角を大きくするのが難しいことが原因となっている。

ここでアイレリーフとは、目から接眼光学系までの距離であり、メガネをかける場合では２０ｍｍ程度は必要である。又眼幅は両目の間隔のことであり、日本人の平均値はおよそ６３ｍｍとされている。

人の観察視野について、生理学的に、簡単に説明すると次のようになる。

中心視は視機能が優れている弁別視野（数度以内）と周辺情報との統合可能な範囲（５度以内）とで構成される。

又、周辺視とは視線が瞬時に移動して情報受容・識別が成立する有効視野（水平約３０度以内、垂直約２０度以内）と、眼球・頭部運動により無理なく注視できる安定注視野（水平約９０度以内、垂直約７０度以内）から構成されている。

つまり、人の視野の生理学的見地からビデオシースルーで観察する画像観察システムでは、視線が瞬時に移動して情報受容・識別が成立する有効視野は水平約３０度以内、垂直約２０度以内である。

この有効視野において両眼での立体観察ができることが必要である。これより、ビデオシースルーで観察する画像観察システムでは、眼球・頭部運動により無理なく注視できる安定注視野（水平約９０度以内、垂直約７０度以内）程度の全視野角が必要であるとされている。

ＨＭＤの使用にあたっては、一般的にパソコン等のコンピューターを用い、ＨＭＤを構成する撮像系からの映像にＣＧ画像を重畳し、ＨＭＤを構成する表示系の表示素子に表示して双方を観察することによって疑似体験を行っている。

ＨＭＤは一人のみが体験できるが、それ以外にパソコンを操作するオペレーターとか他の体験者用に別のモニターで観察する場合もある。その場合は左右眼用の表示画像はそれぞれが全画角分が必要となる。

そのため、撮像系は左右眼の映像が全て重なって得られるように、左右眼用の映像が１００％オーバーラップしていることが必要である。

撮影系の撮像画角は、非球面レンズの採用やレンズ枚数を増やせば、撮像画角１００度程度までは達成できる。

しかしながら表示系は、レンズ枚数を増加させると装置全体が大型化してくるので表示画角の拡大を図ることが難しい。

このため表示系では左右眼の２つの表示系で撮像系で得られる撮像画角の全ての画像を観察するのが良い。

しかしながら撮像系の物体面と表示系の表示画面とが空間的に重ならず、ある画角を有していると観察眼から表示面までの距離が表示画面内の各位置において異なってくる。

この結果、距離によって観察倍率が異なるため、表示系で観察される表示画面に台形歪が生じてくる。

このため、左右眼用の撮像画像が１００％オーバーラップするように構成し、この画像を表示系で全て観察するには、左右眼用の撮影系と左右眼用の表示系の構成及び表示系に表示する画像情報の表示を適切に設定することが重要になってくる。

本発明は、ビデオシースルー方式で３次元映像や２次元映像を水平方向に広画角に拡大して表示し、良好に観察することができる複合表示装置の提供を目的とする。

この他、本発明は、撮像光学系（撮像系）により取得した外界情報にコンピューター等で人工的に作り出した画像や、ビデオ等によって記録された映像を重ね合わせて水平方向に拡大してワイドな状態で良好に観察することができる複合表示装置の提供を目的とする。

本発明の複合表示装置は、
撮像光学系と、該撮像光学系によって外界画像が形成される撮像素子とを備える撮像系と、
該撮像系で得られた外界画像を表示する表示素子と、該表示素子からの光を観察眼へ導光する表示光学系とを備える表示系とを有する画像表示装置を、観察者の左右眼用に一対設けた複合表示装置において、
該撮像系の撮像画角は該表示系の表示画角に比べて大きく、該左右眼用の該撮像系による撮像画像の一方向のオーバーラップ率は、該左右眼用の該表示系による表示画像の該一方向のオーバーラップ率に比べて大きいことを特徴としている。

本発明によれば、ビデオシースルー方式で３次元映像や２次元映像を水平方向に広画角に拡大して表示し、良好に観察することができる複合表示装置が得られる。

図１は複合表示装置の実施例１の要部概略図である。図１では撮影系と表示系より成る画像表示装置（画像観察装置）を左右眼用に１対設けている。図中、左眼用の要素には添字Ｌ、右眼用の要素には添字Ｒを付している。尚、以下の説明では左右眼用の要素を代表して説明するときは、左右眼用として示す添字Ｌ，Ｒを省略している。

図１において、撮像系１００（１００Ｌ，１００Ｒ）は撮像光学系６（６Ｌ，６Ｒ）と撮像素子７（７Ｌ，７Ｒ）で構成される。撮像光学系６は外界画像を撮像素子７上に結像する。１０３（１０３Ｌ，１０３Ｒ）はその撮像光学系６（６Ｌ，６Ｒ）の外界側の光軸である。

５（５Ｌ，５Ｒ）は撮像光学系６（６Ｌ，６Ｒ）用のプリズムであり、外界画像からの光束が内部反射と内部全反射をして撮像光学系６（６Ｌ，６Ｒ）に入射している。

表示系１１０（１１０Ｌ，１１０Ｒ）は表示光学系２（２Ｌ，２Ｒ）とＣＲＴやＬＣＤ等から成る表示素子４（４Ｌ，４Ｒ）で構成されている。表示光学系２は、表示素子４からの光を観察眼へ導光する。１１３（１１３Ｌ，１１３Ｒ）はその表示光学系２Ｌ，２Ｒの眼球側の光軸である。

撮像系１００及び表示系１１０より成る画像表示装置は左右眼用に一対設けてある。１（１Ｌ，１Ｒ）は観察者の観察眼を示す。

ωは撮像光学系６の撮像画角である。左右眼用の撮像光学系６Ｌ，６Ｒの光軸１０３Ｌ，１０３Ｒは角度θで物体ＯＢ側の基準位置で交差している。

左右眼用の撮像光学系６Ｌ，６Ｒの撮像範囲は一致しており、撮像画像のオーバーラップ率は１００％である。

φは表示素子４に表示された画像を観察するときの表示光学系２の表示画角である。２００は画像処理手段であり、撮像系１００で得られた画像やコンピュータグラフィック等で生成した画像を表示素子４に表示するときの表示画像を調整している。

２０１はコンピューターグラフィックスであり、仮想画像を生成している。

本実施例では、撮影系１００により現実の外界の画像を得ている。

そして撮影系１００で得た外界画像を表示素子４に表示している。

このとき画像処理手段２００は表示素子４に撮影系１００によって撮像された外界画像（現実空間像）にコンピューターグラフィックス２０１等により生成された画像やビデオなどによって記録された映像（仮想空間像）を合成表示する。即ち現実空間像と仮想空間像を合成して表示する。

これによって観察者は現実空間像と仮想空間像の双方を表示光学系２を介して同時に観察する。

本実施例の第１の表示光学系２Ｌと第２の表示光学系２Ｒと、第１の撮像光学系６Ｌと第２の撮像光学系６Ｒを有する複合表示装置は、次の構成をとっている。

第１の表示光学系２Ｌと第２の表示光学系２Ｒは、所定の割合で表示画像を水平方向にオーバーラップするよう構成している。

撮像光学系は広角化が比較的容易であるため、撮像画像のオーバーラップ率を１００％としているが、広角化が困難な表示光学系は表示画像の一部をオーバーラップする構成としている。これによって表示光学系の両目での画角の高画角化を可能としている。

図２は図１の撮像系１００を抽出した要部概略図である。図３は図１の表示系１１０を抽出した要部概略図である。

図２では撮像系プリズム５を省略してＹＺ平面に展開した配置を示している。

図３のＹＺ断面における表示系１１０では表示光学系２を省略してＹＺ平面に展開した配置を示している。

図２の撮像系１００の配置図において、画角ωの左右眼用の撮像系１００Ｌ，１００ＲをそれぞれＣ１，Ｃ２とし、撮像光学系（撮像レンズ）６Ｌ，６Ｒの入射瞳位置をそれぞれＱ２，Ｑ３としている。

線分Ｑ２，Ｑ３の中点を原点Ｑ１として図２で示すようにＹ軸Ｚ軸を配置する。またＹ軸、Ｚ軸に垂直な軸をＸ軸とする。左右の撮像系Ｃ１，Ｃ２の光軸Ｃ１ａ，Ｃ２ａの交点Ｏ１はＺ軸上にあり、左右光軸Ｃ１ａ，Ｃ２ａのなす角を輻輳角θとする。左右の撮像系Ｃ１，Ｃ２の物体面Ｃ１ｂ，Ｃ２ｂは交点Ｏ１を含む各々の撮像系Ｃ１，Ｃ２の光軸Ｃ１ａ，Ｃ２ａに垂直な面である。

図３の表示系１１０の配置図において、左右の眼をそれぞれＥＬ，ＥＲとして示している。又輻輳角θは撮像系１００と同じθである。

左右の表示系１１０の表示画像の重なり具合を示す水平方向のオーバーラップ率Ｙを以下のように定義する。

Ｙ＝（オーバーラップしている画角）÷（第１（左眼用）および第２（右眼用）の表示光学系１１１Ｌ，１１１Ｒの画角φ）
よって、
全画角ω＝（２−Ｙ）×φ
である。

しかし、実際には、撮像光学系６および表示光学系２には軽微な歪曲収差があるため、
左右の撮像系Ｃ１，Ｃ２の各々の画角ω≒（２−Ｙ）×φ
となる。

左右の虚像面Ｃ１ｃ，Ｃ２ｃは交点Ｏ１ａを含み各々の表示系１１０Ｌ，１１０Ｒの光軸Ｃ１ｄ，Ｃ２ｄに垂直な面であり、左右の表示系１１０Ｌ，１１０Ｒの光軸Ｃ１ｄ，Ｃ２ｄと虚像面Ｃ１ｃ，Ｃ２ｃとの交点をそれぞれＯ２，Ｏ３とする。点Ｏ２，点Ｏ３の中心を点Ｏ１ａとする。

左眼ＥＬ、右眼ＥＲの入射位置をそれぞれＱ２ａ，Ｑ３ａとする。点Ｑ２ａ、点Ｑ３ａの中心を原点Ｑ１ａとする。

図３の各点Ｑ１ａ，Ｑ２ａ，Ｑ３ａ，Ｏ１ａは図２における撮像系１００の各点Ｑ１，Ｑ２，Ｑ３，Ｏ１と光学的に略同等の位置に配置されている。

図４に図２の撮像光学系６と図３の表示光学系２の関係を重ねて示す。

わかりやすくするために、左眼用のみの各要素を示している。

図４に示すように、撮像光学系６の物体面Ｃ１ｂと表示光学系１１１の虚像面Ｃ１ｃは略一致していることが望ましいが、双方は一致していない。このため、撮像光学系６の画像５１をそのまま表示光学系２で表示すると図５に示す画像５１Ｌ、５１Ｒのように画像両端の画像が大きく見えるという台形歪が発生する。

つまり、Ｘ軸方向に撮像光学系６と表示光学系２で倍率の差が生じる。

例えば、図５に示すように撮像光学系６で得られた長方形状の画像５１を表示光学系２で表示したとする。

このとき図４に示す如く、左眼からの表示距離は右端に比べて左端が短くなる。このため、右端に比べて左端の表示倍率が高くなる。

この結果、右眼ＥＬでは、表示画像５１Ｌのように観察される。

そのため、本実施例では画像処理手段２００により撮像光学系６の画像の台形歪を補正し、補正した画像を表示素子４に表示するよう構成している。

即ち、画像処理手段２００は撮像素子７で得られた外界画像及びコンピューターグラフィックス２０１によって表示された画像情報を表示光学系２を介して観察したとき観察される画像に台形歪がない状態で観察されるように補正して表示素子４に表示する。

本実施例の第１の表示光学系２Ｌと第２の表示光学系２Ｒと、第１の撮像光学系６Ｌと第２の撮像光学系６Ｒを有する複合表示装置は、次の構成をとっている。

第１の表示光学系２Ｌと第２の表示光学系２Ｒは、所定の割合で像を水平方向（一方向）にオーバーラップするよう構成している。第１の撮像光学系６Ｌと第２の撮像光学系６Ｒの水平方向（−方向）のオーバーラップ率は、第１の表示光学系２Ｌと第２の表示光学系２Ｒに比べて大きくなるようにしている。

本実施例では第１の撮像光学系６Ｌと第２の撮像光学系６Ｒの水平方向の撮像画像のオーバーラップ率は１００％である。

一般に撮像光学系は広角化が比較的容易であるが、広角化が困難な表示光学系を一部水平方向（−方向）にオーバーラップ構成とすることによって、表示光学系の両目での画角の高画角化を可能としている。

尚、垂直方向のオーバーラップ率は２つの観察眼は垂直方向に変化していなので表示系１１０、撮影系１００共に１００％である。

第１の表示光学系２Ｌおよび第２の表示光学系２Ｒの水平画角をともにφ、双方の表示光学系のオーバーラップ率Ｙを前述の如く（オーバーラップしている画角）÷（第１および第２の表示光学系の画角φ）と定義する。このとき、撮像光学系６の水平画角ωが
ω≒（２−Ｙ）×φ …（１）
であるよう構成している。

撮像光学系６は高画角なものを使うため、５％程度のディストーション収差が発生してくる。

撮像光学系６の画角ωを、焦点距離ｆと撮像素子上の高さｈから
ω＝ｔａｎ^−１（ｈ／ｆ） …（２）
と定義する。このとき、表示光学系２の両目での画角と合わすために、多少ずらす必要がある。

しかし、ずらす量が多すぎると、観察者が違和感を感じやすくなるので、本実施例では以下の条件内に抑えている。

０．９×（２−Ｙ）×φ＜ω＜１．１×（２−Ｙ）×φ …（３）
第１の撮像光学系６Ｌの画像が第１の表示光学系２Ｌに、第２の撮像光学系６Ｒの画像が第２の表示光学系２Ｒに対応している。このとき、画像処理手段２００は第１の撮像光学系６Ｌの像面（物体面）と第１の表示光学系２Ｌの虚像面（表示面）のなす角によって発生する第１の表示光学系２Ｌの像の台形歪を補正し、表示素子４Ｌに表示している。又、画像処理手段２００は第２の撮像光学系６Ｒの像面と第２の表示光学系２Ｒの虚像面のなす角によって発生する第２の表示光学系２Ｒの像の台形歪を補正し、表示素子４Ｒに表示している。

ここで第１の撮像光学系６Ｌの像面と第１の表示光学系２Ｌの虚像面のなす角および、第２の撮像光学系６Ｒの像面と第２の表示光学系２Ｒの虚像面のなす角Σは図３に示す如く（１−Ｙ）×φ／２である。

次にこれらの技術的内容について以下説明する。

一般に、このときの台形歪はオーバーラップ率Ｙと画角ωに依存し、種々な実験の結果５％以下の軽微な台形歪であれば、左右眼の融合には問題がなく、歪補正は必要ではない。

図４において、第１の撮像光学系６Ｌの物体面Ｃ１ｂと第１の表示光学系２Ｌの虚像面Ｃ１ｃのなす角および、第２の撮像光学系６Ｒの物体面と第２の表示光学系２Ｒの虚像面のなす角Σは
Σ＝φ／２−Ｙ×φ／２＝ （１−Ｙ）×φ／２
となる。

ここで角度Σは撮像光学系６の光軸と表示光学系２の光軸とのなす角に相当する。

点Ｏ１、点Ｑ２より角度ｘにある位置の撮像系Ｃ１の物体面Ｃ１ｂの交点をＰ１、表示光学系の虚像面Ｃ１ｃとの交点をＰ２とする。

＝ｃｏｓ（ｘ−１／２＊（１−Ｙ）＊φ）／（ｃｏｓ（ｘ）＊ｃｏｓ（１／２＊（１−Ｙ）＊φ））
である。

Ｘ方向の倍率の比を撮像光学系６で撮像した画像を補正し、表示光学系２で表示するよう構成することによって、図６に示すように、左右画像５１Ｌ，５１Ｒが歪曲収差なく良好な画像を表示することが可能となる。

図６では撮像光学系６の画角ω＝９０度、表示光学系２の表示画角６０度である。表示光学系２のオーバーラップ率ＹはＹ＝０．５である。

本実施例では、表示系１１０のディオプター値を−０．７としている。これより観察眼ＥＬ，ＥＲから虚像Ｃ１ｃ，Ｃ２ｃまでの距離は１５００ｍｍ、日本人の眼福がおよそ６３ｍｍからＱ２Ｑ３＝６３ｍｍとなるよう構成している。

よって輻輳角θはおよそ２．４度である。

撮像系１００の左右方向の画角は、ともに生理学的見地から安定注視野を満たす９０度である。表示系１１０の左右方向の画角は、図６に示すように左右それぞれの表示系の画角が６０度、オーバーラップ部分が有効視野を満たす３０度で、全系で表示系１１０と同じ９０度の構成である。

図８に実施例における、倍率の比を示す。

本実施例によれば、３次元映像システムとともにワイドな２次元映像が撮影できる複眼撮影カメラが得られる。更に３次元映像を表示するだけではなく、水平方向にワイドな２次元映像を表示できるＨＭＤ表示装置の各々の特徴を生かしたシステムとして撮影像・表示システムを構成することができる。

図７は本発明の複合表示装置の実施例２の垂直断面内（ＸＺ断面内）の要部概略図である。

本実施例は、左右一対の画像表示装置を有する構成であるが、図７では片目のみの構成を示す。

図７において１は観察眼、７２は表示光学系としての表示系プリズム、７３はＬＣＤ、ＣＲＴ等の表示素子である。７４は表示素子７３の照明系、５は撮像系プリズム、６は撮像光学系、７は撮像素子である。

ＺＸ断面（垂直断面内）において、撮像系１００の光軸８と表示系１１０の光軸８は一致するよう構成されている。

図７においてＹＺ断面（水平断面内）における撮像系１００と表示系１１０の光路展開図は図２、図３と同様である。撮像光学系６と表示光学系２は互いに干渉しないよう配置されている。

画像観察システムの要部概略図 実施例１の撮像系の配置概略図 実施例１の表示系の配置概略図 実施例１の撮像系および表示系の説明図 実施例１に係る観察像の歪の説明図 実施例１に係る観察像の歪の説明図 実施例２の複合表示装置の要部概略図 実施例２に係る台形歪補正の説明図

符号の説明

１ 観察眼
２ 表示光学系
３ ミラー
４ 表示素子
５ 撮像系プリズム
６ 撮像光学系
７ 撮像素子
７２ 表示系プリズム
７３ 表示素子
７４ 照明系
１００ 撮像系
１０３ 光軸
１１０ 表示系
１１３ 光軸

Claims (4)

1. 撮像光学系と、該撮像光学系によって外界画像が形成される撮像素子とを備える撮像系と、
   該撮像系で得られた外界画像を表示する表示素子と、該表示素子からの光を観察眼へ導光する表示光学系とを備える表示系とを有する画像表示装置を、観察者の左右眼用に一対設けた複合表示装置において、
   該撮像系の撮像画角は該表示系の表示画角に比べて大きく、該左右眼用の該撮像系による撮像画像の一方向のオーバーラップ率は、該左右眼用の該表示系による表示画像の該一方向のオーバーラップ率に比べて大きいことを特徴とする複合表示装置。
2. 前記撮像系で得られた画像情報を前記表示系の表示素子に表示するとき、該撮像系の物体面と該表示系の表示画像とのなす角によって生ずる観察画面の台形歪を調整して該表示素子に表示する画像処理手段を有していることを特徴とする請求項１の複合表示装置。
3. 前記撮像系の前記一方向の撮像画角をω、前記表示系の該一方向の表示画角をφ、該表示系の該一方向の表示画像のオーバーラップ率をＹとするとき、
   ０．９×（２−Ｙ）×φ＜ω＜１．１×（２−Ｙ）×φ
   なる条件を満足することを特徴とする請求項１又は２の複合表示装置。
4. 前記撮像系の光軸と前記表示系の光軸とのなす角Σは、前記表示系の該一方向の表示画角をφ、該表示系の該一方向の表示画像のオーバーラップ率をＹとするとき、
   Σ＝（１−Ｙ）×φ／２
   であることを特徴とする請求項１、２又は３の複合表示装置。

Images