JP2001211403A - 頭部装着型表示装置及び頭部装着型表示システム - Google Patents
頭部装着型表示装置及び頭部装着型表示システムInfo
- Publication number
- JP2001211403A JP2001211403A JP2000015850A JP2000015850A JP2001211403A JP 2001211403 A JP2001211403 A JP 2001211403A JP 2000015850 A JP2000015850 A JP 2000015850A JP 2000015850 A JP2000015850 A JP 2000015850A JP 2001211403 A JP2001211403 A JP 2001211403A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- head
- observer
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【課題】 装着状態で表示光学系のみを移動可能な頭部
装着型表示装置において、キャリブレーション後に表示
光学系が移動された場合でも、容易な操作でキャリブレ
ーションを行なった位置に表示光学系を復帰可能な頭部
装着型表示装置を提供すること。 【解決手段】 画像を観察者に提示し、移動可能な光学
シースルー型の表示光学系１と、この表示光学系を観察
者の頭部に装着する装着機構５とを有する頭部装着型表
示装置であって、観察者が頭部装着型表示装置の非装着
時に視認可能な外界の映像を撮影する３つ以上のカメラ
２、３、４を有する。表示光学系１が移動した場合、カ
メラ２で撮影した画像を元に正しい位置で観察される外
界画像を表示光学系１に表示することにより、表示光学
系１を介して視認される外界と表示画像とが一致するよ
うに表示光学系１を移動すれば、正しい位置に合わせる
ことが可能である。
装着型表示装置において、キャリブレーション後に表示
光学系が移動された場合でも、容易な操作でキャリブレ
ーションを行なった位置に表示光学系を復帰可能な頭部
装着型表示装置を提供すること。 【解決手段】 画像を観察者に提示し、移動可能な光学
シースルー型の表示光学系１と、この表示光学系を観察
者の頭部に装着する装着機構５とを有する頭部装着型表
示装置であって、観察者が頭部装着型表示装置の非装着
時に視認可能な外界の映像を撮影する３つ以上のカメラ
２、３、４を有する。表示光学系１が移動した場合、カ
メラ２で撮影した画像を元に正しい位置で観察される外
界画像を表示光学系１に表示することにより、表示光学
系１を介して視認される外界と表示画像とが一致するよ
うに表示光学系１を移動すれば、正しい位置に合わせる
ことが可能である。
Description
【０００１】
【発明の属する技術分野】本発明は、頭部装着型の表示
装置（ヘッドマウントディスプレイ）に関し、特に、外
界の画像情報からの光を取り込み撮像素子に形成する撮
像光学系と液晶などの表示手段に表示した画像情報とを
合わせ持つ表示装置に関する。
装置（ヘッドマウントディスプレイ）に関し、特に、外
界の画像情報からの光を取り込み撮像素子に形成する撮
像光学系と液晶などの表示手段に表示した画像情報とを
合わせ持つ表示装置に関する。
【０００２】
【従来の技術】近年、現実空間と仮想空間の繋ぎ日のな
い結合を目的とした複合現実感（以下、「ＭＲ」(Mixed
Reality)と称す）に関する研究が盛んになっている。
ＭＲは、従来、現実空間と切り離された状況でのみ体験
可能であったバーチャルリアリティ（以下ＶＲと略す）
の世界と現実空間との共存を目的とし、ＶＲを増強する
技術として注目されている。
い結合を目的とした複合現実感（以下、「ＭＲ」(Mixed
Reality)と称す）に関する研究が盛んになっている。
ＭＲは、従来、現実空間と切り離された状況でのみ体験
可能であったバーチャルリアリティ（以下ＶＲと略す）
の世界と現実空間との共存を目的とし、ＶＲを増強する
技術として注目されている。
【０００３】ＭＲの応用としては、患者の体内の様子を
透視しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのＶＲとは質的に全く異
なった新たな分野が期待されている。
透視しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのＶＲとは質的に全く異
なった新たな分野が期待されている。
【０００４】これらの応用に対して共通に要求されるの
は、現実空間と仮想空間の間の“ずれ”をいかにして取
り除くかという技術である。“ずれ”は、位置ずれ、時
間ずれ、質的ずれに分類可能であり、この中でも最も基
本的な要求といえる位置ずれの解消については、従来か
ら多くの取り組みが行われてきた。
は、現実空間と仮想空間の間の“ずれ”をいかにして取
り除くかという技術である。“ずれ”は、位置ずれ、時
間ずれ、質的ずれに分類可能であり、この中でも最も基
本的な要求といえる位置ずれの解消については、従来か
ら多くの取り組みが行われてきた。
【０００５】ビデオカメラで撮影された映像に仮想物体
を重畳してヘッドマウントディスプレイ（ＨＭＤ)に表
示するビデオシースルー(Video-See-Through)方式のＭ
Ｒの場合、位置合せの問題は、そのビデオカメラの３次
元位置を正確に求める問題に帰結される。
を重畳してヘッドマウントディスプレイ（ＨＭＤ)に表
示するビデオシースルー(Video-See-Through)方式のＭ
Ｒの場合、位置合せの問題は、そのビデオカメラの３次
元位置を正確に求める問題に帰結される。
【０００６】また、半透過型のＨＭＤを用いる光学シー
スルー(Optical-See-Through)方式のＭＲの場合におけ
る位置合せの問題は、ユーザーの視点の３次元位置を求
める問題といえる。従来、このような３次元位置の計測
法としては、磁気センサや超音波センサ、ジャイロとい
った３次元位置方位センサ利用が一般的であるが、これ
らの精度は必ずしも十分とはいえず、その誤差が位置ず
れの原因となる。
スルー(Optical-See-Through)方式のＭＲの場合におけ
る位置合せの問題は、ユーザーの視点の３次元位置を求
める問題といえる。従来、このような３次元位置の計測
法としては、磁気センサや超音波センサ、ジャイロとい
った３次元位置方位センサ利用が一般的であるが、これ
らの精度は必ずしも十分とはいえず、その誤差が位置ず
れの原因となる。
【０００７】ビデオシースルー方式の場合には、ユーザ
ーが肉眼で直接視認するのは表示された映像のみである
ため、このようなセンサを用いずに画像情報を元に画像
上での位置合わせを直接行う手法も可能である。例え
ば、「Resolving Occlusion inAugmented Reality」
(M。 Wlokaと B。 Anderson、Symposium on Interactiv
e3D Graphics、 pp。 5-12、 1995)においては、ステレ
オカメラを用いて奥行き情報を求め、合成するＣＧ画像
の位置合わせを実現する試みが報告されている。
ーが肉眼で直接視認するのは表示された映像のみである
ため、このようなセンサを用いずに画像情報を元に画像
上での位置合わせを直接行う手法も可能である。例え
ば、「Resolving Occlusion inAugmented Reality」
(M。 Wlokaと B。 Anderson、Symposium on Interactiv
e3D Graphics、 pp。 5-12、 1995)においては、ステレ
オカメラを用いて奥行き情報を求め、合成するＣＧ画像
の位置合わせを実現する試みが報告されている。
【０００８】
【発明が解決しようとする課題】この手法では位置ずれ
を直接取り扱えるため位置合わせが精度よく行える反
面、実時間性や信頼性の面で依然として問題があった。
例えば、上記文献に示された手法は、ステレオカメラを
用いて奥行き情報を求めており、物体の背後に隠れた部
分など、撮像できない部分（オクルージョンと呼ばれ
る）を生じた場合は正確な奥行き情報が得られない。更
に、このステレオカメラはユーザーが装着しているＨＭ
Ｄ上に固定されており、表示画像を見ているユーザーの
視線方向とステレオカメラが撮像する方向とにずれ（パ
ララックス）があるという問題があった。
を直接取り扱えるため位置合わせが精度よく行える反
面、実時間性や信頼性の面で依然として問題があった。
例えば、上記文献に示された手法は、ステレオカメラを
用いて奥行き情報を求めており、物体の背後に隠れた部
分など、撮像できない部分（オクルージョンと呼ばれ
る）を生じた場合は正確な奥行き情報が得られない。更
に、このステレオカメラはユーザーが装着しているＨＭ
Ｄ上に固定されており、表示画像を見ているユーザーの
視線方向とステレオカメラが撮像する方向とにずれ（パ
ララックス）があるという問題があった。
【０００９】また、近年のＨＭＤは装着の容易性や装着
時の安全性の点から、頭部装着機構に対して表示光学系
を回動できるように「跳ね上げ機構」（後述）を設けた
ものも市販されているが、撮像光学系で撮影された映像
と仮想物体との位置合わせの初期位置設定（キャリブレ
ーション）を行った後にこの機構を使用すると、キャリ
ブレーションを行なった状態とカメラ位置が変わってし
まうため、再度キャリブレーションを行わなければなら
ないという問題があった。
時の安全性の点から、頭部装着機構に対して表示光学系
を回動できるように「跳ね上げ機構」（後述）を設けた
ものも市販されているが、撮像光学系で撮影された映像
と仮想物体との位置合わせの初期位置設定（キャリブレ
ーション）を行った後にこの機構を使用すると、キャリ
ブレーションを行なった状態とカメラ位置が変わってし
まうため、再度キャリブレーションを行わなければなら
ないという問題があった。
【００１０】本発明はこのような従来技術の問題点に鑑
みなされたものであり、その目的は、装着状態で表示光
学系のみを移動可能な頭部装着型表示装置において、キ
ャリブレーション後に表示光学系が移動された場合で
も、容易な操作でキャリブレーションを行なった位置に
表示光学系を復帰可能な頭部装着型表示装置及び頭部装
着型表示システムを提供することにある。
みなされたものであり、その目的は、装着状態で表示光
学系のみを移動可能な頭部装着型表示装置において、キ
ャリブレーション後に表示光学系が移動された場合で
も、容易な操作でキャリブレーションを行なった位置に
表示光学系を復帰可能な頭部装着型表示装置及び頭部装
着型表示システムを提供することにある。
【００１１】また、本発明の別の目的は、現実空間と仮
想空間画像を合成してユーザに提示するＨＭＤを用いた
システムであって、現実の物体と仮想物体の前後関係を
正しく認識してその前後関係に矛盾しない形で仮想物体
を描画するのに適したＨＭＤ及びＨＭＤシステムを提供
することにある。
想空間画像を合成してユーザに提示するＨＭＤを用いた
システムであって、現実の物体と仮想物体の前後関係を
正しく認識してその前後関係に矛盾しない形で仮想物体
を描画するのに適したＨＭＤ及びＨＭＤシステムを提供
することにある。
【００１２】加えて、本発明のさらに別の目的は、現実
空間への仮想空間画像の合成処理をほぼ実時間で行うこ
とが可能で、現実空間と仮想空間とを時間ズレなく合成
表示可能なＨＭＤ及びＨＭＤシステムを提供することに
ある。
空間への仮想空間画像の合成処理をほぼ実時間で行うこ
とが可能で、現実空間と仮想空間とを時間ズレなく合成
表示可能なＨＭＤ及びＨＭＤシステムを提供することに
ある。
【００１３】
【課題を解決するための手段】すなわち、本発明の要旨
は、画像を観察者に提示する表示光学系と、この表示光
学系を観察者の頭部に装着する装着機構とを有する頭部
装着型表示装置であって、観察者が頭部装着型表示装置
の非装着時に視認可能な外界の映像を撮影する３つ以上
の撮像手段を有することを特徴とする頭部装着型表示装
置に存する。
は、画像を観察者に提示する表示光学系と、この表示光
学系を観察者の頭部に装着する装着機構とを有する頭部
装着型表示装置であって、観察者が頭部装着型表示装置
の非装着時に視認可能な外界の映像を撮影する３つ以上
の撮像手段を有することを特徴とする頭部装着型表示装
置に存する。
【００１４】また、本発明の別の要旨は、画像を観察者
に提示する表示光学系と、この表示光学系を観察者の頭
部に装着する装着機構とを有する頭部装着型表示装置
と、画像を生成する画像生成手段を有する制御手段とを
有する頭部装着型表示システムであって、頭部装着型表
示装置が、観察者の視点位置において観察される外界の
画像を生成可能な外界画像を撮影可能な位置に配置され
る少なくとも２つの撮像手段を含む３つ以上の撮像手段
を有し、表示光学系が観察者が表示光学系を介して外界
を観察可能な材料から構成され、観察者が画像を観察す
る第１の位置と、実質的に観察者が裸眼で外界を視認可
能な第２の位置とを取り得るように装着機構に対して移
動可能に取り付けられるとともに、観察者が表示光学系
を介して観察する外界と、画像とを同時に観察者に提示
する合成手段を有し、少なくとも２つの撮像手段が、表
示光学系の移動に伴って表示光学系との相対位置を維持
しながら移動するように配置され、他の撮像手段の少な
くとも１つが表示光学系の移動によって位置が変わらな
いように配置される頭部装着型表示装置であることを特
徴とする頭部装着型表示システムに存する。
に提示する表示光学系と、この表示光学系を観察者の頭
部に装着する装着機構とを有する頭部装着型表示装置
と、画像を生成する画像生成手段を有する制御手段とを
有する頭部装着型表示システムであって、頭部装着型表
示装置が、観察者の視点位置において観察される外界の
画像を生成可能な外界画像を撮影可能な位置に配置され
る少なくとも２つの撮像手段を含む３つ以上の撮像手段
を有し、表示光学系が観察者が表示光学系を介して外界
を観察可能な材料から構成され、観察者が画像を観察す
る第１の位置と、実質的に観察者が裸眼で外界を視認可
能な第２の位置とを取り得るように装着機構に対して移
動可能に取り付けられるとともに、観察者が表示光学系
を介して観察する外界と、画像とを同時に観察者に提示
する合成手段を有し、少なくとも２つの撮像手段が、表
示光学系の移動に伴って表示光学系との相対位置を維持
しながら移動するように配置され、他の撮像手段の少な
くとも１つが表示光学系の移動によって位置が変わらな
いように配置される頭部装着型表示装置であることを特
徴とする頭部装着型表示システムに存する。
【００１５】また、本発明の別の要旨は、画像を観察者
に提示する表示光学系と、この表示光学系を観察者の頭
部に装着する装着機構とを有する頭部装着型表示装置
と、画像を生成する画像生成手段を有する制御手段とを
有する頭部装着型表示システムであって、頭部装着型表
示装置が、観察者の視点位置において観察される外界の
画像を生成可能な外界画像を撮影可能な位置に配置され
る少なくとも２つの撮像手段を含む３つ以上の撮像手段
を有し、表示光学系が観察者が画像を観察する第１の位
置と、実質的に観察者が裸眼で外界を視認可能な第２の
位置とを取り得るように装着機構に対して移動可能に取
り付けられ、少なくとも２つの撮像手段が、表示光学系
の移動に伴って表示光学系との相対位置を維持しながら
移動するように配置され、他の撮像手段の少なくとも１
つが表示光学系の移動によって位置が変わらないように
配置される頭部装着型表示装置であることを特徴とする
頭部装着型表示システムに存する。
に提示する表示光学系と、この表示光学系を観察者の頭
部に装着する装着機構とを有する頭部装着型表示装置
と、画像を生成する画像生成手段を有する制御手段とを
有する頭部装着型表示システムであって、頭部装着型表
示装置が、観察者の視点位置において観察される外界の
画像を生成可能な外界画像を撮影可能な位置に配置され
る少なくとも２つの撮像手段を含む３つ以上の撮像手段
を有し、表示光学系が観察者が画像を観察する第１の位
置と、実質的に観察者が裸眼で外界を視認可能な第２の
位置とを取り得るように装着機構に対して移動可能に取
り付けられ、少なくとも２つの撮像手段が、表示光学系
の移動に伴って表示光学系との相対位置を維持しながら
移動するように配置され、他の撮像手段の少なくとも１
つが表示光学系の移動によって位置が変わらないように
配置される頭部装着型表示装置であることを特徴とする
頭部装着型表示システムに存する。
【００１６】
【発明の実施の形態】（第１の実施形態）以下、本発明
をその好適な実施形態に基づき、図面を参照して説明す
る。図１は、本発明の第１の実施形態に係るＨＭＤの装
着状態を示す該略図である。電源や入力信号源、ケーブ
ル類などの図示は省略している。
をその好適な実施形態に基づき、図面を参照して説明す
る。図１は、本発明の第１の実施形態に係るＨＭＤの装
着状態を示す該略図である。電源や入力信号源、ケーブ
ル類などの図示は省略している。
【００１７】図において、１は後述するＨＭＤの表示光
学系を保持している筐体を示している。２、３、４はそ
れぞれビデオカメラであり、そのうち、ビデオカメラ３
及び４が筐体１に固定されている。
学系を保持している筐体を示している。２、３、４はそ
れぞれビデオカメラであり、そのうち、ビデオカメラ３
及び４が筐体１に固定されている。
【００１８】また、５は、バネ性を有する固定部であ
り、ユーザーの両側頭部を適当な力で押圧する。６は、
固定部５に接続され、前頭部から頭頂部へと伸びたアー
ムであり、固定部５と同様にバネ性を有する。７は回転
機構部であり、アーム６の、固定部５への接合部分に設
けられ、筐体１をアーム６に対して所定の範囲で回転可
能に接続する。回転機構部７によって、筐体１が保持す
る表示光学系を「跳ね上げる」ことができる。
り、ユーザーの両側頭部を適当な力で押圧する。６は、
固定部５に接続され、前頭部から頭頂部へと伸びたアー
ムであり、固定部５と同様にバネ性を有する。７は回転
機構部であり、アーム６の、固定部５への接合部分に設
けられ、筐体１をアーム６に対して所定の範囲で回転可
能に接続する。回転機構部７によって、筐体１が保持す
る表示光学系を「跳ね上げる」ことができる。
【００１９】固定部５、アーム６及び回転機構部７はＨ
ＭＤの装着機構を構成しており、固定部５がユーザの側
頭部を押圧し、アーム６が固定部５を頭頂部で支持する
ことによって、筐体１が保持する表示工学系をユーザー
の頭部へ装着固定している。
ＭＤの装着機構を構成しており、固定部５がユーザの側
頭部を押圧し、アーム６が固定部５を頭頂部で支持する
ことによって、筐体１が保持する表示工学系をユーザー
の頭部へ装着固定している。
【００２０】８は、ユーザーの頭部位置及び姿勢を検出
する磁気センサである。本実施形態に係るＨＭＤにおい
て、磁気センサ８は無くても良い。
する磁気センサである。本実施形態に係るＨＭＤにおい
て、磁気センサ８は無くても良い。
【００２１】本実施形態のＨＭＤに採用することのでき
る表示光学系には特に制限はないが、例えば図３、図４
及び図５に示すような構成を有する表示光学系を用いる
ことができる。
る表示光学系には特に制限はないが、例えば図３、図４
及び図５に示すような構成を有する表示光学系を用いる
ことができる。
【００２２】図３はＬＣＤ１１の画像をレンズ１２（こ
こでは１枚のレンズで略示している）を用いて拡大表示
し、ユーザーへ虚像を表示するＨＭＤの表示光学系の構
成を示し、反射鏡１３をハーフミラーなどにすること
で、光学シースルータイプのＨＭＤを構成することも可
能である。
こでは１枚のレンズで略示している）を用いて拡大表示
し、ユーザーへ虚像を表示するＨＭＤの表示光学系の構
成を示し、反射鏡１３をハーフミラーなどにすること
で、光学シースルータイプのＨＭＤを構成することも可
能である。
【００２３】図４は最も単純な構成を有するＨＭＤの表
示光学系であり、ＬＣＤ１１の画像をレンズ１２（ここ
では１枚のレンズで略示している）を用いて拡大表示す
る。さらに、図５は自由曲面プリズムと呼ばれる非回転
対称非球面の光学面（自由曲面）をプリズム１４の３面
に適用し、図３及び図４に示した光学系のレンズ１２と
同等の作用を持たせた構成を有する。このような構成を
有する表示光学系が筐体１に保持され、ＨＭＤを装着し
たユーザーに仮想現実空間を提示する。
示光学系であり、ＬＣＤ１１の画像をレンズ１２（ここ
では１枚のレンズで略示している）を用いて拡大表示す
る。さらに、図５は自由曲面プリズムと呼ばれる非回転
対称非球面の光学面（自由曲面）をプリズム１４の３面
に適用し、図３及び図４に示した光学系のレンズ１２と
同等の作用を持たせた構成を有する。このような構成を
有する表示光学系が筐体１に保持され、ＨＭＤを装着し
たユーザーに仮想現実空間を提示する。
【００２４】図２は、本実施形態におけるＨＭＤの「跳
ね上げ機構」を説明する側面図である。破線で示す筐体
１とこれに固定されたビデオカメラ４（及びビデオカメ
ラ３）が一体で回転機構部７を中心に回転可能に支持さ
れ、実線で示すように「跳ね上げ」た状態で固定するこ
とができる。回転機構部７としては、ノッチ式に2段階
の固定状態をとるものでも良いし、任意の位置で固定で
きる機構となっていても構わない。
ね上げ機構」を説明する側面図である。破線で示す筐体
１とこれに固定されたビデオカメラ４（及びビデオカメ
ラ３）が一体で回転機構部７を中心に回転可能に支持さ
れ、実線で示すように「跳ね上げ」た状態で固定するこ
とができる。回転機構部７としては、ノッチ式に2段階
の固定状態をとるものでも良いし、任意の位置で固定で
きる機構となっていても構わない。
【００２５】このように、回転機構部７を用いて筐体１
を支持することにより、ＨＭＤを装着するときは筐体１
を跳ね上げた状態で、固定部５及びアーム６の頭部への
装着位置を調整し、そのあとで筐体１を降ろして眼の前
に固定することができるため、ＨＭＤの装着が容易とな
る。
を支持することにより、ＨＭＤを装着するときは筐体１
を跳ね上げた状態で、固定部５及びアーム６の頭部への
装着位置を調整し、そのあとで筐体１を降ろして眼の前
に固定することができるため、ＨＭＤの装着が容易とな
る。
【００２６】また、ＨＭＤを装着している時に、前方を
直接見る必要が生じたときに、この「跳ね上げ機構」を
用いることで簡単に前方視界を確保することができる
上、再びＨＭＤの装着状態に復帰する際の位置調整が容
易になる。
直接見る必要が生じたときに、この「跳ね上げ機構」を
用いることで簡単に前方視界を確保することができる
上、再びＨＭＤの装着状態に復帰する際の位置調整が容
易になる。
【００２７】本実施形態におけるＨＭＤでは、ビデオカ
メラ２がアーム６の頭頂部近辺に固定されており、常に
前方を撮影している。また、筐体１を「跳ね上げ」た状
態では、ビデオカメラ２の撮影範囲に筐体１が入るよう
に構成されている。そのため、カメラ２からの撮影画像
を不図示の画像処理装置に入力し、筐体１に固定された
カメラ３、４の画像と比較することによって、ＨＭＤを
「跳ね上げ」た状態なのか正しく装着している状態なの
かというＨＭＤ筐体の状態を検出することが可能であ
る。
メラ２がアーム６の頭頂部近辺に固定されており、常に
前方を撮影している。また、筐体１を「跳ね上げ」た状
態では、ビデオカメラ２の撮影範囲に筐体１が入るよう
に構成されている。そのため、カメラ２からの撮影画像
を不図示の画像処理装置に入力し、筐体１に固定された
カメラ３、４の画像と比較することによって、ＨＭＤを
「跳ね上げ」た状態なのか正しく装着している状態なの
かというＨＭＤ筐体の状態を検出することが可能であ
る。
【００２８】また、ＭＲ技術において、現実空間と仮想
空間の間の“位置ずれ”を抑制するために、何らかの基
準画像などを用いて初期位置補正（キャリブレーショ
ン）を行なうのが一般的である。しかし、キャリブレー
ションの結果を正しく用いるためには、キャリブレーシ
ョン後にＨＭＤの装着位置を変化させることはできな
い。
空間の間の“位置ずれ”を抑制するために、何らかの基
準画像などを用いて初期位置補正（キャリブレーショ
ン）を行なうのが一般的である。しかし、キャリブレー
ションの結果を正しく用いるためには、キャリブレーシ
ョン後にＨＭＤの装着位置を変化させることはできな
い。
【００２９】これに対し、本実施形態にかかるＨＭＤで
はカメラ２からの撮影画像を基準に筐体１の状態を検出
することができ、筐体１を移動させてもキャリブレーシ
ョンした状態に正しくもどすことができる。特に、本実
施形態のＨＭＤの「跳ね上げ機構」は１軸の回転機構部
７を用いているので、回転のみのチェックですみ、ユー
ザーは表示される画像を見ながら筐体１を回転させ、正
しい位置（キャリブレーションを行なった位置）になっ
た時に不図示の画像処理装置からＨＭＤの表示画像とし
て出力される“ＯＫ”などといった調整状態の情報によ
りＨＭＤを固定すれば良い。
はカメラ２からの撮影画像を基準に筐体１の状態を検出
することができ、筐体１を移動させてもキャリブレーシ
ョンした状態に正しくもどすことができる。特に、本実
施形態のＨＭＤの「跳ね上げ機構」は１軸の回転機構部
７を用いているので、回転のみのチェックですみ、ユー
ザーは表示される画像を見ながら筐体１を回転させ、正
しい位置（キャリブレーションを行なった位置）になっ
た時に不図示の画像処理装置からＨＭＤの表示画像とし
て出力される“ＯＫ”などといった調整状態の情報によ
りＨＭＤを固定すれば良い。
【００３０】当然ながら、この不図示の画像処理装置で
調整方法のガイダンスを与えることも可能であり、筐体
１をさらに下方へ回転させなければならない状態であれ
ば、ＨＭＤの表示として“下へ向けて下さい”とか
“↓”マークなどを呈示して、正しい固定位置へ導くこ
とも可能である。
調整方法のガイダンスを与えることも可能であり、筐体
１をさらに下方へ回転させなければならない状態であれ
ば、ＨＭＤの表示として“下へ向けて下さい”とか
“↓”マークなどを呈示して、正しい固定位置へ導くこ
とも可能である。
【００３１】基準となるカメラ２の撮影方向と、筐体１
に固定されたカメラ３、４の撮影方向は左右方向に一致
していない場合がある。この位置ずれはカメラの取り付
け位置で決まるので、あらかじめ画像を補正しておけば
良い。すなわち、本実施形態の構成においては、カメラ
２は頭頂部に固定され、その水平位置は筐体１の左右端
に固定されたカメラ３、４のほぼ中間になる。そのた
め、本実施形態ではカメラ３、４からの２枚の画像を用
いて中間位置にカメラがある場合の画像を不図示の画像
処理装置で生成し、カメラ３、４とカメラ２の垂直方向
の間隔から生じる視差量をこの補間画像へ加えた調整用
画像を生成する。
に固定されたカメラ３、４の撮影方向は左右方向に一致
していない場合がある。この位置ずれはカメラの取り付
け位置で決まるので、あらかじめ画像を補正しておけば
良い。すなわち、本実施形態の構成においては、カメラ
２は頭頂部に固定され、その水平位置は筐体１の左右端
に固定されたカメラ３、４のほぼ中間になる。そのた
め、本実施形態ではカメラ３、４からの２枚の画像を用
いて中間位置にカメラがある場合の画像を不図示の画像
処理装置で生成し、カメラ３、４とカメラ２の垂直方向
の間隔から生じる視差量をこの補間画像へ加えた調整用
画像を生成する。
【００３２】そして、ＨＭＤの表示画像としてカメラ２
の映像とカメラ３、４を用いて作成した調整用画像とを
重畳して表示しておけば、ＨＭＤ筐体の回転に合わせて
補間画像が変化するので、この補間画像とカメラ２の映
像とが一致したところで固定すれば、正しい装着位置の
調整が完了する。
の映像とカメラ３、４を用いて作成した調整用画像とを
重畳して表示しておけば、ＨＭＤ筐体の回転に合わせて
補間画像が変化するので、この補間画像とカメラ２の映
像とが一致したところで固定すれば、正しい装着位置の
調整が完了する。
【００３３】カメラ３及び４で撮影した２枚の画像から
の調整用画像の生成は、例えばモーフィングの手法を用
いることにより可能である。モーフィングは、まず、２
つの原画像（例えば画像Ａと画像Ｂ）中の同一対象の写
っている領域を例えば矩形で対応づける、即ち、ユーザ
が同一領域であると認識した２つの部分画像領域（例え
ば領域Ａ’と領域Ｂ’）を対応領域とするわけである。
そして、両領域内部の形状と色とを線形補間することに
より仮想画像Ｑを構成する。
の調整用画像の生成は、例えばモーフィングの手法を用
いることにより可能である。モーフィングは、まず、２
つの原画像（例えば画像Ａと画像Ｂ）中の同一対象の写
っている領域を例えば矩形で対応づける、即ち、ユーザ
が同一領域であると認識した２つの部分画像領域（例え
ば領域Ａ’と領域Ｂ’）を対応領域とするわけである。
そして、両領域内部の形状と色とを線形補間することに
より仮想画像Ｑを構成する。
【００３４】特に、本実施形態によるＨＭＤにおいて、
ビデオカメラ３及び４を、互いに撮影方向（レンズの光
軸）が平行であり、またカメラの中心を結ぶ直線に直交
するように配置して筐体１に固定することにより、歪み
の少ない補間画像を生成することが可能である。また、
カメラ２との位置ずれによる視差量の補正についても、
通常の画像処理を施すことにより行なうことが可能であ
る。
ビデオカメラ３及び４を、互いに撮影方向（レンズの光
軸）が平行であり、またカメラの中心を結ぶ直線に直交
するように配置して筐体１に固定することにより、歪み
の少ない補間画像を生成することが可能である。また、
カメラ２との位置ずれによる視差量の補正についても、
通常の画像処理を施すことにより行なうことが可能であ
る。
【００３５】このように、本実施形態に係るＨＭＤによ
れば、キャリブレーション後に表示光学系を移動した場
合であっても、容易な操作によって表示光学系をキャリ
ブレーション時の位置に復帰可能なＨＭＤを実現でき
る。
れば、キャリブレーション後に表示光学系を移動した場
合であっても、容易な操作によって表示光学系をキャリ
ブレーション時の位置に復帰可能なＨＭＤを実現でき
る。
【００３６】（第２の実施形態）図６は、本発明の第２
の実施形態に係るＨＭＤシステムの構成を示すブロック
図である。本実施形態のＨＭＤシステムは、位置方位セ
ンサとマーカ（三次元位置が既知であるマーク）画像を
用いてＨＭＤに設けられた位置・姿勢センサ８の出力を
補正し、仮想空間画像の位置合わせを行うことを特徴と
するシステムである。本実施形態において、ＨＭＤには
図３に示した光学系を有し、反射鏡１３をハーフミラー
で構成した光学シースルー(Optical-See-Through)ＨＭ
Ｄを用いる。
の実施形態に係るＨＭＤシステムの構成を示すブロック
図である。本実施形態のＨＭＤシステムは、位置方位セ
ンサとマーカ（三次元位置が既知であるマーク）画像を
用いてＨＭＤに設けられた位置・姿勢センサ８の出力を
補正し、仮想空間画像の位置合わせを行うことを特徴と
するシステムである。本実施形態において、ＨＭＤには
図３に示した光学系を有し、反射鏡１３をハーフミラー
で構成した光学シースルー(Optical-See-Through)ＨＭ
Ｄを用いる。
【００３７】図において、ＬＣＤ１１、光学系１２及び
ハーフミラー１３はそれぞれ右目用（１１Ｒ、１２Ｒ、
１３Ｒ）と左目用（１１Ｌ、１２Ｌ、１３Ｌ）とに分割
されており、ＬＣＤ１１Ｒ、１１Ｌそれぞれに駆動回路
１５Ｌ、１５Ｒが設けられている。
ハーフミラー１３はそれぞれ右目用（１１Ｒ、１２Ｒ、
１３Ｒ）と左目用（１１Ｌ、１２Ｌ、１３Ｌ）とに分割
されており、ＬＣＤ１１Ｒ、１１Ｌそれぞれに駆動回路
１５Ｌ、１５Ｒが設けられている。
【００３８】マーカ位置検出部２５は、ＨＭＤに設けら
れた３台のカメラ２〜４で撮像した画像データから、所
定のマーカを検出し、検出されたマーカが予め登録され
た複数のマーカのうちどのマーカであるかを特定する。
れた３台のカメラ２〜４で撮像した画像データから、所
定のマーカを検出し、検出されたマーカが予め登録され
た複数のマーカのうちどのマーカであるかを特定する。
【００３９】また、位置・姿勢計測部２３は、ＨＭＤに
設けられたセンサ８の出力信号から、ＨＭＤユーザの視
点位置、方向を計測する。
設けられたセンサ８の出力信号から、ＨＭＤユーザの視
点位置、方向を計測する。
【００４０】補正処理部２４は、マーカ位置検出部２５
から位置・姿勢計測部２３の出力を補正し、補正後のユ
ーザ視点位置・方向データを画像生成部２２へ供給す
る。画像生成部２２は、補正処理部２４から供給される
視点位置・方向データ及びシステムコントローラ２１の
指示に基づき、ユーザの視点位置及び方向に合った視差
画像を生成し、右目及び左目用の画像データを駆動回路
１５Ｒ及び１５Ｌへ出力する。
から位置・姿勢計測部２３の出力を補正し、補正後のユ
ーザ視点位置・方向データを画像生成部２２へ供給す
る。画像生成部２２は、補正処理部２４から供給される
視点位置・方向データ及びシステムコントローラ２１の
指示に基づき、ユーザの視点位置及び方向に合った視差
画像を生成し、右目及び左目用の画像データを駆動回路
１５Ｒ及び１５Ｌへ出力する。
【００４１】次に、位置・姿勢センサ８の出力とマーカ
画像を用いて位置合わせを行う手法について説明する。
図７に、１つのマーカ画像を用いた位置ずれ補正の基本
的な考え方を示す。以下では、マーカ画像を撮影するカ
メラとして、図１のＨＭＤにおいて頭頂部に設けられた
ビデオカメラ２を用いる場合について説明する。また、
このカメラの内部パラメータを既知として、歪みなどの
影響を除外した理想的な撮像系によって画像撮影が行わ
れているものと仮定する。
画像を用いて位置合わせを行う手法について説明する。
図７に、１つのマーカ画像を用いた位置ずれ補正の基本
的な考え方を示す。以下では、マーカ画像を撮影するカ
メラとして、図１のＨＭＤにおいて頭頂部に設けられた
ビデオカメラ２を用いる場合について説明する。また、
このカメラの内部パラメータを既知として、歪みなどの
影響を除外した理想的な撮像系によって画像撮影が行わ
れているものと仮定する。
【００４２】カメラ２の視点位置をＣ、画像上でのマー
カの観測座標をＱ１ 、現実空間のマーカ位置をＱｃと
すると、点Ｑ１は点Ｃと点Ｑｃを結ぶ直線１Ｑ上に存在
する。一方、ＨＭＤに設けられた位置・姿勢センサ８
（例えば、Polhemus社の磁気センサFastrack（商品
名））によって与えられるカメラ位置からは、カメラ座
標系におけるマーカ位置Ｐｃと、その画像上での観測座
標Ｐ１が推測できる。以下では、点Ｃから点Ｑ１、Ｐ１
への３次元ベクトルを、それぞれｖ１、ｖ２と表記す
る。
カの観測座標をＱ１ 、現実空間のマーカ位置をＱｃと
すると、点Ｑ１は点Ｃと点Ｑｃを結ぶ直線１Ｑ上に存在
する。一方、ＨＭＤに設けられた位置・姿勢センサ８
（例えば、Polhemus社の磁気センサFastrack（商品
名））によって与えられるカメラ位置からは、カメラ座
標系におけるマーカ位置Ｐｃと、その画像上での観測座
標Ｐ１が推測できる。以下では、点Ｃから点Ｑ１、Ｐ１
への３次元ベクトルを、それぞれｖ１、ｖ２と表記す
る。
【００４３】この方法では、補正後のマーカの観測予測
座標Ｐ'１がＱ１に一致するように（すなわち、カメラ
座標系における補正後のマーカ予測位置Ｐ'ｃが、直線
１Ｑ上に乗るように）、カメラと物体の相対的な位置情
報を修正する事によって、位置ずれが補正される。
座標Ｐ'１がＱ１に一致するように（すなわち、カメラ
座標系における補正後のマーカ予測位置Ｐ'ｃが、直線
１Ｑ上に乗るように）、カメラと物体の相対的な位置情
報を修正する事によって、位置ずれが補正される。
【００４４】本実施形態のシステムにおいて、ＨＭＤに
は図３に示した構成を有する表示光学系において、反射
鏡１３にハーフミラーを用いた光学シースルー型の光学
系を用いている。ユーザーの右目用画像及び左目用画像
をそれぞれ表示するＬＣＤ１１Ｒ、１１Ｌには、後述す
るようにシステムコントローラ２１で生成された三次元
仮想画像が表示される。従って、ユーザーはＬＣＤ１１
Ｒ、１１Ｌに対応したハーフミラー１３Ｒ、１３Ｌを透
過して視認できる現実空間に重ねて、ＬＣＤ１１Ｒ、１
１Ｌの表示画面に表示された三次元仮想空間画像を見る
こととなる。
は図３に示した構成を有する表示光学系において、反射
鏡１３にハーフミラーを用いた光学シースルー型の光学
系を用いている。ユーザーの右目用画像及び左目用画像
をそれぞれ表示するＬＣＤ１１Ｒ、１１Ｌには、後述す
るようにシステムコントローラ２１で生成された三次元
仮想画像が表示される。従って、ユーザーはＬＣＤ１１
Ｒ、１１Ｌに対応したハーフミラー１３Ｒ、１３Ｌを透
過して視認できる現実空間に重ねて、ＬＣＤ１１Ｒ、１
１Ｌの表示画面に表示された三次元仮想空間画像を見る
こととなる。
【００４５】ユーザー（観察者）が前方を向くと、ＨＭ
Ｄを通した視界には、ハーフミラーを透過して視認され
る現実の世界と、ＬＣＤ１１Ｒ、１１Ｌに表示され、ハ
ーフミラーで反射された、仮想空間画像の両方が合成さ
れた、複合現実空間が観察される。そして観察者が頭部
を水平移動、あるいはティルティング運動、ヨー運動、
ローリング運動させると、その変化は先ず位置・姿勢セ
ンサ８によって検出され、併せて、頭部の姿勢変化に伴
ってカメラ２、３、４が撮像する画像の変化として観測
される。
Ｄを通した視界には、ハーフミラーを透過して視認され
る現実の世界と、ＬＣＤ１１Ｒ、１１Ｌに表示され、ハ
ーフミラーで反射された、仮想空間画像の両方が合成さ
れた、複合現実空間が観察される。そして観察者が頭部
を水平移動、あるいはティルティング運動、ヨー運動、
ローリング運動させると、その変化は先ず位置・姿勢セ
ンサ８によって検出され、併せて、頭部の姿勢変化に伴
ってカメラ２、３、４が撮像する画像の変化として観測
される。
【００４６】観察者の現実世界である周囲の外界には、
マーカが複数配置されている。また、マーカは観察者の
頭部の位置、特に姿勢によって、いずれかのマーカが常
に観察者に見えるように、即ちカメラ２、３、４のいず
れかでマーカ画像が撮影される様に配置されている。マ
ーカをこの様に配置することで、カメラで撮影した画像
から撮影されたマーカを特定することができる。マーカ
の絶対位置は予めわかっているため、これにより、観察
者の頭部姿勢を検出する磁気センサ８の出力信号の補正
を行なうことができる。
マーカが複数配置されている。また、マーカは観察者の
頭部の位置、特に姿勢によって、いずれかのマーカが常
に観察者に見えるように、即ちカメラ２、３、４のいず
れかでマーカ画像が撮影される様に配置されている。マ
ーカをこの様に配置することで、カメラで撮影した画像
から撮影されたマーカを特定することができる。マーカ
の絶対位置は予めわかっているため、これにより、観察
者の頭部姿勢を検出する磁気センサ８の出力信号の補正
を行なうことができる。
【００４７】上述の条件を満たすようにマーカを複数配
置することによって、観察者がある動作範囲内で行動す
る限りにおいて、少なくとも１つのマーカがカメラの視
野内に入ることが保証される。ただし、観察者の動作範
囲の大きさに応じて、マーカの数、マーカ間の間隔等は
決定される。観察者から遠方であればあるほど、広い範
囲が視野に入るので、マーカ間の間隔を広くして良い。
これは、近傍にあるマーカ間の画像中での間隔距離と、
遠方にあるマーカ間の画像中での距離とを同じくするた
めであり、同じフレーム内に不必要に複数のマーカが撮
像されるのを防ぐためである。
置することによって、観察者がある動作範囲内で行動す
る限りにおいて、少なくとも１つのマーカがカメラの視
野内に入ることが保証される。ただし、観察者の動作範
囲の大きさに応じて、マーカの数、マーカ間の間隔等は
決定される。観察者から遠方であればあるほど、広い範
囲が視野に入るので、マーカ間の間隔を広くして良い。
これは、近傍にあるマーカ間の画像中での間隔距離と、
遠方にあるマーカ間の画像中での距離とを同じくするた
めであり、同じフレーム内に不必要に複数のマーカが撮
像されるのを防ぐためである。
【００４８】本発明によるＨＭＤは、すくなくとも３つ
のカメラを有する。したがって、図７で説明した様に各
々のカメラで撮影したマーカ画像からそれぞれマーカ位
置情報が得られるが、各カメラで撮影されたマーカは同
一マーカであるから、カメラ３、４またはカメラ２、３
及びカメラ２、４の３組のマーカ画像対が得られ、三角
測量の原理に基づいてカメラ２の座標系におけるマーカ
の三次元位置を精度良く求める事ができる。このよう
に、本発明によるＨＭＤを用いることにより、現実世界
の物体によってカメラの視界を遮られてマーカ画像が得
られなくなるオクルージョンの問題も解決でき、常に精
度良くマーカ位置情報が得られ、観察者の頭部姿勢を検
出する磁気センサの出力信号を精度良く補正することが
できる。
のカメラを有する。したがって、図７で説明した様に各
々のカメラで撮影したマーカ画像からそれぞれマーカ位
置情報が得られるが、各カメラで撮影されたマーカは同
一マーカであるから、カメラ３、４またはカメラ２、３
及びカメラ２、４の３組のマーカ画像対が得られ、三角
測量の原理に基づいてカメラ２の座標系におけるマーカ
の三次元位置を精度良く求める事ができる。このよう
に、本発明によるＨＭＤを用いることにより、現実世界
の物体によってカメラの視界を遮られてマーカ画像が得
られなくなるオクルージョンの問題も解決でき、常に精
度良くマーカ位置情報が得られ、観察者の頭部姿勢を検
出する磁気センサの出力信号を精度良く補正することが
できる。
【００４９】（第３の実施形態）図８は、本発明の第３
の実施形態に係るＨＭＤシステムの構成を示すブロック
図である。図６に示した第２の実施形態とは、カメラ
２、３、４で撮影された外界画像から現実空間の奥行き
情報を求める奥行き情報検出部２６を設け、奥行き情報
を元に、システムコントローラ２１が画像生成部２２で
生成する三次元仮想画像の位置を決定する構成を付加し
た点で異なる以外は共通の構成を有する。
の実施形態に係るＨＭＤシステムの構成を示すブロック
図である。図６に示した第２の実施形態とは、カメラ
２、３、４で撮影された外界画像から現実空間の奥行き
情報を求める奥行き情報検出部２６を設け、奥行き情報
を元に、システムコントローラ２１が画像生成部２２で
生成する三次元仮想画像の位置を決定する構成を付加し
た点で異なる以外は共通の構成を有する。
【００５０】光学シースルーＨＭＤを用いて仮想現実空
間を提示する場合、現実世界と仮想世界を３次元的に整
合のとれた形で融合するために、現実の物体と仮想物体
の前後関係を正しく認識してその前後関係に矛盾しない
形で仮想物体を描画することが重要である。
間を提示する場合、現実世界と仮想世界を３次元的に整
合のとれた形で融合するために、現実の物体と仮想物体
の前後関係を正しく認識してその前後関係に矛盾しない
形で仮想物体を描画することが重要である。
【００５１】そのため、奥行き情報検出部２６によっ
て、外界画像から現実空間の奥行き情報を検出する。本
実施形態において、奥行き情報検出部２６は、ＨＭＤに
設けた３台のカメラ２、３、４のうち、任意のカメラ対
で撮影したステレオ画像から奥行き情報を検出する（奥
行き画像を生成する）。
て、外界画像から現実空間の奥行き情報を検出する。本
実施形態において、奥行き情報検出部２６は、ＨＭＤに
設けた３台のカメラ２、３、４のうち、任意のカメラ対
で撮影したステレオ画像から奥行き情報を検出する（奥
行き画像を生成する）。
【００５２】例えば、入力された夫々のカメラ２〜４で
撮影された外界画像信号（I２、I３、I４とする）のう
ち、画像信号I２、I３を入力として、カメラ２の視点位
置（視点位置V２とする）における奥行き画像DV２を推
定する。同様に、画像信号I３、I４を入力として、カメ
ラ３の視点位置（視点位置V３）における奥行き画像DV
３を推定し、画像信号I４、I２を入力として、カメラ４
の視点位置（視点位置V ４）における奥行き画像DV４を
推定する。この際、第２の実施形態において説明したよ
うに、位置・姿勢センサ８と画像中のマーカ位置を用い
ることで、カメラ２、３、４の視点位置Vｎ（ｎ＝２、
３、４）はズレ補正が行われている。
撮影された外界画像信号（I２、I３、I４とする）のう
ち、画像信号I２、I３を入力として、カメラ２の視点位
置（視点位置V２とする）における奥行き画像DV２を推
定する。同様に、画像信号I３、I４を入力として、カメ
ラ３の視点位置（視点位置V３）における奥行き画像DV
３を推定し、画像信号I４、I２を入力として、カメラ４
の視点位置（視点位置V ４）における奥行き画像DV４を
推定する。この際、第２の実施形態において説明したよ
うに、位置・姿勢センサ８と画像中のマーカ位置を用い
ることで、カメラ２、３、４の視点位置Vｎ（ｎ＝２、
３、４）はズレ補正が行われている。
【００５３】次に、カメラ２、３、４の位置と実際の観
察者の視点位置（眼球位置）には位置的なずれ（オフセ
ット）が有るために、それぞれの奥行き画像DV２、
DV３、DV ４を補正し、観察者の左右の眼から見た実空間
の奥行き画像DVＲ、DVＬをそれぞれ推定する。この実空
間の奥行き情報を元に、システムコントローラ２１にお
いて仮想物体との衝突判定や隠れ判定などを行い、画像
生成部２２に判定結果を供給する。画像生成部２２は、
補正処理部２４から供給される観察者の視点位置、姿勢
情報と、システムコントローラ２１から供給される判定
情報から、観察者の装着したＨＭＤに表示させるべき仮
想空間画像を生成する。
察者の視点位置（眼球位置）には位置的なずれ（オフセ
ット）が有るために、それぞれの奥行き画像DV２、
DV３、DV ４を補正し、観察者の左右の眼から見た実空間
の奥行き画像DVＲ、DVＬをそれぞれ推定する。この実空
間の奥行き情報を元に、システムコントローラ２１にお
いて仮想物体との衝突判定や隠れ判定などを行い、画像
生成部２２に判定結果を供給する。画像生成部２２は、
補正処理部２４から供給される観察者の視点位置、姿勢
情報と、システムコントローラ２１から供給される判定
情報から、観察者の装着したＨＭＤに表示させるべき仮
想空間画像を生成する。
【００５４】本実施形態においては、ＨＭＤに設けたカ
メラ２、３、４からの外界画像を全て用いて奥行き情報
を検出する場合を説明したが、観察者の眼球位置に近い
カメラ３、４を用いてそのステレオ画像から奥行き画像
を推定することも可能であり、この時にはカメラ２から
の外界画像は補助的に用い、たとえばオクルージョンな
どが生じている際の補正などに利用することができる。
メラ２、３、４からの外界画像を全て用いて奥行き情報
を検出する場合を説明したが、観察者の眼球位置に近い
カメラ３、４を用いてそのステレオ画像から奥行き画像
を推定することも可能であり、この時にはカメラ２から
の外界画像は補助的に用い、たとえばオクルージョンな
どが生じている際の補正などに利用することができる。
【００５５】本実施形態によれば、観察者の視点位置か
ら見た奥行き画像を得ることが可能となり、仮想物体と
現実空間の物体との前後関係を正しく認識してその前後
関係に矛盾しない形で仮想物体を描画することが可能と
なる。
ら見た奥行き画像を得ることが可能となり、仮想物体と
現実空間の物体との前後関係を正しく認識してその前後
関係に矛盾しない形で仮想物体を描画することが可能と
なる。
【００５６】（第３の実施形態の変形例１）第３の実施
形態では、カメラ２、３、４の位置と実際の観察者の眼
球位置にはオフセットが有るために、それぞれのカメラ
位置における奥行き画像DV２、DV３、DV４を補正する必
要があったが、２台のカメラで撮像したステレオ画像か
ら奥行き画像を推定する場合には、ＨＭＤの光学系を変
形することで、このオフセット補正処理を不要にするこ
とができる。
形態では、カメラ２、３、４の位置と実際の観察者の眼
球位置にはオフセットが有るために、それぞれのカメラ
位置における奥行き画像DV２、DV３、DV４を補正する必
要があったが、２台のカメラで撮像したステレオ画像か
ら奥行き画像を推定する場合には、ＨＭＤの光学系を変
形することで、このオフセット補正処理を不要にするこ
とができる。
【００５７】図９、１０に、オフセット補正処理が不要
の光学シースルーＨＭＤの光学系の概略図を示す。図９
は前述した図３のＨＭＤ光学系を元に変形を行なった構
成を示すものであり、ＬＣＤ１１の画像を光学系（ここ
では１枚のレンズで図示している）１２を用いて拡大表
示し観察者へ虚像を表示する。このとき、反射鏡１３を
ハーフミラーとすることにより、観察者はハーフミラー
１３を透過して視認できる外界と、ハーフミラー１３に
反射したＬＣＤ１１の仮想空間画像表示を同時に観察す
ることになり、仮想現実空間観察用のいわゆる光学シー
スルーＨＭＤを形成する事ができる。
の光学シースルーＨＭＤの光学系の概略図を示す。図９
は前述した図３のＨＭＤ光学系を元に変形を行なった構
成を示すものであり、ＬＣＤ１１の画像を光学系（ここ
では１枚のレンズで図示している）１２を用いて拡大表
示し観察者へ虚像を表示する。このとき、反射鏡１３を
ハーフミラーとすることにより、観察者はハーフミラー
１３を透過して視認できる外界と、ハーフミラー１３に
反射したＬＣＤ１１の仮想空間画像表示を同時に観察す
ることになり、仮想現実空間観察用のいわゆる光学シー
スルーＨＭＤを形成する事ができる。
【００５８】一方、ハーフミラー１３を挟んでＬＣＤ１
１に対向して、外界撮影用のカメラ２７（図９において
は光学系１６（簡略化のため１枚のレンズで代表して表
す）及びＣＣＤ等の撮像素子１７のみを示す）が設けら
れている。ここで、撮像光学系２７の入射瞳１６Ｐは観
察者の眼球の瞳Ｐと光学的に等価な位置になるように構
成されている。これにより、外界画像のカメラ２７の瞳
位置と観察者の瞳位置が一致しているので、カメラ２７
の位置で推定した奥行き画像のオフセット補正処理は不
要となる。
１に対向して、外界撮影用のカメラ２７（図９において
は光学系１６（簡略化のため１枚のレンズで代表して表
す）及びＣＣＤ等の撮像素子１７のみを示す）が設けら
れている。ここで、撮像光学系２７の入射瞳１６Ｐは観
察者の眼球の瞳Ｐと光学的に等価な位置になるように構
成されている。これにより、外界画像のカメラ２７の瞳
位置と観察者の瞳位置が一致しているので、カメラ２７
の位置で推定した奥行き画像のオフセット補正処理は不
要となる。
【００５９】また、図９の構成において、カメラ２７に
外界だけでなく、対向するＬＣＤ１１からの画像が写り
込むことを防止するために、撮像素子１７とハーフミラ
ー１３の間にＬＣＤ１１の画像光の偏光軸と直交する偏
光軸を有する偏光板（不図示）を設けて、写り込みを防
止することができる。ＬＣＤ１１の表示画像写り込みを
防止する方法としては、例えば光路分離手段としてハー
フミラー１３の替わりに偏光ビームスプリッターを用い
る方法など、偏光板を用いる以外にも種々の方法を用い
ることが可能であり、任意に採用できる。
外界だけでなく、対向するＬＣＤ１１からの画像が写り
込むことを防止するために、撮像素子１７とハーフミラ
ー１３の間にＬＣＤ１１の画像光の偏光軸と直交する偏
光軸を有する偏光板（不図示）を設けて、写り込みを防
止することができる。ＬＣＤ１１の表示画像写り込みを
防止する方法としては、例えば光路分離手段としてハー
フミラー１３の替わりに偏光ビームスプリッターを用い
る方法など、偏光板を用いる以外にも種々の方法を用い
ることが可能であり、任意に採用できる。
【００６０】（第３の実施形態の変形例２）図１０は前
述した図５のＨＭＤ光学系をベースとするものであり、
自由曲面プリズム１４と呼ばれる非回転対称非球面の光
学面（自由曲面）をプリズムの3面に適用しレンズ作用
を持たせた光学系をベースとする。ＬＣＤ１１からの画
像光は、レンズ作用を有する自由曲面プリズム１４へ入
射し、ハーフミラーが形成された光路分離手段である面
１４ａで反射して観察者へ虚像を表示する。この自由曲
面プリズム１４にはその光学パワーをキャンセルするよ
うな補正用自由曲面プリズム１８が接合されており、外
界の画像はこの接合されたプリズム１４、１８を介して
観察できる。
述した図５のＨＭＤ光学系をベースとするものであり、
自由曲面プリズム１４と呼ばれる非回転対称非球面の光
学面（自由曲面）をプリズムの3面に適用しレンズ作用
を持たせた光学系をベースとする。ＬＣＤ１１からの画
像光は、レンズ作用を有する自由曲面プリズム１４へ入
射し、ハーフミラーが形成された光路分離手段である面
１４ａで反射して観察者へ虚像を表示する。この自由曲
面プリズム１４にはその光学パワーをキャンセルするよ
うな補正用自由曲面プリズム１８が接合されており、外
界の画像はこの接合されたプリズム１４、１８を介して
観察できる。
【００６１】一方、面１４ａで反射された外界画像が観
察されるプリズム１８の下方には、外界映像撮影用のカ
メラ２８（図９と同様にレンズ１９で示される光学系
と、撮像素子２０で代表して示す）が設けられている。
本構成においては補正用自由曲面プリズム１８も外界画
像撮影用の光学系（撮像光学系）の一部を形成する。ま
た、図９に示した構成と同様、撮像光学系２８の入射瞳
１９Ｐは観察者の眼球の瞳Ｐと光学的に等価な位置にな
るように構成されている。これにより、撮像光学系２８
での奥行き画像はオフセットの補正処理を行う必要がな
くなる。
察されるプリズム１８の下方には、外界映像撮影用のカ
メラ２８（図９と同様にレンズ１９で示される光学系
と、撮像素子２０で代表して示す）が設けられている。
本構成においては補正用自由曲面プリズム１８も外界画
像撮影用の光学系（撮像光学系）の一部を形成する。ま
た、図９に示した構成と同様、撮像光学系２８の入射瞳
１９Ｐは観察者の眼球の瞳Ｐと光学的に等価な位置にな
るように構成されている。これにより、撮像光学系２８
での奥行き画像はオフセットの補正処理を行う必要がな
くなる。
【００６２】本構成においても、ＬＣＤ１１からの画像
光がＣＣＤ等の撮像素子２０へ入射することを防止する
為に、撮像素子２０とプリズム１８との間にＬＣＤ１１
の画像光の偏光軸と直交する偏光軸を有する偏光板（不
図示）を設けることができる。
光がＣＣＤ等の撮像素子２０へ入射することを防止する
為に、撮像素子２０とプリズム１８との間にＬＣＤ１１
の画像光の偏光軸と直交する偏光軸を有する偏光板（不
図示）を設けることができる。
【００６３】（第４の実施形態）第２および第３の実施
形態で説明したＨＭＤシステムは、光学シースルーＨＭ
Ｄを用いて、現実世界と仮想世界を３次元的に整合のと
れた形で融合することを実現したシステムであった。
形態で説明したＨＭＤシステムは、光学シースルーＨＭ
Ｄを用いて、現実世界と仮想世界を３次元的に整合のと
れた形で融合することを実現したシステムであった。
【００６４】本実施形態に係るＨＭＤシステムは、ＨＭ
Ｄとして、ビデオシースルーＨＭＤを用いたことを特徴
とする。すなわち、外界画像をＨＭＤの筐体に固定され
た、あるいはＨＭＤの光学系の一部を利用するカメラ等
の撮像光学系により外界の画像を撮影し、ＣＧで生成し
た仮想空間画像と合成したのち、観察者の装着するＨＭ
Ｄに表示を行なう。
Ｄとして、ビデオシースルーＨＭＤを用いたことを特徴
とする。すなわち、外界画像をＨＭＤの筐体に固定され
た、あるいはＨＭＤの光学系の一部を利用するカメラ等
の撮像光学系により外界の画像を撮影し、ＣＧで生成し
た仮想空間画像と合成したのち、観察者の装着するＨＭ
Ｄに表示を行なう。
【００６５】図１１は、本実施形態に係るＨＭＤシステ
ムの構成を示すブロック図である。図１１において、図
８乃至図１０と同じ構成要素には同じ参照数字を付し、
重複する説明は省略する。また、本実施形態におけるＨ
ＭＤは、図９に示した構成のカメラ（撮影光学系）２台
（２７Ｒ、２７Ｌ）と、頭頂部に設けた１台のカメラ２
の計３台を有する。
ムの構成を示すブロック図である。図１１において、図
８乃至図１０と同じ構成要素には同じ参照数字を付し、
重複する説明は省略する。また、本実施形態におけるＨ
ＭＤは、図９に示した構成のカメラ（撮影光学系）２台
（２７Ｒ、２７Ｌ）と、頭頂部に設けた１台のカメラ２
の計３台を有する。
【００６６】本実施形態においてもカメラ２、２７Ｒ、
２７Ｌで撮影した外界画像は、マーカ位置検出部２５に
おけるマーカ検出と、奥行き情報検出部２６における奥
行き画像生成の両方に用いられる。
２７Ｌで撮影した外界画像は、マーカ位置検出部２５に
おけるマーカ検出と、奥行き情報検出部２６における奥
行き画像生成の両方に用いられる。
【００６７】本実施形態において、（カメラ２を除く）
ＨＭＤの光学系は、図９に示す構成と上下関係が逆であ
ること以外は同一の構成を有する。ただし、撮像光学系
と表示光学系とを光路分離手段を介して一体に形成する
際に、表示光学系の観察者の眼球に入射する光束の眼球
光軸またはこの眼球光軸を延長した仮想眼球光軸（視
軸）と、該撮像光学系の外界から入射してくる光束の外
界光軸（撮像軸）とを略一致させている。
ＨＭＤの光学系は、図９に示す構成と上下関係が逆であ
ること以外は同一の構成を有する。ただし、撮像光学系
と表示光学系とを光路分離手段を介して一体に形成する
際に、表示光学系の観察者の眼球に入射する光束の眼球
光軸またはこの眼球光軸を延長した仮想眼球光軸（視
軸）と、該撮像光学系の外界から入射してくる光束の外
界光軸（撮像軸）とを略一致させている。
【００６８】また、上述の図９の説明においては、光学
シースルーＨＭＤを形成するために光路分離手段として
反射鏡１３にハーフミラーを用いたが、本実施形態では
ビデオシースルーＨＭＤを構成するため、反射鏡１３に
は両面の全反射鏡を用いている。したがって、ＬＣＤ１
１の表示画像の写り込み防止用の偏光板等も不要であ
る。
シースルーＨＭＤを形成するために光路分離手段として
反射鏡１３にハーフミラーを用いたが、本実施形態では
ビデオシースルーＨＭＤを構成するため、反射鏡１３に
は両面の全反射鏡を用いている。したがって、ＬＣＤ１
１の表示画像の写り込み防止用の偏光板等も不要であ
る。
【００６９】さらに、撮像光学系２７の入射瞳１６Ｐは
観察者の眼球の瞳Ｐと光学的に等価な位置になるように
構成されており、撮像光学系２７Ｒ、２７Ｌで撮像され
た２枚の外界画像は、ＨＭＤを装着していない状態で観
察者の左目及び右目によって視認される実世界（このＨ
ＭＤを使用する現実空間）と全く同一である。
観察者の眼球の瞳Ｐと光学的に等価な位置になるように
構成されており、撮像光学系２７Ｒ、２７Ｌで撮像され
た２枚の外界画像は、ＨＭＤを装着していない状態で観
察者の左目及び右目によって視認される実世界（このＨ
ＭＤを使用する現実空間）と全く同一である。
【００７０】従って、この２枚の外界画像はそれぞれ、
補正を行うことなく直接画像合成回路２９Ｒ、２９Ｌに
入力される。また、同時に、マーカ位置検出部２５及び
奥行き情報検出部２６にも入力され、前述したとおり、
画像中のマーカ位置を用いた位置・姿勢センサ８の信号
補正及び、観察者の視点位置における奥行き情報検出に
用いられる。
補正を行うことなく直接画像合成回路２９Ｒ、２９Ｌに
入力される。また、同時に、マーカ位置検出部２５及び
奥行き情報検出部２６にも入力され、前述したとおり、
画像中のマーカ位置を用いた位置・姿勢センサ８の信号
補正及び、観察者の視点位置における奥行き情報検出に
用いられる。
【００７１】第３の実施形態に係るシステムと同様、シ
ステムコントローラ２１は、奥行き情報検出部２６から
供給される奥行き画像を用いて、仮想物体との衝突判定
や隠れ判定などを行い、判定結果を画像生成手段２２に
供給する。画像生成手段２２は、補正処理部２４で補正
された観察者の位置・姿勢情報と、システムコントロー
ラ２１から供給される判定結果を基に、表示すべき仮想
空間画像を描画し、それぞれの視差画像（ＣＧ画像）を
画像合成回路２９Ｒ、２９Ｌに入力する。従って、画像
合成回路２９Ｒ、２９Ｌにおいて画像合成することで、
現実世界と仮想世界を３次元的に整合のとれた形で融合
することができる。
ステムコントローラ２１は、奥行き情報検出部２６から
供給される奥行き画像を用いて、仮想物体との衝突判定
や隠れ判定などを行い、判定結果を画像生成手段２２に
供給する。画像生成手段２２は、補正処理部２４で補正
された観察者の位置・姿勢情報と、システムコントロー
ラ２１から供給される判定結果を基に、表示すべき仮想
空間画像を描画し、それぞれの視差画像（ＣＧ画像）を
画像合成回路２９Ｒ、２９Ｌに入力する。従って、画像
合成回路２９Ｒ、２９Ｌにおいて画像合成することで、
現実世界と仮想世界を３次元的に整合のとれた形で融合
することができる。
【００７２】本実施形態では、撮像光学系２７Ｒ、２７
Ｌで撮像された２枚の外界画像は補正を行う必要が無い
ため、ほぼ実時間で画像合成処理でき、現実空間と仮想
空間を時間ズレなく整合のとれた形で融合した複合現実
空間を観察者に提示することができる。
Ｌで撮像された２枚の外界画像は補正を行う必要が無い
ため、ほぼ実時間で画像合成処理でき、現実空間と仮想
空間を時間ズレなく整合のとれた形で融合した複合現実
空間を観察者に提示することができる。
【００７３】さらに、光学シースルー方式のＨＭＤで
は、観察者は外界像（現実空間）をビデオカメラやＬＣ
Ｄを介さずに自分の眼球で直接視認し、ＣＧ画像（仮想
世界）をＬＣＤなどの表示デバイスに表示された画像と
して観察することから、その画質の差が非常に大きかっ
たのに対し、本実施形態では現実空間画像と仮想空間画
像を合成した状態で、ＬＣＤなどの表示デバイスを介し
て観察することになり、その画質の差が小さい。
は、観察者は外界像（現実空間）をビデオカメラやＬＣ
Ｄを介さずに自分の眼球で直接視認し、ＣＧ画像（仮想
世界）をＬＣＤなどの表示デバイスに表示された画像と
して観察することから、その画質の差が非常に大きかっ
たのに対し、本実施形態では現実空間画像と仮想空間画
像を合成した状態で、ＬＣＤなどの表示デバイスを介し
て観察することになり、その画質の差が小さい。
【００７４】（第４の実施形態の変形例）第４の実施形
態に係るシステムでは、観察者の視点位置とビデオカメ
ラの撮影位置とのオフセット補正処理を省略するため、
観察者の眼球位置と光学的に等価な位置での撮影が可能
な撮像光学系を用いた例を説明したが、第１〜第３の実
施形態において説明したような光学系を有するＨＭＤを
用い、眼球位置とカメラ位置とのオフセットを補正する
様に構成することもできる。すなわち、この様な光学系
では、視軸と撮像軸とのズレ量はあらかじめ分かってい
るので、そのズレ量に応じて液晶に表示する画像にオフ
セットをつけておけば良い。
態に係るシステムでは、観察者の視点位置とビデオカメ
ラの撮影位置とのオフセット補正処理を省略するため、
観察者の眼球位置と光学的に等価な位置での撮影が可能
な撮像光学系を用いた例を説明したが、第１〜第３の実
施形態において説明したような光学系を有するＨＭＤを
用い、眼球位置とカメラ位置とのオフセットを補正する
様に構成することもできる。すなわち、この様な光学系
では、視軸と撮像軸とのズレ量はあらかじめ分かってい
るので、そのズレ量に応じて液晶に表示する画像にオフ
セットをつけておけば良い。
【００７５】
【他の実施形態】第２〜第４の実施形態において、位置
・姿勢センサ８の補正に用いるマーカは、すべて通常の
ビデオカメラで撮影可能なマーカ、すなわち可視のマー
カを用いる場合について説明したが、本発明ではこれに
限定されるものではない。たとえば、マーカとして赤外
ＬＥＤなどの発光素子を現実空間（本発明のＨＭＤの使
用環境）に適宜配置し、カメラ２、３、４あるいはカメ
ラ２、２７Ｌ、２７Ｒを赤外画像撮像光学系にすること
によっても同等の補正が可能である。
・姿勢センサ８の補正に用いるマーカは、すべて通常の
ビデオカメラで撮影可能なマーカ、すなわち可視のマー
カを用いる場合について説明したが、本発明ではこれに
限定されるものではない。たとえば、マーカとして赤外
ＬＥＤなどの発光素子を現実空間（本発明のＨＭＤの使
用環境）に適宜配置し、カメラ２、３、４あるいはカメ
ラ２、２７Ｌ、２７Ｒを赤外画像撮像光学系にすること
によっても同等の補正が可能である。
【００７６】ただし、現実空間を画像として表示する必
要のあるビデオシースルーＨＭＤを用いる第４の実施形
態に係るシステムにおいては、現実空間を撮影するカメ
ラ２７Ｒ、２７Ｌは通常の可視画像撮像光学系とし、頭
頂部に設けたカメラ２のみを赤外画像撮像光学系とする
ことが望ましい。
要のあるビデオシースルーＨＭＤを用いる第４の実施形
態に係るシステムにおいては、現実空間を撮影するカメ
ラ２７Ｒ、２７Ｌは通常の可視画像撮像光学系とし、頭
頂部に設けたカメラ２のみを赤外画像撮像光学系とする
ことが望ましい。
【００７７】この様に構成することにより、２７Ｌ、２
７Ｒでは外界画像を撮像し、その中から可視画像のマー
カ画像を抽出してマーカ位置検出を行い、位置ズレ補正
に使用するとともに、ＨＭＤの表示素子１１Ｌ、１１Ｒ
への画像信号としても入力することができ、非常にシン
プルな構成で現実空間画像と仮想空間画像を高精度に３
次元的に整合のとれた形で融合して観察者に提示するこ
とが可能となる。
７Ｒでは外界画像を撮像し、その中から可視画像のマー
カ画像を抽出してマーカ位置検出を行い、位置ズレ補正
に使用するとともに、ＨＭＤの表示素子１１Ｌ、１１Ｒ
への画像信号としても入力することができ、非常にシン
プルな構成で現実空間画像と仮想空間画像を高精度に３
次元的に整合のとれた形で融合して観察者に提示するこ
とが可能となる。
【００７８】また、赤外画像のマーカとしては種々の形
態が利用できるが、再帰反射性の材料を適宜配置して用
いることも可能である。この場合には、ＨＭＤの本体、
望ましくは赤外画像撮像光学系の近傍に赤外光を投光す
る手段を設けてやれば良い。
態が利用できるが、再帰反射性の材料を適宜配置して用
いることも可能である。この場合には、ＨＭＤの本体、
望ましくは赤外画像撮像光学系の近傍に赤外光を投光す
る手段を設けてやれば良い。
【００７９】
【発明の効果】以上説明したように、本発明によれば、
観察者が頭部に装着するＨＭＤにおいて、観察者の視点
近傍もしくは光学的に視点位置と撮影位置が実質的に等
価な位置に少なくとも２台のカメラを設けるとともに、
これら２台のカメラで撮影されるべき画像を推定するた
めに必要な画像を取得可能な位置に少なくとも１台のカ
メラを設けることにより、跳ね上げ機構を採用した場合
であっても、ＨＭＤの表示光学系を正しい（キャリブレ
ーションを行った）位置に容易に復帰することが可能な
ＨＭＤを実現できる。
観察者が頭部に装着するＨＭＤにおいて、観察者の視点
近傍もしくは光学的に視点位置と撮影位置が実質的に等
価な位置に少なくとも２台のカメラを設けるとともに、
これら２台のカメラで撮影されるべき画像を推定するた
めに必要な画像を取得可能な位置に少なくとも１台のカ
メラを設けることにより、跳ね上げ機構を採用した場合
であっても、ＨＭＤの表示光学系を正しい（キャリブレ
ーションを行った）位置に容易に復帰することが可能な
ＨＭＤを実現できる。
【図１】本発明の第１の実施形態に係るＨＭＤの略外観
図である。
図である。
【図２】図１に示したＨＭＤの「跳ね上げ機構」を説明
する図である。
する図である。
【図３】本発明によるＨＭＤに採用可能な光学系の概略
構成を示す側面図である。
構成を示す側面図である。
【図４】本発明によるＨＭＤに採用可能な別の光学系の
概略構成を示す側面図である。
概略構成を示す側面図である。
【図５】本発明によるＨＭＤに採用可能なさらに別の光
学系の概略構成を示す側面図である。
学系の概略構成を示す側面図である。
【図６】本発明の第２の実施形態に係るＨＭＤシステム
の構成例を示す図である。
の構成例を示す図である。
【図７】画像データ中のマーカ画像を用いたセンサ出力
の補正方法を説明する図である。
の補正方法を説明する図である。
【図８】本発明の第３の実施形態に係るＨＭＤシステム
の構成例を示す図である。
の構成例を示す図である。
【図９】本発明によるＨＭＤに採用可能なさらに別の光
学系の概略構成を示す側面図である。
学系の概略構成を示す側面図である。
【図１０】本発明によるＨＭＤに採用可能なさらに別の
光学系の概略構成を示す側面図である。
光学系の概略構成を示す側面図である。
【図１１】本発明の第４の実施形態に係るＨＭＤシステ
ムの構成例を示す図である。
ムの構成例を示す図である。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１３年２月８日（２００１．２．８）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項４
【補正方法】変更
【補正内容】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】請求項７
【補正方法】変更
【補正内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】請求項１４
【補正方法】変更
【補正内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】請求項１５
【補正方法】変更
【補正内容】
Claims (17)
- 【請求項１】 画像を観察者に提示する表示光学系と、
この表示光学系を前記観察者の頭部に装着する装着機構
とを有する頭部装着型表示装置であって、 前記観察者が頭部装着型表示装置の非装着時に視認可能
な外界の映像を撮影する３つ以上の撮像手段を有するこ
とを特徴とする頭部装着型表示装置。 - 【請求項２】 前記撮像手段のうち、少なくとも２つ
が、観察者の視点位置において観察される外界の画像を
生成可能な外界画像を撮影可能な位置に配置されること
を特徴とする請求項１記載の頭部装着型表示装置。 - 【請求項３】 前記表示光学系が、前記観察者が前記画
像を観察する第１の位置と、実質的に前記観察者が裸眼
で外界を視認可能な第２の位置とを取り得るように前記
装着機構に対して移動可能に取り付けられるとともに、 前記少なくとも２つの撮像手段が、前記表示光学系の移
動に伴って前記表示光学系との相対位置を維持しながら
移動するように配置され、他の撮像手段の少なくとも１
つが前記表示光学系の移動によって位置が変わらないよ
うに配置されることを特徴とする請求項２記載の頭部装
着型表示装置。 - 【請求項４】 前記他の撮像手段の少なくとも１つが、
前記観察者の頭頂部近傍に設けられることを特徴とする
請求項２又は請求項３に記載の頭部装着型表示装置。 - 【請求項５】 前記少なくとも２つの撮像手段が、前記
表示光学系と独立した撮像光学系を有することを特徴と
する請求項２乃至請求項４のいずれか１項に記載の頭部
装着型表示装置。 - 【請求項６】 前記少なくとも２つの撮像手段が、前記
表示光学系と少なくとも一部を共有した撮像光学系を有
することを特徴とする請求項２乃至請求項４のいずれか
１項に記載の頭部装着型表示装置。 - 【請求項７】 前記少なくとも２つの撮像手段が、その
撮像位置が、前記第１の位置において前記観察者の右目
及び左目の視点位置と光学的に実質的に等価な位置にな
るようにそれぞれ配置されることを特徴とする請求項６
記載の頭部装着型表示装置。 - 【請求項８】 前記表示光学系が前記観察者が前記表示
光学系を介して外界を観察可能な材料から構成されると
ともに、前記観察者が前記表示光学系を介して観察する
外界と、前記画像とを同時に前記観察者に提示する合成
手段を有することを特徴とする請求項１乃至請求項７の
いずれか１項に記載の頭部装着型表示装置。 - 【請求項９】 前記合成手段がハーフミラーであること
を特徴とする請求項８記載の頭部装着型表示装置。 - 【請求項１０】 画像を観察者に提示する表示光学系
と、この表示光学系を前記観察者の頭部に装着する装着
機構とを有する頭部装着型表示装置と、前記画像を生成
する画像生成手段を有する制御手段とを有する頭部装着
型表示システムであって、 前記頭部装着型表示装置が、 前記観察者の視点位置において観察される外界の画像を
生成可能な外界画像を撮影可能な位置に配置される少な
くとも２つの撮像手段を含む３つ以上の撮像手段を有
し、 前記表示光学系が前記観察者が前記表示光学系を介して
外界を観察可能な材料から構成され、前記観察者が前記
画像を観察する第１の位置と、実質的に前記観察者が裸
眼で外界を視認可能な第２の位置とを取り得るように前
記装着機構に対して移動可能に取り付けられるととも
に、前記観察者が前記表示光学系を介して観察する外界
と、前記画像とを同時に前記観察者に提示する合成手段
を有し、 前記少なくとも２つの撮像手段が、前記表示光学系の移
動に伴って前記表示光学系との相対位置を維持しながら
移動するように配置され、他の撮像手段の少なくとも１
つが前記表示光学系の移動によって位置が変わらないよ
うに配置される頭部装着型表示装置であることを特徴と
する頭部装着型表示システム。 - 【請求項１１】 前記画像生成手段が、 前記表示光学系が前記第１の位置からずれた場合に、前
記他の撮像手段で撮影した外界画像から、前記表示光学
系が前記第１の位置にある場合に前記表示光学系を介し
て視認されるべき外界画像を生成することを特徴とする
請求項１０記載の頭部装着型表示システム。 - 【請求項１２】 画像を観察者に提示する表示光学系
と、この表示光学系を前記観察者の頭部に装着する装着
機構とを有する頭部装着型表示装置と、前記画像を生成
する画像生成手段を有する制御手段とを有する頭部装着
型表示システムであって、 前記頭部装着型表示装置が、 前記観察者の視点位置において観察される外界の画像を
生成可能な外界画像を撮影可能な位置に配置される少な
くとも２つの撮像手段を含む３つ以上の撮像手段を有
し、 前記表示光学系が前記観察者が前記画像を観察する第１
の位置と、実質的に前記観察者が裸眼で外界を視認可能
な第２の位置とを取り得るように前記装着機構に対して
移動可能に取り付けられ、 前記少なくとも２つの撮像手段が、前記表示光学系の移
動に伴って前記表示光学系との相対位置を維持しながら
移動するように配置され、他の撮像手段の少なくとも１
つが前記表示光学系の移動によって位置が変わらないよ
うに配置される頭部装着型表示装置であることを特徴と
する頭部装着型表示システム。 - 【請求項１３】 前記頭部装着型表示装置が、さらに、
前記観察者の頭部位置及び／又は姿勢を検出するセンサ
手段を有し、 前記制御手段が、 ３つ以上の前記撮像手段が撮影した外界画像のうち、少
なくとも３枚の外界画像から、予め外界に配置された、
絶対位置が既知の物体を検出し、画像中の前記物体の位
置とその物体の絶対位置とから前記センサ手段の出力す
る前記頭部位置及び／又は姿勢情報を補正するセンサ補
正手段を更に有し、 前記画像生成手段が、前記補正された頭部位置及び／又
は姿勢情報を用いて前記画像を生成することを特徴とす
る請求項１０乃至請求項１２のいずれか１項に記載の頭
部装着型表示システム。 - 【請求項１４】 前記制御手段が、３つ以上の前記撮像
手段が撮影した外界画像のうち、少なくとも３枚の外界
画像から、前記観察者の前方視界の奥行き情報を検出す
る奥行き情報検出手段を更に有し、 前記画像生成手段が、前記奥行き情報を用いて前記画像
を生成することを特徴とする請求項１３記載の頭部装着
型表示システム。 - 【請求項１５】 前記制御手段が、３つ以上の前記撮像
手段が撮影した外界画像のうち、少なくとも３枚の外界
画像から、前記観察者の前方視界の奥行き情報を検出す
る奥行き情報検出手段を更に有し、 前記画像生成手段が、前記奥行き情報及び／又は、前記
センサ補正手段により補正された頭部位置及び／又は姿
勢情報を用いて前記画像を生成することを特徴とする請
求項１０乃至請求項１３のいずれか１項に記載の頭部装
着型表示システム。 - 【請求項１６】 前記制御手段が、前記他の撮像手段の
少なくとも１つで撮影した外界画像を基準画像として、
前記少なくとも２つの撮像手段で撮影された２枚の外界
画像とを演算処理することにより、前記表示光学系の位
置を検出する表示光学系位置検出手段を更に有すること
を特徴とする請求項１０乃至請求項１５のいずれか１項
に記載の頭部装着型表示システム。 - 【請求項１７】 前記物体が不可視波長の光線を発生す
るとともに、少なくとも１前記撮像手段が前記不可視波
長の撮影可能な撮像手段であることを特徴とする請求項
１３乃至請求項１５のいずれか１項に記載の頭部装着型
表示システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000015850A JP2001211403A (ja) | 2000-01-25 | 2000-01-25 | 頭部装着型表示装置及び頭部装着型表示システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000015850A JP2001211403A (ja) | 2000-01-25 | 2000-01-25 | 頭部装着型表示装置及び頭部装着型表示システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001211403A true JP2001211403A (ja) | 2001-08-03 |
Family
ID=18543082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000015850A Pending JP2001211403A (ja) | 2000-01-25 | 2000-01-25 | 頭部装着型表示装置及び頭部装着型表示システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001211403A (ja) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006030613A1 (ja) * | 2004-09-15 | 2006-03-23 | Pioneer Corporation | 映像表示システムおよび映像表示方法 |
| JP2007107962A (ja) * | 2005-10-12 | 2007-04-26 | Yamamoto Denko Kk | 測定対象物計測システム、及び送電線下離隔計測システム |
| JP2007251415A (ja) * | 2006-03-14 | 2007-09-27 | Nikon Corp | 頭部装着型ディスプレイ |
| JP2007259252A (ja) * | 2006-03-24 | 2007-10-04 | Nikon Corp | 位置調整ガイダンス用データ、記録媒体および装着型ディスプレイ装置 |
| JP2007336166A (ja) * | 2006-06-14 | 2007-12-27 | Shimadzu Corp | 頭部装着型表示装置 |
| JP2010278979A (ja) * | 2009-06-01 | 2010-12-09 | Nhk Media Technology Inc | 立体映像調整装置、立体映像調整システム、及びプログラム |
| JP2012156760A (ja) * | 2011-01-26 | 2012-08-16 | Casio Comput Co Ltd | 頭部装着型撮像装置 |
| JP2012226355A (ja) * | 2012-06-06 | 2012-11-15 | Nikon Corp | 頭部装着型ディスプレイ |
| JP2015158802A (ja) * | 2014-02-24 | 2015-09-03 | 国立研究開発法人宇宙航空研究開発機構 | カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム |
| EP2937058A1 (de) * | 2014-04-24 | 2015-10-28 | Christof Ellerbrock | Kopfgetragene plattform zur integration von virtualität in die realität |
| JP2016116066A (ja) * | 2014-12-15 | 2016-06-23 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| WO2016170854A1 (ja) * | 2015-04-22 | 2016-10-27 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2016213663A (ja) * | 2015-05-08 | 2016-12-15 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
| WO2017051595A1 (ja) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2017094285A1 (ja) * | 2015-12-01 | 2017-06-08 | 株式会社ソニー・インタラクティブエンタテインメント | 距離計測デバイス |
| WO2017115587A1 (ja) * | 2015-12-28 | 2017-07-06 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| US10120194B2 (en) | 2016-01-22 | 2018-11-06 | Corning Incorporated | Wide field personal display |
| US10306217B2 (en) | 2015-04-17 | 2019-05-28 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
| US10764503B2 (en) | 2015-12-28 | 2020-09-01 | Nec Corporation | Information processing apparatus, control method, and program for outputting a guide for correcting a field of view of a camera |
| KR20200111370A (ko) * | 2019-03-19 | 2020-09-29 | 한국광기술원 | 증강현실 구현을 위한 빔 스플리터 및 이를 포함한 증강현실 광학계 |
| US10976551B2 (en) | 2017-08-30 | 2021-04-13 | Corning Incorporated | Wide field personal display device |
| US11030443B2 (en) | 2015-12-28 | 2021-06-08 | Nec Corporation | Information processing apparatus, control method, and program |
| CN113467731A (zh) * | 2020-03-30 | 2021-10-01 | 精工爱普生株式会社 | 显示系统、信息处理装置和显示系统的显示控制方法 |
| US11378804B2 (en) | 2019-05-30 | 2022-07-05 | Seiko Epson Corporation | Wearable display device |
| US11550145B2 (en) | 2019-01-16 | 2023-01-10 | Korea Photonics Technology Institute | Optical system for implementing augmented reality and device including the same |
| WO2023095717A1 (ja) * | 2021-11-25 | 2023-06-01 | ソニーグループ株式会社 | 表示装置、表示方法及び表示プログラム |
-
2000
- 2000-01-25 JP JP2000015850A patent/JP2001211403A/ja active Pending
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006030613A1 (ja) * | 2004-09-15 | 2006-03-23 | Pioneer Corporation | 映像表示システムおよび映像表示方法 |
| US7907200B2 (en) | 2004-09-15 | 2011-03-15 | Pioneer Corporation | Seamless image viewing system and method |
| JP2007107962A (ja) * | 2005-10-12 | 2007-04-26 | Yamamoto Denko Kk | 測定対象物計測システム、及び送電線下離隔計測システム |
| JP2007251415A (ja) * | 2006-03-14 | 2007-09-27 | Nikon Corp | 頭部装着型ディスプレイ |
| JP4572848B2 (ja) * | 2006-03-14 | 2010-11-04 | 株式会社ニコン | 頭部装着型ディスプレイ |
| JP2007259252A (ja) * | 2006-03-24 | 2007-10-04 | Nikon Corp | 位置調整ガイダンス用データ、記録媒体および装着型ディスプレイ装置 |
| JP4618177B2 (ja) * | 2006-03-24 | 2011-01-26 | 株式会社ニコン | 位置調整ガイダンス方法 |
| JP2007336166A (ja) * | 2006-06-14 | 2007-12-27 | Shimadzu Corp | 頭部装着型表示装置 |
| JP4622937B2 (ja) * | 2006-06-14 | 2011-02-02 | 株式会社島津製作所 | 頭部装着型表示装置 |
| JP2010278979A (ja) * | 2009-06-01 | 2010-12-09 | Nhk Media Technology Inc | 立体映像調整装置、立体映像調整システム、及びプログラム |
| JP2012156760A (ja) * | 2011-01-26 | 2012-08-16 | Casio Comput Co Ltd | 頭部装着型撮像装置 |
| JP2012226355A (ja) * | 2012-06-06 | 2012-11-15 | Nikon Corp | 頭部装着型ディスプレイ |
| JP2015158802A (ja) * | 2014-02-24 | 2015-09-03 | 国立研究開発法人宇宙航空研究開発機構 | カメラ映像の視点位置補正によって、視差に起因する誤認を防止する方法とそれを実施するシステム |
| EP2937058A1 (de) * | 2014-04-24 | 2015-10-28 | Christof Ellerbrock | Kopfgetragene plattform zur integration von virtualität in die realität |
| JP2016116066A (ja) * | 2014-12-15 | 2016-06-23 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
| US10306217B2 (en) | 2015-04-17 | 2019-05-28 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
| WO2016170854A1 (ja) * | 2015-04-22 | 2016-10-27 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JPWO2016170854A1 (ja) * | 2015-04-22 | 2018-02-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN107431778A (zh) * | 2015-04-22 | 2017-12-01 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
| JP2016213663A (ja) * | 2015-05-08 | 2016-12-15 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
| WO2017051595A1 (ja) * | 2015-09-25 | 2017-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| WO2017094285A1 (ja) * | 2015-12-01 | 2017-06-08 | 株式会社ソニー・インタラクティブエンタテインメント | 距離計測デバイス |
| US10724859B2 (en) | 2015-12-01 | 2020-07-28 | Sony Interactive Entertainment Inc. | Distance-measuring device |
| JPWO2017115587A1 (ja) * | 2015-12-28 | 2018-11-08 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| WO2017115587A1 (ja) * | 2015-12-28 | 2017-07-06 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| US10764503B2 (en) | 2015-12-28 | 2020-09-01 | Nec Corporation | Information processing apparatus, control method, and program for outputting a guide for correcting a field of view of a camera |
| US11030443B2 (en) | 2015-12-28 | 2021-06-08 | Nec Corporation | Information processing apparatus, control method, and program |
| US10950002B2 (en) | 2015-12-28 | 2021-03-16 | Nec Corporation | Information processing apparatus, control method, and program |
| US10120194B2 (en) | 2016-01-22 | 2018-11-06 | Corning Incorporated | Wide field personal display |
| US10649210B2 (en) | 2016-01-22 | 2020-05-12 | Corning Incorporated | Wide field personal display |
| US10976551B2 (en) | 2017-08-30 | 2021-04-13 | Corning Incorporated | Wide field personal display device |
| US11550145B2 (en) | 2019-01-16 | 2023-01-10 | Korea Photonics Technology Institute | Optical system for implementing augmented reality and device including the same |
| KR20200111370A (ko) * | 2019-03-19 | 2020-09-29 | 한국광기술원 | 증강현실 구현을 위한 빔 스플리터 및 이를 포함한 증강현실 광학계 |
| KR102321416B1 (ko) * | 2019-03-19 | 2021-11-03 | 한국광기술원 | 증강현실 구현을 위한 빔 스플리터 및 이를 포함한 증강현실 광학계 |
| US11378804B2 (en) | 2019-05-30 | 2022-07-05 | Seiko Epson Corporation | Wearable display device |
| CN113467731A (zh) * | 2020-03-30 | 2021-10-01 | 精工爱普生株式会社 | 显示系统、信息处理装置和显示系统的显示控制方法 |
| CN113467731B (zh) * | 2020-03-30 | 2023-06-02 | 精工爱普生株式会社 | 显示系统、信息处理装置和显示系统的显示控制方法 |
| WO2023095717A1 (ja) * | 2021-11-25 | 2023-06-01 | ソニーグループ株式会社 | 表示装置、表示方法及び表示プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001211403A (ja) | 頭部装着型表示装置及び頭部装着型表示システム | |
| JP2023081930A (ja) | アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 | |
| US7369101B2 (en) | Calibrating real and virtual views | |
| JP3929384B2 (ja) | ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法 | |
| US6389153B1 (en) | Distance information generator and display device using generated distance information | |
| US20180217380A1 (en) | Head-mounted display device and image display system | |
| US20110234475A1 (en) | Head-mounted display device | |
| CN111295702A (zh) | 虚像显示装置以及使用该装置的头戴式显示器 | |
| JPH10327433A (ja) | 合成画像の表示装置 | |
| JP2006308674A (ja) | 画像表示装置 | |
| TW201843494A (zh) | 具有視訊透視之顯示系統 | |
| EP4055437A1 (en) | System and method for displaying an object with depths | |
| JP2018203245A (ja) | 表示システム、電子ミラーシステム及び移動体 | |
| US11061237B2 (en) | Display apparatus | |
| JP2004205711A (ja) | 表示装置 | |
| US20240073392A1 (en) | Optical waveguide combiner systems and methods | |
| JP2010124191A (ja) | 映像表示装置 | |
| JP2017046233A (ja) | 表示装置及び情報処理装置及びその制御方法 | |
| JPH06235885A (ja) | 立体映像表示装置 | |
| JP2015007722A (ja) | 画像表示装置 | |
| JP3425402B2 (ja) | 立体画像を表示する装置および方法 | |
| JP2000310747A (ja) | 画像観察装置 | |
| JPH02291787A (ja) | 広視野表示装置 | |
| JP2017026893A (ja) | 画像表示装置 | |
| JP4235291B2 (ja) | 立体映像システム |