JP2000347128A - ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム - Google Patents
ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステムInfo
- Publication number
- JP2000347128A JP2000347128A JP2000085030A JP2000085030A JP2000347128A JP 2000347128 A JP2000347128 A JP 2000347128A JP 2000085030 A JP2000085030 A JP 2000085030A JP 2000085030 A JP2000085030 A JP 2000085030A JP 2000347128 A JP2000347128 A JP 2000347128A
- Authority
- JP
- Japan
- Prior art keywords
- head
- mounted display
- marker
- infrared light
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 簡単な構成で精度よく且つ確実にマーカを検
出することができるマーカ検出機構を備えたヘッドマウ
ントディスプレイ装置を提案する。 【解決手段】 各々が反射面を有する複数のマーカ４０
０を検出するヘッドマウントディスプレイ装置であっ
て、ヘッドマウントディスプレイユニット３００と、所
定の照明方向を有する赤外光照明装置２１０と、所定の
撮影方向を有する赤外光カメラ２２０と、赤外光カメラ
２２０によつて撮影された赤外光画像からマーカ位置を
検出するマーカ検出モジュール５１０とを有するヘッド
マウントディスプレイ装置。
出することができるマーカ検出機構を備えたヘッドマウ
ントディスプレイ装置を提案する。 【解決手段】 各々が反射面を有する複数のマーカ４０
０を検出するヘッドマウントディスプレイ装置であっ
て、ヘッドマウントディスプレイユニット３００と、所
定の照明方向を有する赤外光照明装置２１０と、所定の
撮影方向を有する赤外光カメラ２２０と、赤外光カメラ
２２０によつて撮影された赤外光画像からマーカ位置を
検出するマーカ検出モジュール５１０とを有するヘッド
マウントディスプレイ装置。
Description
【０００１】
【発明の属する技術分野】本発明は、マーカ検出がより
容易にできるように構成されたヘッドマウントディスプ
レイ装置、並びに、このディスプレイ装置を利用したヘ
ッドマウントディスプレイシステムに関する。
容易にできるように構成されたヘッドマウントディスプ
レイ装置、並びに、このディスプレイ装置を利用したヘ
ッドマウントディスプレイシステムに関する。
【０００２】
【従来の技術】複合現実感（以下、MR(Mixed Reality)
またはAR(Augmented Reality)）を提示するシステムで
は、対象空間に配置したマーカをいかに精度よく且つ安
定的に画像上で抽出するかは、現実空間と仮想空間との
位置合わせを行うために、即ち、観察者の視点位置姿勢
を求めるために、マーカを用いることが実質的に不可避
であるから、極めて重要となっている。
またはAR(Augmented Reality)）を提示するシステムで
は、対象空間に配置したマーカをいかに精度よく且つ安
定的に画像上で抽出するかは、現実空間と仮想空間との
位置合わせを行うために、即ち、観察者の視点位置姿勢
を求めるために、マーカを用いることが実質的に不可避
であるから、極めて重要となっている。
【０００３】
【発明が解決しようとする課題】マーカは、精度よく検
出するためには、特徴的な色もしくは形状を有して目立
たなくてはならない。例えば、MRやAR技術に用いられる
マーカは、そのシステムが、マーカ自身をもっとも認識
し易く、マーカ以外のものと確実に区別できるような色
（黄色や赤）や形状（三角形や四角形）を付されるのが
通常である。
出するためには、特徴的な色もしくは形状を有して目立
たなくてはならない。例えば、MRやAR技術に用いられる
マーカは、そのシステムが、マーカ自身をもっとも認識
し易く、マーカ以外のものと確実に区別できるような色
（黄色や赤）や形状（三角形や四角形）を付されるのが
通常である。
【０００４】しかし、このような特徴的なマーカは、マ
ーカの認識手段（通常はカメラからの画像に基づいてマ
ーカ認識を行う画像処理装置）にとっても目立つばかり
でなく、複合現実感を体験しているユーザ（観察者）に
も目立つものであり、違和感を与える。
ーカの認識手段（通常はカメラからの画像に基づいてマ
ーカ認識を行う画像処理装置）にとっても目立つばかり
でなく、複合現実感を体験しているユーザ（観察者）に
も目立つものであり、違和感を与える。
【０００５】特に、特定の用途では、目立ちすぎるマー
カは好ましくなく、例えばインテリアシュミレーション
の分野では、識別性のある色を利用したマーカを用いる
と、空間に配置する実際の物体の色に制約を与えなくて
はならないという問題がある。
カは好ましくなく、例えばインテリアシュミレーション
の分野では、識別性のある色を利用したマーカを用いる
と、空間に配置する実際の物体の色に制約を与えなくて
はならないという問題がある。
【０００６】公知のマーカは、そのために、マーカ自身
が赤外光を発光するようにして，ユーザ自身にマーカが
見えないようにしている。しかし、この公知のマーカは
マーカ自身が赤外光を発光するようにしているために、
マーカの設置位置に制約が課せられることとなって不便
であった。
が赤外光を発光するようにして，ユーザ自身にマーカが
見えないようにしている。しかし、この公知のマーカは
マーカ自身が赤外光を発光するようにしているために、
マーカの設置位置に制約が課せられることとなって不便
であった。
【０００７】また、マーカは、ユーザの移動範囲の大き
さもしくは広がりに応じて、通常複数（もしくは多数）
設けるものであるから、個々のマーカに赤外光の発光装
置を設けることはあまり現実的ではない。
さもしくは広がりに応じて、通常複数（もしくは多数）
設けるものであるから、個々のマーカに赤外光の発光装
置を設けることはあまり現実的ではない。
【０００８】
【課題を解決するための手段】本発明は、上記従来技術
の問題点を解決するために提案されたもので、その目的
は、簡単な構成で精度よく且つ確実にマーカを検出する
ことができるヘッドマウントディスプレイ装置、ヘッド
マウントディスプレイシステムを提案することにある。
の問題点を解決するために提案されたもので、その目的
は、簡単な構成で精度よく且つ確実にマーカを検出する
ことができるヘッドマウントディスプレイ装置、ヘッド
マウントディスプレイシステムを提案することにある。
【０００９】この課題を達成するための、本発明にかか
る、観察者の頭部に装着されるヘッドマウントディスプ
レイ装置は、ヘッドマウントディスプレイユニットと、
所定の照明方向を有する赤外光照明装置と、所定の撮影
方向を有する赤外光カメラとを具備することを特徴とす
る。
る、観察者の頭部に装着されるヘッドマウントディスプ
レイ装置は、ヘッドマウントディスプレイユニットと、
所定の照明方向を有する赤外光照明装置と、所定の撮影
方向を有する赤外光カメラとを具備することを特徴とす
る。
【００１０】赤外光カメラにより得られた赤外光画像は
ユーザが注視している位置と方向でのマーカを含むこと
となり、また、赤外光画像は可視光によるノイズに強い
ので、簡単な構成で精度よく且つ確実にマーカを検出す
ることができる。
ユーザが注視している位置と方向でのマーカを含むこと
となり、また、赤外光画像は可視光によるノイズに強い
ので、簡単な構成で精度よく且つ確実にマーカを検出す
ることができる。
【００１１】赤外光カメラの選択性を向上させるため
に、本発明の好適な一態様である請求項２に拠れば、前
記赤外光照明装置は前記赤外光カメラの近傍に取り付け
られたことを特徴とする。
に、本発明の好適な一態様である請求項２に拠れば、前
記赤外光照明装置は前記赤外光カメラの近傍に取り付け
られたことを特徴とする。
【００１２】赤外光カメラの選択性をさらに向上させる
ために、本発明の好適な一態様である請求項３に拠れ
ば、前記赤外光照明装置は複数の赤外光発光器を有し、
これらの発光器が前記赤外光カメラの対物レンズの周囲
に取り付けられていることを特徴とする。
ために、本発明の好適な一態様である請求項３に拠れ
ば、前記赤外光照明装置は複数の赤外光発光器を有し、
これらの発光器が前記赤外光カメラの対物レンズの周囲
に取り付けられていることを特徴とする。
【００１３】本発明の好適な一態様である請求項４に拠
れば、前記ヘッドマウントディスプレイユニットは、遮
蔽式であって、観察者に提示する映像を撮影するための
カラーカメラを更に有する。
れば、前記ヘッドマウントディスプレイユニットは、遮
蔽式であって、観察者に提示する映像を撮影するための
カラーカメラを更に有する。
【００１４】本発明の好適な一態様である請求項５に拠
れば、前記ヘッドマウントディスプレイユニットは透過
式であることを特徴とする。
れば、前記ヘッドマウントディスプレイユニットは透過
式であることを特徴とする。
【００１５】本発明のディスプレイ装置は、マーカとの
システム化により顕著な効果を発揮する。そこで、本発
明の好適な一態様である請求項６にかかるヘッドマウン
トディスプレイシステムは、上記のヘッドマウントディ
スプレイ装置と、各々が反射面を有する複数のマーカ
と、前記赤外光カメラによる赤外光画像を処理して前記
マーカの位置を検出する検出手段とを具備する。
システム化により顕著な効果を発揮する。そこで、本発
明の好適な一態様である請求項６にかかるヘッドマウン
トディスプレイシステムは、上記のヘッドマウントディ
スプレイ装置と、各々が反射面を有する複数のマーカ
と、前記赤外光カメラによる赤外光画像を処理して前記
マーカの位置を検出する検出手段とを具備する。
【００１６】このディスプレイ装置は本来は観察者の視
点位置姿勢に応じて生成した映像を提示するために用い
られる。そこで、視点位置姿勢を検出するために、本発
明の好適な一態様である請求項７のヘッドマウントディ
スプレイシステムは、前記検出手段によって得られる前
記マーカ位置に基づいて前記観察者の視点位置姿勢を推
定する推定手段をさらに具備する。
点位置姿勢に応じて生成した映像を提示するために用い
られる。そこで、視点位置姿勢を検出するために、本発
明の好適な一態様である請求項７のヘッドマウントディ
スプレイシステムは、前記検出手段によって得られる前
記マーカ位置に基づいて前記観察者の視点位置姿勢を推
定する推定手段をさらに具備する。
【００１７】観察者の視点位置姿勢は所定のセンサを援
用することにより更に精度よく検出可能になる。そこ
で、本発明の好適な一態様である請求項８のヘッドマウ
ントディスプレイ装置は３次元位置姿勢センサをさらに
有する。
用することにより更に精度よく検出可能になる。そこ
で、本発明の好適な一態様である請求項８のヘッドマウ
ントディスプレイ装置は３次元位置姿勢センサをさらに
有する。
【００１８】また、本発明の好適な一態様である請求項
９のヘッドマウントディスプレイシステムは、各々が反
射面を有する複数のマーカと、前記赤外光カメラによる
赤外光画像を処理して前記マーカの位置を検出する検出
手段と、前記検出手段によつて得られる前記マーカ位置
と、前記３次元位置姿勢センサによって得られる前記観
察者の大まかな視点位置姿勢情報に基づいて、前記観察
者の視点位置姿勢を推定する推定手段をさらに具備する
ことを特徴とする。
９のヘッドマウントディスプレイシステムは、各々が反
射面を有する複数のマーカと、前記赤外光カメラによる
赤外光画像を処理して前記マーカの位置を検出する検出
手段と、前記検出手段によつて得られる前記マーカ位置
と、前記３次元位置姿勢センサによって得られる前記観
察者の大まかな視点位置姿勢情報に基づいて、前記観察
者の視点位置姿勢を推定する推定手段をさらに具備する
ことを特徴とする。
【００１９】本発明の好適な一態様である請求項１０に
拠れば、前記推定手段は、前記マーカ位置に基づいて前
記観察者の視点位置姿勢の補正を行なうことを特徴とす
る。
拠れば、前記推定手段は、前記マーカ位置に基づいて前
記観察者の視点位置姿勢の補正を行なうことを特徴とす
る。
【００２０】また、本発明の好適な一態様である請求項
１１に拠るヘッドマウントディスプレイ装置は、さらに
３次元位置姿勢センサ、加速度センサ、角度センサのい
ずれか１つ以上をさらに有することを特徴とする。
１１に拠るヘッドマウントディスプレイ装置は、さらに
３次元位置姿勢センサ、加速度センサ、角度センサのい
ずれか１つ以上をさらに有することを特徴とする。
【００２１】さらに、本発明の好適な一態様である請求
項１２に拠るヘッドマウントディスプレイシステムは、
請求項１１に記載のヘッドマウントディスプレイ装置を
具備し、各々が反射面を有する複数のマーカと、前記赤
外光カメラによる赤外光画像を処理して前記マーカの位
置を検出する検出手段と、前記検出手段によつて得られ
る前記マーカ位置と、前記３次元位置姿勢センサ、加速
度センサ、角度センサのいずれか１つ以上の出力に基づ
いて、前記観測者の視点位置姿勢を推定する推定手段を
さらに具備することを特徴とする。
項１２に拠るヘッドマウントディスプレイシステムは、
請求項１１に記載のヘッドマウントディスプレイ装置を
具備し、各々が反射面を有する複数のマーカと、前記赤
外光カメラによる赤外光画像を処理して前記マーカの位
置を検出する検出手段と、前記検出手段によつて得られ
る前記マーカ位置と、前記３次元位置姿勢センサ、加速
度センサ、角度センサのいずれか１つ以上の出力に基づ
いて、前記観測者の視点位置姿勢を推定する推定手段を
さらに具備することを特徴とする。
【００２２】マーカの選択性を高めるために、本発明の
好適な一態様である請求項１３に拠れば、前記マーカは
再帰性反射材料によって表面処理されていることを特徴
とする。
好適な一態様である請求項１３に拠れば、前記マーカは
再帰性反射材料によって表面処理されていることを特徴
とする。
【００２３】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明を適用した好適な実施形態に係るところの、ビデ
オシースルー(Video See-Through)型のヘッドマウント
ディスプレイを用いた複合現実感提示システムを説明す
る。
本発明を適用した好適な実施形態に係るところの、ビデ
オシースルー(Video See-Through)型のヘッドマウント
ディスプレイを用いた複合現実感提示システムを説明す
る。
【００２４】第１図はこの複合現実感提示システムの全
体構成を示す。本システムは、対象の現実世界の所定位
置に前もって配置された複数のマーカ４００と、ヘッド
マウントディスプレイユニット（以後、ＨＭＤ(Head Mo
untedDisplay）３００と、画像処理装置５００とからな
る。
体構成を示す。本システムは、対象の現実世界の所定位
置に前もって配置された複数のマーカ４００と、ヘッド
マウントディスプレイユニット（以後、ＨＭＤ(Head Mo
untedDisplay）３００と、画像処理装置５００とからな
る。
【００２５】ＨＭＤ３００には、三次元位置姿勢センサ
３５０と、赤外発光装置２１０と、赤外光カメラ２２０
と、カラーカメラ１００とが装着されている。マーカ４
００は、再帰性反射素材により作成され、赤外発光装置
２１０からの赤外光を反射して、発光装置２１０の方向
に返す。赤外光カメラ２２０は、第１図のように、発光
装置２１０の近傍に設置され、あるいは後述するよう
に、発光装置２１０の複数の発光体が、カメラ２２０の
レンズの周囲にレンズを囲むように配置されているの
で、マーカ４００からの反射光は効率よくカメラ２２０
によって検出される。
３５０と、赤外発光装置２１０と、赤外光カメラ２２０
と、カラーカメラ１００とが装着されている。マーカ４
００は、再帰性反射素材により作成され、赤外発光装置
２１０からの赤外光を反射して、発光装置２１０の方向
に返す。赤外光カメラ２２０は、第１図のように、発光
装置２１０の近傍に設置され、あるいは後述するよう
に、発光装置２１０の複数の発光体が、カメラ２２０の
レンズの周囲にレンズを囲むように配置されているの
で、マーカ４００からの反射光は効率よくカメラ２２０
によって検出される。
【００２６】本システムは、ビデオシースルー方式を採
用しているので、カラーカメラ１００によって撮像され
た前方世界の画像は画像処理装置に取り込まれて、周知
の手法により、コンピュータグラフイックスが重畳され
た複合現実感画像（AR画像またはMR画像）としてＨＭＤ
３００に送られて、ＨＭＤ３００を装着しているユーザ
はＨＭＤ３００が映示するその映像を見ることになる。
用しているので、カラーカメラ１００によって撮像され
た前方世界の画像は画像処理装置に取り込まれて、周知
の手法により、コンピュータグラフイックスが重畳され
た複合現実感画像（AR画像またはMR画像）としてＨＭＤ
３００に送られて、ＨＭＤ３００を装着しているユーザ
はＨＭＤ３００が映示するその映像を見ることになる。
【００２７】ＨＭＤ３００の内部における光学系の構成
は第３図に示す通りであり、このＨＭＤ３００の上部に
は，赤外光発光器／カメラの組体２００と、カラーカメ
ラ１００が設けられている。
は第３図に示す通りであり、このＨＭＤ３００の上部に
は，赤外光発光器／カメラの組体２００と、カラーカメ
ラ１００が設けられている。
【００２８】赤外光発光器／カメラ組体２００の構成は
第４図に示されている。この組体２００は、発光器から
の赤外光が効率よく赤外光カメラに戻るように、赤外光
カメラ２２０のレンズの周囲に、複数の小型の赤外ＬＥ
Ｄ（２１０-1〜２１０-n）がそのレンズを囲うように配
置されている。
第４図に示されている。この組体２００は、発光器から
の赤外光が効率よく赤外光カメラに戻るように、赤外光
カメラ２２０のレンズの周囲に、複数の小型の赤外ＬＥ
Ｄ（２１０-1〜２１０-n）がそのレンズを囲うように配
置されている。
【００２９】第３図は、ＨＭＤ３００がビデオシースル
ー(See-Through)型のＨＭＤである場合におけるその内
部の光学系の構成を示す。このＨＭＤ３００の内部の光
学系の詳細な説明は、例えば特開平７−３３３５５１号
に示されている如くであるが、３０１はＬＣＤ表示パネ
ルである。ＬＣＤ表示パネル３０１からの光は、光学部
材３０２に入射し、全反射面３０４にて反射して、凹面
ミラー３０３の全反射面にて反射して、全反射面３０４
を透過して観察者の目に届く。
ー(See-Through)型のＨＭＤである場合におけるその内
部の光学系の構成を示す。このＨＭＤ３００の内部の光
学系の詳細な説明は、例えば特開平７−３３３５５１号
に示されている如くであるが、３０１はＬＣＤ表示パネ
ルである。ＬＣＤ表示パネル３０１からの光は、光学部
材３０２に入射し、全反射面３０４にて反射して、凹面
ミラー３０３の全反射面にて反射して、全反射面３０４
を透過して観察者の目に届く。
【００３０】第１図に示すように、画像処理装置５００
は、マーカ４００画像座標を検出するマーカ検出モジュ
ール５１０と、ユーザ（観察者）の視点位置姿勢（視点
の三次元位置座標と視線の方向）を検出する視点位置姿
勢推定モジュール５２０と、複合現実感画像生成モジュ
ール５３０とを有する。
は、マーカ４００画像座標を検出するマーカ検出モジュ
ール５１０と、ユーザ（観察者）の視点位置姿勢（視点
の三次元位置座標と視線の方向）を検出する視点位置姿
勢推定モジュール５２０と、複合現実感画像生成モジュ
ール５３０とを有する。
【００３１】観察者が装着するＨＭＤがビデオシースル
方式の場合、観察者は、自分自身の視点位置姿勢ではな
く、ＨＭＤに設けられたカラーカメラ１００の視点位置
姿勢で撮影された現実世界のカラー画像と、それに対し
て重畳された仮想画像を観察する。したがって、本実施
形態において視点位置姿勢推定モジュール５２０が求め
るべき視点位置姿勢は、厳密には観察者自身の視点位置
姿勢ではなく、カラーカメラ１００の視点位置姿勢であ
る。以後、本実施形態における「観察者の視点」あるい
は「視点」とは、特に断りのない限りカラーカメラ１０
０の視点を示すものとする。
方式の場合、観察者は、自分自身の視点位置姿勢ではな
く、ＨＭＤに設けられたカラーカメラ１００の視点位置
姿勢で撮影された現実世界のカラー画像と、それに対し
て重畳された仮想画像を観察する。したがって、本実施
形態において視点位置姿勢推定モジュール５２０が求め
るべき視点位置姿勢は、厳密には観察者自身の視点位置
姿勢ではなく、カラーカメラ１００の視点位置姿勢であ
る。以後、本実施形態における「観察者の視点」あるい
は「視点」とは、特に断りのない限りカラーカメラ１０
０の視点を示すものとする。
【００３２】本実施形態では、マーカは、三次元位置姿
勢センサ３５０が検出した視点の位置姿勢を、この位置
姿勢は精度の低いものであるので、精度の高い位置姿勢
情報に補正するために用いられる。
勢センサ３５０が検出した視点の位置姿勢を、この位置
姿勢は精度の低いものであるので、精度の高い位置姿勢
情報に補正するために用いられる。
【００３３】第５図は、マーカ４００の１つ（あるいは
全て）に用いられた再帰性反射部材の性質を説明する。
即ち、この部材は、細かい球状のガラスを多く含むこと
によって、入射光を入射してきた方向に反射して返す性
質がある。このために、第６図のように、マーカ４００
が複数配置されていた場合に、発光器／カメラ組体２０
０は、その光軸がユーザの視点位置姿勢の変動によって
いずれの方向に向いても、発光器２１０からの赤外光は
マーカによって反射されてカメラ２２０によって捕捉さ
れる。即ち、マーカの分布にもよるが、いずれかのマー
カの画像がカメラ２２０によって取得されることとな
る。
全て）に用いられた再帰性反射部材の性質を説明する。
即ち、この部材は、細かい球状のガラスを多く含むこと
によって、入射光を入射してきた方向に反射して返す性
質がある。このために、第６図のように、マーカ４００
が複数配置されていた場合に、発光器／カメラ組体２０
０は、その光軸がユーザの視点位置姿勢の変動によって
いずれの方向に向いても、発光器２１０からの赤外光は
マーカによって反射されてカメラ２２０によって捕捉さ
れる。即ち、マーカの分布にもよるが、いずれかのマー
カの画像がカメラ２２０によって取得されることとな
る。
【００３４】特に、本システムのカメラ２２０には不図
示の赤外透過フィルタが設けられ、また、マーカ４００
は発光器２１０の方向に反射光を返す性質があるので、
カメラ２２０がとらえた赤外光画像には、マーカの画像
が他の物体から際立って検出されることになる。即ち、
本実施形態では、マーカを、確実に、精度よく検出する
ことができる。
示の赤外透過フィルタが設けられ、また、マーカ４００
は発光器２１０の方向に反射光を返す性質があるので、
カメラ２２０がとらえた赤外光画像には、マーカの画像
が他の物体から際立って検出されることになる。即ち、
本実施形態では、マーカを、確実に、精度よく検出する
ことができる。
【００３５】第７図は、マーカ検出モジュール５１０の
制御手順である。ステップＳ１０では、赤外光カメラ２
２０が取得した赤外光画像Ｉをモジュール５１０のメモ
リ（不図示）に取り込む。ステップＳ１２では、赤外光
画像Ｉを所定の閾値VTHで二値化して二値画像ITHを生成
する。ステップＳ１４では、二値画像ITHにラベリング
処理を施す。この処理の結果、マーカに対応する（であ
ろう）複数のクラスタCiが識別される。ステップＳ１６
では各クラスタの重心座標（xwi, ywi）と面積aiを計算
し、ステップＳ１８では、各クラスタの重心座標（xwi,
ywi）と面積aiを視点位置姿勢推定モジュール５２０に
出力する。
制御手順である。ステップＳ１０では、赤外光カメラ２
２０が取得した赤外光画像Ｉをモジュール５１０のメモ
リ（不図示）に取り込む。ステップＳ１２では、赤外光
画像Ｉを所定の閾値VTHで二値化して二値画像ITHを生成
する。ステップＳ１４では、二値画像ITHにラベリング
処理を施す。この処理の結果、マーカに対応する（であ
ろう）複数のクラスタCiが識別される。ステップＳ１６
では各クラスタの重心座標（xwi, ywi）と面積aiを計算
し、ステップＳ１８では、各クラスタの重心座標（xwi,
ywi）と面積aiを視点位置姿勢推定モジュール５２０に
出力する。
【００３６】第８図は、視点位置姿勢推定モジュール５
２０における視点位置姿勢の推定処理の制御手順の全体
を示す。三次元位置姿勢センサ３５０の出力は誤差を伴
うものであり、視点位置姿勢推定モジュール５２０は、
そのような出力に基づいて演算した視点位置データと姿
勢データを、赤外光カメラ２２０から得られた画像中の
マーカ位置に基づいて補正する処理を行なう。
２０における視点位置姿勢の推定処理の制御手順の全体
を示す。三次元位置姿勢センサ３５０の出力は誤差を伴
うものであり、視点位置姿勢推定モジュール５２０は、
そのような出力に基づいて演算した視点位置データと姿
勢データを、赤外光カメラ２２０から得られた画像中の
マーカ位置に基づいて補正する処理を行なう。
【００３７】即ち、この補正処理は、赤外光カメラ２２
０が取得した画像中のマーカ位置から、赤外光カメラ２
２０の位置姿勢（視点の位置姿勢に密接に関連するもの
でもある）の補正値を求め、その補正値を用いて、視点
のビューイング変換行列を変更する。変更されたビュー
イング変換行列は補正された視点の位置及び姿勢データ
を表すものであり、換言すれば、この補正されたビュー
イング変換行列は補正された視点位置での仮想画像を与
える。
０が取得した画像中のマーカ位置から、赤外光カメラ２
２０の位置姿勢（視点の位置姿勢に密接に関連するもの
でもある）の補正値を求め、その補正値を用いて、視点
のビューイング変換行列を変更する。変更されたビュー
イング変換行列は補正された視点の位置及び姿勢データ
を表すものであり、換言すれば、この補正されたビュー
イング変換行列は補正された視点位置での仮想画像を与
える。
【００３８】第９図は、本実施形態における観察者の視
点位置姿勢の補正の原理を説明する。ここで、実施形態
における観察者の視点位置姿勢の補正とは、補正された
ビューイング変換行列を求めることと等値である。
点位置姿勢の補正の原理を説明する。ここで、実施形態
における観察者の視点位置姿勢の補正とは、補正された
ビューイング変換行列を求めることと等値である。
【００３９】第９図において、赤外光カメラ２２０がマ
ーカ４０３を画像６００に捉えているとする。マーカ４
０３の位置はこの赤外光画像６００内では画像座標系で
例えば（ｘ０，ｙ０）と表される。一方、赤外光画像６
００が捉えているマーカが１６０３であることが分かれ
ば、そのマーカ４０３の世界座標系での座標（Ｘ０，Ｙ
０，Ｚ０）は既知である。（ｘ０，ｙ０）は画像座標値
であり（Ｘ０，Ｙ０，Ｚ０）は世界座標であるから、こ
れらの座標同士を比較することはできない。
ーカ４０３を画像６００に捉えているとする。マーカ４
０３の位置はこの赤外光画像６００内では画像座標系で
例えば（ｘ０，ｙ０）と表される。一方、赤外光画像６
００が捉えているマーカが１６０３であることが分かれ
ば、そのマーカ４０３の世界座標系での座標（Ｘ０，Ｙ
０，Ｚ０）は既知である。（ｘ０，ｙ０）は画像座標値
であり（Ｘ０，Ｙ０，Ｚ０）は世界座標であるから、こ
れらの座標同士を比較することはできない。
【００４０】本実施形態では、三次元位置姿勢センサ３
５０の出力から赤外光カメラ２２０のビューイング変換
行列ＭＣを求め、世界座標系での座標（Ｘ０，Ｙ０，Ｚ
０）をこのビューイング変換行列ＭＣを用いて画像座標
系の座標（ｘ’ ０，ｙ’ ０）に変換する。そして、（ｘ
０，ｙ０）と（ｘ’ ０，ｙ’ ０）との誤差が三次元位置
姿勢センサ３５０の出力の誤差を表現するものであるか
ら、これを補正する補正行列ΔＭＣを求める。
５０の出力から赤外光カメラ２２０のビューイング変換
行列ＭＣを求め、世界座標系での座標（Ｘ０，Ｙ０，Ｚ
０）をこのビューイング変換行列ＭＣを用いて画像座標
系の座標（ｘ’ ０，ｙ’ ０）に変換する。そして、（ｘ
０，ｙ０）と（ｘ’ ０，ｙ’ ０）との誤差が三次元位置
姿勢センサ３５０の出力の誤差を表現するものであるか
ら、これを補正する補正行列ΔＭＣを求める。
【００４１】尚、第９図から明らかなように、赤外光画
像６００内に捉えられたマーカがマーカ４０３であるこ
とを特定する必要があるが、本実施形態では、後述する
ように、全てのマーカの世界座標系での三次元位置を上
記ビューイング変換行列ＭＣにより画像座標系に変換し
て、変換後のカメラ座標値が上記（ｘ０，ｙ０）に最も
近いマーカを赤外光画像６００内に捉えられたマーカと
特定する。
像６００内に捉えられたマーカがマーカ４０３であるこ
とを特定する必要があるが、本実施形態では、後述する
ように、全てのマーカの世界座標系での三次元位置を上
記ビューイング変換行列ＭＣにより画像座標系に変換し
て、変換後のカメラ座標値が上記（ｘ０，ｙ０）に最も
近いマーカを赤外光画像６００内に捉えられたマーカと
特定する。
【００４２】第８図に従って視点位置姿勢推定モジュー
ル５２０の処理手順を詳細に説明する。即ち、ステップ
Ｓ４００では、三次元位置姿勢センサ３５０の出力に基
づいて、赤外光カメラ２２０のビューイング変換行列
（４×４）を計算する。ステップＳ４１０では、ステッ
プＳ４００で求めたビューイング変換行列と、赤外光カ
メラ２２０の理想的透視変換行列（既知）と、各マーカ
の三次元位置（既知）とに基づいて、各マーカが観測さ
れるべき位置座標（画像座標系での）を予測する。
ル５２０の処理手順を詳細に説明する。即ち、ステップ
Ｓ４００では、三次元位置姿勢センサ３５０の出力に基
づいて、赤外光カメラ２２０のビューイング変換行列
（４×４）を計算する。ステップＳ４１０では、ステッ
プＳ４００で求めたビューイング変換行列と、赤外光カ
メラ２２０の理想的透視変換行列（既知）と、各マーカ
の三次元位置（既知）とに基づいて、各マーカが観測さ
れるべき位置座標（画像座標系での）を予測する。
【００４３】一方、マーカ検出モジュール５１０は、第
７図の制御手順に従って、赤外光カメラ２２０から得た
画像中でマーカを検出している。マーカ検出モジュール
５１０は、検出したマーカ位置を、視点位置姿勢推定モ
ジュール５２０（ステップＳ４２０において）に渡す。
視点位置姿勢推定モジュール５２０は、ステップＳ４２
０において、渡されたマーカ位置情報に基づいて、現在
観測しているマーカ、即ち補正の基準となるマーカを判
別する。ステップＳ４３０では、ステップＳ４１０で演
算されたマーカの予測座標値とマーカ検出モジュール５
１０が検出したマーカの観測座標値との差異に基づい
て、三次元位置姿勢センサ３５０が検出した赤外光カメ
ラ２２０の位置姿勢を補正するための補正行列ΔＭｃを
求める。
７図の制御手順に従って、赤外光カメラ２２０から得た
画像中でマーカを検出している。マーカ検出モジュール
５１０は、検出したマーカ位置を、視点位置姿勢推定モ
ジュール５２０（ステップＳ４２０において）に渡す。
視点位置姿勢推定モジュール５２０は、ステップＳ４２
０において、渡されたマーカ位置情報に基づいて、現在
観測しているマーカ、即ち補正の基準となるマーカを判
別する。ステップＳ４３０では、ステップＳ４１０で演
算されたマーカの予測座標値とマーカ検出モジュール５
１０が検出したマーカの観測座標値との差異に基づい
て、三次元位置姿勢センサ３５０が検出した赤外光カメ
ラ２２０の位置姿勢を補正するための補正行列ΔＭｃを
求める。
【００４４】赤外光カメラ２２０の位置姿勢の補正がで
きるのは、マーカ検出モジュール５１０が観測したマー
カ（第９図の例ではマーカ４０３）の座標値と三次元位
置姿勢センサ３５０が検出した赤外光カメラ２２０の姿
勢位置に基づくマーカ座標とは、センサ出力が正確であ
れば一致している筈であるから、ステップＳ４３０で演
算する上記の差異は三次元位置姿勢センサ３５０の誤差
を反映するからである。赤外光カメラ２２０の位置姿勢
と視点の位置姿勢との相対関係は既知であり、その関係
は三次元座標変換で表される。従って、このカメラの位
置姿勢の補正行列ΔＭｃに基づいて、ステップＳ４４０
で、ステップＳ４３２で演算した視点のビューイング変
換行列Ｍｖを補正し、この補正された変換行列Ｍｖ’を
複合現実感画像生成モジュール５３０に渡す。
きるのは、マーカ検出モジュール５１０が観測したマー
カ（第９図の例ではマーカ４０３）の座標値と三次元位
置姿勢センサ３５０が検出した赤外光カメラ２２０の姿
勢位置に基づくマーカ座標とは、センサ出力が正確であ
れば一致している筈であるから、ステップＳ４３０で演
算する上記の差異は三次元位置姿勢センサ３５０の誤差
を反映するからである。赤外光カメラ２２０の位置姿勢
と視点の位置姿勢との相対関係は既知であり、その関係
は三次元座標変換で表される。従って、このカメラの位
置姿勢の補正行列ΔＭｃに基づいて、ステップＳ４４０
で、ステップＳ４３２で演算した視点のビューイング変
換行列Ｍｖを補正し、この補正された変換行列Ｍｖ’を
複合現実感画像生成モジュール５３０に渡す。
【００４５】ステップＳ４２０では、検出されたマーカ
に対して「マーカ判別」の処理を行う。検出されたマー
カの画像座標(x0、y0)と各マーカｉ（ｉ＝０〜Ｎ）の観
測予測座標(xi、yi)との距離eiが最小値を示すマーカを
探索し、そのマーカの識別子ｉを出力すればよい。
に対して「マーカ判別」の処理を行う。検出されたマー
カの画像座標(x0、y0)と各マーカｉ（ｉ＝０〜Ｎ）の観
測予測座標(xi、yi)との距離eiが最小値を示すマーカを
探索し、そのマーカの識別子ｉを出力すればよい。
【００４６】［数１］
【００４７】次ぎに、ステップＳ４３０では、判別され
たマーカiの観測予測座標(xi、yi)と、検出されたマー
カの画像座標(x0、y0)に基づいて、この誤差を打ち消す
ように赤外カメラ２２０の位置姿勢に補正を加える変換
行列ΔＭｃを求める。
たマーカiの観測予測座標(xi、yi)と、検出されたマー
カの画像座標(x0、y0)に基づいて、この誤差を打ち消す
ように赤外カメラ２２０の位置姿勢に補正を加える変換
行列ΔＭｃを求める。
【００４８】一方、ステップＳ４３２では、三次元位置
姿勢センサ３５０出力に基づいて、プレーヤの視点位置
でのビューイング変換行列ＭＶを求める。また、Ｍｖｃ
をカメラ座標系から視点座標系への変換行列（既知であ
る）とすると、ステップＳ４４０では、このＭｖｃを用
いて、次式によって補正後の視点のビューイング変換行
列Ｍｖ’を導出する。
姿勢センサ３５０出力に基づいて、プレーヤの視点位置
でのビューイング変換行列ＭＶを求める。また、Ｍｖｃ
をカメラ座標系から視点座標系への変換行列（既知であ
る）とすると、ステップＳ４４０では、このＭｖｃを用
いて、次式によって補正後の視点のビューイング変換行
列Ｍｖ’を導出する。
【００４９】［数２］
【００５０】この補正後の視点のビューイング変換行列
Ｍｖ’により、仮想画像を生成して、更に、カラーカメ
ラが撮影した現実世界のカラー画像との融合を行ってＨ
ＭＤ３００上に表示すれば、精度の高い複合現実感が体
験できる。
Ｍｖ’により、仮想画像を生成して、更に、カラーカメ
ラが撮影した現実世界のカラー画像との融合を行ってＨ
ＭＤ３００上に表示すれば、精度の高い複合現実感が体
験できる。
【００５１】本発明は赤外光画像を用いる点によって特
徴づけられる。赤外光画像を用いれば、マーカ自身はユ
ーザ（観察者）には目立たないので、違和感を与えるこ
とはない。更に、可視光は排除されるので、赤外光を反
射するマーカが顕著に現れる赤外光を処理することで、
マーカ検出を精度よく行うことができるからである。
徴づけられる。赤外光画像を用いれば、マーカ自身はユ
ーザ（観察者）には目立たないので、違和感を与えるこ
とはない。更に、可視光は排除されるので、赤外光を反
射するマーカが顕著に現れる赤外光を処理することで、
マーカ検出を精度よく行うことができるからである。
【００５２】また赤外光画像を処理することによって、
処理速度を向上させることができるという副次的な効果
も上げることができる。第１０図は、従来のカラー画像
によるマーカ検出処理の手順である。第７図のステップ
Ｓ１２と第１０図のステップＳ２２とを比較しても分か
るように、従来例では、３軸の色空間で処理を行ってい
たために、処理に時間を費やしたからである。この実施
形態では、単色の画像を処理するから短時間処理が可能
になる。
処理速度を向上させることができるという副次的な効果
も上げることができる。第１０図は、従来のカラー画像
によるマーカ検出処理の手順である。第７図のステップ
Ｓ１２と第１０図のステップＳ２２とを比較しても分か
るように、従来例では、３軸の色空間で処理を行ってい
たために、処理に時間を費やしたからである。この実施
形態では、単色の画像を処理するから短時間処理が可能
になる。
【００５３】本発明は上記実施形態に限られず種々変形
できる。 変形例１： 上記実施形態は、マーカ検出を三次元位置
姿勢センサ３５０により得られた観察者の視点位置姿勢
情報を補正する目的に使用したが、本発明のマーカ検出
は、この目的以外にも使用することができる。例えば、
本発明はマーカを精度よく検出することを可能にするか
ら、画像上の複数（一般には３点から６点以上）のマー
カ座標に基づいて観察者の視点位置姿勢推定を行なう周
知の視点位置姿勢推定手法と組み合わせることで、画像
情報のみから観察者の視点位置姿勢情報を得ることも可
能である。
できる。 変形例１： 上記実施形態は、マーカ検出を三次元位置
姿勢センサ３５０により得られた観察者の視点位置姿勢
情報を補正する目的に使用したが、本発明のマーカ検出
は、この目的以外にも使用することができる。例えば、
本発明はマーカを精度よく検出することを可能にするか
ら、画像上の複数（一般には３点から６点以上）のマー
カ座標に基づいて観察者の視点位置姿勢推定を行なう周
知の視点位置姿勢推定手法と組み合わせることで、画像
情報のみから観察者の視点位置姿勢情報を得ることも可
能である。
【００５４】また、画像情報と任意のセンサ（加速度セ
ンサ、ジャイロセンサ、地磁気センサ等）の併用により
観察者の視点位置姿勢推定を行なう周知の視点位置姿勢
推定手法と組み合わせて用いることも可能である。即
ち、三次元位置姿勢センサ３５０は視点位置姿勢を推定
するために必ずしも必要ではない。
ンサ、ジャイロセンサ、地磁気センサ等）の併用により
観察者の視点位置姿勢推定を行なう周知の視点位置姿勢
推定手法と組み合わせて用いることも可能である。即
ち、三次元位置姿勢センサ３５０は視点位置姿勢を推定
するために必ずしも必要ではない。
【００５５】変形例２： 上記実施形態は、複合現実感
画像の提示に本発明のＨＭＤを利用した。本発明のＨＭ
Ｄの利用目的はこれに限られず、およそがＨＭＤを装着
し、ＨＭＤ上のカメラとにより、外部のマーカを検出す
ることが必要となるアプリケーションであればいかなる
ものにも適用可能である。
画像の提示に本発明のＨＭＤを利用した。本発明のＨＭ
Ｄの利用目的はこれに限られず、およそがＨＭＤを装着
し、ＨＭＤ上のカメラとにより、外部のマーカを検出す
ることが必要となるアプリケーションであればいかなる
ものにも適用可能である。
【００５６】変形例３： 上記実施形態では、単眼の複
合現実感画像の提示に本発明を利用したが、観察者に立
体感を与えるために観察者の両眼にステレオの複合現実
感画像を提示するためのＨＭＤであっても、本発明は適
用可能である。この場合、ＨＭＤ３００の上部には、第
２図に示すように、赤外光発光器／カメラの組体２００
と、一対のステレオカラーカメラ１００Ｒと１００Ｌと
が設けられている。一対のステレオカメラ１００Ｒ，１
００Ｌは赤外光発光器／カメラの組体２００を挟んでＨ
ＭＤ３００の左右対称位置に配置されている。
合現実感画像の提示に本発明を利用したが、観察者に立
体感を与えるために観察者の両眼にステレオの複合現実
感画像を提示するためのＨＭＤであっても、本発明は適
用可能である。この場合、ＨＭＤ３００の上部には、第
２図に示すように、赤外光発光器／カメラの組体２００
と、一対のステレオカラーカメラ１００Ｒと１００Ｌと
が設けられている。一対のステレオカメラ１００Ｒ，１
００Ｌは赤外光発光器／カメラの組体２００を挟んでＨ
ＭＤ３００の左右対称位置に配置されている。
【００５７】また、視点位置姿勢推定モジュール５２０
は左右のカラーカメラ１００Ｌ、１００Ｒの視点の位置
姿勢をそれぞれ推定し、複合現実感画像生成モジュール
５３０に出力する。視点位置姿勢の推定は、ＭＬＲをカ
ラーカメラ１００Ｌと１００Ｒの相対的な位置姿勢の関
係を表わす座標変換行列（既知である）とすると、たと
えば、上記実施形態の手法により右カラーカメラ１００
Ｒの視点位置姿勢（ビューイング変換行列）Ｍｖ’Ｒを
求めた後に、これに行列ＭＬＲを乗じることで左カラー
カメラ１００Ｌの視点位置姿勢（ビューイング変換行
列）Ｍｖ’Ｌを導出するといった方法で実現できる。
は左右のカラーカメラ１００Ｌ、１００Ｒの視点の位置
姿勢をそれぞれ推定し、複合現実感画像生成モジュール
５３０に出力する。視点位置姿勢の推定は、ＭＬＲをカ
ラーカメラ１００Ｌと１００Ｒの相対的な位置姿勢の関
係を表わす座標変換行列（既知である）とすると、たと
えば、上記実施形態の手法により右カラーカメラ１００
Ｒの視点位置姿勢（ビューイング変換行列）Ｍｖ’Ｒを
求めた後に、これに行列ＭＬＲを乗じることで左カラー
カメラ１００Ｌの視点位置姿勢（ビューイング変換行
列）Ｍｖ’Ｌを導出するといった方法で実現できる。
【００５８】また、複合現実感画像生成モジュール５３
０は、左右の視点の位置姿勢それぞれに基づいて左右の
仮想画像を生成して、更に、カラーカメラ１００Ｌ、１
００Ｒより入力される左右のカラー画像にそれぞれ重畳
して、ＨＭＤ３００の左右の表示面へと出力する。
０は、左右の視点の位置姿勢それぞれに基づいて左右の
仮想画像を生成して、更に、カラーカメラ１００Ｌ、１
００Ｒより入力される左右のカラー画像にそれぞれ重畳
して、ＨＭＤ３００の左右の表示面へと出力する。
【００５９】変形例４： 上記実施形態では、ビデオシ
ースルー方式のＨＭＤであったが、光学式シースルー方
式のＨＭＤであっても本発明は適用可能である。この場
合、観察者は自分自身の目で見ている現実世界に対して
光学的に重畳された仮想画像を観察する。したがって、
本変形例では、ＨＭＤ３００にカラーカメラ１００は配
置されておらず、複合現実感画像生成モジュール５３０
は、仮想画像のみを生成しＨＭＤ３００上へ表示する。
ースルー方式のＨＭＤであったが、光学式シースルー方
式のＨＭＤであっても本発明は適用可能である。この場
合、観察者は自分自身の目で見ている現実世界に対して
光学的に重畳された仮想画像を観察する。したがって、
本変形例では、ＨＭＤ３００にカラーカメラ１００は配
置されておらず、複合現実感画像生成モジュール５３０
は、仮想画像のみを生成しＨＭＤ３００上へ表示する。
【００６０】また、光学シースルー方式の場合、視点位
置姿勢推定モジュール５２０が求める視点位置姿勢は、
上記実施形態のようにカラーカメラ１００の視点位置姿
勢ではなく、観察者自身の視点位置姿勢となる。すなわ
ち、上記カメラ座標系から視点座標系への変換行列Ｍｖ
ｃは、赤外光カメラの位置姿勢と観察者自身の視点位置
姿勢とのオフセットを考慮して設定すればよい。また、
光学シースルー方式のＨＭＤでの立体視は、観察者の左
右の視点位置姿勢のオフセットを考慮することで、変形
例３と同様に実現できる。
置姿勢推定モジュール５２０が求める視点位置姿勢は、
上記実施形態のようにカラーカメラ１００の視点位置姿
勢ではなく、観察者自身の視点位置姿勢となる。すなわ
ち、上記カメラ座標系から視点座標系への変換行列Ｍｖ
ｃは、赤外光カメラの位置姿勢と観察者自身の視点位置
姿勢とのオフセットを考慮して設定すればよい。また、
光学シースルー方式のＨＭＤでの立体視は、観察者の左
右の視点位置姿勢のオフセットを考慮することで、変形
例３と同様に実現できる。
【００６１】変形例５： 上記実施形態では、マーカと
して、再帰性反射材を用いたが、例えばミラーボール
（多数の小さな例えば三角形もしくは矩形のミラーを球
体表面に張り付けたもの）であってもよい。
して、再帰性反射材を用いたが、例えばミラーボール
（多数の小さな例えば三角形もしくは矩形のミラーを球
体表面に張り付けたもの）であってもよい。
【００６２】変形例６： 本発明のＨＭＤは、複合現実
感提示システム以外の、所謂仮想現実感提示システムに
も用いることができる。
感提示システム以外の、所謂仮想現実感提示システムに
も用いることができる。
【００６３】変形例７： また、上記実施形態では、マ
ーカ画像を取得する赤外光カメラは単眼であったが二眼
であってもよい。
ーカ画像を取得する赤外光カメラは単眼であったが二眼
であってもよい。
【００６４】変形例８： 上記実施形態におけるマーカ
検出モジュールの処理は任意の方法を用いることが出来
る。例えば、前フレームで検出されたマーカを現フレー
ムで追跡するような処理を用いても良いし、マーカの特
定をマーカ検出モジュールで行なってもよい。
検出モジュールの処理は任意の方法を用いることが出来
る。例えば、前フレームで検出されたマーカを現フレー
ムで追跡するような処理を用いても良いし、マーカの特
定をマーカ検出モジュールで行なってもよい。
【００６５】変形例９： 視点位置姿勢推定モジュール
の処理は上述の実施形態における処理内容に限定される
ものではなく、他のいかなる方法で三次元位置姿勢セン
サの誤差を補正してもよい。
の処理は上述の実施形態における処理内容に限定される
ものではなく、他のいかなる方法で三次元位置姿勢セン
サの誤差を補正してもよい。
【００６６】
【発明の効果】以上説明したように本発明によれば、マ
ーカを精度よく確実に検出することができるヘッドマウ
ントディスプレイ装置及びその装置を用いたヘッドマウ
ントディスプレイシステムを提供できる。
ーカを精度よく確実に検出することができるヘッドマウ
ントディスプレイ装置及びその装置を用いたヘッドマウ
ントディスプレイシステムを提供できる。
【図１】 本発明を適用した実施形態に係る複合現実感
提示システムのブロック図。
提示システムのブロック図。
【図２】 図１のシステムに用いられるＨＭＤ装置の外
観を示す図。
観を示す図。
【図３】 図２のＨＭＤ装置の内部光学系の構成を示す
図。
図。
【図４】 図２のＨＭＤ装置に装着された赤外光発光器
／赤外光カメラ組体２００の構成を示す図。
／赤外光カメラ組体２００の構成を示す図。
【図５】 実施形態に用いられるマーカの構成を示す
図。
図。
【図６】 実施形態において、観察者の視点位置姿勢の
変化に伴って、マーカ検出が追随される様子を説明する
図。
変化に伴って、マーカ検出が追随される様子を説明する
図。
【図７】 実施形態のマーカ検出モジュールの制御手順
を示すフローチャート。
を示すフローチャート。
【図８】 実施形態の視点位置姿勢推定モジュールの制
御手順を示すフローチャート。
御手順を示すフローチャート。
【図９】 実施形態における、マーカ検出によりセンサ
３５０の出力が補正できる原理を説明する図。
３５０の出力が補正できる原理を説明する図。
【図１０】 従来のマーカ検出モジュールの制御手順を
示すフローチャート。
示すフローチャート。
Claims (13)
- 【請求項１】 観察者の頭部に装着されるヘッドマウン
トディスプレイ装置であって、 ヘッドマウントディスプレイユニットと、 所定の照明方向を有する赤外光照明装置と、 所定の撮影方向を有する赤外光カメラとを具備すること
を特徴とするヘッドマウントディスプレイ装置。 - 【請求項２】 前記赤外光照明装置は前記赤外光カメラ
の近傍に取り付けられたことを特徴とする請求項１に記
載のヘッドマウントディスプレイ装置。 - 【請求項３】 前記赤外光照明装置は複数の赤外光発光
器を有し、これらの発光器が前記赤外光カメラの対物レ
ンズの周囲に取り付けられていることを特徴とする請求
項１または２に記載のヘッドマウントディスプレイ装
置。 - 【請求項４】 前記ヘッドマウントディスプレイユニッ
トは、遮蔽式であって、観察者に提示する映像を撮影す
るためのカラーカメラを更に有することを特徴とする、
請求項１乃至３のいずれかに記載のヘッドマウントディ
スプレイ装置。 - 【請求項５】 前記ヘッドマウントディスプレイユニッ
トは透過式であることを特徴とする、請求項１乃至３の
いずれかに記載のヘッドマウントディスプレイ装置。 - 【請求項６】 請求項１乃至５のいずれかに記載のヘッ
ドマウントディスプレイ装置と、 各々が反射面を有する複数のマーカと、 前記赤外光カメラによる赤外光画像を処理して前記マー
カの位置を検出する検出手段とを具備することを特徴と
するヘッドマウントディスプレイシステム。 - 【請求項７】 前記検出手段によって得られる前記マー
カ位置に基づいて前記観察者の視点位置姿勢を推定する
推定手段をさらに具備することを特徴とする請求項６記
載のヘッドマウントディスプレイシステム。 - 【請求項８】 ３次元位置姿勢センサをさらに有する請
求項１乃至５のいずれかに記載のヘッドマウントディス
プレイ装置。 - 【請求項９】 請求項８に記載のヘッドマウントディス
プレイ装置を具備するヘッドマウントディスプレイシス
テムであって、 各々が反射面を有する複数のマーカと、 前記赤外光カメラによる赤外光画像を処理して前記マー
カの位置を検出する検出手段と、 前記検出手段によつて得られる前記マーカ位置と、前記
３次元位置姿勢センサによって得られる前記観察者の大
まかな視点位置姿勢情報に基づいて、前記観察者の視点
位置姿勢を推定する推定手段をさらに具備することを特
徴とするヘッドマウントディスプレイシステム。 - 【請求項１０】 前記推定手段は、前記マーカ位置に基
づいて前記観察者の視点位置姿勢の補正を行なうことを
特徴とする、請求項９に記載のヘッドマウントディスプ
レイシステム。 - 【請求項１１】 ３次元位置姿勢センサ、加速度セン
サ、角度センサのいずれか１つ以上をさらに有すること
を特徴とする請求項１乃至請求項５のいずれか１項に記
載のヘッドマウントディスプレイ装置。 - 【請求項１２】 請求項１１に記載のヘッドマウントデ
ィスプレイ装置を具備するヘッドマウントディスプレイ
システムであって、 各々が反射面を有する複数のマーカと、 前記赤外光カメラによる赤外光画像を処理して前記マー
カの位置を検出する検出手段と、 前記検出手段によつて得られる前記マーカ位置と、前記
３次元位置姿勢センサ、加速度センサ、角度センサのい
ずれか１つ以上の出力に基づいて、前記観測者の視点位
置姿勢を推定する推定手段をさらに具備することを特徴
とするヘッドマウントディスプレイシステム。 - 【請求項１３】 前記マーカは再帰性反射材料によって
表面処理されていることを特徴とする請求項６乃至請求
項１２のいずれか１項に記載のヘッドマウントディスプ
レイシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000085030A JP3372926B2 (ja) | 1999-03-26 | 2000-03-24 | ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-84659 | 1999-03-26 | ||
| JP8465999 | 1999-03-26 | ||
| JP2000085030A JP3372926B2 (ja) | 1999-03-26 | 2000-03-24 | ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000347128A true JP2000347128A (ja) | 2000-12-15 |
| JP3372926B2 JP3372926B2 (ja) | 2003-02-04 |
Family
ID=26425653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000085030A Expired - Fee Related JP3372926B2 (ja) | 1999-03-26 | 2000-03-24 | ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3372926B2 (ja) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003344018A (ja) * | 2003-04-04 | 2003-12-03 | Canon Inc | 画像処理装置およびその方法並びにプログラム、記憶媒体 |
| JP2005351886A (ja) * | 2004-05-14 | 2005-12-22 | Canon Inc | 位置姿勢計測方法および情報処理装置 |
| JP2006221599A (ja) * | 2005-01-11 | 2006-08-24 | Mitsubishi Precision Co Ltd | マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置 |
| JP2007163367A (ja) * | 2005-12-15 | 2007-06-28 | Nippon Hoso Kyokai <Nhk> | カメラ情報解析装置 |
| JP2009111511A (ja) * | 2007-10-26 | 2009-05-21 | Canon Inc | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
| US7613356B2 (en) | 2003-07-08 | 2009-11-03 | Canon Kabushiki Kaisha | Position and orientation detection method and apparatus |
| JP2010050757A (ja) * | 2008-08-21 | 2010-03-04 | Kwansei Gakuin | 情報提供方法及び情報提供システム |
| US7676079B2 (en) | 2003-09-30 | 2010-03-09 | Canon Kabushiki Kaisha | Index identification method and apparatus |
| JP2012175668A (ja) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | 画像合成方法 |
| JP2013126073A (ja) * | 2011-12-14 | 2013-06-24 | Toshiba Corp | 画像表示装置、方法、プログラム、及び画像処理装置 |
| JP2014030093A (ja) * | 2012-07-31 | 2014-02-13 | Casio Comput Co Ltd | 被写体検出装置、被写体検出方法及びプログラム |
| WO2014197109A3 (en) * | 2013-03-22 | 2015-04-30 | Seiko Epson Corporation | Infrared video display eyewear |
| JP2015144457A (ja) * | 2015-03-03 | 2015-08-06 | 株式会社東芝 | 画像表示装置、方法、及びプログラム |
| KR20160101846A (ko) * | 2015-02-18 | 2016-08-26 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 |
| WO2016209819A1 (en) * | 2015-06-24 | 2016-12-29 | Google Inc. | System for tracking a handheld device in an augmented and/or virtual reality environment |
| WO2017007101A1 (ko) * | 2015-07-03 | 2017-01-12 | 엘지전자 주식회사 | 스마트 디바이스 및 이의 제어방법 |
| US9851091B2 (en) | 2015-02-18 | 2017-12-26 | Lg Electronics Inc. | Head mounted display |
| CN111512214A (zh) * | 2017-12-26 | 2020-08-07 | 索尼半导体解决方案公司 | 图像显示装置以及显示装置 |
| JP2021018206A (ja) * | 2019-07-23 | 2021-02-15 | 株式会社島津製作所 | ヘッドモーショントラッカ装置 |
-
2000
- 2000-03-24 JP JP2000085030A patent/JP3372926B2/ja not_active Expired - Fee Related
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003344018A (ja) * | 2003-04-04 | 2003-12-03 | Canon Inc | 画像処理装置およびその方法並びにプログラム、記憶媒体 |
| US7613356B2 (en) | 2003-07-08 | 2009-11-03 | Canon Kabushiki Kaisha | Position and orientation detection method and apparatus |
| US7676079B2 (en) | 2003-09-30 | 2010-03-09 | Canon Kabushiki Kaisha | Index identification method and apparatus |
| JP2005351886A (ja) * | 2004-05-14 | 2005-12-22 | Canon Inc | 位置姿勢計測方法および情報処理装置 |
| JP4566786B2 (ja) * | 2004-05-14 | 2010-10-20 | キヤノン株式会社 | 位置姿勢計測方法および情報処理装置 |
| JP2006221599A (ja) * | 2005-01-11 | 2006-08-24 | Mitsubishi Precision Co Ltd | マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置 |
| JP2007163367A (ja) * | 2005-12-15 | 2007-06-28 | Nippon Hoso Kyokai <Nhk> | カメラ情報解析装置 |
| JP2009111511A (ja) * | 2007-10-26 | 2009-05-21 | Canon Inc | 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム |
| JP2010050757A (ja) * | 2008-08-21 | 2010-03-04 | Kwansei Gakuin | 情報提供方法及び情報提供システム |
| JP2012175668A (ja) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | 画像合成方法 |
| JP2013126073A (ja) * | 2011-12-14 | 2013-06-24 | Toshiba Corp | 画像表示装置、方法、プログラム、及び画像処理装置 |
| JP2014030093A (ja) * | 2012-07-31 | 2014-02-13 | Casio Comput Co Ltd | 被写体検出装置、被写体検出方法及びプログラム |
| JP2016521480A (ja) * | 2013-03-22 | 2016-07-21 | セイコーエプソン株式会社 | 赤外線ビデオ表示アイウェア |
| US10218884B2 (en) | 2013-03-22 | 2019-02-26 | Seiko Epson Corporation | Infrared video display eyewear |
| WO2014197109A3 (en) * | 2013-03-22 | 2015-04-30 | Seiko Epson Corporation | Infrared video display eyewear |
| US9729767B2 (en) | 2013-03-22 | 2017-08-08 | Seiko Epson Corporation | Infrared video display eyewear |
| KR101658096B1 (ko) | 2015-02-18 | 2016-09-21 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 |
| KR20160101846A (ko) * | 2015-02-18 | 2016-08-26 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 |
| US9851091B2 (en) | 2015-02-18 | 2017-12-26 | Lg Electronics Inc. | Head mounted display |
| JP2015144457A (ja) * | 2015-03-03 | 2015-08-06 | 株式会社東芝 | 画像表示装置、方法、及びプログラム |
| WO2016209819A1 (en) * | 2015-06-24 | 2016-12-29 | Google Inc. | System for tracking a handheld device in an augmented and/or virtual reality environment |
| CN107667328A (zh) * | 2015-06-24 | 2018-02-06 | 谷歌公司 | 用于在增强和/或虚拟现实环境中跟踪手持设备的系统 |
| WO2017007101A1 (ko) * | 2015-07-03 | 2017-01-12 | 엘지전자 주식회사 | 스마트 디바이스 및 이의 제어방법 |
| US10497171B2 (en) | 2015-07-03 | 2019-12-03 | Lg Electronics Inc. | Smart device and method for controlling same |
| CN111512214A (zh) * | 2017-12-26 | 2020-08-07 | 索尼半导体解决方案公司 | 图像显示装置以及显示装置 |
| CN111512214B (zh) * | 2017-12-26 | 2023-03-10 | 索尼半导体解决方案公司 | 图像显示装置以及显示装置 |
| JP2021018206A (ja) * | 2019-07-23 | 2021-02-15 | 株式会社島津製作所 | ヘッドモーショントラッカ装置 |
| JP7334521B2 (ja) | 2019-07-23 | 2023-08-29 | 株式会社島津製作所 | ヘッドモーショントラッカ装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3372926B2 (ja) | 2003-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114895471B (zh) | 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器 | |
| JP3372926B2 (ja) | ヘッドマウントディスプレイ装置およびヘッドマウントディスプレイシステム | |
| JP6860488B2 (ja) | 複合現実システム | |
| JP5965410B2 (ja) | 拡張現実ディスプレイ用最適焦点エリア | |
| USRE45031E1 (en) | Vision-based augmented reality system using invisible marker | |
| US9891435B2 (en) | Apparatus, systems and methods for providing motion tracking using a personal viewing device | |
| US7369101B2 (en) | Calibrating real and virtual views | |
| US20240046432A1 (en) | Compensation for deformation in head mounted display systems | |
| KR20150093831A (ko) | 혼합 현실 환경에 대한 직접 상호작용 시스템 | |
| JPH10327433A (ja) | 合成画像の表示装置 | |
| JPH11102438A (ja) | 距離画像生成装置及び画像表示装置 | |
| US20200320720A1 (en) | Dynamic object tracking | |
| US20200082626A1 (en) | Methods and devices for user interaction in augmented reality | |
| US10992928B1 (en) | Calibration system for concurrent calibration of device sensors | |
| WO2024047990A1 (ja) | 情報処理装置 | |
| CN214376323U (zh) | 一种娱乐头盔 | |
| TWI823740B (zh) | 主動式互動導覽系統以及主動式互動導覽方法 | |
| EP4322114A1 (en) | Projective bisector mirror |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021025 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3372926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |