JP2005038321A - ヘッドマウントディスプレイ装置 - Google Patents

Abstract

【課題】 視点位置を調整可能なビデオシースルー型ＨＭＤを実現する。これによりＭＲ空間を、ユーザの実際の視点位置とは異なる視点（例えば、実際の背丈よりも低い視点や高い視点）で、ユーザの頭の動きに応じて体験することが可能となる。
【解決手段】 観察者の頭部に装着されるヘッドマウントディスプレイ装置であって、現実世界を撮影する撮像手段１０１と、前記撮像部を支持する支持手段１０２と、前記支持手段１０２は、前記撮像部を再配置可能とする機構を持ち、前記撮像手段の位置姿勢を計測する撮像手段位置姿勢算出手段１０３と、撮像手段位置姿勢算出手段からの位置姿勢情報からＣＧを生成するＣＧ生成手段１０４と、前記ＣＧを生成するためのデータを保持するデータ部１０５と、前記撮像手段で撮影された撮影映像と前記ＣＧ生成手段で生成したＣＧを合成して表示する表示手段１０６とを備えることを特徴とするヘッドマウントディスプレイ装置。
【選択図】 図１

Description

本発明は、ユーザの頭部位置情報に応じて、ビデオカメラ等で撮影された映像に仮想物体を重畳して表示するビデオシースルー型ＨＭＤ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）装置に関する。

現実にある現実世界とコンピュータ等により生成された仮想世界とを融合した空間体験をユーザに提供するＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が提案されている。バーチャルリアリティーがＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）のみの仮想世界を構築しているのに対し、ＭＲでは現実世界の拡張としての情報環境を構築する技術である。この情報環境を、以下ではＭＲ空間と呼ぶことにする。

ユーザの頭の動きに合わせてＭＲ空間を体験させるための表示装置として、シースルー型ＨＭＤがある。シースルー型のＨＭＤはその方式によって次の２つに分類できる。一つは、半透過型のＨＭＤに仮想物体を重畳する光学シースルー（Ｏｐｔｉｃ−Ｓｅｅ−Ｔｈｒｏｕｇｈ）方式であり、もう一つは、ビデオカメラで撮影された現実世界の映像に仮想物体を重畳するビデオシースルー（Ｖｉｄｅｏ−Ｓｅｅ−Ｔｈｒｏｕｇｈ）方式である。

ＭＲ空間におけるユーザの視点位置は、光学シースルー方式ＨＭＤを表示装置として用いた場合においてはまさにユーザの視点位置である。一方、ビデオシースルーＨＭＤを表示装置として用いた場合においては、ビデオカメラ位置である。従来のビデオシースルー型ＨＭＤでは、ユーザが実際に見ている現実世界にＣＧを合成することを目的としていることから、ビデオカメラはなるべく実際のユーザ視点位置にくるようにＨＭＤに固定されている（例えば、特許文献１参照。）。
特開平１１−０８８９１３号公報

従来のシースルー型ＨＭＤでは、例えば、実際の体験者の視点よりも高い位置や低い位置に視点を設定するなど、ユーザの視点位置を自由に設定することができなかった。

本発明は以上の点を鑑みてなされたものであり、視点位置を調整可能なビデオシースルー型ＨＭＤを実現することを目的としている。

前記の目的を達成するための本発明は、以下の構成を備える。

すなわち、
観察者の頭部に装着されるヘッドマウントディスプレイ装置であって、
現実世界を撮影する撮像手段と、
前記撮像部を支持する支持手段と、
前記支持手段は、前記撮像部を再配置可能とする機構を持ち、
前記撮像手段の位置姿勢を計測する撮像手段位置姿勢算出手段と、
撮像手段位置姿勢算出手段からの位置姿勢情報からＣＧを生成するＣＧ生成手段と、
前記ＣＧを生成するためのデータを保持するデータ部と、
前記撮像手段で撮影された撮影映像と前記ＣＧ生成手段で生成したＣＧを合成して表示する表示手段と、
を備えることを特徴とするヘッドマウントディスプレイ装置。

以上説明したように、本発明によれば、ビデオシースルー型ＨＭＤにおけるビデオカメラ位置を設定可能にすることで、ユーザの実際の視点位置とは異なる視点（例えば、実際の背丈よりも低い視点や高い視点）によるＭＲ空間を、ユーザの頭の動きに応じて体験することが可能になる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。図1は本発明の概略を示す図である。

＜第１の実施形態＞
第１の実施形態の概要は次のとおりである。

現実の風景に仮想空間を重畳したＭＲ空間をユーザに提示するビデオシースルー型ＨＭＤの１実施例である。ＨＭＤのビデオカメラの位置はＨＭＤに固定されておらず、ユーザの好みに応じて、実際のユーザの視点位置より高い位置や低い位置に再配置可能である（図１）。これにより、ユーザが本発明であるＨＭＤを装着して眺めると、ユーザの設定した視点によるＭＲ空間を、ユーザの位置・姿勢変化に応じて体験することができる。

図２は本発明の第一実施形態によるＨＭＤの概略構成を示すブロック図である。

１０１は撮像手段であり、ここではＨＭＤに備わるカメラである。撮像手段１０１は現実世界を撮影し、撮影映像を映像信号として映像表示手段１０６へ送信する。

１０２は支持手段であり、撮像手段１０１をＨＭＤに支える。支持手段１０２は、ユーザが撮像手段１０１をＨＭＤに対して上下方向などに動かして再設置することを可能にする機構をもつ。本実施例では、スライダーでこの機構を実現している。

１０３は撮像手段位置姿勢算出手段であり、例えば地磁気センサやジャイロや光学式のセンサなどの位置姿勢計測装置である。撮像手段位置姿勢算出手段１０３は、撮像手段１０１の位置姿勢情報を算出し、ＣＧ生成手段１０４に送出する。

一般的に、位置姿勢計測装置を計測ポイント（ここでは撮像手段１０１）に設置することは困難である。そこで、計測ポイントと位置姿勢計測装置の設置位置とのズレ量をオフセット値（図５）として求め、位置姿勢計測装置の出力結果をもとに、計測ポイントの位置姿勢を算出している。以下、計測ポイントと位置姿勢計測装置の設置位置とのズレをオフセットと呼ぶ。

本実施例において、位置姿勢計測装置を、図６に示すように撮像手段１０１と連動して動くように設置した場合は、上記オフセット値はシステム起動時に設定し、システム稼動時は変更する必要がない。しかし、図７に示すように位置姿勢計測装置を、撮像手段１０１と連動して動かないようにＨＭＤに固定して設置した場合には、オフセット値をシステム稼動時にも再設定する必要がある。オフセット値の再設定方法としては、例えば支持手段１０２の可動部分（スライダー）を計測する機械式のエンコーダなどで構成することで計測したり、位置姿勢計測装置の出力結果と、撮像手段１０１によって撮影した現実世界の映像を画像処して得られる位置姿勢情報とから求めたりしてもよい。オフセット値の算出は、撮像手段１０１が再設定された場合にのみ行っても、描画ごとに毎回おこなってもよい。また、描画ごとに更新する場合はオフセット値を算出せずに、撮像手段位置姿勢を直接求めることも可能である。さらに、撮像手段位置姿勢算出手段１０３は、撮像手段１０１からの映像を画像解析して直接位置姿勢を求めるよう画像解析手段などで実現することも可能であり、この場合オフセットの概念は不要である。この詳細は図４を使って後述する。

１０４はＣＧ生成手段であり、撮像手段位置姿勢算出手段１０３から撮像手段１０１の位置姿勢情報を取り出して撮像手段１０１が向いている方向を推定する。撮像手段１０１の向いている方向と画角が推定できれば撮像手段１０１の視野が求まるため、ＣＧ生成手段１０４はデータ部１０５から撮像手段１０１の視野に入る部分のデータを取り出し、撮像手段１０１の視野に重なるＣＧを生成する。生成されたＣＧは映像表示手段１０６に送られる。

１０５はデータ部であり、たとえばハードディスクから構成され、ＣＧ生成手段１０４に引き渡すデータを所持する。データ部１０５に格納されるデータとしては、たとえばテキスト情報やパノラマ映像、三次元ＣＧデータ等といったものが考えられる。データ部１０５はＣＧ生成手段１０４からの要求に応じて適切なデータをＣＧ生成手段１０４に送出する。たとえばＣＧ生成手段１０４が撮像手段１０１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部１０５は格納されている三次元ＣＧデータの中から撮像手段１０１の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部１０５はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。

１０６は映像表示手段であり、撮像手段１０１およびＣＧ生成手段１０４から送出された映像を合成して表示する。

以上の様な構成を備えた本実施形態の制御について、以下説明する。図３は本発明の映像合成装置における処理の手順を説明するフローチャートである。

ステップＳ０００でシステムが起動され、初期化のために必要な処理が行われる。

ステップＳ１００で撮像手段１０１から映像が取得され、適切なフォーマットに変換され、映像表示手段１０６に送られる。

ステップＳ２００で、ユーザによって撮像手段１０１の再配置が行われる。

ステップＳ３００で撮像手段位置姿勢算出手段１０３が撮像手段１０１の位置姿勢情報を算出し、算出された位置姿勢情報はＣＧ生成手段１０４に送られる。

ステップＳ３００の詳細について、図４を使って説明する。

図４−１は、撮像手段１０１が再設定された場合にのみ、撮像手段１０１と位置姿勢計測装置とのオフセット値を再設定して撮像手段１０１の位置姿勢を求める方式のフローチャートである。

ステップＳ３０１で、位置姿勢計測装置から出力される値を取得する。

ステップＳ３０３（ａ）では、ステップＳ１００で取得した撮像画像を画像処理することで、撮像手段１０１の位置姿勢を算出する。または、ステップＳ３０３（ｂ）で、エンコーダの値を取得する。

ステップＳ３０４で、ステップＳ３０１で取得した位置姿勢情報とステップＳ３０３の（ａ）または（ｂ）で取得した値とから、オフセットを算出する。

図４−２は、撮像手段１０１が再設定されたか否かにかかわらず、毎回撮像手段１０１の位置姿勢を算出する方法のフローチャートである。本実施例では、撮像手段１０１と位置姿勢計測装置とのオフセット値の再計算は行わない。

ステップＳ３１０で、位置姿勢計測装置から出力される値を取得する。

ステップＳ３２０で、エンコーダの値を取得する。

ステップＳ３３０では、ステップ３１０で得た位置姿勢情報と、ステップＳ３２０で得たエンコーダの値と、初期オフセット値と足し合わせることで、位置姿勢情報を算出する。

これらステップＳ３１０〜ステップＳ３３０の代わりに、データ部１０５に保存してある現実空間のデータを利用して、ステップＳ１００で取得した撮像画像を画像処理することで位置姿勢情報を算出することも可能である。

ステップＳ４００ではＣＧ生成部１０４が、撮像手段位置姿勢算出手段１０３から送出された姿勢情報から撮像手段１０１の視野を推定し、データ部１０５から撮像手段１０１の視野に含まれる範囲のデータを取得する。

ステップＳ５００ではデータ部１０５から取得したデータを用いてＣＧ生成手段１０４がＣＧを生成する。生成されたＣＧは映像表示手段１０６に送られる。

ステップＳ６００では、映像表示手段１０６において撮影手段１０１から送出された撮影映像と、ＣＧ生成手段１０４から送出されたＣＧとの合成映像が表示される。

その後ステップＳ７００でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ８００〜ステップＳ９００でシステムを終了させ、終了させない場合にはステップＳ１００に戻り、上述の処理を繰り返す。

本発明の概略を示す図 本発明の第一実施形態によるヘッドマウントディスプレイ装置の概略構成を示すブロック図 本発明の第一実施形態における、ヘッドマウントディスプレイ装置の処理手順を説明するフローチャート 本発明の第一実施形態における、ヘッドマウントディスプレイ装置の位置情報取得処理手順を説明するフローチャート 本発明の第一実施形態における、ヘッドマウントディスプレイ装置の位置情報取得処理手順を説明するフローチャート 本発明の第一実施形態における、位置姿勢計測装置の設置位置とのズレ量をオフセットの概念を説明する図 本発明の第一実施形態において、位置姿勢計測装置を撮像手段１０１と連動して動くように設置した場合を表す図 本発明の第一実施形態において、位置姿勢計測装置をＨＭＤに固定して設置した場合を表す図

符号の説明

１０１ 撮像手段（カメラ）
１０２ 支持手段
１０３ 撮像手段位置姿勢算出手段
１０４ ＣＧ生成手段
１０５ データ部
１０６ 映像表示手段

Claims (1)

1. 観察者の頭部に装着されるヘッドマウントディスプレイ装置であって、
   現実世界を撮影する撮像手段と、
   前記撮像部を支持する支持手段と、
   前記支持手段は、前記撮像部を再配置可能とする機構を持ち、
   前記撮像手段の位置姿勢を計測する撮像手段位置姿勢算出手段と、
   撮像手段位置姿勢算出手段からの位置姿勢情報からＣＧを生成するＣＧ生成手段と、
   前記ＣＧを生成するためのデータを保持するデータ部と、
   前記撮像手段で撮影された撮影映像と前記ＣＧ生成手段で生成したＣＧを合成して表示する表示手段と、
   を備えることを特徴とするヘッドマウントディスプレイ装置。

Images