JP2007334762A - ヘッドモーショントラッカ装置 - Google Patents

Abstract

【課題】 照度変動が大きい場所で光線を検出するときにも、光学マーカーの移動位置や移動角度を精度よく測定することにより、搭乗者の頭部の移動位置及び移動角度を算出することができるヘッドモーショントラッカ装置を提供する。
【解決手段】 光学マーカー７と、光学マーカー７からの光線を検出する光学検出手段２と、搭乗体３０に対する搭乗者３の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部２２とを備えるヘッドモーショントラッカ装置１であって、光学マーカー７に点灯と消灯とを繰り返させる光学マーカー駆動部２８と、点灯データと、消灯データとを比較することにより、差分データを生成する差分生成部２３とを備え、相対頭部情報算出部２２は、搭乗体３０に対する搭乗者３の頭部位置及び頭部角度を含む相対頭部情報を算出することを特徴とする。
【選択図】図１

Description

本発明は、光線を出射する光学マーカーの移動位置及び移動角度を検出する機能を備えるヘッドモーショントラッカ（ＨＭＴ）装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの移動位置及び移動角度を検出するＨＭＴ装置等に利用される。

物体の移動位置や移動角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの移動位置や移動角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの移動位置や移動角度を測定するために、ＨＭＴ装置が利用されている。

また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体の緯度、経度、高度、姿勢に加えて、飛行体に設定された座標系に対するパイロットの頭部角度及び頭部位置を測定している。このときに、ＨＭＴ装置が利用されている。

頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの移動位置や移動角度を測定するものが開示されている（例えば、特許文献１参照）。例えば、複数の反射板を頭部装着型表示装置付ヘルメットに取り付けるとともに光源から光を照射したときの反射光をカメラ装置でモニタする光学方式のＨＭＴ装置が開示されている。また、本出願人が先に出願している光学方式のＨＭＴ装置もある（特願２００５−１０６４１８号）。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカーとして、ＬＥＤを互いに離隔するようにして３箇所に取り付け、これら３つの光学マーカーの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３つの光学マーカーを、ステレオ視が可能でかつ設置場所が固定された２台のカメラ装置で同時に撮影することで、所謂、三角測量の原理により、現在の３つの光学マーカーの位置関係を測定している。これにより、２台のカメラ装置に対する頭部装着型表示装置付ヘルメットの移動位置や移動角度を特定している。
特表平９−５０６１９４号公報

しかしながら、光学マーカーを点灯させたままの状態で光線を検出した場合に、周囲の照度が安定している場所で光線を検出するときには問題はなかったが、照度変動が大きい場所で光線を検出するときには、光学マーカーの移動位置及び移動角度を精度よく測定することができないことがあった。

そこで、本発明は、照度変動が大きい場所で光線を検出するときにも、光学マーカーの移動位置及び移動角度を精度よく測定することにより、搭乗者の頭部の移動位置及び移動角度を算出することができるヘッドモーショントラッカ装置を提供することを目的とする。

上記課題を解決するためになされた本発明のＨＭＴ装置は、搭乗者の頭部に装着されるともに、光線を出射する光学マーカーと、前記搭乗者が搭乗する搭乗体に取り付けられるとともに、前記光学マーカーからの光線を検出する光学検出手段と、検出された光線に基づいて、前記搭乗体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、前記光学マーカーに点灯と消灯とを繰り返させる光学マーカー駆動部と、前記光学マーカーの点灯時に検出された光線の点灯データと、前記光学マーカーの消灯時に検出された光線の消灯データとを比較することにより、差分データを生成する差分生成部とを備え、前記相対頭部情報算出部は、差分データに基づいて、前記搭乗体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出するようにしている。

本発明のＨＭＴ装置によれば、光学マーカーに点灯と消灯とを繰り返させるので、光学マーカーの点灯時に検出された光線の点灯データと、光学マーカーの消灯時に検出された光線の消灯データとを比較することにより、光学マーカーのみから出射される光線の差分データを生成することができる。よって、差分データでは照度変動によるノイズ等が除去されているので、光学マーカーの移動位置及び移動角度を精度よく測定することにより、搭乗体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を精度よく算出することができる。

（他の課題を解決するための手段および効果）
また、上記の発明において、前記光学マーカーは、３個以上のＬＥＤであり、かつ、前記光学検出手段は、２台以上のカメラ装置であるようにしてもよい。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。

図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。本実施形態は、飛行体でパイロットが着用する頭部装着型表示装置付ヘルメットの移動位置及び移動角度を算出するものである。つまり、ＨＭＴ装置１は、搭乗体３０に設定された相対座標系（ＸＹＺ座標系）に対する、パイロット３の頭部位置及び頭部角度を含む相対頭部情報を算出するものである。なお、相対座標系（ＸＹＺ座標系）は、後述する第一カメラ装置２ａ及び第二カメラ装置２ｂを基準点とするものであり、相対座標記憶部４３に記憶されている。

ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０の天井に取り付けられた一対のカメラ装置（光学検出手段）２ａ、２ｂと、コンピュータにより構成される制御部２０とから構成される。

搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａを備える。よって、飛行体が飛行することにより、パイロット３が搭乗する搭乗体３０には、太陽光が入ってくることもある。
頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、ＬＥＤ群７とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とコンバイナ８の前方実在物とを視認することが可能となっている。

ＬＥＤ群７は、図２に示すように、互いに異なる波長の赤外光を発光する３個（あるいは３個以上の数）のＬＥＤ７ａ、７ｂ、７ｃが互いに離隔するようにして取り付けられたものである。なお、頭部装着型表示装置付ヘルメット１０の移動位置及び移動角度を特定することができるように、３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（初期画像データ）は、後述するメモリ４１の点灯データ記憶部４４に記憶されている。

第一カメラ装置２ａ及び第二カメラ装置２ｂは、撮影方向が頭部装着型表示装置付ヘルメット１０に向けられているとともに、頭部装着型表示装置付ヘルメット１０の立体視が可能な一定の距離を隔てるように、搭乗体３０の天井に固定軸２ｃを介して設置されている。
これにより、ＬＥＤ群７から発光される赤外光を検出することにより３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係（画像データ）を得ることで、第一カメラ装置２ａ及び第二カメラ装置２ｂ（相対座標系）に対する頭部装着型表示装置付ヘルメット１０の移動位置及び移動角度を算出できるようにしている。
なお、パイロット３が搭乗する搭乗体３０には太陽光が入ってくることもあるので、第一カメラ装置２ａ及び第二カメラ装置２ｂは、太陽光の反射光等のノイズ等も検出されることになる。

制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、光学マーカー駆動部２８と、相対頭部情報算出部２２と、差分生成部２３と、映像表示部２５とを有する。

また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、相対座標系（ＸＹＺ座標系）を記憶する相対座標記憶部４３と、時間記憶部４２と、３個のＬＥＤ７ａ、７ｂ、７ｃの点灯データ（画像データ）を記憶する点灯データ記憶部４４と、消灯データ（画像データ）を記憶する消灯データ記憶部４５とを有する。
ここで、図３は、光学マーカー駆動部２８が実行する流れを説明するタイムチャートであり、図４は、第一カメラ装置２ａが検出する画像データを処理する流れを説明する図である。

光学マーカー駆動部２８は、ＬＥＤ群７に点灯と消灯とを繰り返させる指令信号を出力するとともに、第一カメラ装置２ａ及び第二カメラ装置２ｂでＬＥＤ群７の点灯時に検出された光線の点灯データ（画像データ）と、ＬＥＤ群７の消灯時に検出された光線の消灯データ（画像データ）とを検出させる制御を行うものである。つまり、図３に示すように、点灯時間幅と消灯時間幅とが同じ時間幅となるように、ＬＥＤ群７に点灯と消灯とを所定の周期で繰り返させるとともに、第一カメラ装置２ａ及び第二カメラ装置２ｂで光線を所定の周期の半分の周期で検出させる。これにより、例えば、図４に示すように、第一カメラ装置２ａで、画像データが＃１ａ（点灯データ）、＃２ａ（消灯データ）、＃３ａ（点灯データ）、＃４ａ（消灯データ）と順に検出される。また、第二カメラ装置２ｂでも同様に、画像データが＃１ｂ（点灯データ）、＃２ｂ（消灯データ）、＃３ｂ（点灯データ）、＃４ｂ（消灯データ）と順に検出される。
このとき、点灯データは、点灯データ記憶部４４に記憶されるとともに、消灯データは、消灯データ記憶部４５に記憶される。なお、点灯データには、ＬＥＤ群７から出射された光線と照度変動によるノイズＮとが含まれることになる。一方、消灯データには、照度変動によるノイズＮのみが含まれることになる。

差分生成部２３は、ＬＥＤ群７の点灯時に検出された光線の点灯データと、ＬＥＤ群７の消灯時に検出された光線の消灯データとを比較することにより、差分データを生成する制御を行うものである。例えば、図４に示すように、第一カメラ装置２ａで検出された＃１ａ（点灯データ）から、第一カメラ装置２ａで検出された＃２ａ（消灯データ）を引くことにより、ＬＥＤ群７のみから出射される光線の第一差分データ（＃１ａ−＃２ａ）を生成する。また、別の時間には、第一カメラ装置２ａで検出された＃３ａ（点灯データ）から、第一カメラ装置２ａで検出された＃２ａ（消灯データ）を引くことにより、ＬＥＤ群７のみから出射される光線の第一差分データ（＃３ａ−＃２ａ）を生成する。このように繰り返すことにより、常に点灯データから消灯データを引くことで第一差分データを生成する。また、第二カメラ装置２ｂでも同様に、ＬＥＤ群７のみから出射される光線の第二差分データを生成する。よって、第一差分データ及び第二差分データでは、照度変動によるノイズ等が除去されているので、ＬＥＤ群７の移動位置及び移動角度を精度よく測定することができる。

相対頭部情報算出部２２は、第一差分データ及び第二差分データに基づいて、第一カメラ装置２ａ及び第二カメラ装置２ｂ（相対座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を含む相対頭部情報を算出する制御を行うものである。つまり、ＬＥＤ群７を、ステレオ視が可能でかつ設置場所が固定された第一カメラ装置２ａ及び第二カメラ装置２ｂ（相対座標系）で同時に撮影することで、三角測量の原理により、ＬＥＤ群７の位置関係を測定する。なお、頭部角度（Ψ）は、アジマス方向（Ｚ軸に対する回転）の角度であり、頭部角度（Φ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、頭部角度（Θ）は、ロール方向（Ｘ軸に対する回転）の角度である。
このとき、第一カメラ装置２ａ及び第二カメラ装置２ｂで得られたＬＥＤ群７の画像データと、画像データ記憶部４４に記憶されている初期画像データとを比較することにより、カメラ装置２ａ、２ｂ（相対座標系）に対する頭部装着型表示装置付ヘルメット１０の移動位置及び移動角度を算出することができる。

映像表示部２５は、相対頭部情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することができるようになる。

次に、ＨＭＴ装置１により、相対座標系（ＸＹＺ座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を測定する測定動作について説明する。図５及び図６は、ＨＭＴ装置１による測定動作について説明するためのフローチャートである。

まず、ステップＳ１０１の処理において、時間（ｔ）に＋１と更新するように、ｔ＝ｔ＋１と時間記憶部４２に記憶させる。
次に、ステップＳ１０２の処理において、光学マーカー駆動部２８が、ＬＥＤ群７に点灯させる指令信号を出力することにより、ＬＥＤ群７が点灯する。

次に、ステップＳ１０３の処理において、光学マーカー駆動部２８は、第一カメラ装置２ａ及び第二カメラ装置２ｂで点灯データ（画像データ）を同時に検出させる。このとき、点灯データには、ＬＥＤ群７から出射された光線と照度変動によるノイズとが含まれる。
次に、ステップＳ１０４の処理において、点灯データ記憶部４４に、ｔ＝ｔ＋１の点灯データとして記憶させる。

次に、ステップＳ１０５の処理において、ｔ＝ｔの消灯データが記憶されているか否かを判定する。ｔ＝ｔの消灯データが記憶されていないと判定されたときには、ステップＳ１０８の処理に進む。
一方、ｔ＝ｔの消灯データが記憶されていると判定されたときには、ステップＳ１０６の処理において、差分生成部２３は、ｔ＝ｔ＋１の点灯データと、ｔ＝ｔの消灯データとを比較することにより、差分データを生成する。このとき、ｔ＝ｔ＋１の点灯データから、ｔ＝ｔの消灯データを引くことにより、ＬＥＤ群７のみから出射される光線の差分データを生成することになる。
次に、ステップＳ１０７の処理において、相対頭部情報算出部２２は、差分データに基づいて、第一カメラ装置２ａ及び第二カメラ装置２ｂ（相対座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出する。

次に、ステップＳ１０８の処理において、時間（ｔ）に＋１と更新するように、ｔ＝ｔ＋１と時間記憶部４２に記憶させる。
次に、ステップＳ１０９の処理において、光学マーカー駆動部２８が、ＬＥＤ群７に消灯させる指令信号を出力することにより、ＬＥＤ群７が消灯する。

次に、ステップＳ１１０の処理において、光学マーカー駆動部２８は、第一カメラ装置２ａ及び第二カメラ装置２ｂで消灯データ（画像データ）を検出させる。このとき、消灯データには、照度変動によるノイズのみが含まれる。
次に、ステップＳ１１１の処理において、消灯データ記憶部４５に、ｔ＝ｔ＋１の消灯データとして記憶させる。

次に、ステップＳ１１２の処理において、ｔ＝ｔの点灯データが記憶されているか否かを判定する。ｔ＝ｔの点灯データが記憶されていないと判定されたときには、ステップＳ１１５の処理に進む。
一方、ｔ＝ｔの点灯データが記憶されていると判定されたときには、ステップＳ１１３の処理において、差分生成部２３は、ｔ＝ｔ＋１の消灯データと、ｔ＝ｔの点灯データとを比較することにより、差分データを生成する。このとき、ｔ＝ｔの点灯データから、ｔ＝ｔ＋１の消灯データを引くことにより、ＬＥＤ群７のみから出射される光線の差分データを生成することになる。
次に、ステップＳ１１４の処理において、相対頭部情報算出部２２は、差分データに基づいて、第一カメラ装置２ａ及び第二カメラ装置２ｂ（相対座標系）に対するパイロット３の頭部位置（Ｘ、Ｙ、Ｚ）及び頭部角度（Θ、Φ、Ψ）を算出する。

次に、ステップＳ１１５の処理において、搭乗体３０が飛行しているか否かを判定する。搭乗体３０が飛行していると判定されたときには、ステップＳ１０１の処理に戻る。つまり、搭乗体３０が飛行していていないと判定されるときまで、ステップＳ１０１〜ステップＳ１１４の処理は繰り返される。
一方、搭乗体３００が飛行していると判定されたときには、本フローチャートを終了させる。

以上のように、ＨＭＴ装置１によれば、ＬＥＤ群７に点灯と消灯とを繰り返させるので、ＬＥＤ群７の点灯時に検出された光線の点灯データと、ＬＥＤ群７の消灯時に検出された光線の消灯データとを比較することにより、ＬＥＤ群７のみから出射される光線の差分データを生成することができる。よって、差分データでは、照度変動によるノイズ等が除去されているので、ＬＥＤ群７の移動位置及び移動角度を精度よく測定することにより、搭乗体３０に対するパイロット３の頭部位置及び頭部角度を含む相対頭部情報を精度よく算出することができる。

本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの移動位置及び移動角度を検出するものとして、利用される。

本発明の一実施形態であるＨＭＴ装置の概略構成を示す図である。 図１に示す頭部装着型表示装置付ヘルメットの平面図である。 光学マーカー駆動部が実行する流れを説明するタイムチャートである。 第一カメラ装置が検出する画像データを処理する流れを説明する図である。 ＨＭＴ装置による測定動作について説明するためのフローチャートである。 ＨＭＴ装置による測定動作について説明するためのフローチャートである。

符号の説明

１ ヘッドモーショントラッカ装置
２ カメラ装置
３ パイロット
７ ＬＥＤ群
２２ 相対頭部情報算出部
２３ 差分生成部
２８ 光学マーカー駆動部
３０ 搭乗体

Claims (2)

1. 搭乗者の頭部に装着されるともに、光線を出射する光学マーカーと、
   前記搭乗者が搭乗する搭乗体に取り付けられるとともに、前記光学マーカーからの光線を検出する光学検出手段と、
   検出された光線に基づいて、前記搭乗体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
   前記光学マーカーに点灯と消灯とを繰り返させる光学マーカー駆動部と、
   前記光学マーカーの点灯時に検出された光線の点灯データと、前記光学マーカーの消灯時に検出された光線の消灯データとを比較することにより、差分データを生成する差分生成部とを備え、
   前記相対頭部情報算出部は、前記差分データに基づいて、前記搭乗体に対する搭乗者の頭部位置及び頭部角度を含む相対頭部情報を算出することを特徴とするヘッドモーショントラッカ装置。
2. 前記光学マーカーは、３個以上のＬＥＤであり、かつ、
   前記光学検出手段は、２台以上のカメラ装置であることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
   
   

Images