JP2009036517A - ヘッドモーショントラッカ装置 - Google Patents

Abstract

【課題】 カメラ装置の設置に制限がある移動体に対して、搭乗者の頭部に装着される頭部装着型表示装置付ヘルメットの移動範囲が大きくても、移動体に対する搭乗者の頭部の現在位置や現在角度を広範囲で特定することができるヘッドモーショントラッカ装置の提供。
【解決手段】 ３個以上の光学マーカー４と、第一カメラ２ａと第二カメラ２ｂとを有するカメラ装置２と、第一画像及び第二画像に基づいて、カメラ装置２に対する少なくとも３個の光学マーカー４の現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部２３と、搭乗者３が搭乗する移動体３０に対する搭乗者３の頭部の現在位置及び現在角度を含む相対頭部情報を算出する相対頭部情報算出部２２とを備えるヘッドモーショントラッカ装置１であって、３個以上の光学マーカー４は、移動体３０の内面上に取り付けられ、カメラ装置２は、搭乗者３の頭部に装着されることを特徴とする。
【選択図】図１

Description

本発明は、光学マーカーの現在位置を検出する機能を備えるヘッドモーショントラッカ（ＨＭＴ）装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度（すなわち、頭部の現在位置及び現在角度）を検出するＨＭＴ装置等に利用される。

時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置付ヘルメットを用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。よって、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、ＨＭＴ装置が利用されている。

また、救難飛行艇による救難活動において、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体（救難飛行艇）の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部の現在角度や現在位置を測定している。このため、ＨＭＴ装置が利用されている。

頭部装着型表示装置付ヘルメットに利用されるＨＭＴ装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている（例えば、特許文献１参照）。具体的には、光学マーカーとして複数の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源と２台のカメラ（第一カメラ及び第二カメラ）とを飛行体に固定することにより、光源から光を照射したときの反射板からの反射光を第一カメラ及び第二カメラでモニタする。また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のＨＭＴ装置もある（例えば、特許文献２参照）。例えば、図５に示すように、頭部装着型表示装置付ヘルメット５０の外周面上に、光学マーカーとして発光体であるＬＥＤ（発光ダイオード）７ａ、７ｂ、７ｃを互いに離隔するようにして３箇所に取り付け、これら３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係をＨＭＴ装置に予め記憶させておく。そして、これら３個のＬＥＤ７ａ、７ｂ、７ｃを、立体視が可能でかつ飛行体３０に固定された第一カメラ２ａ及び第二カメラ（図示せず）で同時に撮影することで、所謂、三角測量の原理により、現在の３個のＬＥＤ７ａ、７ｂ、７ｃの位置関係を測定している。これにより、第一カメラ２ａ及び第二カメラに対する頭部装着型表示装置付ヘルメット５０の現在位置や現在角度を特定している。
特表平９−５０６１９４号公報 特願２００５−１０６４１８号公報

ところで、上述したような光学方式のＨＭＴ装置で、第一カメラ２ａ及び第二カメラに対する頭部装着型表示装置付ヘルメット５０の現在位置や現在角度を特定するためには、三角測量の原理を用いるため、第一カメラ２ａにより撮影される撮影領域と第二カメラにより撮影される撮影領域とが重なった撮影領域に、３個のＬＥＤ７ａ、７ｂ、７ｃの全てが存在していなければならなかった。
しかしながら、救難飛行艇等の飛行体３０では、第一カメラ２ａ及び第二カメラを設置することができる位置に制限があり、その結果、第一カメラ２ａにより撮影される撮影領域と第二カメラにより撮影される撮影領域とが重なった撮影領域も広範囲に設定することができず制限されることになっていた。

よって、頭部装着型表示装置付ヘルメット５０の移動距離が長かったとき等には、第一カメラ２ａにより撮影される撮影領域と第二カメラにより撮影される撮影領域との重なった領域に、３個のＬＥＤ７ａ、７ｂ、７ｃのうちいくつかのＬＥＤが存在しなくなることがあった。すなわち、頭部装着型表示装置付ヘルメット５０の移動範囲が大きいものについては、第一カメラ２ａで撮影される第一画像若しくは第二カメラで撮影される第二画像中に３個のＬＥＤ７ａ、７ｂ、７ｃの全てが撮影されていないことがあり、その結果、頭部装着型表示装置付ヘルメット５０の現在位置や現在角度を特定することができなくなることがあった。
そこで、本発明は、カメラ装置の設置に制限がある飛行体等の移動体に対して、搭乗者の頭部に装着される頭部装着型表示装置付ヘルメット等の移動範囲が大きくても、移動体に対する搭乗者の頭部の現在位置や現在角度を広範囲で特定することができるヘッドモーショントラッカ装置を提供することを目的とする。

上記課題を解決するためになされた本発明のＨＭＴ装置は、３個以上の光学マーカーと、前記光学マーカーを撮影することにより第一画像を作成する第一カメラと、前記第一カメラが撮影すると同時に第一カメラと異なる方向から光学マーカーを撮影することにより第二画像を作成する第二カメラとを有するカメラ装置と、前記第一画像及び第二画像に基づいて、前記カメラ装置に対する少なくとも３個の光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、搭乗者が搭乗する移動体に対する搭乗者の頭部の現在位置及び現在角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、前記３個以上の光学マーカーは、前記移動体の内面上に取り付けられるとともに、前記カメラ装置は、前記搭乗者の頭部に装着されるようにしている。

ここで、「光学マーカー」としては、例えば、発光体（ランプ、ＬＥＤ等）、反射体、蛍光体等が挙げられる。
本発明のＭＴ装置によれば、３個以上の光学マーカーは、移動体に取り付けられる。このとき、光学マーカーは、小型でありかつ取り付けが容易であるため、設置することができる位置に制限もなく、移動体の内面上のあらゆる所に取り付けられる。一方、第一カメラと第二カメラとを有するカメラ装置は、搭乗者の頭部に装着される。そして、搭乗者の頭部に装着された第一カメラは、光学マーカーを撮影することにより第一画像を作成する。また、搭乗者の頭部に装着された第二カメラは、第一カメラが撮影すると同時に第一カメラと異なる方向から光学マーカーを撮影することにより第二画像を作成する。これにより、光学マーカー位置情報算出部は、第一画像と第二画像とに基づいて三角測量の原理を用いて、カメラ装置に対する少なくとも３個の光学マーカーの現在位置である光学マーカー位置情報を算出する。このとき、３個以上の光学マーカーは、移動体の内面上のあらゆる所に取り付けられているので、第一カメラにより撮影される撮影領域と、第二カメラにより撮影される撮影領域とが重なった撮影領域に、少なくとも３個の同一の光学マーカーが必ず存在することになる。そして、相対頭部情報算出部は、光学マーカー位置情報を用いて、搭乗者が搭乗する移動体に対する搭乗者の頭部の現在位置及び現在角度を含む相対頭部情報を算出する。

以上のように、本発明のＨＭＴ装置によれば、カメラ装置の設置に制限がある飛行体等の移動体に対して、光学マーカーは小型でありかつ取り付けが容易であるため、制限を受けることなくあらゆる所に設置することができる。これにより、搭乗者の頭部に装着される頭部装着型表示装置付ヘルメット等の移動範囲が大きくても、第一カメラにより撮影される撮影領域と、第二カメラにより撮影される撮影領域とが重なった撮影領域に、少なくとも３個の同一の光学マーカーが存在するように容易にできるので、搭乗者が搭乗する移動体に対する搭乗者の頭部の現在位置及び現在角度を広範囲で特定することができるようになる。

（他の課題を解決するための手段および効果）
また、上記の発明において、前記３個以上の光学マーカーは、前記移動体の内面上に、前記カメラ装置に設定されている撮影領域より広い範囲となるように取り付けられているようにしてもよい。
本発明のＨＭＴ装置によれば、光学マーカーは、制限を受けることなくあらゆる所に設置することができるため、移動体の内面上の広範囲にわたって設置されることができる。これにより、搭乗者の頭部に装着される頭部装着型表示装置付ヘルメット等の移動範囲が大きくても、第一カメラにより撮影される撮影領域と、第二カメラにより撮影される撮影領域とが重なった撮影領域に、少なくとも３個の同一の光学マーカーが存在するように確実にできる。
さらに、上記の発明において、前記第一カメラ及び第二カメラは、ＣＣＤカメラであるようにしてもよい。
本発明のＨＭＴ装置によれば、ＣＣＤカメラは軽量であるため、搭乗者の頭部に負担をかけることがないようにすることができる。

以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。

図１は、本発明の一実施形態であるＨＭＴ装置の概略構成を示す図であり、図２は、図１に示す搭乗体の拡大図であり、図３は、図１に示す頭部装着型表示装置付ヘルメットの平面図である。本実施形態のＨＭＴ装置１は、搭乗体（移動体）３０に設定された相対座標系（ＸＹＺ座標系）に対するパイロット（搭乗者）３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対頭部情報を算出するものである。なお、相対座標系（ＸＹＺ座標系）は、後述するＬＥＤ群４を基準として設定されたものであり、メモリ４１のデータ記憶部４２に記憶されている。
ＨＭＴ装置１は、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０と、搭乗体３０の内面上に取り付けられたＬＥＤ群（光学マーカー群）４と、コンピュータにより構成される制御部２０とから構成される。
搭乗体３０は、パイロット３が搭乗する飛行体のコックピットであり、パイロット３が着席する座席３０ａを備える。

ＬＥＤ群４は、図２に示すように、互いに異なる波長の赤外光を出射する複数個のＬＥＤ４ａ〜４ｍが互いに離隔するようにして、搭乗体３０の内面上の前面と上面との全面にわたって取り付けられたものである。このとき、ＬＥＤ群４は、小型でありかつ取り付けが容易であるため、制限を受けることなくあらゆる所に設置されている。
ここで、相対座標系（ＸＹＺ座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、原点をＬＥＤ４ａの位置とし、前方方向をＸ’軸方向とし、前方方向に垂直方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義するように、後述するデータ記憶部４２に設定されている。また、相対座標系（ＸＹＺ座標系）上での複数個のＬＥＤ４ａ〜４ｍの位置関係（初期データ）も、データ記憶部４２に記憶されている。

頭部装着型表示装置付ヘルメット１０は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、パイロット３の目に導くコンバイナ８と、カメラ装置２とを有する。なお、頭部装着型表示装置付ヘルメット１０を装着したパイロット３は、表示器による表示映像とコンバイナ８の前方実在物とを視認することが可能となっている。
カメラ装置２は、第一カメラ２ａと第二カメラ２ｂとからなる。第一カメラ２ａと第二カメラ２ｂとは、撮影方向が異なるとともに、立体視が可能な一定の距離（ｄ１）を隔てるように頭部装着型表示装置付ヘルメット１０に固定されている。なお、第一カメラ２ａと第二カメラ２ｂとしては、例えば、ＣＣＤカメラ等が挙げられる。
ここで、図３に示すように、カメラ装置２に対するＬＥＤ４ａの位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ４ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出することができる。他の光学マーカーであるＬＥＤ４ｂ〜４ｍのカメラ装置２に対する位置についても、同様に算出される。

このときの各ＬＥＤ４ａ〜４ｍの位置を、空間座標で表現することができるように、カメラ装置２に固定されたヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を設定して用いる。ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、第一カメラ２ａの位置から第二カメラ２ｂの位置への方向をＹ’軸方向とし、Ｙ’軸方向に垂直方向をＸ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直方向をＺ’軸方向とするように定義し、原点を第一カメラ２ａの位置と第二カメラ２ｂの位置との中点として定義するようにヘルメット座標記憶部４３に設定されている。
よって、上述したように三角測量の手法で算出することにより、ＬＥＤ４ａ〜４ｍの位置座標は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を用いて表現する。そして、カメラ装置２に対する少なくとも３個のＬＥＤの位置座標が特定されれば、初期データを参照することで、ＬＥＤ４ａ〜４ｍが位置決めされて取り付けられている相対座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）が表現できるようになる。なお、角度（Θｈ）は、ロール方向（Ｘ軸に対する回転）の角度であり、角度（Φｈ）は、エレベーション方向（Ｙ軸に対する回転）の角度であり、角度（Ψｈ）は、アジマス方向（Ｚ軸に対する回転）の角度である。また、頭部装着型表示装置付ヘルメット１０の位置（Ｘｈ、Ｙｈ、Ｚｈ）は、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の原点の現在の位置座標で表現することとする。

ここで、第一カメラ２ａにより撮影される撮影領域と、第二カメラ２ｂにより撮影される撮影領域とについて図４を用いて説明する。
第一カメラ２ａには、使用されている低歪レンズや広角レンズ等により撮影できる撮影領域の大きさと形状とが定められる。例えば、第一カメラ２ａの撮影領域の形状は、第一カメラ２ａを頂点とする円錐となっている。また、第二カメラ２ｂにも、第一カメラ２ａと同様に、使用されている低歪レンズや広角レンズ等により撮影できる撮影領域の大きさと形状とが定められる。そして、第二カメラ２ｂの撮影領域の形状も第二カメラ２ｂを頂点とする円錐となっている。
ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）におけるＬＥＤ４ａの位置座標を表現するためには、三角測量の原理を用いるので、第一カメラ２ａにより撮影される撮影領域と、第二カメラ２ｂにより撮影される撮影領域とが重なった領域に、ＬＥＤ４ａが存在していなければならない。つまり、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）に対するＬＥＤ４ａの位置座標を表現することができるのは、第一カメラ２ａにより撮影される撮影領域と第二カメラ２ｂにより撮影される撮影領域とが重なった撮影領域となるヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の特定範囲Ｓとなる。
したがって、ＬＥＤ４ａが特定範囲Ｓ内に存在しなければ、第一カメラ２ａや第二カメラ２ｂに撮影されずに、カメラ座標系（Ｘ’’Ｙ’’Ｚ’’座標系）に対するＬＥＤ４ａの位置座標を表現することができなくなる。他の光学マーカーであるＬＥＤ４ｂ〜４ｍのヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）に対する位置座標を表現する場合についても、同様となる。
そこで、本実施形態では、ＬＥＤは、設置することができる位置に制限もなく、搭乗体３０の内面上のあらゆる所に取り付けられているので、特定範囲Ｓに少なくとも３個の同一のＬＥＤが存在することになるようになっている。すなわち、搭乗体３０に対して頭部装着型表示装置付ヘルメット１０の移動範囲が大きくても、特定範囲Ｓに少なくとも３個の同一のＬＥＤが存在するので、搭乗体３０に対するパイロット３の頭部の現在位置や現在角度を広範囲で特定することができるようになっている。

制御部２０は、ＣＰＵ２１、メモリ４１等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。ＣＰＵ２１が実行する処理を、機能ブロックごとに分けて説明すると、光学マーカー駆動部２８と、相対頭部情報算出部２２と、光学マーカー位置情報算出部２３と、映像表示部２５とを有する。
また、メモリ４１には、制御部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、ヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）を記憶するヘルメット座標記憶部４３と、相対座標系（ＸＹＺ座標系）を記憶するデータ記憶部４２とを有する。
なお、データ記憶部４２は、相対座標系（ＸＹＺ座標系）を記憶し、さらに、ＸＹＺ座標系上での複数個のＬＥＤ４ａ〜４ｍの位置関係（初期データ）も記憶している。

光学マーカー駆動部２８は、ＬＥＤ群４を点灯する指令信号を出力するとともに、カメラ装置２でＬＥＤ群４を撮影し、第一画像と第二画像とを取得する制御を行うものである。
光学マーカー位置情報算出部２３は、第一画像と第二画像とに基づいて、カメラ装置２（ヘルメット座標系）に対する少なくとも３個のＬＥＤの現在位置である光学マーカー位置情報を算出する制御を行うものである。
具体的には、特定範囲ＳにＬＥＤ４ａが存在していれば、ＬＥＤ４ａのカメラ装置２に対する位置は、第一カメラ２ａと第二カメラ２ｂとに撮影された第一画像と第二画像中に映し出されているＬＥＤ７ａの位置を抽出し、さらに第一カメラ２ａからの方向角度（α）と第二カメラ２ｂからの方向角度（β）とを抽出し、第一カメラ２ａと第二カメラ２ｂとの間の距離（ｄ１）を用いることにより、三角測量の手法で算出する。このように、特定範囲Ｓに存在している少なくとも３個のＬＥＤのカメラ装置２に対する位置について算出する。

相対頭部情報算出部２２は、光学マーカー位置情報に基づいて、搭乗体３０（相対座標系）に対するパイロット３の頭部の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を含む相対頭部情報を算出する制御を行うものである。
具体的には、カメラ装置２に対する少なくとも３個のＬＥＤの位置座標である光学マーカー位置情報と、データ記憶部４４に記憶されている初期データとを比較することにより、ＬＥＤ４ａ〜４ｍが位置決めされて取り付けられている相対座標系（ＸＹＺ座標系）に対するヘルメット座標系（Ｘ’Ｙ’Ｚ’座標系）の位置（Ｘｈ、Ｙｈ、Ｚｈ）及び角度（Θｈ、Φｈ、Ψｈ）を算出する。

映像表示部２５は、パイロット３の頭部位置（Ｘｈ、Ｙｈ、Ｚｈ）及び頭部角度（Θｈ、Φｈ、Ψｈ）を含む相対頭部情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット３は、表示器による表示映像を視認することになる。
以上のように、ＨＭＴ装置１によれば、カメラ装置２の設置に制限がある搭乗体３０に対して、パイロット３の頭部に装着される頭部装着型表示装置付ヘルメット１０の移動範囲が大きくても、第一カメラ２ａにより撮影される撮影領域と、第二カメラ２ｂにより撮影される撮影領域とが重なった特定範囲Ｓに、少なくとも３個の同一のＬＥＤが存在するので、パイロット３が搭乗する搭乗体３０に対するパイロット３の頭部の現在位置（Ｘｈ、Ｙｈ、Ｚｈ）及び現在角度（Θｈ、Φｈ、Ψｈ）を広範囲で特定することができる。

（他の実施形態）
（１）上述したＨＭＴ装置１では、ＬＥＤ群４は互いに異なる波長の赤外光を出射する構成としたが、ＬＥＤ群は互いに同じ波長の赤外光を出射するような構成としてもよい。
このときには、例えば、時間ｔ１のＬＥＤのそれぞれの位置として記憶するとともに、記憶された各ＬＥＤの位置を中心とする一定の大きさの球状である予想移動範囲をそれぞれ設定することにより、時間ｔ２に、予想移動範囲に存在するＬＥＤを、時間ｔ１に設定された予想移動範囲に対応するＬＥＤと同一のものであると識別するようにすればよい。

本発明のＨＭＴ装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものとして利用される。

本発明の一実施形態であるＨＭＴ装置の概略構成を示す図である。 図１に示す搭乗体の拡大図である。 図１に示す頭部装着型表示装置付ヘルメットの平面図である。 第一カメラにより撮影される撮影領域と第二カメラにより撮影される撮影領域とについて説明するための図である。 従来のＨＭＴ装置の概略構成を示す図である。

符号の説明

１ ヘッドモーショントラッカ装置
２ カメラ装置
２ａ 第一カメラ
２ｂ 第二カメラ
３ パイロット（搭乗者）
４、７ ＬＥＤ（光学マーカー）
１０ 頭部装着型表示装置付ヘルメット
２２ 相対頭部情報算出部
２３ 光学マーカー位置情報算出部
３０ 搭乗体（移動体）

Claims (3)

1. ３個以上の光学マーカーと、
   前記光学マーカーを撮影することにより第一画像を作成する第一カメラと、前記第一カメラが撮影すると同時に第一カメラと異なる方向から光学マーカーを撮影することにより第二画像を作成する第二カメラとを有するカメラ装置と、
   前記第一画像及び第二画像に基づいて、前記カメラ装置に対する少なくとも３個の光学マーカーの現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部と、
   前記光学マーカー位置情報に基づいて、搭乗者が搭乗する移動体に対する搭乗者の頭部の現在位置及び現在角度を含む相対頭部情報を算出する相対頭部情報算出部とを備えるヘッドモーショントラッカ装置であって、
   前記３個以上の光学マーカーは、前記移動体の内面上に取り付けられるとともに、
   前記カメラ装置は、前記搭乗者の頭部に装着されることを特徴とするヘッドモーショントラッカ装置。
2. 前記３個以上の光学マーカーは、前記移動体の内面上に、前記カメラ装置に設定されている撮影領域より広い範囲となるように取り付けられていることを特徴とする請求項１に記載のヘッドモーショントラッカ装置。
3. 前記第一カメラ及び第二カメラは、ＣＣＤカメラであることを特徴とする請求項１又は２に記載のヘッドモーショントラッカ装置。

Images