JP2009139988A - モーショントラッカ装置 - Google Patents

モーショントラッカ装置 Download PDF

Info

Publication number
JP2009139988A
JP2009139988A JP2007312292A JP2007312292A JP2009139988A JP 2009139988 A JP2009139988 A JP 2009139988A JP 2007312292 A JP2007312292 A JP 2007312292A JP 2007312292 A JP2007312292 A JP 2007312292A JP 2009139988 A JP2009139988 A JP 2009139988A
Authority
JP
Japan
Prior art keywords
optical
position information
optical marker
light receiving
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007312292A
Other languages
English (en)
Other versions
JP4784591B2 (ja
Inventor
Kazuo Tawada
一穂 多和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2007312292A priority Critical patent/JP4784591B2/ja
Publication of JP2009139988A publication Critical patent/JP2009139988A/ja
Application granted granted Critical
Publication of JP4784591B2 publication Critical patent/JP4784591B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

【課題】 光学マーカー各々の現在位置を精度よく効率的に算出できるモーショントラッカ装置の提供。
【解決手段】 少なくとも3個の光学マーカー7からの第一光線を立体視で検出するカメラ装置2と、カメラ装置2に対する3個以上の光学マーカー7の現在位置である光学マーカー位置情報を算出する光学マーカー位置情報算出部31とを備えるモーショントラッカ装置1であって、第二光線を出射する発光素子4と、発光素子4からの第二光線を検出する2個以上の受光素子5と、2個以上の受光素子5の内から発光素子4の最も近傍にある1個の受光素子5を選択する受光素子近傍情報を算出する受光素子位置情報算出部33と、光学マーカー位置情報算出部31は、受光素子近傍情報を用いて3個以上の光学マーカー7の内から検出領域に存在する少なくとも3個の光学マーカー7を決定し、決定した光学マーカー7と、検出された第一光線とを各々対応付けることを特徴とする。
【選択図】図1

Description

本発明は、光学方式のモーショントラッカ装置(以下、MT装置ともいう)に関し、さらに詳細には、光学マーカーの現在位置を検出する機能を備える光学方式のMT装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度(すなわち、頭部の現在位置及び現在角度)を検出するヘッドモーショントラッカ装置(以下、HMT装置ともいう)等に利用される。
ここで、光学方式のHMT装置とは、反射板や発光体等の光学マーカーを取り付けたヘルメット等を頭部に装着して、光学マーカーの現在位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置をいう。
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機では、バーチャルリアリティ(VR)を実現するために、頭部装着型表示装置付ヘルメット(対象物)を用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。そこで、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、HMT装置が利用されている。
また、救難飛行艇による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応した時にロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、飛行体(救難飛行艇)の緯度、経度、高度、姿勢に加えて、飛行体に設定された相対座標系に対するパイロットの頭部の現在角度及び現在位置を測定している。ここでも、HMT装置が利用されている。
頭部装着型表示装置付ヘルメットに利用されるHMT装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている(例えば、特許文献1参照)。具体的には、光学マーカーとして複数個の反射板を頭部装着型表示装置付ヘルメットの外周面上に取り付けるとともに、光源と2台のカメラ(第一カメラ及び第二カメラ)とを飛行体に固定することにより、光源から光を照射したときの反射板からの反射光を第一カメラ及び第二カメラでモニタする。
また、発光体を互いに離隔するようにして複数箇所に取り付けた光学方式のHMT装置もある。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカーとして発光体であるLED(発光ダイオード)を互いに離隔するようにして複数箇所に取り付け、これら複数個のLEDの位置関係をHMT装置に予め記憶させておく。そして、これら複数個のLEDの内の少なくとも3個のLEDを、立体視が可能でかつ飛行体に固定された第一カメラ及び第二カメラで同時に撮影することで、所謂、三角測量の原理により、現在の3個のLEDの位置関係を測定している。これにより、第一カメラ及び第二カメラに対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。
ところで、上述したような光学方式のHMT装置における第一カメラにより撮影される撮影領域と、第二カメラにより撮影される撮影領域とについて、図4を用いて説明する。図4は、第一カメラにより撮影される撮影領域と第二カメラにより撮影される撮影領域とについて説明するための図である。
カメラ装置2は、第一カメラ2aと第二カメラ2bとからなり、立体視が可能となるように飛行体30の天井に固定されている。
第一カメラ2aには、使用されている低歪レンズや広角レンズ等により撮影できる撮影領域の大きさと形状とが定められる。例えば、第一カメラ2aの撮影領域の形状は、第一カメラ2aを頂点とする円錐となっている。また、第二カメラ2bにも、第一カメラ2aと同様に、使用されている低歪レンズや広角レンズ等により撮影できる撮影領域の大きさと形状とが定められる。そして、第二カメラ2bの撮影領域の形状も第二カメラ2bを頂点とする円錐となっている。
そして、カメラ装置2に対するLED47の位置を算出するためには、三角測量の原理を用いるので、第一カメラ2aにより撮影される撮影領域と、第二カメラ2bにより撮影される撮影領域とが重なった検出領域Sに、LED47が存在していなければならないことになる。
そこで、飛行体30中で動くことになる頭部装着型表示装置付ヘルメット50の現在位置や現在角度を特定し続けるために、第一カメラ2a及び第二カメラ2bの検出領域Sに常に少なくとも3個のLED47が存在するように、頭部装着型表示装置付ヘルメット50の外周面の全面に複数個(図4中では5個)のLED47が取り付けられている。
さらに、第一カメラ2a及び第二カメラ2bで検出される光線が、複数個のLED47の内のどのLED47から出射されたものであるかを識別する必要があるので、頭部装着型表示装置付ヘルメット50には、それぞれが識別可能な光線を出射するLED47が取り付けられている。例えば、頭部装着型表示装置付ヘルメット50の外周面上に、互いに異なる波長の発光光を出射するLED47を互いに離隔するようにして取り付けている。これにより、発光光の波長を区別することによって、検出された各発光光と、その発光光を出射したLED47とをそれぞれ対応付けて、カメラ装置2に対する頭部装着型表示装置付ヘルメット50の現在位置や現在角度を算出している。
特表平9−506194号公報
しかしながら、それぞれが識別可能な複数個のLED47を取り付けた場合、1個のLED47が故障等したときに、故障した1個のLED47を新品の1個のLED47と交換することになるが、取り付けられている他のLED47の識別情報(例えば、波長情報)と区別できるように、新品の1個のLED47の詳細な識別情報を改めてHMT装置に記憶させる必要があった。よって、新品のLED47と交換するたびに、新品のLED47の識別情報をHMT装置に記憶させる手間がかかっていた。
一方、識別情報を有さない複数個のLEDを、1個1個順番に点灯させることにより、識別することも考えられるが、1個1個順番に点灯させなければならないので、時々刻々と変化する頭部装着型表示装置付ヘルメットの動きをモニタリングすることに用いるには困難であった。
そこで、本出願人は、頭部装着型表示装置付ヘルメットに取り付けられた複数個のLEDのそれぞれの現在位置を算出する際に、LEDに識別情報を持たせたり、1個1個順番にLEDを点灯させたりすることもなく、同じ波長の発光光を出射するLEDを識別する識別方法を見出している。図5は、頭部装着型表示装置付ヘルメットにおけるLEDを識別する識別方法を説明するための図である。なお、図中、黒丸はLEDを示す。
まず、第一カメラと第二カメラとが飛行体に固定されているときには、第一カメラの撮影方向と第二カメラの撮影方向とが定まった状態であるので、エピポーラ幾何学に基づく予測により、第一カメラによる第一画像に撮影された発光光と、第二カメラによる第二画像に撮影された発光光との間で、同一のLEDから出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置に対する各発光光が出射された位置を算出して、さらに図5に示すように、時間t1(カメラ装置の1回目の撮影時間)のLED57a、57b、57cのそれぞれの位置を記憶するとともに、記憶された各LED57a、57b、57cの位置を中心とする一定の大きさの球状である予想移動範囲(Da、Db、Dc)をそれぞれ設定することにより、時間t2(カメラ装置の2回目の撮影時間)に、予想移動範囲(Da、Db、Dc)に存在する発光光が出射された位置に、時間t1に設定された予想移動範囲(Da、Db、Dc)に対応するLEDが移動したと認識する。
このようにすることで、LEDに識別情報を持たせたり、1個1個順番にLEDを点灯させたりすることもなく、同じ波長の発光光を出射するLEDを識別することができる。
しかし、上述した識別方法では、カメラ装置による撮影時間の間隔において、各LED57a、57b、57cの移動距離が予想移動範囲(Da、Db、Dc)内となる場合には問題なかったが、図6に示すように、頭部装着型表示装置付ヘルメットの移動速度が速い(各LEDの移動距離が予想移動範囲(Da、Db、Dc)を超える)場合に、予想移動範囲(Da、Db、Dc)に、予想移動範囲(Da、Db、Dc)に対応するLED57a、57b、57cと異なるLED57d、57e、57fが存在することがあった。つまり、LED57a〜57fは識別情報を有さないため、LED57d、57e、57fをLED57a、57b、57cとして認識してしまっていた。つまり、LED57a〜57fのそれぞれの現在位置を正確に算出することがでないことがあった。
また、上述した識別方法以外にも、9個のLEDが互いに異なる距離で離隔するようにして、頭部装着型表示装置付ヘルメットの外周面上に取り付けられたものを用いることにより、同じ波長の発光光を出射するLEDを識別する識別方法も見出している。図7は、頭部装着型表示装置付ヘルメットにおけるLEDを識別する識別方法を説明するための図である。
図7に示すように、同じ波長の発光光を出射する9個のLED67a〜67iが互いに異なる距離l1〜l9で離隔するようにして、頭部装着型表示装置付ヘルメットの外周面上に取り付けられている。
まず、上述した識別方法と同様に、エピポーラ幾何学に基づく予測により、第一カメラによる第一画像に撮影された発光光と、第二カメラによる第二画像に撮影された発光光との間で、同一のLEDから出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置に対する各発光光が出射された位置を算出するとともに、各発光光が出射された位置の間の距離を算出することにより、算出された距離と、LED67a〜67i間の距離とを比較することで、各発光光が出射された位置と、それぞれのLED67a〜67iとを対応付ける。
このようにすることで、LEDに識別情報を持たせたり、1個1個順番にLEDを点灯させたりすることもなく、同じ波長の発光光を出射するLEDを識別することができる。
しかし、このような識別方法では、算出された距離と、全てのLED67a〜67i間の距離とを比較することになるので、各発光光が出射された位置と、それぞれのLED67a〜67iとを対応付けるのに、時間がかかるという問題点があった。
そこで、本発明は、頭部装着型表示装置付ヘルメット等の対象物に取り付けられた3個以上のLED等の光学マーカーのそれぞれの現在位置を算出する際に、光学マーカーのそれぞれの現在位置を精度よく効率的に算出することができるモーショントラッカ装置を提供することを目的とする。
上記課題を解決するためになされた本発明のモーショントラッカ装置は、対象物に位置決めされて取り付けられ、第一光線を出射する3個以上の光学マーカーと、前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーからの第一光線を立体視で検出するカメラ装置と、検出された第一光線に基づいて、前記カメラ装置に対する3個以上の光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置に対する対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、前記カメラ装置に取り付けられ、第二光線を出射する発光素子と、前記光学マーカーとの相対的な位置関係が決められて対象物に取り付けられ、前記発光素子からの第二光線を検出する2個以上の受光素子と、検出された第二光線の強度に基づいて、前記2個以上の受光素子の内から発光素子の最も近傍にある1個の受光素子を選択する受光素子近傍情報を算出して、当該受光素子近傍情報を受光素子位置情報記憶部に記憶させる受光素子位置情報算出部と、前記光学マーカー位置情報算出部は、前記光学マーカー位置情報を算出する際に、前記受光素子近傍情報を用いて、前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーを決定して、決定した光学マーカーと、検出された第一光線とをそれぞれ対応付けるようにしている。
本発明のモーショントラッカ装置によれば、3個以上の光学マーカーと2個以上の受光素子とは相対的な位置関係を決められて対象物に取り付けられている。これにより、2個以上の受光素子の内から1個の受光素子が選択されると、1個の受光素子の近傍にある光学マーカーが決定できるようになっている。
このような対象物をカメラ装置が撮影することにより、3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーからの第一光線を立体視で検出する。
このとき、発光素子が、カメラ装置に取り付けられるとともに、第二光線を出射する。そして、2個以上の受光素子は、発光素子からの第二光線の強度をそれぞれ検出する。
これにより、受光素子位置情報算出部は、第二光線の強度が最も強い受光素子を選択することで、発光素子の最も近傍にある1個の受光素子を選択する受光素子近傍情報を算出する。つまり、発光素子はカメラ装置に取り付けられているため、カメラ装置の近傍にある1個の受光素子が選択されることになる。
さらに、光学マーカー位置情報算出部は、3個以上の光学マーカーと2個以上の受光素子とは相対的な位置関係を決められて取り付けられているため、選択された1個の受光素子の近傍にある光学マーカーを決定する。つまり、カメラ装置の近傍、すなわちカメラ装置の検出領域にある光学マーカーが決定されることになる。
そして、光学マーカー位置情報算出部は、カメラ装置の検出領域にあると決定した光学マーカーと、カメラ装置で検出した第一光線とをそれぞれ対応付けて、光学マーカー位置情報を算出する。
以上のように、本発明のモーショントラッカ装置によれば、受光素子で検出された第二光線の強度からカメラ装置の検出領域に存在する光学マーカーをまず特定することができるので、光学マーカーのそれぞれの現在位置を精度よく効率的に算出することができる。
(他の課題を解決するための手段および効果)
また、上記の発明において、前記カメラ装置は、2台のカメラであり、前記発光素子は、2台のカメラに1個ずつ取り付けられるようにしてもよい。
また、上記の発明において、前記3個以上の光学マーカーは、少なくとも3個の光学マーカーが1組の光学マーカー群となるように対象物に取り付けられ、1組の光学マーカー群においては、それぞれの光学マーカーが識別可能に形成され、前記光学マーカー位置情報算出部は、前記受光素子近傍情報を用いて、前記2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定して、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けるようにしてもよい。
本発明のモーショントラッカ装置によれば、2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定する。そして、光学マーカー位置情報算出部は、1組の光学マーカー群においては、光学マーカーがそれぞれ識別可能に形成されているので、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けることができる。
したがって、本発明のモーショントラッカ装置によれば、1組の光学マーカー群において、光学マーカーがそれぞれ識別可能に形成されればよいので、例えば、3個の光学マーカーが1組の光学マーカー群となるようにしたときには、3種類の識別情報を有する光学マーカーのみを使用すればよく、全ての光学マーカーにそれぞれ異なる詳細な識別情報を持たせる必要がなくなるので、おおまかな識別情報を記憶させておけばよく、識別情報を改めて記憶させる必要がなくなる。また、光学マーカー間の距離を互いに異なるように形成したときには、全ての光学マーカー間の距離と対応させる必要もなく、1組の光学マーカー群のみの光学マーカー間の距離と対応させればよくなるので、光学マーカーのそれぞれの現在位置を効率的に算出することができる。
また、上記の発明において、前記受光素子位置情報算出部は、さらに直前に記憶された光学マーカー位置情報を用いて、選択した受光素子の発光素子に対する移動量である受光素子移動量情報を算出して、当該受光素子移動量情報を受光素子位置情報記憶部に記憶させ、前記光学マーカー位置情報算出部は、さらに受光素子移動量情報を用いて、少なくとも3個の光学マーカーのカメラ装置に対する予想移動位置を算出して、検出された第一光線と光学マーカーの予想移動位置とを比較することにより、前記光学マーカーと第一光線とをそれぞれ対応付けるようにしてもよい。
本発明のモーショントラッカ装置によれば、受光素子位置情報算出部は、直前に記憶された光学マーカー位置情報を用いて、選択した受光素子の発光素子に対する移動量である受光素子移動量情報を算出する。そして、光学マーカー位置情報算出部は、さらに受光素子移動量情報を用いて、少なくとも3個の光学マーカーのカメラ装置に対する予想移動位置を算出して、検出された第一光線と光学マーカーの予想移動位置とを比較することにより、光学マーカーと第一光線とをそれぞれ対応付ける。
そして、上記の発明において、前記光学マーカー位置情報算出部は、算出した各光学マーカーの予想移動位置を中心とする球状である予想移動範囲を設定して、当該予想移動範囲内に検出される第一光線と光学マーカーとを対応付けるようにしてもよい。
さらに、上記の発明において、前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられるようにしてもよい。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれることはいうまでもない。
(実施形態1)
図1は、本発明の一実施形態であるHMT装置の概略構成を示す図であり、図2は、図1に示す頭部装着型表示装置付ヘルメットの平面図である。また、図3は、相対座標系(XYZ座標系)の設定を説明するための図である。
本実施形態は、飛行体(移動体)30に搭乗するパイロット3が着用する頭部装着型表示装置付ヘルメット(対象物)の現在位置及び現在角度を算出するものである。つまり、HMT装置1は、飛行体30に設定された相対座標系(XYZ座標系)に対する、パイロット3が着用する頭部装着型表示装置付ヘルメット10に設定されたヘルメット座標系(X’Y’Z’座標系)の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)を算出する。なお、相対座標系(XYZ座標系)は、後述するカメラ装置2を基準とするものであり、相対座標系記憶部43に記憶され、一方、ヘルメット座標系(X’Y’Z’座標系)は、後述するLED群7を基準として設定されたものであり、ヘルメット座標系記憶部44に記憶されている。また、角度(RLh)は、ロール方向(X軸に対する回転)の角度であり、角度(ELh)は、エレベーション方向(Y軸に対する回転)の角度であり、角度(AZh)は、アジマス方向(Z軸に対する回転)の角度である。
HMT装置1は、パイロット3の頭部に装着される頭部装着型表示装置付ヘルメット10と、飛行体30の天井に取り付けられたカメラ装置2と、カメラ装置2に取り付けられたLED群(発光素子群)4と、コンピュータにより構成される制御部20とから構成される。
頭部装着型表示装置付ヘルメット10は、表示器(図示せず)と、表示器から出射される画像表示光を反射することにより、パイロット3の目に導くコンバイナ8と、LED(光学マーカー)群7と、フォトダイオード群(受光素子群)5とを有する。なお、頭部装着型表示装置付ヘルメット10を装着したパイロット3は、表示器による表示画像とコンバイナ8の前方実在物とを視認することが可能となっている。
LED群7は、図2に示すように、同じ波長の発光光(第一光線)を出射する9個のLED7a〜7iが互いに異なる距離で離隔するようにして、頭部装着型表示装置付ヘルメット10の外周面上に取り付けられたものである。また、9個のLED7a〜7iにおいては、3個のLED7a〜7cが1組のLED群(光学マーカー群)となり、3個のLED7d〜7fが1組のLED群(光学マーカー群)となり、3個のLED7g〜7iが1組のLED群(光学マーカー群)となるように取り付けられている。
ここで、ヘルメット座標系(X’Y’Z’座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図2に示すように、原点をLED7aの位置とし、前方方向をX’軸方向とし、前方方向に垂直方向をY’軸方向とし、X’軸方向及びY’軸方向に垂直方向をZ’軸方向とするように定義するように、後述するヘルメット座標系記憶部44に設定されている。また、ヘルメット座標系(X’Y’Z’座標系)上での9個のLED7a〜7iの位置関係(初期データ)も、ヘルメット座標系記憶部44に記憶されている。これにより、後述する三角測量の手法で、現時点における9個のLED7a〜7iの内の少なくとも3個のLEDの位置を算出し、初期データを参照することで、頭部装着型表示装置付ヘルメット10の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)が、ヘルメット座標系(X’Y’Z’座標系)を用いて表現されるようになっている。
フォトダイオード群(受光素子群)5は、図2に示すように、3個のフォトダイオード5a〜5cが頭部装着型表示装置付ヘルメット10の外周面上に取り付けられたものである。
このとき、3個のフォトダイオード5a〜5cは、9個のLED7a〜7iとの位置関係が決められて取り付けられている。例えば、図2に示すように、3個のLED7a、7b、7cで形成される三角形の重心にフォトダイオード5aが配置され、3個のLED7d、7e、7fで形成される三角形の重心にフォトダイオード5bが配置され、3個のLED7g、7h、7iで形成される三角形の重心にフォトダイオード5cが配置されている。これにより、フォトダイオード5aの近傍には、LED7a、7b、7cが存在し、LED7d〜7iは存在しなくなる。また、フォトダイオード5bの近傍には、LED7d、7e、7fが存在し、LED7a〜7c、7g〜7iは存在しなくなる。さらに、フォトダイオード5cの近傍には、LED7g、7h、7iが存在し、LED7a〜7fは存在しなくなる。
また、フォトダイオード群5は、カメラ装置2に取り付けられたLED群(発光素子群)4からの発光光(第二光線)の強度を検出する。そして、検出された発光光の強度を検出信号としてコンピュータ20の受光素子位置情報算出部33(後述する)に出力する。なお、受光素子位置情報算出部33では、発光光の強度により、フォトダイオード5a〜5cの内からどのフォトダイオードがLED群4の一番近傍にあるかが算出されるようになっている。
飛行体30は、パイロット3が搭乗するコックピットであり、パイロット3が着席する座席30aを備える。
カメラ装置2は、第一カメラ2aと、第二カメラ2bとからなる。第一カメラ2aと第二カメラ2bとは、撮影方向が異なりかつ頭部装着型表示装置付ヘルメット10に向けられているとともに、立体視が可能な一定の距離(d)を隔てるように、飛行体30の天井に取り付けられている。そして、第一カメラ2aで撮影された第一画像が作成されるとともに、第二カメラ2bで撮影された第二画像が作成される。
ここで、図3に示すように、第一カメラ2aと第二カメラ2bとに撮影された第一画像と第二画像中に映し出されているLED7aから出射された発光光(第一光線)の位置を抽出し、さらに第一カメラ2aからの方向角度(α)と第二カメラ2bからの方向角度(β)とを算出し、第一カメラ2aと第二カメラ2bとの間の距離(d)を用いることにより、所謂、三角測量の手法で、カメラ装置2に対するLED7aの位置が算出される。
なお、LED群7は互いに同じ波長の発光光を出射するので、第一カメラ2aによる第一画像に撮影された複数の発光光と、第二カメラ2bによる第二画像に撮影された複数の発光光とを単純に対応付けることができないが、第一カメラ2aと第二カメラ2bとは飛行体30に固定されているので、エピポーラ幾何学に基づく予測によって、第一カメラ2aによる第一画像に撮影された複数の発光光と、第二カメラ2bによる第二画像に撮影された複数の発光光との間で、同一のLEDから出射された発光光の組をそれぞれ対応付けることになる。
さらに、LED群7は互いに同じ波長の発光光を出射するので、対応付けられた発光光の組と、頭部装着型表示装置付ヘルメット10に取り付けられたLED群7とを対応付けることができないが、光学マーカー位置情報算出部31(後述する)によって、本発明では精度よく効率的に対応付けることになるので、ここでは説明を省略する。
また、対応付けたLEDの位置を、空間座標で表現することができるようにするために、カメラ装置2に固定された座標系である相対座標系(XYZ座標系)を設定して用いる。相対座標系(XYZ座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図3に示すように、第二カメラ2bの位置から第一カメラ2aの位置への方向をX軸方向とし、X軸方向に垂直かつ天井に垂直で下向き方向をZ軸方向とし、X軸方向に垂直かつ天井に水平で右向き方向をY軸方向とするように定義し、原点を第一カメラ2aの位置と第二カメラ2bの位置との中点として定義するように相対座標系記憶部43に設定されている。
これにより、上述したように三角測量の手法で算出することで、相対座標系(XYZ座標系)において、対応付けた発光光の組を出射した位置座標を表現するとともに、位置座標と、頭部装着型表示装置付ヘルメット10に取り付けられたLEDとを対応付けることにより、LED群7が位置決めされて取り付けられている頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)及び角度(RLh、ELh、AZh)は、相対座標系(XYZ座標系)に対する、ヘルメット座標系(X’Y’Z’座標系)の位置及び角度を用いて表現できる。なお、頭部装着型表示装置付ヘルメット10の位置(Xh、Yh、Zh)は、ヘルメット座標系(X’Y’Z’座標系)の原点であるLED7aの現在の位置座標で表現することとする。
LED群(発光素子群)4は、同じ波長の発光光(第二光線)を出射するLED4aとLED4bとからなる。LED4aが第一カメラ2aに取り付けられるとともに、LED4bが第二カメラ2bに取り付けられている。また、LED4aの発光時間と、LED4bの発光時間とは、互いに交互となるように設定されている。
これにより、フォトダイオード群5が、LED4aとLED4bとからそれぞれ出射された発光光の強度をそれぞれ検出することで、LED4aと各フォトダイオード5a〜5cとの距離、及び、LED4bと各フォトダイオード5a〜5cとの距離を算出することができるようになっている(図3参照)。つまり、3個のフォトダイオード5a〜5cの内からLED群4の最も近傍にある1個のフォトダイオードを選択することができる。
制御部20は、図1に示すように、CPU21、メモリ40等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。CPU21が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部28と、光学マーカー位置情報算出部31と、受光素子位置情報算出部33と、相対情報算出部32と、映像表示部25とを有する。
また、メモリ40には、制御部20が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、光学マーカー位置情報を順次記憶する光学マーカー位置情報記憶部41と、受光素子近傍情報を記憶する受光素子位置情報記憶部42と、相対座標系(XYZ座標系)を記憶する相対座標系記憶部43と、ヘルメット座標系(X’Y’Z’座標系)を記憶するヘルメット座標系記憶部44とを有する。
なお、ヘルメット座標系記憶部44は、ヘルメット座標系(X’Y’Z’座標系)を記憶し、さらに、X’Y’Z’座標系上での9個のLED7a〜7iと3個のフォトダイオード5a〜5cとの位置関係(初期データ)も記憶している。
モーショントラッカ駆動部28は、LED群7を点灯させる指令信号を出力するとともに、カメラ装置2でLED群7を撮影し、第一画像と第二画像とを取得する制御を行うものである。
このとき、第一カメラ2aと第二カメラ2bとは飛行体30に固定されていることにより、第一カメラ2aの撮影方向と第二カメラ2bの撮影方向とが定まった状態であるので、エピポーラ幾何学に基づく予測により、第一カメラ2aで撮影された第一画像と第二カメラ2bで撮影された第二画像との間での発光光の組を認識することができるが、LED7a〜7iは同じ波長の発光光を出射するものなので、各発光光の組と各LED7a〜7iとを対応付けることはまだできない。
受光素子位置情報算出部33は、LED4aとLED4bと交互に点灯させる指令信号を出力するとともに、フォトダイオード5a〜5cで発光光の強度を検出することにより、検出された発光光の強度に基づいて、3個のフォトダイオード5a〜5cの内からLED群4の最も近傍にある1個のフォトダイオードを選択する受光素子近傍情報を算出して、受光素子近傍情報を受光素子位置情報記憶部41に記憶させる制御を行うものである。
具体的には、まず、LED4aに点灯させる指令信号を出力することにより、フォトダイオード5a〜5cで発光光の強度を検出することにより、検出された発光光の強度に基づいて、LED4aから各フォトダイオード5a〜5cまでのそれぞれの距離を算出する。次に、LED4bに点灯させる指令信号を出力することにより、フォトダイオード5a〜5cで発光光の強度を検出することにより、検出された発光光の強度に基づいて、LED4aから各フォトダイオード5a〜5cまでのそれぞれの距離を算出する。そして、LED4a、4bから各フォトダイオード5a〜5cまでのそれぞれの距離を用いて、3個のフォトダイオード5a〜5cの内からLED群4の最も近傍にある1個のフォトダイオードを選択する受光素子近傍情報を算出する。最後に、受光素子近傍情報を受光素子位置情報記憶部41に記憶させる。
なお、LED4a及びLED4bとして、発光光を出射する出射領域が狭いものを用いた場合には、発光光の強度が0にならなかったものを、LED群4の最も近傍にある1個のフォトダイオードとして選択する。
光学マーカー位置情報算出部31は、受光素子位置情報記憶部41に記憶された受光素子近傍情報と、カメラ装置2で検出された発光光とに基づいて、9個のLED7a〜7iの内からカメラ装置2の検出領域に存在する3個のLED(1組のLED群)を決定し、さらに、決定した3個のLEDと、検出された発光光とをそれぞれ対応付け、カメラ装置2に対するLEDの現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部42に記憶させる制御を行うものである。
具体的には、まず、受光素子近傍情報により、LED群4の最も近傍にある1個のフォトダイオードが選択されるので、カメラ装置2の最も近傍にある1個のフォトダイオードがわかる。さらに、カメラ装置2の最も近傍にある1個のフォトダイオードがわかるので、1個のフォトダイオードの近傍にある3個のLEDを算出することにより、カメラ装置2の最も近傍にある3個のLEDを決定する。つまり、カメラ装置2の検出領域に存在する3個のLEDを決定する。例えば、フォトダイオード5aが選択されているときには、3個のLED7a、7b、7cがカメラ装置2の検出領域に存在すると決定する。
次に、エピポーラ幾何学に基づく予測により、第一カメラ2aによる第一画像に撮影された発光光と、第二カメラ2bによる第二画像に撮影された発光光との間で、同一のLEDから出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置2に対する各発光光が出射された位置を算出するとともに、各発光光が出射された位置の間の距離を算出することにより、算出された距離と、決定された3個のLED間の距離とを比較することで、各発光光が出射された位置と、それぞれのLEDとを対応付ける。このとき、全てのLED7a〜7i間の距離と対応させる必要もなく、3個のLED間の距離と対応させればよいので、3個のLEDのそれぞれの現在位置を効率的に算出することができる。
最後に、LED7a〜7iは相対的な位置関係を決められて取り付けられているので、相対座標系(XYZ座標系)上のLED7a〜7iの位置を算出して、相対座標系(XYZ座標系)上のLED7a〜7iの位置である光学マーカー位置情報を光学マーカー位置情報記憶部42に記憶させる。
相対情報算出部32は、光学マーカー位置情報に基づいて、相対座標系(XYZ座標系)に対する、パイロット3の頭部の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を含む相対情報を算出する制御を行うものである。
具体的には、カメラ装置2に対する3個のLEDの現在位置が相対座標系(XYZ座標系)上で特定されるので、LED群7が固定されているヘルメット座標系(X’Y’Z’座標系)の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を、相対座標系(XYZ座標系)上で特定する。そして、ヘルメット座標系(X’Y’Z’座標系)の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を、パイロット3の頭部の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を含む相対情報として算出する。
映像表示部25は、相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット3は、表示器による表示映像を視認することができるようになる。
(HMT装置の動作)
次に、HMT装置1により相対情報を測定する測定動作について説明する。図8は、HMT装置1による測定動作について説明するためのフローチャートである。
まず、ステップS101の処理において、時間tを時間tと更新する。
次に、ステップS102の処理において、モーショントラッカ駆動部28は、LED群7を点灯させる指令信号を出力する。
次に、ステップS103の処理において、モーショントラッカ駆動部28は、カメラ装置2でLED群7を撮影し、第一画像と第二画像とを取得する。
一方、ステップS104の処理において、受光素子位置情報算出部33は、LED4aに点灯させる指令信号を出力する。
次に、ステップS105の処理において、受光素子位置情報算出部33は、フォトダイオード5a〜5cで発光光の強度を検出する。
次に、ステップS106の処理において、受光素子位置情報算出部33は、LED4bに点灯させる指令信号を出力する。
次に、ステップS107の処理において、受光素子位置情報算出部33は、フォトダイオード5a〜5cで発光光の強度を検出する。
次に、ステップS108の処理において、受光素子位置情報算出部33は、受光素子位置情報算出部33は、検出された発光光の強度に基づいて、3個のフォトダイオード5a〜5cの内からLED群4の最も近傍にある1個のフォトダイオードを選択する受光素子近傍情報を算出して、受光素子近傍情報を受光素子位置情報記憶部41に記憶させる。
ステップS103及びステップS108の処理が終了すると、ステップS109の処理において、光学マーカー位置情報算出部31は、受光素子位置情報記憶部41に記憶された受光素子近傍情報と、カメラ装置2で検出された発光光とに基づいて、9個のLED7a〜7iの内からカメラ装置2の検出領域に存在する3個のLED(1組のLED群)を決定し、さらに、決定した3個のLEDと、検出された発光光とをそれぞれ対応付け、カメラ装置2に対するLEDの現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部42に記憶させる。
次に、ステップS110の処理において、相対情報算出部32は、光学マーカー位置情報に基づいて、相対座標系(XYZ座標系)に対する、パイロット3の頭部の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を含む相対情報を算出する。
次に、ステップS111の処理において、頭部装着型表示装置付ヘルメット10の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を算出することを終了するか否かを判定する。例えば、使用者がスイッチ等を押圧したときには、頭部装着型表示装置付ヘルメット10の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を算出することを終了すると判定し、本フローチャートを終了させる。
一方、例えば、使用者がスイッチ等を押圧しなかったときには、頭部装着型表示装置付ヘルメット10の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を算出することを終了しないと判定し、ステップS112の処理において、時間tを時間tn+1と更新して、ステップS102及びステップS104の処理に戻る。つまり、頭部装着型表示装置付ヘルメット10の現在位置(Xh、Yh、Zh)及び現在角度(RLh、ELh、AZh)を算出することを終了すると判定するときまで、ステップS102〜S110の処理は繰り返される。
以上のように、HMT装置1によれば、フォトダイオード群5で検出された発光光の強度からカメラ装置2の検出領域に存在する3個のLEDをまず特定することができるので、LED群7のそれぞれの現在位置を精度よく効率的に算出することができる。
(他の実施形態)
(1)上述したHMT装置1では、9個のLED7a〜7iが互いに異なる距離で離隔するようにして取り付けられたものを示したが、9個のLED7a〜7iが同じ距離で離隔するようにして取り付けられ、受光素子位置情報算出部は、さらに直前に記憶された光学マーカー位置情報を用いて、選択した受光素子の発光素子に対する移動量である受光素子移動量情報を算出して、受光素子移動量情報を受光素子位置情報記憶部に記憶させ、光学マーカー位置情報算出部は、さらに受光素子移動量情報を用いて、3個のLEDのカメラ装置に対する予想移動位置を算出して、算出した各LEDの予想移動位置を中心とする球状である予想移動範囲を設定して、予想移動範囲内に検出される第一光線とLEDとを対応付けるような構成としてもよい。
(2)上述したHMT装置1では、LED4aの発光時間と、LED4bの発光時間とは、互いに交互となるように設定されているものを示したが、LED4aの発光時間と、LED4bの発光時間とは、同時となるように設定されるとともに、フォトダイオード群5は、LED4aとLED4bとからの発光光(第二光線)の強度をそれぞれ個別に検出するような構成としてもよい。
(3)上述したHMT装置1では、LED4aとLED4bとは同じ波長の発光光(第二光線)を出射するものを示したが、LED4aとLED4bとは異なる波長の発光光(第二光線)を出射するような構成としてもよい。
本発明のHMT装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するものとして、利用される。
本発明の一実施形態であるHMT装置の概略構成を示す図である。 図1に示す頭部装着型表示装置付ヘルメットの平面図である。 相対座標系の設定を説明するための図である。 第一カメラにより撮影される撮影領域と第二カメラにより撮影される撮影領域とについて説明するための図である。 従来の頭部装着型表示装置付ヘルメットにおけるLEDを識別する識別方法を説明するための図である。 従来の頭部装着型表示装置付ヘルメットにおけるLEDを識別する識別方法を説明するための図である。 従来の頭部装着型表示装置付ヘルメットにおけるLEDを識別する識別方法を説明するための図である。 HMT装置1による測定動作について説明するためのフローチャートである。
符号の説明
1 ヘッドモーショントラッカ装置
2 カメラ装置
3 パイロット
4 LED群(発光素子群)
5 フォトダイオード群(受光素子群)
7、47、57、67 LED(光学マーカー)群
10、50 頭部装着型表示装置付ヘルメット(対象物)
31 光学マーカー位置情報算出部
32 相対情報算出部
33 受光素子位置情報算出部
41 光学マーカー位置情報記憶部
42 受光素子位置情報記憶部

Claims (6)

  1. 対象物に位置決めされて取り付けられ、第一光線を出射する3個以上の光学マーカーと、
    前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーからの第一光線を立体視で検出するカメラ装置と、
    検出された第一光線に基づいて、前記カメラ装置に対する3個以上の光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
    前記光学マーカー位置情報に基づいて、前記カメラ装置に対する対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、
    前記カメラ装置に取り付けられ、第二光線を出射する発光素子と、
    前記光学マーカーとの相対的な位置関係が決められて対象物に取り付けられ、前記発光素子からの第二光線を検出する2個以上の受光素子と、
    検出された第二光線の強度に基づいて、前記2個以上の受光素子の内から発光素子の最も近傍にある1個の受光素子を選択する受光素子近傍情報を算出して、当該受光素子近傍情報を受光素子位置情報記憶部に記憶させる受光素子位置情報算出部と、
    前記光学マーカー位置情報算出部は、前記光学マーカー位置情報を算出する際に、前記受光素子近傍情報を用いて、前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーを決定して、決定した光学マーカーと、検出された第一光線とをそれぞれ対応付けることを特徴とするモーショントラッカ装置。
  2. 前記カメラ装置は、2台のカメラであり、
    前記発光素子は、2台のカメラに1個ずつ取り付けられることを特徴とする請求項1に記載のモーショントラッカ装置。
  3. 前記3個以上の光学マーカーは、少なくとも3個の光学マーカーが1組の光学マーカー群となるように対象物に取り付けられ、
    1組の光学マーカー群においては、それぞれの光学マーカーが識別可能に形成され、
    前記光学マーカー位置情報算出部は、前記受光素子近傍情報を用いて、前記2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定して、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けることを特徴とする請求項1又は2に記載のモーショントラッカ装置。
  4. 前記受光素子位置情報算出部は、さらに直前に記憶された光学マーカー位置情報を用いて、選択した受光素子の発光素子に対する移動量である受光素子移動量情報を算出して、当該受光素子移動量情報を受光素子位置情報記憶部に記憶させ、
    前記光学マーカー位置情報算出部は、さらに受光素子移動量情報を用いて、少なくとも3個の光学マーカーのカメラ装置に対する予想移動位置を算出して、検出された第一光線と光学マーカーの予想移動位置とを比較することにより、前記光学マーカーと第一光線とをそれぞれ対応付けることを特徴とする請求項1又は2に記載のモーショントラッカ装置。
  5. 前記光学マーカー位置情報算出部は、算出した各光学マーカーの予想移動位置を中心とする球状である予想移動範囲を設定して、当該予想移動範囲内に検出される第一光線と光学マーカーとを対応付けることを特徴とする請求項4に記載のモーショントラッカ装置。
  6. 前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、
    前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられることを特徴とする請求項1〜5のいずれか1項に記載のモーショントラッカ装置。
JP2007312292A 2007-12-03 2007-12-03 モーショントラッカ装置 Active JP4784591B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007312292A JP4784591B2 (ja) 2007-12-03 2007-12-03 モーショントラッカ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007312292A JP4784591B2 (ja) 2007-12-03 2007-12-03 モーショントラッカ装置

Publications (2)

Publication Number Publication Date
JP2009139988A true JP2009139988A (ja) 2009-06-25
JP4784591B2 JP4784591B2 (ja) 2011-10-05

Family

ID=40870570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007312292A Active JP4784591B2 (ja) 2007-12-03 2007-12-03 モーショントラッカ装置

Country Status (1)

Country Link
JP (1) JP4784591B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226666A (ja) * 2011-04-21 2012-11-15 Shimadzu Corp モーショントラッカ装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012226666A (ja) * 2011-04-21 2012-11-15 Shimadzu Corp モーショントラッカ装置

Also Published As

Publication number Publication date
JP4784591B2 (ja) 2011-10-05

Similar Documents

Publication Publication Date Title
JP5594944B2 (ja) モーショントラッカ装置
US8384912B2 (en) Wide field of view optical tracking system
JP4396564B2 (ja) 物体のモニタリング方法およびこれを用いたモーショントラッカ
KR102213728B1 (ko) 근안 디스플레이를 위한 동적 양안 정렬
US8885177B2 (en) Medical wide field of view optical tracking system
JP4961904B2 (ja) ヘッドモーショントラッカ装置
JP5505363B2 (ja) モーショントラッカ装置
JP4924342B2 (ja) モーショントラッカ装置
JP5292725B2 (ja) モーショントラッカ装置
JP2016151566A (ja) モーショントラッカ装置
JP5029531B2 (ja) モーショントラッカシステム及びその座標系設定方法
JP4905311B2 (ja) ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置
JP2019090810A (ja) 座標測定器におけるレトロリフレクタ取得
JP2009036517A (ja) ヘッドモーショントラッカ装置
JP4905321B2 (ja) ヘッドモーショントラッカ装置
JP4784591B2 (ja) モーショントラッカ装置
JP4872768B2 (ja) ヘッドモーショントラッカ装置
JP4656016B2 (ja) モーショントラッカ装置
JP2008065416A (ja) ヘッドモーショントラッカ装置
JP4656017B2 (ja) ヘッドモーショントラッカ装置
JP2007334762A (ja) ヘッドモーショントラッカ装置
JP5262294B2 (ja) モーショントラッカ装置
JP2015075350A (ja) モーショントラッカ装置
JP4892982B2 (ja) 磁気マッピング装置
JP4867837B2 (ja) モーショントラッカ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110627

R151 Written notification of patent or utility model registration

Ref document number: 4784591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3