JP2012226666A - モーショントラッカ装置 - Google Patents

モーショントラッカ装置 Download PDF

Info

Publication number
JP2012226666A
JP2012226666A JP2011095293A JP2011095293A JP2012226666A JP 2012226666 A JP2012226666 A JP 2012226666A JP 2011095293 A JP2011095293 A JP 2011095293A JP 2011095293 A JP2011095293 A JP 2011095293A JP 2012226666 A JP2012226666 A JP 2012226666A
Authority
JP
Japan
Prior art keywords
optical
light
optical marker
position information
emitting element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011095293A
Other languages
English (en)
Other versions
JP5505363B2 (ja
Inventor
Kazuo Tawada
一穂 多和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2011095293A priority Critical patent/JP5505363B2/ja
Publication of JP2012226666A publication Critical patent/JP2012226666A/ja
Application granted granted Critical
Publication of JP5505363B2 publication Critical patent/JP5505363B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】光学マーカーのそれぞれの現在位置を精度よく効率的に算出することができるモーショントラッカ装置を提供する。
【解決手段】モーショントラッカ装置1であって、光学マーカーとの相対的な位置関係が決められて対象物10に取り付けられ、第二光線を出射する2個以上の発光素子と、カメラ装置2に取り付けられ、発光素子からの第二光線を検出する受光素子4と、検出された第二光線の強度に基づいて、2個以上の発光素子の内から受光素子4の最も近傍にある1個の発光素子を選択する発光素子近傍情報を算出する発光素子位置情報算出部33とを備え、光学マーカー位置情報算出部31は、光学マーカー位置情報を算出する際に、発光素子近傍情報を用いて、3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーを決定して、決定した光学マーカーと、検出された第一光線とをそれぞれ対応付ける。
【選択図】図1

Description

本発明は、光学方式のモーショントラッカ装置(以下、MT装置ともいう)に関し、さらに詳細には、光学マーカーの現在位置を検出する機能を備える光学方式のMT装置に関する。本発明は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度(すなわち、頭部の現在位置及び現在角度)を検出するヘッドモーショントラッカ装置(以下、HMT装置ともいう)等に利用される。
ここで、光学方式のHMT装置とは、反射板や発光体等の光学マーカーを取り付けたヘルメット等を頭部に装着して、光学マーカーの現在位置を立体視が可能なカメラ装置で測定することにより、頭部の動きを追跡する装置をいう。
時々刻々と変動する物体の現在位置や現在角度を正確に測定する技術は、様々な分野で利用されている。例えば、ゲーム機ではバーチャルリアリティ(VR)を実現するために、頭部装着型表示装置付ヘルメット(対象物)を用いることにより、映像を表示することがなされている。このとき、頭部装着型表示装置付ヘルメットの現在位置や現在角度に合わせて、映像を変化させる必要がある。そこで、頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するために、HMT装置が利用されている。
また、救難飛行艇(移動体)による救難活動では、発見した救難目標を見失うことがないようにするため、頭部装着型表示装置付ヘルメットにより表示される照準画像と救難目標とが対応したときにロックすることにより、ロックされた救難目標の位置を演算することが行われている。このとき、その救難目標の位置を演算するために、救難飛行艇の緯度、経度、高度、姿勢に加えて、救難飛行艇に設定された相対座標系に対するパイロットの頭部の現在角度及び現在位置を測定している。ここでもHMT装置が利用されている。
頭部装着型表示装置付ヘルメットに利用されるHMT装置としては、光学的に頭部装着型表示装置付ヘルメットの現在位置や現在角度を測定するものが開示されている(例えば、特許文献1参照)。具体的には、頭部装着型表示装置付ヘルメットの外周面上に、光学マーカー群として発光体であるLED(発光ダイオード)を互いに離隔するようにして3箇所に取り付け、頭部装着型表示装置付ヘルメットにおける3個のLEDの相対的な位置関係をHMT装置に予め記憶させておく。そして、これら3個のLEDを、立体視が可能でかつ設置場所が固定された第一CCDカメラと第二CCDカメラ(カメラ装置)で同時に撮影することで、所謂、三角測量の原理により、カメラ装置に対する3個のLEDの相対的な現在の位置関係を測定している。これにより、カメラ装置に対する頭部装着型表示装置付ヘルメットの現在位置や現在角度を特定している。
ここで、上述したような光学方式のHMT装置における第一CCDカメラにより撮影される撮影領域と、第二CCDカメラにより撮影される撮影領域とについて、図4を用いて説明する。図4は、第一CCDカメラにより撮影される撮影領域と第二CCDカメラにより撮影される撮影領域とについて説明するための図である。
カメラ装置2は、第一CCDカメラ2aと第二CCDカメラ2bとからなり、立体視が可能となるように飛行体(移動体)30の天井に固定されている。
第一CCDカメラ2aには、使用されている低歪レンズや広角レンズ等により撮影できる撮影領域の大きさと形状とが定められる。例えば、第一CCDカメラ2aの撮影領域の形状は、第一CCDカメラ2aを頂点とする円錐となっている。また、第二CCDカメラ2bにも、第一CCDカメラ2aと同様に、使用されている低歪レンズや広角レンズ等により撮影できる撮影領域の大きさと形状とが定められる。そして、第二CCDカメラ2bの撮影領域の形状も、第二CCDカメラ2bを頂点とする円錐となっている。
そして、カメラ装置2に対するLED47の位置を算出するためには、三角測量の原理を用いるので、第一CCDカメラ2aにより撮影される撮影領域と、第二CCDカメラ2bにより撮影される撮影領域とが重なった検出領域Sに、LED47が存在していなければならないことになる。
そこで、飛行体30中で動くことになる頭部装着型表示装置付ヘルメット50の現在位置や現在角度を特定し続けるために、第一CCDカメラ2a及び第二CCDカメラ2bの検出領域Sに常に少なくとも3個のLED47が存在するように、頭部装着型表示装置付ヘルメット50の外周面の全面に複数個(図4中では5個)のLED47が取り付けられている。
さらに、第一CCDカメラ2a及び第二CCDカメラ2bで検出される光線が、複数個のLED47の内のどのLED47から出射されたものであるかを識別する必要があるので、頭部装着型表示装置付ヘルメット50には、それぞれが識別可能な光線を出射するLED47が取り付けられている。例えば、頭部装着型表示装置付ヘルメット50の外周面上に、互いに異なる波長の発光光を出射するLED47を互いに離隔するようにして取り付けている。これにより、発光光の波長を区別することによって、検出された各発光光と、その発光光を出射したLED47とをそれぞれ対応付けて、カメラ装置2に対する頭部装着型表示装置付ヘルメット50の現在位置や現在角度を算出している。
特願2006−284442号公報
しかしながら、それぞれが識別可能な複数個のLED47を取り付けた場合、1個のLED47に故障等が発生したときに、故障した1個のLED47を新品の1個のLED47と交換することになるが、取り付けられている他のLED47の識別情報(例えば、波長情報)と区別できるように、新品の1個のLED47の詳細な識別情報を改めてHMT装置に記憶させる必要があった。よって、新品のLED47と交換するたびに、新品のLED47の識別情報をHMT装置に記憶させる手間がかかっていた。
一方、識別情報を有さない複数個のLEDを、1個1個順番に点灯させることにより、識別することも考えられるが、1個1個順番に点灯させなければならないので、時々刻々と変化する頭部装着型表示装置付ヘルメットの動きをモニタリングするのに用いるには適切ではない。
そこで、本出願人は、頭部装着型表示装置付ヘルメットに取り付けられた複数個のLEDのそれぞれの現在位置を算出する際に、LEDに識別情報を持たせたり、1個1個順番にLEDを点灯させたりすることもなく、同じ波長の発光光を出射するLEDを識別する識別方法を見出している。図5は、頭部装着型表示装置付ヘルメットにおけるLEDを識別する識別方法を説明するための図である。なお、図中、黒丸はLEDを示す。
まず、第一CCDカメラと第二CCDカメラとが飛行体に固定されているときには、第一CCDカメラの撮影方向と第二CCDカメラの撮影方向とが定まった状態にあるので、エピポーラ幾何学に基づく予測により、第一CCDカメラによる第一画像に撮影された発光光と、第二CCDカメラによる第二画像に撮影された発光光との間で、同一のLEDから出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置に対する各発光光が出射された位置を算出して、さらに図5に示すように、時間t1(カメラ装置の1回目の撮影時間)のLED57a、57b、57cのそれぞれの位置を記憶するとともに、記憶された各LED57a、57b、57cの位置を中心とする一定の大きさの球状である予想移動範囲(Da、Db、Dc)をそれぞれ設定することにより、時間t2(カメラ装置の2回目の撮影時間)に、予想移動範囲(Da、Db、Dc)に存在する発光光が出射された位置に、時間t1に設定された予想移動範囲(Da、Db、Dc)に対応するLEDが移動したと認識する。
このようにすることで、LEDに識別情報を持たせたり、1個1個順番にLEDを点灯させたりすることもなく、同じ波長の発光光を出射するLEDを識別することができる。
しかし、上述した識別方法では、カメラ装置による撮影時間の間隔において、各LED57a、57b、57cの移動距離が予想移動範囲(Da、Db、Dc)内となる場合には問題なかったが、図6に示すように、頭部装着型表示装置付ヘルメットの移動速度が速い(各LEDの移動距離が予想移動範囲(Da、Db、Dc)を超える)場合に、予想移動範囲(Da、Db、Dc)に、予想移動範囲(Da、Db、Dc)に対応するLED57a、57b、57cと異なるLED57d、57e、57fが存在することがあった。つまり、LED57a〜57fは識別情報を有さないため、LED57d、57e、57fをLED57a、57b、57cとして認識してしまっていた。つまり、LED57a〜57fのそれぞれの現在位置を正確に算出できないことがあった。
また、上述した識別方法以外にも、9個のLEDが互いに異なる距離で離隔するようにして、頭部装着型表示装置付ヘルメットの外周面上に取り付けられたものを用いることにより、同じ波長の発光光を出射するLEDを識別する識別方法も見出している。図7は、頭部装着型表示装置付ヘルメットにおけるLEDを識別する識別方法を説明するための図である。
図7に示すように、同じ波長の発光光を出射する9個のLED67a〜67iが互いに異なる距離l1〜l9で離隔するようにして、頭部装着型表示装置付ヘルメットの外周面上に取り付けられている。
まず、上述した識別方法と同様に、エピポーラ幾何学に基づく予測により、第一CCDカメラによる第一画像に撮影された発光光と、第二CCDカメラによる第二画像に撮影された発光光との間で、同一のLEDから出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置に対する各発光光が出射された位置を算出するとともに、各発光光が出射された位置の間の距離を算出することにより、算出された距離と、LED67a〜67i間の距離とを比較することで、各発光光が出射された位置と、それぞれのLED67a〜67iとを対応付ける。
このようにすることで、LEDに識別情報を持たせたり、1個1個順番にLEDを点灯させたりすることもなく、同じ波長の発光光を出射するLEDを識別することができる。
しかし、このような識別方法では、算出された距離と、全てのLED67a〜67i間の距離とを比較することになるので、各発光光が出射された位置と、それぞれのLED67a〜67iとを対応付けるのに時間がかかるという問題点があった。
そこで、本発明は、頭部装着型表示装置付ヘルメット等の対象物に取り付けられた3個以上のLED等の光学マーカーのそれぞれの現在位置を算出する際に、光学マーカーのそれぞれの現在位置を精度よく効率的に算出することができるモーショントラッカ装置を提供することを目的とする。
上記課題を解決するためになされた本発明のモーショントラッカ装置は、対象物に位置決めされて取り付けられ、第一光線を出射する3個以上の光学マーカーと、前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーからの第一光線を立体視で検出するカメラ装置と、検出された第一光線に基づいて、前記カメラ装置に対する3個以上の光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置に対する対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、前記光学マーカーとの相対的な位置関係が決められて対象物に取り付けられ、第二光線を出射する2個以上の発光素子と、前記カメラ装置に取り付けられ、前記発光素子からの第二光線を検出する受光素子と、検出された第二光線の強度に基づいて、前記2個以上の発光素子の内から受光素子の最も近傍にある1個の発光素子を選択する発光素子近傍情報を算出して、当該発光素子近傍情報を発光素子位置情報記憶部に記憶させる発光素子位置情報算出部とを備え、前記光学マーカー位置情報算出部は、前記光学マーカー位置情報を算出する際に、前記発光素子近傍情報を用いて、前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーを決定して、決定した光学マーカーと、検出された第一光線とをそれぞれ対応付けるようにしている。
本発明のモーショントラッカ装置によれば、3個以上の光学マーカーと2個以上の発光素子とは相対的な位置関係を決められて対象物に取り付けられている。これにより、2個以上の発光素子の内から1個の発光素子が選択されると、1個の発光素子の近傍にある光学マーカーが決定できるようになっている。
このような対象物をカメラ装置が撮影することにより、3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーからの第一光線を立体視で検出する。このとき、受光素子がカメラ装置に取り付けられるとともに、発光素子からの第二光線を検出する。これにより、発光素子位置情報算出部は、受光素子の最も近傍にある1個の発光素子を選択する発光素子近傍情報を算出する。つまり、受光素子はカメラ装置に取り付けられているため、カメラ装置の近傍にある1個の発光素子が選択されることになる。
さらに、光学マーカー位置情報算出部は、3個以上の光学マーカーと2個以上の発光素子とは相対的な位置関係を決められて取り付けられているため、選択された1個の発光素子の近傍にある光学マーカーを決定する。つまり、カメラ装置の近傍、すなわちカメラ装置の検出領域にある光学マーカーが決定されることになる。
そして、光学マーカー位置情報算出部は、カメラ装置の検出領域にあると決定した光学マーカーと、カメラ装置で検出した第一光線とをそれぞれ対応付けて、光学マーカー位置情報を算出する。
以上のように、本発明のモーショントラッカ装置によれば、まず、受光素子で検出された第二光線の強度からカメラ装置の検出領域に存在する光学マーカーを特定することができるので、光学マーカーのそれぞれの現在位置を精度よく効率的に算出することができる。
(他の課題を解決するための手段及び効果)
また、上記の発明において、前記3個以上の光学マーカーは、少なくとも3個の光学マーカーが1組の光学マーカー群となるように対象物に取り付けられ、1組の光学マーカー群においては、それぞれの光学マーカーが識別可能に形成され、前記光学マーカー位置情報算出部は、前記発光素子近傍情報を用いて、前記2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定して、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けるようにしてもよい。
本発明のモーショントラッカ装置によれば、2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定する。そして、光学マーカー位置情報算出部は、1組の光学マーカー群においては、光学マーカーがそれぞれ識別可能に形成されているので、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けることができる。
したがって、本発明のモーショントラッカ装置によれば、1組の光学マーカー群において、光学マーカーがそれぞれ識別可能に形成されればよいので、例えば、3個の光学マーカーが1組の光学マーカー群となるようにしたときには、3種類の識別情報を有する光学マーカーのみを使用すればよく、全ての光学マーカーにそれぞれ異なる詳細な識別情報を持たせる必要がなくなるので、おおまかな識別情報を記憶させておけばよく、識別情報を改めて記憶させる必要がなくなる。また、光学マーカー間の距離を互いに異なるように形成したときには、全ての光学マーカー間の距離と対応させる必要もなく、1組の光学マーカー群のみの光学マーカー間の距離と対応させればよくなるので、光学マーカーのそれぞれの現在位置を効率的に算出することができる。
また、本発明のモーショントラッカ装置は、対象物に位置決めされて取り付けられ、第一光線を出射する3個以上の光学マーカーと、前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーからの第一光線を立体視で検出するカメラ装置と、検出された第一光線に基づいて、前記カメラ装置に対する3個以上の光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、前記光学マーカー位置情報に基づいて、前記カメラ装置に対する対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、前記3個以上の光学マーカーは、少なくとも3個の光学マーカーが1組の光学マーカー群となるように対象物に取り付けられ、1組の光学マーカー群においては、それぞれの光学マーカーが識別可能に形成され、前記カメラ装置に取り付けられ、前記光学マーカーからの第一光線を検出する受光素子と、各組の光学マーカー群の内の1個の代表光学マーカーを順番に点灯させることにより、検出された第一光線の強度に基づいて、2個以上の代表光学マーカーの内から受光素子の最も近傍にある1個の代表光学マーカーを選択する発光素子近傍情報を算出して、当該発光素子近傍情報を発光素子位置情報記憶部に記憶させる発光素子位置情報算出部とを備え、前記光学マーカー位置情報算出部は、前記光学マーカー位置情報を算出する際に、前記発光素子近傍情報を用いて、前記2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定して、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けるようにしている。
本発明のモーショントラッカ装置によれば、まず、受光素子で検出された第一光線の強度に基づいて、2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定する。次に、光学マーカー位置情報算出部は、1組の光学マーカー群においては、光学マーカーがそれぞれ識別可能に形成されているので、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けることができる。
したがって、本発明のモーショントラッカ装置によれば、1組の光学マーカー群において、光学マーカーがそれぞれ識別可能に形成されればよいので、例えば、3個の光学マーカーが1組の光学マーカー群となるようにしたときには、3種類の識別情報を有する光学マーカーのみを使用すればよく、全ての光学マーカーにそれぞれ異なる詳細な識別情報を持たせる必要がなくなるので、おおまかな識別情報を記憶させておけばよく、識別情報を改めて記憶させる必要がなくなる。また、光学マーカー間の距離を互いに異なるように形成したときには、全ての光学マーカー間の距離と対応させる必要もなく、1組の光学マーカー群のみの光学マーカー間の距離と対応させればよくなるので、光学マーカーのそれぞれの現在位置を効率的に算出することができる。
また、上記の発明において、前記カメラ装置は、2台のCCDカメラであり、前記受光素子は、2台のCCDカメラに1個ずつ取り付けられるフォトダイオードであるようにしてもよい。
さらに、上記の発明において、前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられるようにしてもよい。
本発明の実施形態1のHMT装置の概略構成を示す図。 図1に示す頭部装着型表示装置付ヘルメットの平面図。 相対座標系(XYZ座標系)の設定を説明する図。 第一CCDカメラと第二CCDカメラにより撮影される撮影領域の説明図。 従来の頭部装着型表示装置付ヘルメットにおけるLED識別方法の説明図。 従来の頭部装着型表示装置付ヘルメットにおけるLED識別方法の説明図。 従来の頭部装着型表示装置付ヘルメットにおけるLED識別方法の説明図。 HMT装置1による測定動作を説明するフローチャート。 本発明の実施形態2のHMT装置の概略構成を示す図。 図9に示す頭部装着型表示装置付ヘルメットの平面図。 HMT装置101による測定動作を説明するフローチャート。
以下、本発明の実施形態について図面を用いて説明する。なお、本発明は、以下に説明するような実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の態様が含まれる。
<実施形態1>
図1は、本発明の実施形態1であるHMT装置の概略構成を示す図であり、図2は、図1に示す頭部装着型表示装置付ヘルメットの平面図である。また、図3は、相対座標系(XYZ座標系)の設定を説明するための図である。
本実施形態は、飛行体(移動体)30に搭乗するパイロット3が着用する頭部装着型表示装置付ヘルメット(対象物)10の現在位置及び現在角度を算出するものである。つまり、HMT装置1は、飛行体30に設定された相対座標系(XYZ座標系)に対する、パイロット3が着用する頭部装着型表示装置付ヘルメット10に設定されたヘルメット座標系(X’Y’Z’座標系)の位置(X、Y、Z)及び角度(RL、EL、AZ)を算出する。
なお、相対座標系(XYZ座標系)は、後述するカメラ装置2を基準とするものであり、相対座標系記憶部43に記憶され、一方、ヘルメット座標系(X’Y’Z’座標系)は、後述するLED群7を基準として設定されたものであり、ヘルメット座標系記憶部44に記憶されている。また、角度(RL)は、ロール方向(X軸に対する回転)の角度であり、角度(EL)は、エレベーション方向(Y軸に対する回転)の角度であり、角度(AZ)は、アジマス方向(Z軸に対する回転)の角度である。
HMT装置1は、パイロット3の頭部に装着される頭部装着型表示装置付ヘルメット10と、飛行体30の天井に取り付けられたカメラ装置2と、カメラ装置2に取り付けられたフォトダイオード(受光素子)群4と、コンピュータにより構成される制御部20とを備える。
頭部装着型表示装置付ヘルメット10は、表示器(図示せず)と、表示器から出射される画像表示光を反射することにより、パイロット3の目に導くコンバイナ8と、LED(光学マーカー)群7と、LED(発光素子)群5とを有する。なお、頭部装着型表示装置付ヘルメット10を装着したパイロット3は、表示器による表示画像とコンバイナ8の前方実在物とを視認することが可能となっている。
LED群7は、図2に示すように、同じ波長の発光光(第一光線)を出射する9個のLED7a〜7iが互いに異なる距離で離隔するようにして、頭部装着型表示装置付ヘルメット10の外周面上に取り付けられたものである。また、9個のLED7a〜7iにおいては、3個のLED7a〜7cが1組のLED群(光学マーカー群)となり、3個のLED7d〜7fが1組のLED群(光学マーカー群)となり、3個のLED7g〜7iが1組のLED群(光学マーカー群)となるように取り付けられている。
ここで、ヘルメット座標系(X’Y’Z’座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図2に示すように、原点をLED7aの位置とし、前方方向をX’軸方向とし、前方方向に垂直方向をY’軸方向とし、X’軸方向及びY’軸方向に垂直方向をZ’軸方向とするように定義するように、後述するヘルメット座標系記憶部44に設定されている。また、ヘルメット座標系(X’Y’Z’座標系)上での9個のLED7a〜7iの位置関係(初期データ)も、ヘルメット座標系記憶部44に記憶されている。
これにより、後述する三角測量の手法で、現時点における9個のLED7a〜7iの内の少なくとも3個のLEDの位置を算出し、初期データを参照することで、頭部装着型表示装置付ヘルメット10の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)が、ヘルメット座標系(X’Y’Z’座標系)を用いて表現されるようになっている。
LED群(発光素子群)5は、図2に示すように、同じ波長の発光光(第二光線)を出射する3個のLED5a〜5cが頭部装着型表示装置付ヘルメット10の外周面上に取り付けられたものである。また、LED5aの発光時間とLED5bの発光時間とLED5cの発光時間とがこの順に繰り返されるように設定されている。
このとき、3個のLED5a〜5cは、9個のLED7a〜7iとの位置関係が決められて取り付けられている。例えば、図2に示すように、3個のLED7a、7b、7cで形成される三角形の重心にLED5aが配置され、3個のLED7d、7e、7fで形成される三角形の重心にLED5bが配置され、3個のLED7g、7h、7iで形成される三角形の重心にLED5cが配置されている。これにより、LED5aの近傍には、LED7a、7b、7cが存在し、LED7d〜7iは存在しなくなる。また、LED5bの近傍には、LED7d、7e、7fが存在し、LED7a〜7c、7g〜7iは存在しなくなる。さらに、LED5cの近傍には、LED7g、7h、7iが存在し、LED7a〜7fは存在しなくなる。
飛行体30は、パイロット3が搭乗するコックピットであり、パイロット3が着席する座席30aを備える。
カメラ装置2は、第一CCDカメラ2aと第二CCDカメラ2bとからなる。第一CCDカメラ2aと第二CCDカメラ2bとは、撮影方向が異なりかつ頭部装着型表示装置付ヘルメット10に向けられているとともに、立体視が可能な一定の距離(d)を隔てるように、飛行体30の天井に取り付けられている。そして、第一CCDカメラ2aで撮影された第一画像が作成されるとともに、第二CCDカメラ2bで撮影された第二画像が作成される。
ここで、図3に示すように、第一CCDカメラ2aと第二CCDカメラ2bとに撮影された第一画像と第二画像中に映し出されているLED7aから出射された発光光(第一光線)の位置を抽出し、さらに第一CCDカメラ2aからの方向角度(α)と第二CCDカメラ2bからの方向角度(β)とを算出し、第一CCDカメラ2aと第二CCDカメラ2bとの間の距離(d)を用いることにより、所謂、三角測量の手法で、カメラ装置2に対するLED7aの位置が算出される。
なお、LED群7は互いに同じ波長の発光光を出射するので、第一CCDカメラ2aによる第一画像に撮影された複数の発光光と、第二CCDカメラ2bによる第二画像に撮影された複数の発光光とを単純に対応付けることができないが、第一CCDカメラ2aと第二CCDカメラ2bとは飛行体30に固定されているので、エピポーラ幾何学に基づく予測によって、第一CCDカメラ2aによる第一画像に撮影された複数の発光光と、第二CCDカメラ2bによる第二画像に撮影された複数の発光光との間で、同一のLEDから出射された発光光の組をそれぞれ対応付けることになる。
さらに、LED群7は互いに同じ波長の発光光を出射するので、対応付けられた発光光の組と、頭部装着型表示装置付ヘルメット10に取り付けられたLED群7とを対応付けることはできないが、光学マーカー位置情報算出部31(後述する)によって、本発明では精度よく効率的に対応付けることになるので、ここでは説明を省略する。
また、対応付けたLEDの位置を、空間座標で表現することができるようにするために、カメラ装置2に固定された座標系である相対座標系(XYZ座標系)を設定して用いる。相対座標系(XYZ座標系)は、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図3に示すように、第二CCDカメラ2bの位置から第一CCDカメラ2aの位置への方向をX軸方向とし、X軸方向に垂直かつ天井に垂直で下向き方向をZ軸方向とし、X軸方向に垂直かつ天井に水平で右向き方向をY軸方向とするように定義し、原点を第一CCDカメラ2aの位置と第二CCDカメラ2bの位置との中点として定義するように相対座標系記憶部43に設定されている。
これにより、上述したように三角測量の手法で算出することで、相対座標系(XYZ座標系)において、対応付けた発光光の組を出射した位置座標を表現するとともに、位置座標と、頭部装着型表示装置付ヘルメット10に取り付けられたLEDとを対応付けることにより、LED群7が位置決めされて取り付けられている頭部装着型表示装置付ヘルメット10の位置(X、Y、Z)及び角度(RL、EL、AZ)は、相対座標系(XYZ座標系)に対する、ヘルメット座標系(X’Y’Z’座標系)の位置及び角度を用いて表現できる。なお、頭部装着型表示装置付ヘルメット10の位置(X、Y、Z)は、ヘルメット座標系(X’Y’Z’座標系)の原点であるLED7aの現在の位置座標で表現することとする。
フォトダイオード群(受光素子群)4は、フォトダイオード4aとフォトダイオード4bとからなる。フォトダイオード4aが第一CCDカメラ2aに取り付けられるとともに、フォトダイオード4bが第二CCDカメラ2bに取り付けられている。
また、フォトダイオード群4は、頭部装着型表示装置付ヘルメット10に取り付けられたLED群(発光素子群)5からの発光光(第二光線)の強度を検出する。そして、検出された発光光の強度を検出信号としてコンピュータ20の発光素子位置情報算出部33(後述する)に出力する。なお、発光素子位置情報算出部33では、発光光の強度により、LED群(発光素子群)5の内からどのLEDがフォトダイオード群(受光素子群)4の一番近傍にあるかが算出されるようになっている。
制御部20は、図1に示すように、CPU21やメモリ40等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。CPU21が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部28と、光学マーカー位置情報算出部31と、発光素子位置情報算出部33と、相対情報算出部32と、映像表示部25とを有する。
また、メモリ40には、制御部20が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、光学マーカー位置情報を順次記憶するための光学マーカー位置情報記憶部41と、発光素子近傍情報を記憶するための発光素子位置情報記憶部42と、相対座標系(XYZ座標系)を記憶する相対座標系記憶部43と、ヘルメット座標系(X’Y’Z’座標系)を記憶するヘルメット座標系記憶部44とを有する。
なお、ヘルメット座標系記憶部44は、ヘルメット座標系(X’Y’Z’座標系)を記憶し、さらにX’Y’Z’座標系上での9個のLED7a〜7iと3個のLED5a〜5cとの位置関係(初期データ)も記憶している。
モーショントラッカ駆動部28は、LED群7を点灯させる指令信号を出力するとともに、カメラ装置2でLED群7を撮影し、第一画像と第二画像とを取得する制御を行うものである。
このとき、第一CCDカメラ2aと第二CCDカメラ2bとは飛行体30に固定されていることにより、第一CCDカメラ2aの撮影方向と第二CCDカメラ2bの撮影方向とが定まった状態であるので、エピポーラ幾何学に基づく予測により、第一CCDカメラ2aで撮影された第一画像と第二CCDカメラ2bで撮影された第二画像との間での発光光の組を認識することができるが、LED7a〜7iは同じ波長の発光光を出射するものなので、まだ各発光光の組と各LED7a〜7iとを対応付けることはできない。
発光素子位置情報算出部33は、LED5a〜5cを順番に1個ずつ点灯させる指令信号を出力するとともに、フォトダイオード4a、4bで発光光の強度を検出することにより、検出された発光光の強度に基づいて、3個のLED5a〜5cの内からフォトダイオード4a、4bの最も近傍にある1個のLEDを選択する発光素子近傍情報を算出して、発光素子近傍情報を発光素子位置情報記憶部42に記憶させる制御を行うものである。
具体的には、まず、LED5aに点灯させる指令信号を出力することにより、フォトダイオード4a、4bで発光光の強度を検出することにより、検出された発光光の強度に基づいて、LED5aから各フォトダイオード4a、4bまでのそれぞれの距離を算出する。次に、LED5bに点灯させる指令信号を出力することにより、フォトダイオード4a、4bで発光光の強度を検出することにより、検出された発光光の強度に基づいて、LED5bから各フォトダイオード4a、4bまでのそれぞれの距離を算出する。次に、LED5cに点灯させる指令信号を出力することにより、フォトダイオード4a、4bで発光光の強度を検出することにより、検出された発光光の強度に基づいて、LED5cから各フォトダイオード4a、4bまでのそれぞれの距離を算出する。そして、LED5a〜5cから各フォトダイオード4a、4bまでのそれぞれの距離を用いて、3個のLED5a〜5cの内からフォトダイオード群4の最も近傍にある1個のLEDを選択する発光素子近傍情報を算出する。最後に、発光素子近傍情報を発光素子位置情報記憶部42に記憶させる。
なお、LED5a〜5cとして、発光光を出射する出射領域が狭いものを用いた場合には、発光光の強度が0にならなかったものを、フォトダイオード群4の最も近傍にある1個のLEDとして選択する。
光学マーカー位置情報算出部31は、発光素子位置情報記憶部42に記憶された発光素子近傍情報と、カメラ装置2で検出された発光光とに基づいて、9個のLED7a〜7iの内からカメラ装置2の検出領域に存在する3個のLED(1組のLED群)7を決定し、さらに決定した3個のLED7と、検出された発光光とをそれぞれ対応付け、カメラ装置2に対するLED7の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部41に記憶させる制御を行うものである。
具体的には、まず、発光素子近傍情報により、フォトダイオード群4の最も近傍にある1個のLED5が選択されるので、カメラ装置2の最も近傍にある1個のLED5がわかる。さらに、カメラ装置2の最も近傍にある1個のLED5がわかるので、1個のLED5の近傍にある3個のLED7を算出することにより、カメラ装置2の最も近傍にある3個のLED7を決定する。つまり、カメラ装置2の検出領域に存在する3個のLED7を決定する。例えば、LED5aが選択されているときには、3個のLED7a、7b、7cがカメラ装置2の検出領域に存在すると決定する。
次に、エピポーラ幾何学に基づく予測により、第一CCDカメラ2aによる第一画像に撮影された発光光と、第二CCDカメラ2bによる第二画像に撮影された発光光との間で、同一のLED7から出射された発光光の組をそれぞれ対応付ける。
次に、第一画像と第二画像との間での発光光の組を対応付けることができれば、カメラ装置2に対する各発光光が出射された位置を算出するとともに、各発光光が出射された位置の間の距離を算出することにより、算出された距離と、決定された3個のLED7間の距離とを比較することで、各発光光が出射された位置と、それぞれのLED7とを対応付ける。このとき、全てのLED7a〜7i間の距離と対応させる必要もなく、3個のLED7間の距離と対応させればよいので、3個のLED7のそれぞれの現在位置を効率的に算出することができる。
最後に、LED7a〜7iは相対的な位置関係を決められて取り付けられているので、相対座標系(XYZ座標系)上のLED7a〜7iの位置を算出して、相対座標系(XYZ座標系)上のLED7a〜7iの位置である光学マーカー位置情報を光学マーカー位置情報記憶部41に記憶させる。
相対情報算出部32は、光学マーカー位置情報に基づいて、相対座標系(XYZ座標系)に対する、パイロット3の頭部の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)を含む相対情報を算出する制御を行うものである。
具体的には、カメラ装置2に対する3個のLED7の現在位置が相対座標系(XYZ座標系)上で特定されるので、LED群7が固定されているヘルメット座標系(X’Y’Z’座標系)の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)を、相対座標系(XYZ座標系)上で特定する。そして、ヘルメット座標系(X’Y’Z’座標系)の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)を、パイロット3の頭部の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)を含む相対情報として算出する。
映像表示部25は、相対情報に基づいて、表示器から映像表示光を出射する制御を行うものである。これにより、パイロット3は、表示器による表示映像を視認することができるようになる。
(HMT装置1の動作)
次に、HMT装置1により相対情報を測定する測定動作について説明する。図8は、HMT装置1による測定動作について説明するためのフローチャートである。
まず、ステップS101の処理において、時間tを時間tと更新する。
次に、ステップS102の処理において、発光素子番号sを発光素子番号sと更新する。
次に、ステップS103の処理において、発光素子位置情報算出部33は、LED群5の内の発光素子番号sの1個のLEDを点灯させる指令信号を出力する。
次に、ステップS104の処理において、発光素子位置情報算出部33は、フォトダイオード群4(4a、4b)で発光光の強度を検出する。
次に、ステップS105の処理において、発光素子位置情報算出部33は、発光素子番号s=smax(取り付けた発光素子の個数)であるか否かを判定する。発光素子番号s=smaxでないと判定したときには、ステップS106の処理において、発光素子番号sを発光素子番号sn+1と更新して、ステップS103の処理に戻る。
一方、発光素子番号s=smaxであると判定したときには、ステップS107の処理において、発光素子位置情報算出部33は、検出された発光光の強度に基づいて、3個のLED5a〜5cの内からフォトダイオード4a、4bの最も近傍にある1個のLEDを選択する発光素子近傍情報を算出して、発光素子近傍情報を発光素子位置情報記憶部42に記憶させる。
次に、ステップS108の処理において、モーショントラッカ駆動部28は、LED群7を点灯させる指令信号を出力する。
次に、ステップS109の処理において、モーショントラッカ駆動部28は、カメラ装置2でLED群7を撮影し、第一画像と第二画像とを取得する。
次に、ステップS110の処理において、光学マーカー位置情報算出部31は、発光素子位置情報記憶部41に記憶された発光素子近傍情報と、カメラ装置2で検出された発光光とに基づいて、9個のLED7a〜7iの内からカメラ装置2の検出領域に存在する3個のLED(1組のLED群)7を決定し、さらに、決定した3個のLED7と、検出された発光光とをそれぞれ対応付け、カメラ装置2に対するLED7の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部41に記憶させる。
次に、ステップS111の処理において、相対情報算出部32は、光学マーカー位置情報に基づいて、相対座標系(XYZ座標系)に対する、パイロット3の頭部の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)を含む相対情報を算出する。
次に、ステップS112の処理において、頭部装着型表示装置付ヘルメット10の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)の算出を終了するか否かを判定する。例えば、使用者がスイッチ等を押圧したときには、頭部装着型表示装置付ヘルメット10の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)の算出を終了すると判定し、本フローチャートを終了させる。
一方、例えば、使用者がスイッチ等を押圧しなかったときには、頭部装着型表示装置付ヘルメット10の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)の算出を終了しないと判定し、ステップS113の処理において、時間tを時間tn+1と更新して、ステップS102の処理に戻る。つまり、頭部装着型表示装置付ヘルメット10の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)の算出を終了すると判定するまで、ステップS102〜S110の処理は繰り返される。
以上のように、HMT装置1によれば、フォトダイオード群4で検出された第二光線の強度から、まずカメラ装置2の検出領域に存在する3個のLED7を特定することができるので、LED群7のそれぞれの現在位置を精度よく効率的に算出することができる。
<実施形態2>
図9は、本発明の実施形態2であるHMT装置の概略構成を示す図であり、図10は、図9に示す頭部装着型表示装置付ヘルメットの平面図である。なお、上述したHMT装置1と同様のものについては、同じ符号を付している。
HMT装置101は、パイロット3の頭部に装着される頭部装着型表示装置付ヘルメット110と、飛行体30の天井に取り付けられたカメラ装置2と、カメラ装置2に取り付けられたフォトダイオード(受光素子)群4と、コンピュータにより構成される制御部120とを備える。
頭部装着型表示装置付ヘルメット110は、表示器(図示せず)と、表示器から出射される画像表示光を反射することにより、パイロット3の目に導くコンバイナ8と、LED(光学マーカー)群107とを有する。
LED群107は、図10に示すように、同じ波長の発光光(第一光線)を出射する9個のLED107a〜107iが互いに異なる距離で離隔するようにして、頭部装着型表示装置付ヘルメット110の外周面上に取り付けられたものである。また、9個のLED107a〜107iにおいては、3個のLED107a〜107cが1組のLED群(光学マーカー群)となるとともにLED107aが代表LED(sの発光素子)として設定され、3個のLED107d〜107fが1組のLED群(光学マーカー群)となるとともにLED107dが代表LED(sの発光素子)として設定され、3個のLED107g〜107iが1組のLED群(光学マーカー群)となるとともにLED107gが代表LED(sの発光素子)として設定されて取り付けられている。さらに、代表LED107aの発光時間と代表LED107dの発光時間と代表LED107gの発光時間とがこの順に繰り返されるように設定されている。
フォトダイオード群4は、頭部装着型表示装置付ヘルメット110に取り付けられた代表LED群7からの発光光(第一光線)の強度を検出する。そして、検出された発光光の強度を検出信号としてコンピュータ120の発光素子位置情報算出部133(後述する)に出力する。なお、発光素子位置情報算出部133では、発光光の強度により、代表LED群7の内からどの代表LEDがフォトダイオード群4の一番近傍にあるかが算出されるようになっている。
制御部120は、図9に示すように、CPU121やメモリ40等からなるコンピュータにより構成され、各種の制御や演算処理を行うものである。CPU121が実行する処理を、機能ブロックごとに分けて説明すると、モーショントラッカ駆動部28と、光学マーカー位置情報算出部31と、発光素子位置情報算出部133と、相対情報算出部32と、映像表示部25とを有する。
また、メモリ40には、制御部20が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、光学マーカー位置情報を順次記憶するための光学マーカー位置情報記憶部41と、発光素子近傍情報を記憶するための発光素子位置情報記憶部42と、相対座標系(XYZ座標系)を記憶する相対座標系記憶部43と、ヘルメット座標系(X’Y’Z’座標系)を記憶するヘルメット座標系記憶部44とを有する。
発光素子位置情報算出部133は、代表LED群107a、107d、107gを順番に1個ずつ点灯させる指令信号を出力するとともに、フォトダイオード4a、4bで発光光の強度を検出することにより、検出された発光光の強度に基づいて、3個の代表LED107a、107d、107gの内からフォトダイオード4a、4bの最も近傍にある1個の代表LED107を選択する発光素子近傍情報を算出して、発光素子近傍情報を発光素子位置情報記憶部42に記憶させる制御を行うものである。
具体的には、まず、代表LED107aに点灯させる指令信号を出力することにより、フォトダイオード4a、4bで発光光の強度を検出することにより、検出された発光光の強度に基づいて、代表LED107aから各フォトダイオード4a、4bまでのそれぞれの距離を算出する。次に、代表LED107dに点灯させる指令信号を出力することにより、フォトダイオード4a、4bで発光光の強度を検出することにより、検出された発光光の強度に基づいて、代表LED107dから各フォトダイオード4a、4bまでのそれぞれの距離を算出する。次に、代表LED107gに点灯させる指令信号を出力することにより、フォトダイオード4a、4bで発光光の強度を検出することにより、検出された発光光の強度に基づいて、代表LED107gから各フォトダイオード4a、4bまでのそれぞれの距離を算出する。そして、代表LED107a、107d、107gから各フォトダイオード4a、4bまでのそれぞれの距離を用いて、3個の代表LED107a、107d、107gの内からフォトダイオード群4の最も近傍にある1個のLED107を選択する発光素子近傍情報を算出する。最後に、発光素子近傍情報を発光素子位置情報記憶部42に記憶させる。
(HMT装置101の動作)
次に、HMT装置101により相対情報を測定する測定動作について説明する。図11は、HMT装置101による測定動作について説明するためのフローチャートである。
まず、ステップS201の処理において、時間tを時間tと更新する。
次に、ステップS202の処理において、発光素子番号sを発光素子番号sと更新する。
次に、ステップS203の処理において、発光素子位置情報算出部133は、代表LED群107a、107d、107gの内の発光素子番号snの1個の代表LEDを点灯させる指令信号を出力する。
次に、ステップS204の処理において、発光素子位置情報算出部133は、フォトダイオード群4(4a、4b)で発光光の強度を検出する。
次に、ステップS205の処理において、発光素子位置情報算出部133は、発光素子番号s=smax(取り付けた発光素子の個数)であるか否かを判定する。発光素子番号s=smaxでないと判定したときには、ステップS206の処理において、発光素子番号sを発光素子番号sn+1と更新して、ステップS203の処理に戻る。
一方、発光素子番号s=smaxであると判定したときには、ステップS207の処理において、発光素子位置情報算出部133は、検出された発光光の強度に基づいて、3個の代表LED群107(107a、107d、107g)の内からフォトダイオード4a、4bの最も近傍にある1個の代表LEDを選択する発光素子近傍情報を算出して、発光素子近傍情報を発光素子位置情報記憶部42に記憶させる。
次に、ステップS208の処理において、モーショントラッカ駆動部28は、9個のLED(LED群)107a〜107iを点灯させる指令信号を出力する。
次に、ステップS209の処理において、モーショントラッカ駆動部28は、カメラ装置2でLED群107を撮影し、第一画像と第二画像とを取得する。
次に、ステップS210の処理において、光学マーカー位置情報算出部31は、発光素子位置情報記憶部42に記憶された発光素子近傍情報と、カメラ装置2で検出された発光光とに基づいて、9個のLED107a〜107iの内からカメラ装置2の検出領域に存在する3個のLED(1組のLED群)107を決定し、さらに、決定した3個のLED107と、検出された発光光とをそれぞれ対応付け、カメラ装置2に対するLED107の現在位置である光学マーカー位置情報を算出して、光学マーカー位置情報を光学マーカー位置情報記憶部41に記憶させる。
次に、ステップS211の処理において、相対情報算出部32は、光学マーカー位置情報に基づいて、相対座標系(XYZ座標系)に対する、パイロット3の頭部の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)を含む相対情報を算出する。
次に、ステップS212の処理において、頭部装着型表示装置付ヘルメット110の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)の算出を終了するか否かを判定する。例えば、使用者がスイッチ等を押圧したときには、頭部装着型表示装置付ヘルメット110の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)の算出を終了すると判定し、本フローチャートを終了させる。
一方、例えば、使用者がスイッチ等を押圧しなかったときには、頭部装着型表示装置付ヘルメット110の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)の算出を終了しないと判定し、ステップS213の処理において、時間tを時間tn+1と更新して、ステップS202の処理に戻る。つまり、頭部装着型表示装置付ヘルメット110の現在位置(X、Y、Z)及び現在角度(RL、EL、AZ)の算出を終了すると判定するまで、ステップS202〜S210の処理は繰り返される。
以上のように、HMT装置101によれば、フォトダイオード群4で検出された第二光線の強度から、まずカメラ装置2の検出領域に存在する3個のLED107を特定することができるので、LED群107のそれぞれの現在位置を精度よく効率的に算出することができる。
<他の実施形態>
(1)上述したHMT装置1では、LED5aの発光時間とLED5bの発光時間とLED5cの発光時間とが順番に繰り返されるように設定されているものを示したが、LED5aの発光時間とLED5bの発光時間とLED5cの発光時間とは同時となるように設定されるとともに、LED5aとLED5bとLED5cとは異なる波長の発光光(第二光線)を出射するような構成とすることにより、フォトダイオード群4はLED5a〜5cからの発光光の強度をそれぞれ個別に検出するような構成としてもよい。
(2)上述したHMT装置1では、モーショントラッカ駆動部28は、9個のLED(LED群)7a〜7iを点灯させる指令信号を出力するものを示したが、発光素子近傍情報に基づいて、フォトダイオード4a、4bの最も近傍にあるとされる3個のLED7を点灯させる指令信号を出力するような構成としてもよい。
本発明のHMT装置は、例えば、ゲーム機や乗物等で用いられる頭部装着型表示装置付ヘルメットの現在位置及び現在角度を検出するものとして利用される。
1、101 ヘッドモーショントラッカ装置
2 カメラ装置
3 パイロット
4 フォトダイオード群(受光素子群)
5 LED群(発光素子群)
7、107 LED群(光学マーカー群)
10、110 頭部装着型表示装置付ヘルメット(対象物)
31 光学マーカー位置情報算出部
32 相対情報算出部
33、133 発光素子位置情報算出部
41 光学マーカー位置情報記憶部
42 発光素子位置情報記憶部

Claims (5)

  1. 対象物に位置決めされて取り付けられ、第一光線を出射する3個以上の光学マーカーと、
    前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーからの第一光線を立体視で検出するカメラ装置と、
    検出された第一光線に基づいて、前記カメラ装置に対する3個以上の光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
    前記光学マーカー位置情報に基づいて、前記カメラ装置に対する対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、
    前記光学マーカーとの相対的な位置関係が決められて対象物に取り付けられ、第二光線を出射する2個以上の発光素子と、
    前記カメラ装置に取り付けられ、前記発光素子からの第二光線を検出する受光素子と、
    検出された第二光線の強度に基づいて、前記2個以上の発光素子の内から受光素子の最も近傍にある1個の発光素子を選択する発光素子近傍情報を算出して、当該発光素子近傍情報を発光素子位置情報記憶部に記憶させる発光素子位置情報算出部とを備え、
    前記光学マーカー位置情報算出部は、前記光学マーカー位置情報を算出する際に、前記発光素子近傍情報を用いて、前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーを決定して、決定した光学マーカーと、検出された第一光線とをそれぞれ対応付けることを特徴とするモーショントラッカ装置。
  2. 前記3個以上の光学マーカーは、少なくとも3個の光学マーカーが1組の光学マーカー群となるように対象物に取り付けられ、
    1組の光学マーカー群においては、それぞれの光学マーカーが識別可能に形成され、
    前記光学マーカー位置情報算出部は、前記発光素子近傍情報を用いて、前記2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定して、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けることを特徴とする請求項1に記載のモーショントラッカ装置。
  3. 対象物に位置決めされて取り付けられ、第一光線を出射する3個以上の光学マーカーと、
    前記3個以上の光学マーカーの内から検出領域に存在する少なくとも3個の光学マーカーからの第一光線を立体視で検出するカメラ装置と、
    検出された第一光線に基づいて、前記カメラ装置に対する3個以上の光学マーカーの現在位置である光学マーカー位置情報を算出して、当該光学マーカー位置情報を光学マーカー位置情報記憶部に記憶させる光学マーカー位置情報算出部と、
    前記光学マーカー位置情報に基づいて、前記カメラ装置に対する対象物の現在位置及び現在角度を含む相対情報を算出する相対情報算出部とを備えるモーショントラッカ装置であって、
    前記3個以上の光学マーカーは、少なくとも3個の光学マーカーが1組の光学マーカー群となるように対象物に取り付けられ、
    1組の光学マーカー群においては、それぞれの光学マーカーが識別可能に形成され、
    前記カメラ装置に取り付けられ、前記光学マーカーからの第一光線を検出する受光素子と、
    各組の光学マーカー群の内の1個の代表光学マーカーを順番に点灯させることにより、検出された第一光線の強度に基づいて、2個以上の代表光学マーカーの内から受光素子の最も近傍にある1個の代表光学マーカーを選択する発光素子近傍情報を算出して、当該発光素子近傍情報を発光素子位置情報記憶部に記憶させる発光素子位置情報算出部とを備え、
    前記光学マーカー位置情報算出部は、前記光学マーカー位置情報を算出する際に、前記発光素子近傍情報を用いて、前記2組以上の光学マーカー群の内から検出領域に存在する1組の光学マーカー群を決定して、決定した光学マーカー群の内の光学マーカーと、検出された第一光線とをそれぞれ対応付けることを特徴とするモーショントラッカ装置。
  4. 前記カメラ装置は、2台のCCDカメラであり、
    前記受光素子は、2台のCCDカメラに1個ずつ取り付けられるフォトダイオードであることを特徴とする請求項1に記載のモーショントラッカ装置。
  5. 前記対象物は、搭乗者の頭部に装着されるヘルメットであり、かつ、
    前記カメラ装置は、前記搭乗者が搭乗する移動体に取り付けられることを特徴とする請求項1〜請求項4のいずれか1項に記載のモーショントラッカ装置。
JP2011095293A 2011-04-21 2011-04-21 モーショントラッカ装置 Active JP5505363B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011095293A JP5505363B2 (ja) 2011-04-21 2011-04-21 モーショントラッカ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011095293A JP5505363B2 (ja) 2011-04-21 2011-04-21 モーショントラッカ装置

Publications (2)

Publication Number Publication Date
JP2012226666A true JP2012226666A (ja) 2012-11-15
JP5505363B2 JP5505363B2 (ja) 2014-05-28

Family

ID=47276734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011095293A Active JP5505363B2 (ja) 2011-04-21 2011-04-21 モーショントラッカ装置

Country Status (1)

Country Link
JP (1) JP5505363B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061488A1 (ja) * 2015-10-08 2017-04-13 株式会社ソニー・インタラクティブエンタテインメント 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム
JP2017523393A (ja) * 2014-05-21 2017-08-17 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー アミューズメントパーク要素追跡システム
WO2017153532A1 (de) * 2016-03-09 2017-09-14 Vr Coaster Gmbh & Co. Kg Positionsbestimmung und ausrichtung eines virtual reality headsets und fahrgeschäft mit einem virtual reality headset
US10061058B2 (en) 2014-05-21 2018-08-28 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000225998A (ja) * 1999-02-02 2000-08-15 Shimadzu Corp 救難目標位置指示装置
JP2006284442A (ja) * 2005-04-01 2006-10-19 Shimadzu Corp 物体のモニタリング方法およびこれを用いたモーショントラッカ
JP2009139988A (ja) * 2007-12-03 2009-06-25 Shimadzu Corp モーショントラッカ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000225998A (ja) * 1999-02-02 2000-08-15 Shimadzu Corp 救難目標位置指示装置
JP2006284442A (ja) * 2005-04-01 2006-10-19 Shimadzu Corp 物体のモニタリング方法およびこれを用いたモーショントラッカ
JP2009139988A (ja) * 2007-12-03 2009-06-25 Shimadzu Corp モーショントラッカ装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10207193B2 (en) 2014-05-21 2019-02-19 Universal City Studios Llc Optical tracking system for automation of amusement park elements
JP2017523393A (ja) * 2014-05-21 2017-08-17 ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー アミューズメントパーク要素追跡システム
US10788603B2 (en) 2014-05-21 2020-09-29 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
US10729985B2 (en) 2014-05-21 2020-08-04 Universal City Studios Llc Retro-reflective optical system for controlling amusement park devices based on a size of a person
US10061058B2 (en) 2014-05-21 2018-08-28 Universal City Studios Llc Tracking system and method for use in surveying amusement park equipment
US10661184B2 (en) 2014-05-21 2020-05-26 Universal City Studios Llc Amusement park element tracking system
JPWO2017061488A1 (ja) * 2015-10-08 2018-05-24 株式会社ソニー・インタラクティブエンタテインメント 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム
US10368007B2 (en) 2015-10-08 2019-07-30 Sony Interactive Entertainment Inc. Control apparatus, head-mounted display, control system, control method, and program
JP2019135873A (ja) * 2015-10-08 2019-08-15 株式会社ソニー・インタラクティブエンタテインメント 制御装置、制御システム、制御方法及びプログラム
US10488654B2 (en) 2015-10-08 2019-11-26 Sony Interactive Entertainment Inc. Control apparatus, head-mounted display, control system, control method, and program
WO2017061488A1 (ja) * 2015-10-08 2017-04-13 株式会社ソニー・インタラクティブエンタテインメント 制御装置、ヘッドマウントディスプレイ、制御システム、制御方法及びプログラム
JP2019517831A (ja) * 2016-03-09 2019-06-27 ファオエル コースター ゲーエムベーハー ウント コー.カーゲーVR Coaster GmbH & Co. KG 仮想現実ヘッドセットの位置特定およびアラインメントならびに仮想現実ヘッドセットを具備する遊戯施設用乗り物
CN108697936A (zh) * 2016-03-09 2018-10-23 Vr考斯特有限及两合公司 虚拟现实头戴设备的位置确定和定向以及具有虚拟现实头戴设备的游乐设施
WO2017153532A1 (de) * 2016-03-09 2017-09-14 Vr Coaster Gmbh & Co. Kg Positionsbestimmung und ausrichtung eines virtual reality headsets und fahrgeschäft mit einem virtual reality headset
US11093029B2 (en) 2016-03-09 2021-08-17 Vr Coaster Gmbh & Co. Kg Position determination and alignment of a virtual reality headset and fairground ride with a virtual reality headset

Also Published As

Publication number Publication date
JP5505363B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
JP5594944B2 (ja) モーショントラッカ装置
US8384912B2 (en) Wide field of view optical tracking system
JP4396564B2 (ja) 物体のモニタリング方法およびこれを用いたモーショントラッカ
US8885177B2 (en) Medical wide field of view optical tracking system
JP4961904B2 (ja) ヘッドモーショントラッカ装置
JP5505363B2 (ja) モーショントラッカ装置
JP2008026236A (ja) 位置姿勢測定装置および位置姿勢測定方法
JP4924342B2 (ja) モーショントラッカ装置
JP4665872B2 (ja) ヘッドモーショントラッカ装置
JP2016151566A (ja) モーショントラッカ装置
JP2008289645A (ja) モーショントラッカ装置
JP5029531B2 (ja) モーショントラッカシステム及びその座標系設定方法
JP4967546B2 (ja) ヘッドモーショントラッカ装置
JP4905311B2 (ja) ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置
JP2014095557A (ja) モーショントラッカ装置
JP4905321B2 (ja) ヘッドモーショントラッカ装置
JP2009036517A (ja) ヘッドモーショントラッカ装置
JP4872768B2 (ja) ヘッドモーショントラッカ装置
JP4784591B2 (ja) モーショントラッカ装置
JP4656016B2 (ja) モーショントラッカ装置
JP4877138B2 (ja) ヘッドモーショントラッカ装置
JP2007334762A (ja) ヘッドモーショントラッカ装置
JP5262294B2 (ja) モーショントラッカ装置
JP4892982B2 (ja) 磁気マッピング装置
JP4867837B2 (ja) モーショントラッカ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140303

R151 Written notification of patent or utility model registration

Ref document number: 5505363

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151