JP2008026731A - マーカー装置 - Google Patents

Abstract

【課題】撮像した画像に基づいて自マーカーが相手マーカーの撮像画角内に存在するか否かを認識することができるマーカー装置を提供すること。
【解決手段】発光装置（照明光源１０５、パターンフィルタ１０４）と、発光装置の発光制御を行う発光制御装置と、光路分割素子（ビームスプリッタ１０７）と、発光装置からの光を光路分割素子を介して空間に投影する投光光学系（魚眼レンズ１０３）と、投光光学系から入射される光を光路分割素子を介して取り込んで対象物を撮像する撮像装置（撮像素子１０８）と、を具備する。
【選択図】 図１

Description

本発明は、自マーカーが相手マーカーの撮像画角内に存在するか否かを認識することができるマーカー装置に関する。

例えば、カメラにより撮像位置を計測する手法として、光学通信用の位置合わせのために用いられる特表２００３−５２８４７８が知られている。
特表２００３−５２８４７８

上記の従来技術ではカメラの位置を知ることが可能であるが、複数のカメラを用いたセンシング環境において、対向撮影により相互に相手を認識しあう用途では、撮像した画像に基づいて自マーカーが相手マーカーの撮像画角内に存在するか否かを認識することができなかった。

本発明はこのような課題に着目してなされたものであり、その目的とするところは、撮像した画像に基づいて自マーカーが相手マーカーの撮像画角内に存在するか否かを認識することができるマーカー装置を提供することにある。

上記の目的を達成するために、本発明の第１の態様に係るマーカー装置は、発光装置と、前記発光装置の発光制御を行う発光制御装置と、光路分割素子と、前記発光装置からの光を前記光路分割素子を介して空間に投影する投光光学系と、前記投光光学系から入射される光を前記光路分割素子を介して取り込んで対象物を撮像する撮像装置と、を具備する。

また、本発明の第２の態様に係るマーカー装置は、第１の態様において、前記発光装置からの投光光路と、前記撮像装置の撮像光路とが同軸上にある。

また、本発明の第３の態様に係るマーカー装置は、第２の態様において、前記投光光学系の投光画角と、前記撮像装置の撮像画角とが一致している。

また、本発明の第４の態様に係るマーカー装置は、第１から第３のいずれか１つの態様において、前記発光装置は、パターンフィルタと、該パターンフィルタを照明する照明光源とを含む。

また、本発明の第５の態様に係るマーカー装置は、第１から第３のいずれか１つの態様において、前記発光装置は、発光素子アレイを含む。

本発明によれば、撮像した画像に基づいて自マーカーが相手マーカーの撮像画角内に存在するか否かを認識することができる。

（第１実施形態）
以下、図面を参照して本発明の第１実施形態を詳細に説明する。図１（ａ）は本実施形態に係るマーカー装置の一構成例を示しており、図１（ｂ）は、上記マーカー装置の他の構成例を示している。マーカー装置は、図１（ａ）、（ｂ）に示すように、ｆθレンズである投光光学系としての魚眼レンズ１０３と、パターンフィルタ１０４と、照明光源１０５と、光路分割素子としてのビームスプリッタ１０７と、撮像装置としての撮像素子１０８とを備える。照明光源１０５とパターンフィルタ１０４とは発光装置を構成する。

ここでのパターンフィルタ１０４は空間の座標を投影したカラーコード化されたパターンフィルタであり、魚眼レンズ１０３の焦点面に配置される。また、撮像素子１０８は、発光装置からの光路と並行に、パターンフィルタ１０４とほぼ同焦位置になるようにビームスプリッタ１０７で分割した光路の先に配置される。ここで、発光装置からの投光光路と、撮像素子１０８の撮像光路とが実質的に同軸上にある。また、投光光学系としての魚眼レンズ１０３の投光画角と、撮像素子１０８の撮像画角とが実質的に一致している。

上記した構成において、魚眼レンズ１０３は、照明光源１０５からの光をビームスプリッタ１０７を介して空間に投影する。空間内に存在する対象物から反射された光は、投影のときと同一の魚眼レンズ１０３から入射され、ビームスプリッタ１０７を介して撮像素子１０８に取り込まれて撮像される。

図１（ｂ）は、撮像素子１０８を発光装置からの光路上に配置した構成を示している。

図２は、図１で説明したマーカー装置を組み込んだ本実施形態の位置姿勢計測装置の構成を示しており、撮像装置１０と、一対のマーカー装置１００−１，１００−２と、位置姿勢算出装置２００と、画像送信装置１１、１２とから構成される。

各マーカー装置１００−１，１００−２はそれぞれ、図１（ａ）または図１（ｂ）に示す構成に加えて、画像送信装置１１０−１、１１０−２、照明制御装置１０１−１、１０１−２を備えている。但し、図１のビームスプリッタ１０７、撮像素子１０８は、図２ではそれぞれビームスプリッタ１０７−１、１０７−２、撮像素子１０８−１，１０８−２として示されている。

また、図２の位置姿勢算出装置２００は、画像受信装置２０１と、マーカー検出装置２０４と、キャリブレーション装置２０５と、パターン記憶装置２０６と、位置算出装置２０７と、姿勢同定装置２０８と、データ出力装置２１１と、マーカー記憶装置２０３とからなる。

図３（ａ）、（ｂ）は、パターンフィルタ１０４の構成例を示しており、（ａ）は簡略化されたパターン、（ｂ）は実際に即したパターンである。図３（ａ）のパターンフィルタ１０４は、等間隔の同心円状の分割と、ＸＹ軸に沿った分割により形成される複数の区画領域（領域１、２、〜、ｎ）から構成される。各領域にはそれぞれ異なる色のパターンが形成されカラーコード化されている。図３（ｂ）のパターンフィルタ１０４は、等間隔の同心円状の分割と、放射状の分割により形成される複数の区画領域（領域１、２、〜、ｎ）から構成される。各領域にはそれぞれ異なる色のパターンが形成されカラーコード化されている。

パターンフィルタ１０４は、魚眼レンズ１０３の焦点面に配置されるが、ここで魚眼レンズ１０３の画角を１８０度とし、パターンが図３（ｂ）に示すように等間隔の同心円状の分割と、放射状の分割で構成されているとすると、マーカー装置１００の延長線上にあるドーム状の空間は上下方向三分割、周囲方向に８分割される。撮像装置１０，２０はこの分割された空間のいずれかに設置される。

次に、図２に示す構成の作用を説明する。照明制御装置１０１−１（１０１−２）により、照明光源１０５の光量を調節し、パターンフィルタ１０４を照明する。照明されたパターンフィルタ１０４の像は、魚眼レンズ１０３を通じて、空間に投射される。これを撮像装置１０８で撮影することで、魚眼レンズ１０３の瞳を撮影する。撮影された画像は、画像送信装置１１により、位置姿勢算出装置２００に送信される。位置姿勢算出装置２００の画像受信装置２０１により、画像データを受信する。画像受信装置２０１は受信した画像（画像データ群２０２）をマーカー検出装置２０４に送信する。

マーカー検出装置２０４は、受信された画像データから、あらかじめマーカー記憶装置２０３に記憶されたカラーコードを用いて二値化やカラー認識などの画像処理を行なうことにより、画像中の魚眼レンズ１０３の瞳像を検出する。

位置算出装置２０７は、キャリブレーション装置２０５によりあらかじめ算出されてパターン記憶装置２０６に記憶されているキャリブレーションデータに基づいて認識されたマーカーの位置を算出して位置データ２０９を出力する。この処理は、従来のマーカーを用いた光学式モーションキャプチャー装置と同様の処理を実施すれば良い。

図２に示すようにステレオカメラを撮像装置１０として用いていれば、撮像装置１０に対する、三次元的な位置を算出することが可能であり、また、任意に設定した、世界座標系と、撮像装置間のキャリブレーションを実施していれば、世界座標内での三次元的な位置を算出することができる。

本実施形態では、上記に加えて、単体のマーカーでもマーカーの姿勢を認識できる点に特徴がある。すなわち姿勢同定装置２０８は、マーカー記憶装置２０３に記憶されているカラーコードと、キャリブレーション装置２０５からのキャリブレーションデータとに基づいてマーカーの姿勢を同定して姿勢データ２１０を出力する。これは、撮像装置１０がコード化空間のどの空間に位置しているかを瞳像の色情報から同定する処理である。データ出力装置２１１は、位置データ２０９と姿勢データ２１０とを位置・姿勢データ２１２として出力する。

（第２実施形態）
以下に、本発明の第２実施形態を説明する。図４（ａ）、（ｂ）は、図１に示す構成を備えた２つのマーカー装置を対向させて配置した状態を示している。図４において、図１で説明した魚眼レンズ１０３の焦平面に置かれたパターンフィルタ１０４と撮像素子１０８とが同画角を持つ（投光画角と撮影画角が一致）ならば、すなわち、パターンフィルタ１０４のパターン照射に用いられる部分と、撮像素子１０８の撮像領域の大きさが同じであるならば、双方のマーカー装置１００−１、１００−２の各々で、相手の撮影画角に自マーカーが入ったことを認識することができる。

まず図４（ａ）の構成について説明する。図４（ａ）では、マーカー装置１００−１はマーカー装置１００−２の撮像画角１５２に入っているので、マーカーの瞳像の発光は検出される（撮像画像１５３内のスポット）。一方、マーカー装置１００−２はマーカー装置１００−１の撮像画角１５１に入っていない。したがって、この場合にはマーカーの瞳像の発光は検出されない。

次に図４（ｂ）の構成について説明する。図４（ｂ）では、マーカー装置１００−１はマーカー装置１００−２の撮像画角１５２に入っている。同様にして、マーカー装置１００−２についてもマーカー装置１００−１の撮像画角１５１に入っている。このように、双方のマーカー装置１００−１，１００−２がお互いの画角内に入っていれば、双方のマーカー装置１００−１，１００−２でマーカーの瞳像の発光を検出することが可能である（撮像画像１５０，１５３内のスポット）。これによって、撮像画像に基づいて一方のマーカーが他方のマーカーの撮像画角内に存在するか否かを認識することができる。

なお、この発明の実施形態の各構成は、当然、各種の変形、変更が可能である。例えば、図５に示すように、複数のマーカーを一体化した、例えば、全周囲の姿勢を認識できる形態をとることもできる。図５に示すマーカー装置１７０は、筐体１６３の外部に設置され、照明装置１６２、魚眼レンズ１６０からなる構成と、筐体１６３の内部に設置され、照明装置１６４、魚眼レンズ１６５からなる構成との組合せである。１６１は魚眼レンズ１６０の投射角である。２つの魚眼レンズ１６０、１６５の投射角度範囲が全周囲をカバーしているので、マーカー装置１７０の姿勢がどのようになっても、必ず少なくとも一方の魚眼レンズの映像を外部のカメラにより撮像できる。このため、常にマーカー装置の姿勢の検出が可能であり、応用範囲が広い。

なお、この例では、２つの魚眼レンズ１６０、１６５の投射角が重なる範囲では、２つの魚眼レンズ１６０、１６５の瞳の像を同時に外部カメラで撮影できる。このため、相対距離が既知である２つの瞳の像と、検出されたマーカー装置の姿勢とから、外部が単眼カメラであっても、マーカーまでの距離情報をある程度推測することができるという副次的な効果もある。

（第３実施形態）
次に、本発明の第３実施形態を図６を参照して説明する。第１及び第２実施形態ではパターンフィルタ１０４を照明することによりパターンを投射していたが、第３実施形態では、自発光を行う発光素子アレイ１０９を用いたことを特徴とする。

発光素子自体は、レーザーダイオードや、発光ダイオード、プラズマ、有機ＥＬなどのアレイが用いられる。図７は、カラーＬＥＤをアレイ状に配置する一構成例を示している。第３実施形態では、図７に示すように、第１、第２実施形態で透過パターンを配置していた部分に発光素子アレイ１０９が設置される。発光素子アレイ１０９は、照明制御装置により、その発光パターン、明滅、色などが制御される。他の構成、作用、効果は、第１、第２実施形態と同様であるのでここでの説明は省略する。これにより、より効率的な光の利用が可能となり、マーカーの輝度を効果的に制御することができる。

なお、第２実施形態と同様に、図８に示すように、ハーフプリズムやハーフミラーなどで構成される光路分割手段としてのビームスプリッタ１０７を設けて、発光素子アレイ１０９とほぼ同焦点位置に撮像素子１０８を設けても良い。このようにすることで、図９に示すように、対向したマーカー装置３００、３０１、３０２どうしでの撮影が可能になるので、お互いの姿勢を推定することが可能となる。また、発光素子アレイを用いた場合には、複数の相手先に対して個別に自身の姿勢を知らせることが可能になる。

また、図１０に示すように、複数のマーカーを別途ステレオカメラなどにより撮像して、位置を計測し、発光素子アレイの位置とその色から、マーカーの姿勢を検出することができる。図１０において、マーカー装置１００−１は、画像送信装置１１０−１と、照明制御装置１０１−１と、撮像素子１０８−１と、発光素子アレイ１０９−１と、ビームスプリッタ１０７−１とから構成される。また、マーカー装置１００−２は、画像送信装置１１０−２と、照明制御装置１０１−２と、撮像素子１０８−２と、発光素子アレイ１０９−２と、ビームスプリッタ１０７−２とから構成される。

さらに、本実施の形態の特有の効果としては、例えば、発光パターンで、カメラのＩＤやステータス、各種情報をやり取りできるようにしても良い。

勿論、これと等価的な構成として、ＬＣＤなどにより、パターンの明滅を制御することにより、発光素子アレイ１０９と同様に作用をもたらす構成としても良い。ただし、このときは、照明光源からの光の利用効率は落ちることになる。

また、カラーコードや撮像素子の代わりに、十字スプリット型のＰＤとハーフプリズム、レーザービーム光源を組み合わせることで、１８０度を超える範囲において、光軸合わせの位置決めが可能なレーザー軸決め装置として用いても良い。

また、多方向のレーザー発信装置からの信号をマルチチャンネルで送受信する光通信装置としての応用も可能である。

以上の実施の形態に共通して、ＬＥＤなどで行われるパターンもしくはパターンの照明の輝度制御は、撮像素子の露光量内でサチュレーションしないように制御されるようにしてもよい。

サチュレーションと上記適正輝度調節値、消灯などを任意パターンで組み合わせてサイクリックに点滅させる、いわゆるモールス信号のような点滅のシーケンスによるコード送信で繰り返すようにしてもよい。

マーカーを、通信機能を有する移動体に装着する場合には、マーカー自身のＩＤや通信、発行タイミングの情報を、同定のネットワーク（例としては、イーサネット（登録商標）や、ＩＥＥＥ８０１．２ 無線ＬＡＮ、有線のＩＥＥＥ１３９４、ＵＳＢ、ＰＬＣ、ＺｉｇＢｅｅやBluetooth（登録商標）などの近距離無線ネットワークなど）に配信してもよい。こうすることにより、透過パターンの情報や、発光素子アレイの発光パターンの情報と、撮像素子で撮影している、マーカーの関係を照合することができ、無線ネットワークや、有線で位置がわかっているマーカーから、位置が不明なマーカーについての位置の特定をすることが可能となる。

また、パターンフィルタのパターン数や発光素子アレイの分割数は、自マーカーが相手マーカーの画角内に入ったか否かを検出するだけの場合には、単一の照明のみでもよい。一方、それぞれのマーカーの相対的な姿勢を認識する必要がある場合には２分割以上の分割を行い、カラーや発光アレイの発光パターンからその姿勢認識を実現することができる。

図１は、本発明の第１実施形態に係るマーカー装置の構成例を示す図である。 図２は、図１で説明したマーカー装置を組み込んだ本実施形態の位置姿勢計測装置の構成を示す図である。 図３は、パターンフィルタ１０４の構成例を示す図である。 図４は、図１に示す構成を備えた２つのマーカー装置を対向させて配置した状態を示す図である。 図５は、第２実施形態の変形例を説明するための図である。 図６は、本発明の第３実施形態の構成を示す図である。 図７は、カラーＬＥＤをアレイ状に配置する一構成例を示す図である。 図８は、第３実施形態の変形例を説明するための図である。 図９は、マーカー装置３００、３０１、３０２を対向させて配置した状態を示す図である。 図１０は、第３実施形態の他の変形例を説明するための図である。

符号の説明

１０ 撮像装置
１１ 画像送信装置
１２ 画像送信装置
１００−１、１００−２ マーカー装置
１０１−１、１００−２ 照明制御装置
１０３ 魚眼レンズ
１０４ パターンフィルタ
１０５ 照明光源
１０７ ビームスプリッタ
１０８ 撮像素子
２００ 位置姿勢算出装置
２０１ 画像受信装置
２０３ マーカー記憶装置
２０４ マーカー検出装置
２０５ キャリブレーション装置
２０６ パターン記憶装置
２０７ 位置算出装置
２０８ 姿勢同定装置
２１１ データ出力装置

Claims (5)

1. 発光装置と、
   前記発光装置の発光制御を行う発光制御装置と、
   光路分割素子と、
   前記発光装置からの光を前記光路分割素子を介して空間に投影する投光光学系と、
   前記投光光学系から入射される光を前記光路分割素子を介して取り込んで対象物を撮像する撮像装置と、
   を具備することを特徴とするマーカー装置。
2. 前記発光装置からの投光光路と、前記撮像装置の撮像光路とが同軸上にあることを特徴とする請求項１記載のマーカー装置。
3. 前記投光光学系の投光画角と、前記撮像装置の撮像画角とが一致していることを特徴とする請求項２記載のマーカー装置。
4. 前記発光装置は、パターンフィルタと、該パターンフィルタを照明する照明光源とを含むことを特徴とする請求項１から３のいずれか１つに記載のマーカー装置。
5. 前記発光装置は、発光素子アレイを含むことを特徴とする請求項１から３のいずれか１つに記載のマーカー装置。

Images