JP2009031086A - マーカー像識別装置及びマーカー像識別方法 - Google Patents

Abstract

【課題】 一のカメラに撮影された複数のマーカー像と、二のカメラで撮影された複数のマーカー像との組をそれぞれ正確かつ素早く対応付けることができるマーカー像識別装置及びマーカー像識別方法を提供する。
【解決手段】 エピポーララインＬ間で最も離れているエピポーララインＬを基準エピポーララインとして選択する基準エピポーラライン選択部３２と、基準エピポーララインに距離が最も近いマーカー像１８を、基準エピポーララインに対応するマーカー像１８と同一のマーカー１８の画像であると認識するマーカー像認識部３３と、マーカー像認識部３３で認識されたマーカー像１８に対する残りのマーカー像１８の位置関係を決定するマーカー像位置決定部３４と、マーカー像位置決定部３４で決定されたマーカー像１８の位置関係に基づいて、第一画像Ａ上における残りのマーカー像１８と第二画像Ｂ上における残りのマーカー像１８との組を対応付けるマーカー像識別部３５とを備えることを特徴とする。
【選択図】図１

Description

本発明は、物体にマーカー群となる発光体を取り付け、ステレオ視が可能な一対のカメラ装置でマーカー群を撮影し、一方のカメラで撮影された複数のマーカー像と、他方のカメラで撮影された複数のマーカー像との組を対応付けるマーカー像識別装置及びマーカー像識別方法に関し、例えば、物体の動き、すなわち時々刻々変化する物体の位置情報や角度情報（方向）を検出するマーカー像識別装置及びマーカー像識別方法等に利用される。

一定形状の物体の動きを正確にモニタリングする技術は、さまざまな分野で利用されている。例えば、ゲーム機等ではバーチャルリアリティ（ＶＲ）を実現するために、頭部装着型表示装置を用いて動画を表示することがなされている。このとき、頭部の動きをモニタリングし、頭部の動きに合わせて表示画像を変化させる必要があり、頭部に装着される頭部装着型表示装置の動きを検出するヘッドモーショントラッカ（ＨＭＴ）が、取り付けられている。

ヘッドモーショントラッカ（ＨＭＴ）としては、磁気ソースを用いて周囲の空間に磁界を発生させておき、頭部装着型表示装置に取り付けられた磁気センサにより磁気を測定し、測定された磁気データから磁気センサの位置や角度、ひいては頭部装着型表示装置の位置や角度を検出する磁気測定方式によるものが開示されている（例えば、特許文献１参照）。
磁気測定方式は、磁気センサが移動する空間に磁界が発生している限り特に制限なく使用することができるものの、磁気センサが移動する空間の磁気情報を予め測定し、磁気マッピングしておく必要がある。また、この空間内に金属等の磁気歪を生じる物体が存在すると、その影響で測定誤差を生じてしまうので、その補正を行う必要がある。

これに対し、光学的に頭部装着型表示装置の位置や角度を測定するものも開示されている。例えば、頭部装着型表示装置に反射板（マーカー群）を取り付けて、光源から光を照射して反射光を一対のカメラ装置で撮影し、その映像データを利用してマーカー群の位置や角度を測定するような光学測定方式によるものが開示されている（例えば、特許文献２参照）。
光学測定方式では、マッピングの補正を行う必要がなく、また、金属等による影響を受けることはないので、磁気歪の影響を受けやすい環境や場所では光学測定方式によるものが使いやすい。

このような光学測定方式のＨＭＴで、一定形状の物体についての３次元の位置情報や角度情報（方向）を正確に測定しようとすると、その物体上に位置が固定された、異なる３点の位置を知る必要がある。そのため、物体の外表面の異なる３箇所に、それぞれが識別可能なマーカーを取り付けて位置を測定することになる。
例えば、ヘルメット状の頭部装着型表示装置で具体的に説明すると、頭部装着型表示装置のヘルメットの外表面に、互いに異なる発光波長の赤外光を発光するＬＥＤ（発光ダイオード）をマーカーとして、互いに離隔するようにして３箇所に取り付け、これら３つのＬＥＤのヘルメットに固定されたヘルメット座標上の位置関係を予め測定し定めておく。これら３つのＬＥＤを、ステレオ視が可能でかつ設置場所が固定された２台のカメラで（すなわち２台のカメラ間の距離が既知の条件の下で）、それぞれのカメラで同時に撮影して、発光波長の差により各ＬＥＤをそれぞれ識別した上で、いわゆる三角測量の原理により、３つのＬＥＤの絶対座標（一対のカメラ装置に対して定めた座標）を測定する。そして、これら３つのＬＥＤの位置を用いて、絶対座標と、頭部装着型表示装置上に固定されたヘルメット座標の位置関係とを対応付けることにより、絶対座標に対する頭部装着型表示装置の位置や角度を特定する。

しかしながら、上述したような光学測定方式では、個々のＬＥＤ（マーカー）を識別する必要があるため、ＬＥＤ自身に、それぞれ他のＬＥＤと識別可能な何らかの識別情報を持たせて、検出側（カメラ装置側）で識別できるようにしている。つまり、発光波長をＬＥＤごとに変化させ、カメラ装置側で発光波長を識別するようにして各ＬＥＤをそれぞれ識別している。

ところが、個々のＬＥＤに識別可能な識別情報を持たせる場合、故障等でＬＥＤを交換するたびに、識別情報を改めて記憶させておく必要があり、手間がかかる。
また、識別情報を持たないＬＥＤで、個々のＬＥＤを識別しようとするなら、ＬＥＤを１つ１つ点灯させて識別すればよいが、その場合、全てのＬＥＤを順次点灯させなければならず、一巡するまでに長時間必要となるため、時々刻々変化する動きをモニタリングすることは困難である。

そこで、カメラ装置で撮影される３つの異なるＬＥＤの位置を光学的に測定し、これら３つのＬＥＤの動きから物体の動き（位置、角度）をモニタリングする際に、ＬＥＤを１つ１つ順番に点灯させることなく、ＬＥＤ自身には他のＬＥＤと識別するための識別情報を持たせることもなく、ＬＥＤの位置情報のみから個々のＬＥＤを識別するようにして、ＬＥＤ群の位置、ひいては、ＬＥＤが取り付けられた物体の動き（位置、角度）をモニタリングする方法が提案されている。
特開２００２−８１９０４号公報 特表平９−５０６１９４号公報

上述した物体の動きをモニタリングする方法では、第一カメラの撮影方向と第二カメラの撮影方向とが定まった状態において、エピポーラ幾何学に基づく予測により、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像との間での共通のＬＥＤの組を認識することが行われている。図４及び図５は、エピポーラ幾何学に基づく予測を説明する図である。
図４に示すように、第一カメラ１２で撮影された第一画像Ａには、点灯中の３つのＬＥＤ１８ａ、１８ｂ、１８ｃのいずれにそれぞれ対応するかは認識できないが、３つのＬＥＤ像１８ｘ、１８ｙ、１８ｚが映し出されている。一方、第二カメラ１４で撮影された第二画像Ｂにも、点灯中の３つのＬＥＤ１８ａ、１８ｂ、１８ｃのいずれにそれぞれ対応するかは認識できないが、３つのＬＥＤ像１８ｓ、１８ｔ、１８ｕが映し出されている。このとき、第一画像Ａにおける各ＬＥＤ像１８ｘ、１８ｙ、１８ｚが、第二画像ＢにおけるＬＥＤ像１８ｓ、１８ｔ、１８ｕのいずれにそれぞれ対応するかも認識できない。

そこで、第一画像Ａにおける各ＬＥＤ像１８ｘ、１８ｙ、１８ｚと、第二画像ＢにおけるＬＥＤ像１８ｓ、１８ｔ、１８ｕとの組を対応付けるため、図５に示すように、第一カメラ１２と３つのＬＥＤ１８ａ、１８ｂ、１８ｃとを結ぶそれぞれのエピポーラライン（仮想直線）Ｌａ、Ｌｂ、Ｌｃが存在するとして、エピポーララインＬｘ、Ｌｙ、Ｌｚを第二カメラ１４で撮影したとすると、第二画像Ｂ上にエピポーララインＬｘ、Ｌｙ、Ｌｚが作成されることになる。なお、第二画像Ｂ上のエピポーララインＬａ、Ｌｂ、Ｌｃの位置は、第一画像Ａ上でのＬＥＤ像１８ｘ、１８ｙ、１８ｚが映し出される位置、及び、第一カメラ１２の撮影方向と第二カメラ１４の撮影方向との関係に基づいて一意的に定まる。
一方、第二画像Ｂにおいて、３つのＬＥＤ１８ａ、１８ｂ、１８ｃに対応する各ＬＥＤ像１８ｓ、１８ｔ、１８ｕは、３つのＬＥＤ１８ａ、１８ｂ、１８ｃを映し出したものであるので、それぞれ対応することになるエピポーララインＬｘ、Ｌｙ、Ｌｚのいずれかの上の位置に存在することになる。したがって、第二画像Ｂ上に映し出されるＬＥＤ像のうちで、エピポーララインＬｘ上に存在するものがあれば、それがＬＥＤ像１８ｘに対応するＬＥＤ像であると特定することができる。同様に、他の２つのＬＥＤ像１８ｙ、１８ｚに対応するＬＥＤ像ついても特定することにより、第一画像Ａに映し出された３つのＬＥＤ像１８ｘ、１８ｙ、１８ｚと、第二画像Ｂに映し出された３つのＬＥＤ像１８ｓ、１８ｔ、１８ｕとのそれぞれの組の対応付けを行うことができる。

しかしながら、例えば、図５に示すように、第二画像Ｂにおいて、２つのＬＥＤ像１８ｙ、１８ｚに対応するエピポーララインＬｙ、Ｌｚが極近い距離に存在する場合がある。このような場合では、第二画像Ｂ上に映し出されるＬＥＤ像のうちで、エピポーララインＬｙ上に存在するＬＥＤ像が、ＬＥＤ像１８ｔであるのか又はＬＥＤ像１８ｕであるのかが困難であることがあった。同様に、第二画像Ｂ上に映し出されるＬＥＤ像のうちで、エピポーララインＬｚ上に存在するＬＥＤ像が、ＬＥＤ像１８ｔであるのか又はＬＥＤ像１８ｕであるのかが困難であることがあった。つまり、２つのエピポーララインが接近したときに、第一画像Ａに映し出された３つのＬＥＤ像１８ｘ、１８ｙ、１８ｚと、第二画像Ｂに映し出された３つのＬＥＤ像１８ｓ、１８ｔ、１８ｕとのそれぞれの組の対応付けが困難になることがあった。

そこで、識別情報を有していないマーカーを利用して、かつ、１つ１つのマーカーを別々に点灯させて順次識別しながら測定するのではなく、少なくとも３つのマーカーを同時に点灯させて、これらマーカー群をほぼ同時に測定するようにしても、一のカメラに映し出された複数のマーカー像と、二のカメラに映し出された複数のマーカー像との組をそれぞれ正確かつ素早く対応付けることができるマーカー像識別装置及びマーカー像識別方法を提供することを目的とする。

上記課題を解決するためになされた本発明のマーカー像識別装置は、物体の外表面に取り付けられた少なくとも３つの点灯可能なマーカーを識別するためのマーカー像識別装置であって、点灯した少なくとも３つのマーカーが含まれる第一画像を撮影する第一カメラと、前記第一カメラと異なる方向から、少なくとも３つのマーカーが含まれる第二画像を同時に撮影する第二カメラと、前記第一カメラで映し出された各マーカー像のエピポーララインを、前記第二画像上に作成するエピポーラライン作成部と、前記第二画像上において、エピポーラライン間で最も離れているエピポーララインを基準エピポーララインとして選択する基準エピポーラライン選択部と、前記第二画像上において、基準エピポーララインに距離が最も近いマーカー像を、前記基準エピポーララインに対応するマーカー像と同一のマーカーの画像であると認識するマーカー像認識部と、前記第一画像及び第二画像のそれぞれの画像上において、前記マーカー像認識部で認識されたマーカー像に対する残りのマーカー像の位置関係を決定するマーカー像位置決定部と、前記マーカー像位置決定部で決定されたマーカー像の位置関係に基づいて、前記第一画像上における残りのマーカー像と第二画像上における残りのマーカー像との組を対応付けるマーカー像識別部とを備えるようにしている。

本発明のマーカー像識別装置によれば、まず、少なくとも３つのマーカー像が第一カメラ及び第二カメラのそれぞれの画像に映し出される。そして、第一カメラに映し出された各マーカー像のエピポーララインを、第二カメラに映し出された第二画像上に作成する。次に、第二画像上において、エピポーラライン間で最も離れているエピポーララインを基準エピポーララインとして選択する。これにより、第二画像上において、基準エピポーララインに距離が最も近いマーカー像を、基準エピポーララインに対応するマーカー像と同一のマーカーの画像であると認識する。つまり、最も離れているエピポーララインを基準エピポーララインとして選択しているので、第二画像上に映し出される基準エピポーララインに対応するＬＥＤ像も、他のＬＥＤ像と離れているので、基準エピポーララインに対応するマーカー像を確実に特定することができる。また、第一画像及び第二画像のそれぞれの画像上において、マーカー像認識部で認識されたマーカー像に対する残りのマーカー像の位置関係を決定する。例えば、３つのマーカーを点灯したときには、第一画像及び第二画像のそれぞれの画像上において、マーカー像認識部で認識されたマーカー像を始点として、他の２つのマーカー像を終点とするベクトルを作成して外積を算出することにより、マーカー像認識部で認識されたマーカー像に対する残りのマーカー像の位置関係を決定する。これにより、第一画像及び第二画像のそれぞれの画像上において、それぞれ算出された外積が同符号となる場合には、同じ回転方向となるとしてマーカー像の組を対応付け、一方、外積が異符号となる場合には、異なる回転方向となるとして逆にマーカー像の組を対応付け、第一画像上における残りのマーカー像と第二画像上における残りのマーカー像との組を対応付ける。よって、例えば、図５に示すように、第二画像Ｂにおいて、２つのＬＥＤ像１８ｙ、１８ｚに対応するエピポーララインＬｂ、Ｌｃが極近い距離に存在する場合でも、外積を用いて、第一画像上におけるＬＥＤ像１８ｙ、１８ｚと第二画像上におけるＬＥＤ像１８ｔ、１８ｕとの組をそれぞれ対応付けることができる。

本発明によれば、識別情報を有していないマーカーを利用して、かつ、１つ１つのマーカーを別々に点灯させて順次識別しながら測定するのではなく、少なくとも３つのマーカーを同時に点灯させて、これらマーカー群をほぼ同時に測定するようにしても、第一カメラに映し出された複数のマーカー像と、第二カメラに映し出された複数のマーカー像との組をそれぞれ正確かつ素早く対応付けることができる。
（他の課題を解決するための手段および効果）

また、本発明においては、前記マーカーは、前記物体上に定義される物体固定座標上での位置を定められるとともに、前記第一カメラ及び第二カメラを用いて、空間上に定義された絶対座標が記憶され、さらに、前記マーカー像認識部及びマーカー像識別部により対応付けられた各マーカー像の組について、前記絶対座標上での位置を三角測量で算出することで探索用マーカーを作成することにより、前記探索用マーカーとマーカーとの組を対応付けて絶対座標上での物体の位置と角度とを決定する物体モニタリング部を備えるようにしてもよい。

本発明によれば、第一画像と第二画像との間で対となるマーカー像の組が特定されると、それぞれの探索用マーカーについての第一カメラ及び第二カメラからの方向角が特定できるので、第一カメラと第二カメラとの間の距離とこれら方向角とから所謂、三角測量を行うことにより、それぞれの探索用マーカーの絶対座標での位置を算出することができる。これを、定められた物体固定座標系上での各マーカーの座標と比較する。そして、絶対座標と物体固定座標とに基づいて、絶対座標に対する物体の位置と角度とを算出する。このようにして、絶対座標上に対する物体の位置と角度とを決定することにより、物体の動きをモニタリングすることができる。

また、本発明においては、点灯した少なくとも３つのマーカーをそれぞれ結んだ線は、等距離でなく、前記物体モニタリング部は、前記物体固定座標上において、最も短い又は最も長いマーカー間距離を基準マーカー間距離として選択する基準マーカー間距離選択部と、前記マーカー像認識部及びマーカー像識別部により対応付けられた各マーカー像の組について、前記絶対座標上での探索用マーカーの位置を三角測量で算出することにより、最も短い又は最も長い探索用マーカー間距離を、前記基準マーカー間距離と同一のマーカー間距離であると認識するマーカー間距離認識部と、前記マーカー間距離認識部で認識されたマーカー間距離を基準にして、前記物体の外表面に取り付けられたマーカーと、探索用マーカーとの組を対応付けることにより、前記絶対座標上での物体の位置と角度とを決定するマーカー識別部とを備えるようにしてもよい。

本発明によれば、例えば、物体固定座標上において、最も短いマーカー間距離を基準マーカー間距離として選択する。一方、第一画像と第二画像との間で対となるマーカー像の組が特定されると、絶対座標での探索用マーカー間距離を算出する。これによって、最も短い探索用マーカー間距離を、基準マーカー間距離と同一のマーカー間距離であると認識する。つまり、点灯した少なくとも３つのマーカーをそれぞれ結んだ線は、等距離でないようにしてあるので、一つのマーカー間距離の組が対応付けできれば、例えば、３つのマーカーを点灯したときには、絶対座標において、マーカー間距離認識部で認識されたマーカー間距離上にない探索用マーカーを始点として、他の２つの探索用マーカーを終点とするベクトルを作成して外積を算出することにより、探索用マーカーの位置関係を決定する。同様に、絶対座標において、マーカー間距離認識部で認識されたマーカー間距離上にないマーカーを始点として、他の２つのマーカーを終点とするベクトルを作成して外積を算出することにより、マーカーの位置関係を決定する。その後、探索用マーカー及びマーカーのそれぞれ算出された外積を比較して、外積が同符号となる場合には、同じ回転方向となるとして組を対応付け、一方、外積が異符号となる場合には、異なる回転方向となるとして組を逆に対応付ける。このようにして、物体の外表面に取り付けられたマーカーと、第一画像Ａと第二画像Ｂとにより算出された探索用マーカーとの組を対応付けることができることになる。これにより、絶対座標と物体固定座標とに基づいて、絶対座標に対する物体の位置と角度とを算出することができる。

また、本発明のマーカー像識別方法は、物体の外表面に取り付けられた少なくとも３つの点灯可能なマーカーと、点灯した少なくとも３つのマーカーが含まれる第一画像を撮影する第一カメラと、前記第一カメラと異なる方向から、点灯した少なくとも３つのマーカーが含まれる第二画像を撮影する第二カメラとを備えるマーカー像識別システムにおけるマーカー像識別方法であって、（ａ）前記第一カメラで映し出された各マーカー像のエピポーララインを、前記第二カメラで映し出された第二画像上に作成するエピポーラライン作成工程と、（ｂ）前記第二画像上において、エピポーラライン間で最も離れているエピポーララインを基準エピポーララインとして選択する基準エピポーラライン選択工程と、（ｃ）前記第二画像上において、基準エピポーララインに距離が最も近いマーカー像を、前記基準エピポーララインに対応するマーカー像と同一のマーカーの像であると認識するマーカー像認識工程と、（ｄ）前記第一画像及び第二画像のそれぞれの画像上において、前記マーカー像認識工程で認識されたマーカー像に対する残りのマーカー像の位置関係を決定するマーカー像位置決定工程と、（ｅ）前記マーカー像位置決定工程で決定されたマーカー像の位置関係に基づいて、前記第一画像上における残りのマーカー像と第二画像上における残りのマーカー像との組を対応付けるマーカー像識別工程とを含むようにしている。

そして、本発明においては、前記マーカーは、前記物体上に定義される物体固定座標上での位置を定められるとともに、前記第一カメラ及び第二カメラを用いて、空間上に定義された絶対座標が記憶され、さらに、（ｆ）前記マーカー像認識工程及びマーカー像識別工程により対応付けられた各マーカー像の組について、前記絶対座標上での位置を三角測量で算出することで探索用マーカーを作成することにより、前記探索用マーカーとマーカーとの組を対応付けて絶対座標上での物体の位置と角度とを決定する物体モニタリング工程を含むようにしてもよい。

さらに、本発明においては、点灯した少なくとも３つのマーカーをそれぞれ結んだ線は、等距離でなく、（ｆ）物体モニタリング工程は、（ｆ−１）前記物体固定座標上において、最も短い又は最も長いマーカー間距離を基準マーカー間距離として選択する基準マーカー間距離選択工程と、（ｆ−２）前記マーカー像認識部及びマーカー像識別部により対応付けられた各マーカー像の組について、前記絶対座標上での探索用マーカーの位置を三角測量で算出することにより、最も短い又は最も長い探索用マーカー間距離を、前記基準マーカー間距離と同一のマーカー間距離であると認識するマーカー間距離認識工程と、（ｆ−３）前記マーカー間距離認識部で認識されたマーカー間距離を基準にして、前記物体の外表面に取り付けられたマーカーと、探索用マーカーとの組を対応付けることにより、前記絶対座標上での物体の位置と角度とを決定するマーカー識別工程とを含むようにしてもよい。

以下、本発明の一実施形態であるマーカー像識別方法について、マーカー像識別方法を用いたヘッドモーショントラッカ（ＨＭＴ）を具体例として、図面を用いて説明する。ただし、本発明は以下に説明する具体例に限られず、本発明の趣旨を逸脱しない範囲で適用されるものである。

図１は、本発明の一実施形態であるＨＭＴの概略構成を示す図である。ＨＭＴ１０は、ステレオ視ができるように距離ｄを隔てて並ぶように設置される一対のカメラ装置１１と、頭部装着型表示装置付ヘルメット１６と、頭部装着型表示装置付ヘルメット１６の外表面に取り付けたＬＥＤ群１８と、コンピュータにより構成される制御演算部２０とから構成される。

カメラ装置１１は、第一カメラ１２と第二カメラ１４とを有する。これにより、第一カメラ１２で撮影された第一画像Ａが作成されるとともに、第二カメラ１４で撮影された第二画像Ｂが作成されることになる。このとき、第一画像Ａにおいて、２次元座標系（ＸａＹａＺａ座標）が設定されるが、原点及び各座標軸の方向を任意に定めることができ、本実施形態では図６に示すように、底辺をＸａ軸とし、左辺をＹａ軸とするように定義し、原点を底辺と左辺との交点として定義するようにしてある。同様に、第二画像Ｂにおいて、２次元座標系（ＸｂＹｂＺｂ座標）が設定されるが、原点及び各座標軸の方向を任意に定めることができ、本実施形態では図６（ａ）に示すように、底辺をＸｂ軸とし、左辺をＹｂ軸とするように定義し、原点を底辺と左辺との交点として定義するようにしてある。

また、第一カメラ１２及び第二カメラ１４は、撮影方向がそれぞれヘルメット１６に向けられており、ＬＥＤ群１８のうち少なくとも３つのＬＥＤ（第一カメラ１２と第二カメラ１４とで同一のＬＥＤ）が同時に視野内に入るように、ＬＥＤ群１８の数や配置に応じて設置位置が定められている。
なお、第一カメラ１２及び第二カメラ１４は、ヘルメット１６の全体像が視野内に入るように、ヘルメット１６から距離を隔てた位置に設置してもよい。この場合は、ヘルメット１６に取り付けるＬＥＤの数を比較的少なくしても、第一カメラ１２及び第二カメラ１４の視野内に３つのＬＥＤを含ませることができる。
一方、第一カメラ１２及び第二カメラ１４を、ヘルメット１６に接近させてヘルメット１６の一部だけが視野内に入るようにしてもよい。この場合は、ヘルメット１６に取り付けるＬＥＤの数を増やして、視野内に少なくとも３つのＬＥＤが含まれるようにしなければならないが、ＬＥＤの位置を精度よく測定することができる。

頭部装着型表示装置付ヘルメット１６は、表示器（図示せず）と、表示器から出射される画像表示光を反射することにより、装着者の目に導くコンバイナ８とを有する。なお、頭部装着型表示装置付ヘルメット１６を装着した装着者は、表示器による表示映像とコンバイナ８の前方実在物とを視認することが可能となっている。

ＬＥＤ群１８は、図２に示すように、赤外光を発光する６個のＬＥＤ１８ａ、１８ｂ、１８ｃ、・・・、１８ｆが互いに異なる距離で離隔するようにして頭部装着型表示装置付ヘルメット１６の外表面に取り付けられている。なお、頭部装着型表示装置付ヘルメット１６に固定されたヘルメット座標でのＬＥＤ１８ａ、１８ｂ、１８ｃ、・・・、１８ｆの位置は、予め、後述するメモリ４１のヘルメット座標記憶部４４に記憶されるようにしてある。よって、例えば、後述する三角測量の手法で、現時点における空間（絶対座標）上での３個のＬＥＤ１８ａ、１８ｂ、１８ｃの位置を算出すると、ヘルメット座標記憶部４４に記憶されたデータを参照することにより、ＬＥＤ１８ａ、１８ｂ、１８ｃが固定されているヘルメット１６の空間（絶対座標）上での位置や角度（方向）が特定できる。

なお、ＬＥＤ群１８は、第一カメラ１２及び第二カメラ１４で点灯状態が確認できるものであれば、発光波長に制限はない。
また、ヘルメット１６が動く範囲に応じて、ヘルメット１６上でのＬＥＤ群１８を取り付ける範囲を調整してもよい。すなわち、ヘルメット１６の動く範囲が小さい場合は、その領域に限ってＬＥＤ群１８を取り付ければよい。一方、ヘルメット１６があらゆる方向に動く場合は、ヘルメット１６の全体にわたってＬＥＤ群１８を取り付ける必要がある。

制御演算部２０は、カメラ装置１１及びＬＥＤ群１８についての制御とともに、これらと連動して種々の演算処理を行うものである。制御演算部２０が実行する制御・演算内容を機能ごとに分けて説明すると、制御演算部２０は、図１に示すように、マーカー点灯部２１と、エピポーラライン作成部３１と、基準エピポーラライン選択部３２と、マーカー像認識部３３と、マーカー像位置決定部３４と、マーカー像識別部３５と、物体モニタリング部３６と、映像表示部２５とを備える。
また、メモリ４１には、制御演算部２０が処理を実行するために必要な種々のデータを蓄積する領域が形成してあり、絶対座標（ＸＹＺ座標）を記憶する絶対座標記憶部４２と、ヘルメット座標（Ｘ’Ｙ’Ｚ’座標）とヘルメット座標でのＬＥＤ１８ａ、１８ｂ、１８ｃ、・・・、１８ｆの位置とを記憶するヘルメット座標記憶部４４とを有する。

ここで、絶対座標について説明する。絶対座標は、カメラ装置１１に固定された３次元座標系（ＸＹＺ座標）であり、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図３に示すように、第二カメラ１４から第一カメラ１２への方向をＸ軸方向とし、Ｘ軸方向に垂直かつ天井に垂直で下向きな方向をＺ軸方向とし、Ｘ軸方向に垂直かつ天井に水平で右向き方向をＹ軸方向とするように定義し、原点を第一カメラ１２と第二カメラ１４との中点として定義するようにしてある。

また、ヘルメット座標は、ヘルメット１６に固定された３次元座標系（Ｘ’Ｙ’Ｚ’座標）であり、原点及び各座標軸の方向を任意に定めることができるが、本実施形態では図２に示すように、ＬＥＤ１８ａからＬＥＤ１８ｂへの方向をＸ’軸方向とし、ＬＥＤ１８ｃを含む面でＸ’軸方向に垂直な方向をＹ’軸方向とし、Ｘ’軸方向及びＹ’軸方向に垂直な方向をＺ’軸方向とするように定義し、原点（Ｏ）をＬＥＤ１８ａとして定義するようにしてある。
さらに、ヘルメット１６の現在位置と現在角度とを、ＸＹＺ座標系を用いて表現するために、ヘルメット１６上の基準点をＬＥＤ１８ａ（ヘルメット座標の原点）と定め、さらにＸ’軸方向を基準方向と定めている。これにより、ヘルメット１６の現在位置と現在角度とは、絶対座標（ＸＹＺ座標）におけるＬＥＤ１８ａの位置（ｘ，ｙ，ｚ）と、Ｘ’軸方向のＸ軸方向、Ｙ軸方向、Ｚ軸方向に対するそれぞれの角度（θ，φ，ψ）とを用いて表現することができる。

マーカー点灯部２１は、ＬＥＤ群１８（マーカー群）のうち、第一カメラ１２及び第二カメラ１４それぞれの画像に同時に撮影される３つのＬＥＤ（マーカー）であり、かつ、これらＬＥＤ間を結んだ線が正三角形を形成しない位置関係となる３つのＬＥＤを点灯する制御を行うものである。このとき、その他のＬＥＤは、消灯されていなければならない。

エピポーラライン作成部３１は、第一カメラ１２で映し出された各マーカー像のエピポーララインを、第二カメラ１４で映し出された第二画像Ｂ上に作成する制御を行うものである。つまり、図６（ａ）に示すように、第一カメラ１２と３つのＬＥＤ１８ａ、１８ｂ、１８ｃとを結ぶそれぞれのエピポーラライン（仮想直線）Ｌａ、Ｌｂ、Ｌｃが存在するとして、エピポーララインＬｘ、Ｌｙ、Ｌｚを第二カメラ１４で撮影したとして、第二画像Ｂ上にエピポーララインＬｘ、Ｌｙ、Ｌｚを作成することになる。なお、第二画像Ｂ上のエピポーララインＬａ、Ｌｂ、Ｌｃの位置は、第一画像Ａ上でのＬＥＤ像１８ｘ、１８ｙ、１８ｚが映し出される位置、及び、第一カメラ１２の撮影方向と第二カメラ１４の撮影方向との関係に基づいて一意的に定まる。

基準エピポーラライン選択部３２は、第二画像Ｂ上において、エピポーラライン間で最も離れているエピポーララインを基準エピポーララインとして選択する制御を行うものである。
例えば、図６（ｂ）に示すように、第二画像Ｂ上において、第二画像Ｂ上の中心を通りかつＸｂ軸に対して垂直となる垂線ｌを作成することにより、垂線ｌとエピポーララインＬｘ、Ｌｙ、Ｌｚとの交点ｌｘ、ｌｙ、ｌｚの位置を算出する。さらに、各交点ｌｘ、ｌｙ、ｌｚ間の距離を算出することで、最も離れている交点ｌｘを選択する。この結果、図６（ｃ）に示すように、選択された交点ｌｘに対応するエピポーララインＬｘを基準エピポーララインとして選択することになる。

マーカー像認識部３３は、第二画像Ｂ上において、基準エピポーララインに距離が最も近いマーカー像を、基準エピポーララインに対応するマーカー像と同一のマーカーの画像であると認識する制御を行うものである。このとき、最も離れているエピポーララインＬｘを基準エピポーララインとして選択しているので、第二画像Ｂ上に映し出される基準エピポーララインに対応するＬＥＤ像１８ｓも、他のＬＥＤ像１８ｔ、１８ｕと離れているので、基準エピポーララインに対応するマーカー像を確実に特定することができる。

マーカー像位置決定部３４は、第一画像Ａ及び第二画像Ｂのそれぞれの画像上において、マーカー像認識部３３で認識されたマーカー像に対する残りのマーカー像の位置を決定する制御を行うものである。
例えば、図７（ａ）に示すように、第一画像Ａ上において、マーカー像認識部３３で認識されたマーカー像１８ｘを始点として、他の２つのマーカー像１８ｙ、１８ｚを終点とするベクトル＜１８ｘ１８ｙ＞、ベクトル＜１８ｘ１８ｚ＞を作成して外積＜１８ｘ１８ｙ＞×＜１８ｘ１８ｚ＞を算出することにより、マーカー像認識部３３で認識されたマーカー像１８ｘに対する残りのマーカー像１８ｙ、１８ｚの位置関係を決定する。同様に、第二画像Ｂ上において、マーカー像認識部３３で認識されたマーカー像１８ｓを始点として、他の２つのマーカー像１８ｔ、１８ｕを終点とするベクトル＜１８ｓ１８ｔ＞、ベクトル＜１８ｓ１８ｕ＞を作成して外積＜１８ｓ１８ｔ＞×＜１８ｓ１８ｕ＞を算出することにより、マーカー像認識部３３で認識されたマーカー像１８ｓに対する残りのマーカー像１８ｔ、１８ｕの位置関係を決定する。
なお、下述するように、＜１８ｘ１８ｙ＞は、１８ｘを始点として１８ｙを終点とするベクトルのことであり、＜１８ｘ１８ｚ＞、＜１８ｓ１８ｔ＞、＜１８ｓ１８ｕ＞も同様である。

マーカー像識別部３５は、マーカー像位置決定部３４で決定されたマーカー像の位置関係に基づいて、第一画像Ａ上における残りのＬＥＤ像と第二画像Ｂ上における残りのマーカー像との組を対応付ける制御を行うものである。
例えば、第一画像Ａ及び第二画像Ｂのそれぞれの画像上において、それぞれ算出された外積＜１８ｘ１８ｙ＞×＜１８ｘ１８ｚ＞と外積＜１８ｓ１８ｔ＞×＜１８ｓ１８ｕ＞とを比較して、外積が同符号となる場合には、図 7（ｂ）に示すように、マーカー像１８ｘを中心としたマーカー像１８ｙからマーカー像１８ｚへの方向と、マーカー像１８ｓを中心としたマーカー像１８ｓからマーカー像１８ｔへの方向とが同じ回転方向となるとして、マーカー像１８ｙとマーカー像１８ｔとの組及びマーカー像１８ｚとマーカー像１８ｕとの組を対応付け、一方、外積が異符号となる場合には、マーカー像１８ｘを中心としたマーカー像１８ｙからマーカー像１８ｚへの方向と、マーカー像１８ｓを中心としたマーカー像１８ｓからマーカー像１８ｔへの方向とが異なる回転方向となるとして、ＬＥＤ像１８ｙとマーカー像１８ｔとの組及びマーカー像１８ｚとマーカー像１８ｕとの組を対応付ける。よって、図５に示すように、第二画像Ｂにおいて、２つのＬＥＤ像１８ｙ、１８ｚに対応するエピポーララインＬｂ、Ｌｃが極近い距離に存在する場合でも、外積を用いて、第一画像Ａ上におけるＬＥＤ像１８ｙ、１８ｚと第二画像上におけるＬＥＤ像１８ｔ、１８ｕとの組をそれぞれ対応付けることができる。

物体モニタリング部３６は、基準マーカー間距離選択部３６ａと、マーカー間距離認識部３６ｂと、マーカー識別部３６ｃとを備える。
基準マーカー間距離選択部３６ａは、マーカー点灯部２１で点灯したＬＥＤについて、ヘルメット座標（Ｘ’Ｙ’Ｚ’座標）上において最も短いマーカー間距離を基準マーカー間距離として選択する制御を行うものである。
例えば、ヘルメット座標記憶部４４に記憶されているデータに基づいて、マーカー点灯部２１で点灯したＬＥＤ１８ａ、１８ｂ、１８ｃのマーカー間距離ａ、ｂ、ｃを比較することにより、最も短いマーカー間距離ａを基準マーカー間距離として選択する。

マーカー間距離認識部３６ｂは、マーカー像認識部３３及びマーカー像識別部３５により対応付けられた各ＬＥＤ像の組について、絶対座標（ＸＹＺ座標）上での探索用マーカーの位置を三角測量で算出することにより、最も短い探索用マーカー間距離を、基準マーカー間距離と同一のマーカー間距離であると認識する制御を行うものである。
具体的には、まず、図３に示すように、絶対座標（ＸＹＺ座標）におけるＬＥＤ１８ｌの位置は、第一カメラ１２からＬＥＤ１８ｌへの方向角αと、第二カメラ１４からＬＥＤ１８ｌへの方向角βと、第一カメラ１２と第二カメラ１４との間のカメラ間距離ｄとがわかれば一意的に算出できる。方向角αは、第一カメラ１２の撮影方向と第一画像ＡにおけるＬＥＤ像１８ｘの位置とにより定めることができ、同様に、方向角βは、第二カメラ１４の撮影方向と第二画像ＢにおけるＬＥＤ像１８ｓの位置とにより定めることができる。また、カメラ間距離ｄは既知であることから、絶対座標（ＸＹＺ座標）における探索用ＬＥＤ１８ｌの位置が算出される。同様に、絶対座標（ＸＹＺ座標）における他の探索用ＬＥＤ１８ｍ、１８ｎの位置についても算出される。その後、探索用マーカー間距離を比較することで、最も短い探索用マーカー間距離を、基準マーカー間距離と同一のマーカー間距離であると認識する。このとき、探索用ＬＥＤ１８ｌ、１８ｍ、１８ｎが、ＬＥＤ１８ａ、１８ｂ、１８ｃのいずれにそれぞれ対応するかは認識できない。

マーカー識別部３６ｃは、マーカー間距離認識部３６ｂで認識されたマーカー間距離を基準にして、ヘルメット１６の外表面に取り付けられたＬＥＤ１８ａ、１８ｂ、１８ｃと、探索用ＬＥＤ１８ｌ、１８ｍ、１８ｎとの組を対応付けることにより、絶対座標（ＸＹＺ座標）上でのヘルメット１６の位置（ｘ，ｙ，ｚ）と角度（θ，φ，ψ）とを決定する制御を行うものである。このとき、点灯した３つのＬＥＤ１８ａ、１８ｂ、１８ｃをそれぞれ結んだ線は、等距離でないようにしてあるので、一つのマーカー間距離の組が対応付けできれば、例えば、絶対座標において、マーカー間距離認識部３６ｂで認識されたマーカー間距離上にない探索用ＬＥＤを始点として、他の２つの探索用ＬＥＤを終点とするベクトルを作成して外積を算出することにより、探索用ＬＥＤの位置関係を決定する。同様に、絶対座標において、マーカー間距離認識部３６ｂで認識されたマーカー間距離上にないＬＥＤを始点として、他の２つのＬＥＤを終点とするベクトルを作成して外積を算出することにより、ＬＥＤの位置関係を決定する。その後、探索用ＬＥＤ及びＬＥＤのそれぞれ算出されたベクトル積を比較して、外積が同符号となる場合には、同じ回転方向となるとして組を対応付け、一方、外積が異符号となる場合には、異なる回転方向となるとして組を対応付ける。このようにして、ヘルメット１６の外表面に取り付けられたＬＥＤ１８ａ、１８ｂ、１８ｃと、第一画像Ａと第二画像Ｂとにより算出された探索用マーカー１８ｌ、１８ｍ、１８ｎとの組を対応付けることができることになる。なお、ヘルメット１６の位置（ｘ，ｙ，ｚ）と角度（θ，φ，ψ）とは、絶対座標（ＸＹＺ座標）におけるＬＥＤ１８ａの位置（ｘ，ｙ，ｚ）と、Ｘ’軸方向のＸ軸方向、Ｙ軸方向、Ｚ軸方向に対するそれぞれの角度（θ，φ，ψ）とを用いて表現する。
映像表示部２５は、ヘルメット１６の位置（ｘ，ｙ，ｚ）と角度（θ，φ，ψ）とに基づいて、映像表示光を出射する制御を行うものである。これにより、装着者は、表示器による表示映像を視認することができるようになる。

次に、ＨＭＴ１０によるヘルメット１６のモニタリング、すなわち時々刻々の位置、角度をモニタリングする動作について説明する。図８は、ＨＭＴ１０によりヘルメット１６の位置（ｘ，ｙ，ｚ）、角度（θ，φ，ψ）をモニタリングする際の動作フローを示す図である。
まず、ステップＳ１０１の処理において、マーカー点灯部２１は、３つのＬＥＤ（ただし３つのＬＥＤの位置関係が正三角形とならないもの）を点灯し、それ以外のＬＥＤを消灯する。

次に、ステップＳ１０２の処理において、マーカー点灯部２１は、第一カメラ１２の第一画像Ａ及び第二カメラ１４の第二画像Ｂ内に、点灯中の３つのＬＥＤが映っているか否かを確認する。第一カメラ１２の第一画像Ａ及び第二カメラ１４の第二画像Ｂ内に、点灯中の３つのＬＥＤが映っていないと判定されたときには、ステップＳ１０１の処理に戻り、３つのＬＥＤを消灯して、他のＬＥＤの組を点灯させることになる。つまり、第一カメラ１２の第一画像Ａ及び第二カメラ１４の第二画像Ｂ内に、点灯中の３つのＬＥＤが映っていると判定されるときまで、ステップＳ１０１及びＳ１０２の処理は繰り返される。一方、第一カメラ１２の第一画像Ａ及び第二カメラ１４の第二画像Ｂ内に、点灯中の３つのＬＥＤが映っていると判定されたときには、ステップＳ１０３の処理に進む。図４は、このときの画像例を示す。

次に、ステップＳ１０３の処理において、エピポーラライン作成部３１は、第一カメラ１２で映し出された各マーカー像のエピポーララインを、第二カメラ１４で映し出された第二画像Ｂ上に作成する（図６（ａ）参照）。
次に、ステップＳ１０４の処理において、基準エピポーラライン選択部３２は、第二画像Ｂ上において、エピポーラライン間で最も離れているエピポーララインを基準エピポーララインとして選択する。例えば、図６（ｂ）に示すように、第二画像Ｂ上において、第二画像Ｂ上の中心を通りかつＸｂ軸に対して垂直となる垂線ｌを作成することにより、垂線ｌとエピポーララインＬａ、Ｌｂ、Ｌｃとの交点ｌａ、ｌｂ、ｌｃの位置を算出する。さらに、各交点ｌａ、ｌｂ、ｌｃ間の距離を算出することで、最も離れている交点ｌａを選択する。この結果、選択された交点ｌａに対応するエピポーララインＬａを基準エピポーララインとして選択することになる。

次に、ステップＳ１０５の処理において、マーカー像認識部３３は、第二画像Ｂ上において、基準エピポーララインに距離が最も近いマーカー像を、基準エピポーララインに対応するマーカー像と同一のマーカーの画像であると認識する。
次に、ステップＳ１０６の処理において、マーカー像位置決定部３４は、第一画像Ａ及び第二画像Ｂのそれぞれの画像上において、マーカー像認識部３３で認識されたマーカー像に対する残りのマーカー像の位置関係を決定する。例えば、図７（ａ）に示すように、第一画像Ａ上において、マーカー像認識部３３で認識されたマーカー像１８ｘを始点として、他の２つのマーカー像１８ｙ、１８ｚを終点とするベクトル＜１８ｘ１８ｙ＞、ベクトル＜１８ｘ１８ｚ＞を作成して外積＜１８ｘ１８ｙ＞×＜１８ｘ１８ｚ＞を算出することにより、マーカー像認識部３３で認識されたマーカー像１８ｘに対する残りのマーカー像１８ｙ、１８ｚの位置関係を決定する。同様に、第二画像Ｂ上において、マーカー像認識部３３で認識されたマーカー像１８ｓを始点として、他の２つのマーカー像１８ｔ、１８ｕを終点とするベクトル＜１８ｓ１８ｔ＞、ベクトル＜１８ｓ１８ｕ＞を作成して外積＜１８ｓ１８ｔ＞×＜１８ｓ１８ｕ＞を算出することにより、マーカー像認識部３３で認識されたマーカー像１８ｓに対する残りのマーカー像１８ｔ、１８ｕの位置関係を決定する。

次に、ステップＳ１０７の処理において、マーカー像識別部３５は、マーカー像位置決定部３４で決定されたマーカー像の位置関係に基づいて、第一画像Ａ上における残りのＬＥＤ像と第二画像Ｂ上における残りのマーカー像との組を対応付ける。例えば、第一画像Ａ及び第二画像Ｂのそれぞれの画像上において、それぞれ算出された外積＜１８ｘ１８ｙ＞×＜１８ｘ１８ｚ＞と外積＜１８ｓ１８ｔ＞×＜１８ｓ１８ｕ＞とを比較して、外積が同符号となる場合には、マーカー像１８ｙとマーカー像１８ｔとの組及びマーカー像１８ｚとマーカー像１８ｕとの組を対応付け、一方、外積が異符号となる場合には、ＬＥＤ像１８ｙとマーカー像１８ｔとの組及びマーカー像１８ｚとマーカー像１８ｕとの組を対応付ける。

次に、ステップＳ１０８の処理において、基準マーカー間距離選択部３６ａは、マーカー点灯部２１で点灯したＬＥＤについて、ヘルメット座標（Ｘ’Ｙ’Ｚ’座標）上において、最も短いマーカー間距離を基準マーカー間距離として選択する。
次に、ステップＳ１０９の処理において、マーカー間距離認識部３６ｂは、マーカー像認識部３３及びマーカー像識別部３５により対応付けられた各ＬＥＤ像の組について、絶対座標（ＸＹＺ座標）上での探索用ＬＥＤ１８ｌ、１８ｍ、１８ｎの位置を三角測量で算出することにより、最も短い探索用マーカー間距離を、基準マーカー間距離と同一のマーカー間距離であると認識する。

次に、ステップＳ１１０の処理において、マーカー識別部３６ｃは、マーカー間距離認識部３６ｂで認識されたマーカー間距離を基準にして、ヘルメット１６の外表面に取り付けられたＬＥＤ１８ａ、１８ｂ、１８ｃと、第一画像Ａと第二画像Ｂとにより算出された探索用ＬＥＤ１８ｌ、１８ｍ、１８ｎとの組を対応付けることにより、絶対座標（ＸＹＺ座標）上でのヘルメット１６の位置（ｘ，ｙ，ｚ）と角度（θ，φ，ψ）とを決定する制御を行うものである。
次に、ステップＳ１１１の処理において、映像表示部２５は、ヘルメット１６の位置（ｘ，ｙ，ｚ）と角度（θ，φ，ψ）とに基づいて、映像表示光を出射する。

次に、ステップＳ１１２の処理において、本フローチャートを終了させるか否かを判断する。本フローチャートを終了させないと判定されたときには、ステップＳ１０１の処理に戻る。つまり、本フローチャートを終了させると判定されるときまで、ステップＳ１０１〜ステップＳ１１２の処理は繰り返される。
一方、本フローチャートを終了させると判断されたときには、本フローチャートを終了させる。
以上の演算処理により、空間（絶対座標）に対するヘルメット１６の位置、角度を決定し、ヘルメットの位置や方向を特定することができる。すなわち、時々刻々変化するヘルメット１６の位置や方向を特定することができる。

また、上述したＨＭＴ１０において、マーカー点灯部２１は、３つのＬＥＤを点灯するとともに、マーカー像位置決定部３４は、マーカー像認識部３３で認識されたマーカー像を始点として、他の２つのマーカー像を終点とするベクトルを作成して外積を算出する構成としたが、マーカー点灯部は、４つのＬＥＤを点灯するとともに、マーカー像位置決定部は、４つのＬＥＤ像の中心を重心として、マーカー像認識部３３で認識されたマーカー像を始点として右回り又は左回りに他の３つのマーカー像の順番を算出するような構成としてもよい。

本発明は、識別情報を持たない発光体を利用する光学測定方式のモーショントラッカ等に利用することができる。

本発明の一実施形態であるＨＭＴの概略構成を示す図。 本発明に係る頭部装着型表示装置付ヘルメットに取り付けられたＬＥＤ群の概略構成を示す図。 本発明に係る絶対座標について説明する図。 エピポーラ幾何学に基づく予測を説明する図。 エピポーラ幾何学に基づく予測を説明する図。 本発明に係るエピポーラ幾何学に基づく予測を説明する図。 本発明に係るエピポーラ幾何学に基づく予測を説明する図。 図１のヘッドモーショントラッカによる動作を説明するフローチャート。

符号の説明

１０ ヘッドモーショントラッカ
１２ 第一カメラ
１４ 第二カメラ
１６ ヘルメット（物体）
１８ ＬＥＤ群（マーカー群）
２０ 演算制御部
２１ マーカー点灯部
３１ エピポーラライン作成部
３２ 基準エピポーラライン選択部
３３ マーカー像認識部
３４ マーカー像位置決定部
３５ マーカー像識別部

Claims (6)

1. 物体の外表面に取り付けられた少なくとも３つの点灯可能なマーカーを識別するためのマーカー像識別装置であって、
   点灯した少なくとも３つのマーカーが含まれる第一画像を撮影する第一カメラと、
   前記第一カメラと異なる方向から、少なくとも３つのマーカーが含まれる第二画像を同時に撮影する第二カメラと、
   前記第一カメラで映し出された各マーカー像のエピポーララインを、前記第二画像上に作成するエピポーラライン作成部と、
   前記第二画像上において、エピポーラライン間で最も離れているエピポーララインを基準エピポーララインとして選択する基準エピポーラライン選択部と、
   前記第二画像上において、基準エピポーララインに距離が最も近いマーカー像を、前記基準エピポーララインに対応するマーカー像と同一のマーカーの画像であると認識するマーカー像認識部と、
   前記第一画像及び第二画像のそれぞれの画像上において、前記マーカー像認識部で認識されたマーカー像に対する残りのマーカー像の位置関係を決定するマーカー像位置決定部と、
   前記マーカー像位置決定部で決定されたマーカー像の位置関係に基づいて、前記第一画像上における残りのマーカー像と第二画像上における残りのマーカー像との組を対応付けるマーカー像識別部とを備えることを特徴とするマーカー像識別装置。
2. 前記マーカーは、前記物体上に定義される物体固定座標上での位置を定められるとともに、
   前記第一カメラ及び第二カメラを用いて、空間上に定義された絶対座標が記憶され、
   さらに、前記マーカー像認識部及びマーカー像識別部により対応付けられた各マーカー像の組について、前記絶対座標上での位置を三角測量で算出することで探索用マーカーを作成することにより、前記探索用マーカーとマーカーとの組を対応付けて絶対座標上での物体の位置と角度とを決定する物体モニタリング部を備えることを特徴とする請求項１に記載のマーカー像識別装置。
3. 点灯した少なくとも３つのマーカーをそれぞれ結んだ線は、等距離でなく、
   前記物体モニタリング部は、前記物体固定座標上において、最も短い又は最も長いマーカー間距離を基準マーカー間距離として選択する基準マーカー間距離選択部と、
   前記マーカー像認識部及びマーカー像識別部により対応付けられた各マーカー像の組について、前記絶対座標上での探索用マーカーの位置を三角測量で算出することにより、最も短い又は最も長い探索用マーカー間距離を、前記基準マーカー間距離と同一のマーカー間距離であると認識するマーカー間距離認識部と、
   前記マーカー間距離認識部で認識されたマーカー間距離を基準にして、前記物体の外表面に取り付けられたマーカーと、探索用マーカーとの組を対応付けることにより、前記絶対座標上での物体の位置と角度とを決定するマーカー識別部とを備えることを特徴とする請求項２に記載のマーカー像識別装置。
4. 物体の外表面に取り付けられた少なくとも３つの点灯可能なマーカーと、
   点灯した少なくとも３つのマーカーが含まれる第一画像を撮影する第一カメラと、
   前記第一カメラと異なる方向から、点灯した少なくとも３つのマーカーが含まれる第二画像を撮影する第二カメラとを備えるマーカー像識別システムにおけるマーカー像識別方法であって、
   （ａ）前記第一カメラで映し出された各マーカー像のエピポーララインを、前記第二カメラで映し出された第二画像上に作成するエピポーラライン作成工程と、
   （ｂ）前記第二画像上において、エピポーラライン間で最も離れているエピポーララインを基準エピポーララインとして選択する基準エピポーラライン選択工程と、
   （ｃ）前記第二画像上において、基準エピポーララインに距離が最も近いマーカー像を、前記基準エピポーララインに対応するマーカー像と同一のマーカーの像であると認識するマーカー像認識工程と、
   （ｄ）前記第一画像及び第二画像のそれぞれの画像上において、前記マーカー像認識工程で認識されたマーカー像に対する残りのマーカー像の位置関係を決定するマーカー像位置決定工程と、
   （ｅ）前記マーカー像位置決定工程で決定されたマーカー像の位置関係に基づいて、前記第一画像上における残りのマーカー像と第二画像上における残りのマーカー像との組を対応付けるマーカー像識別工程とを含むことを特徴とするマーカー像識別方法。
5. 前記マーカーは、前記物体上に定義される物体固定座標上での位置を定められるとともに、
   前記第一カメラ及び第二カメラを用いて、空間上に定義された絶対座標が記憶され、
   さらに、（ｆ）前記マーカー像認識工程及びマーカー像識別工程により対応付けられた各マーカー像の組について、前記絶対座標上での位置を三角測量で算出することで探索用マーカーを作成することにより、前記探索用マーカーとマーカーとの組を対応付けて絶対座標上での物体の位置と角度とを決定する物体モニタリング工程を含むことを特徴とする請求項４に記載のマーカー像識別方法。
6. 点灯した少なくとも３つのマーカーをそれぞれ結んだ線は、等距離でなく、
   （ｆ）物体モニタリング工程は、（ｆ−１）前記物体固定座標上において、最も短い又は最も長いマーカー間距離を基準マーカー間距離として選択する基準マーカー間距離選択工程と、
   （ｆ−２）前記マーカー像認識部及びマーカー像識別部により対応付けられた各マーカー像の組について、前記絶対座標上での探索用マーカーの位置を三角測量で算出することにより、最も短い又は最も長い探索用マーカー間距離を、前記基準マーカー間距離と同一のマーカー間距離であると認識するマーカー間距離認識工程と、
   （ｆ−３）前記マーカー間距離認識部で認識されたマーカー間距離を基準にして、前記物体の外表面に取り付けられたマーカーと、探索用マーカーとの組を対応付けることにより、前記絶対座標上での物体の位置と角度とを決定するマーカー識別工程とを含むことを特徴とする請求項５に記載のマーカー像識別方法。

Images