JP2011028417A - マーカ検出装置、マーカ生成検出システム、マーカ生成検出装置、マーカ検出方法及びマーカ検出プログラム - Google Patents

Abstract

【課題】 検出対象映像の背景変化により表れたパターンをマーカパターンと誤認して過剰検出することを排除し、マーカ検出を適切に行なう。
【解決手段】 マーカ検出用の画像から抽出された特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段１０ａと、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点の数が所定数以下であると、この一致検出領域をマーカが出現しないマーカ非出現領域として検出する照合監視手段２０ａとを備えた。
【選択図】 図１

Description

本発明は、マーカを検出するマーカ検出装置、このマーカ検出装置を備えたマーカ生成検出システム、マーカ検出機能を有したマーカ生成検出装置、マーカを検出するマーカ生成方法、及び、このマーカ検出方法を実行するためのマーカ検出プログラムに関する。

ある空間内に所望の物体が存在するか否かを判別する手法には、次のようなものがある。
例えば、マーカ生成段階で、マーカが存在しない空間の画像を背景映像として映像入力手段により撮影し、その背景映像から特徴点を抽出し、この特徴点を不変量特徴空間に写像して不変特徴とし、この不変特徴が表れなかった部分を特異特徴とし、この特異特徴にもとづいてマーカパターンを生成し、マーカ検出段階で、マーカが付された物体を含む空間の画像を検出対象映像として撮影し、この検出対象映像から特徴点を抽出し、この特徴点の配置の中にマーカパターンから抽出された特徴点の配置と一致するものがあるか否かを判断し、一致するものがあるときは、これをマーカとして検出する技術がある（例えば、特許文献１参照。）。

この技術によれば、マーカ生成段階において、背景映像に表れていないパターンをマーカパターンとして生成することができる。このため、マーカ検出段階においては、検出対象映像のうちマーカが存在しないところからマーカが誤って検出されることがなくなり、物体に付されたマーカを確実に検出することができる。

国際公開第２００８／０９０９０８号パンフレット

しかしながら、上述した特許文献１に記載の技術においては、次のような状況があった。
同技術では、マーカパターンが、背景映像に表れていないパターンから生成される。これにより、マーカ検出段階では、背景からマーカが誤って検出されることを回避するとともに、物体に付されたマーカを確実に検出できるとしている。
ただし、これは、マーカ検出段階で映像入力手段が撮影した検出対象映像のうちマーカを除いた部分（背景部分）と、マーカ生成段階で映像入力手段が撮影した背景映像とが同様であることが前提となる。

ところが、マーカ検出段階において、検出対象映像の背景部分が変化した場合、例えば、突然ボールが飛んできたり、人が横切ったり、窓が開いてカーテンが風になびいたりする場合などがある。このような場合には、マーカ生成段階における背景映像に表れていなかったパターンが表れる。この新出パターンは、マーカ検出段階で初めて表れたものであるため、上記技術で生成されたマーカパターンは、その新出パターンを排除できない。そうすると、その新出パターンがマーカパターンと近似又は一致した場合には、これをマーカパターンとして過剰に検出してしまう。

本発明は、上記の状況にかんがみなされたものであり、マーカ検出段階において、検出対象映像の背景部分が変化したことにより新たに表れたパターンをマーカパターンとして過剰に検出することを排除し、マーカ検出を適切に行なうことが可能なマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムの提供を目的とする。

この目的を達成するため、本発明のマーカ検出装置は、マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを備えた構成としてある。

また、本発明のマーカ生成検出システムは、マーカ生成装置とマーカ検出装置とを備え、マーカ生成装置が、マーカ生成用の画像から特徴点を抽出する抽出手段と、特徴点を所定の空間に配置する配置手段と、特徴点が配置されていない部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカパターン生成手段とを有し、マーカ検出装置が、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを有した構成としてある。

また、本発明のマーカ生成検出装置は、マーカ生成部とマーカ検出部とを備え、マーカ生成部が、マーカ生成用の画像から特徴点を抽出する抽出手段と、特徴点を所定の位置に配置する配置手段と、特徴点が配置されていない部分を特異特徴として選択する特異特徴選択手段と、特異特徴を用いてマーカを生成するマーカパターン生成手段とを有し、マーカ検出部が、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを有した構成としてある。

また、本発明のマーカ検出方法は、マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする工程と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する工程とを有した方法としてある。

また、本発明のマーカ検出プログラムは、マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点とマーカから抽出された特徴点とを照合し、マーカ検出用の画像にもとづく複数の特徴点のうち、マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする工程と、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する工程とをマーカ検出装置に実行させる構成としてある。

本発明のマーカ検出装置、マーカ生成検出システム、マーカ生成検出装置、マーカ検出方法及びマーカ検出プログラムによれば、複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出することとしたので、マーカ検出段階において、検出対象映像の背景部分が変化したことにより新たに表れたパターンをマーカパターンとして過剰に検出することを排除し、マーカ検出を適切に行なうことができる。

本発明の第一実施形態におけるマーカ検出装置の構成を示すブロック図である。 本発明の第一実施形態におけるマーカ検出装置の詳細な構成を示すブロック図である。 特徴点情報テーブルの構成を示す図表である。 マーカ情報テーブルの構成を示す図表である。 検出特徴点情報テーブルの構成を示す図表である。 特徴空間に特徴点が配置された様子を示す図である。 マーカを構成する特徴点の配置例を示す図である。 特徴空間における特徴点群に、マーカの特徴点を照合する手法を示す図である。 検出特徴点監視テーブルの構成を示す図表である。 マーカ検出装置の照合手段の動作手順（マーカ検出方法）を示すフローチャートである。 マーカ検出装置の照合監視手段の動作手順（マーカ検出方法）を示すフローチャートである。 本発明の第二実施形態におけるマーカ検出装置の構成を示すブロック図である。 本発明の第二実施形態におけるマーカ検出装置の詳細な構成を示すブロック図である。 複数のフレーム画像で構成される検出対象映像を示す図である。 動体が映し出された検出対象映像を示す図である。 複数の特徴点が配置された特徴空間を示す図である。 特徴点情報テーブルの構成を示す図表である。 マーカパターンの構成例を示す図である。 動体にもとづく特徴点により非マーカ特徴点が検出された検出対象映像を表示部が表示した様子を示す図である。 本発明の第二実施形態におけるマーカ検出装置の動作手順（マーカ検出方法）を示すフローチャートである。 本発明の第三実施形態におけるマーカ検出装置の構成を示すブロック図である。 本発明の第三実施形態におけるマーカ検出装置の詳細な構成を示すブロック図である。 特徴点５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 特徴点１５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 特徴点９５番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 特徴点９７番を基底として、各特徴点を不変量特徴空間に写像する様子を示す図である。 図１６に示す特徴点のすべてを不変量特徴空間に写像した様子を示す図である。 不変特徴情報テーブルの構成を示す図表である。 特異特徴を抽出する手順を示す図である。 マーカ用特異特徴テーブルの構成を示す図表である。 マーカ用特異特徴テーブルの他の構成を示す図表である。 不変量特徴空間に区画線を付したところを示す図である。 一以上の不変特徴が配置された区画をグレーで示した不変量特徴空間の構成を示す図である。 マーカ照合範囲が設定された不変量特徴空間の構成を示す図である。 マーカにもとづく特異特徴が付された不変量特徴空間の構成を示す図である。 マーカ検出テーブルの構成を示す図表である。 検出不変特徴監視テーブルの構成を示す図表である。 本発明の第三実施形態におけるマーカ検出装置の動作手順（マーカ検出方法）を示すフローチャートである。 本発明の第四実施形態におけるマーカ検出装置の構成を示すブロック図である。 本発明の第四実施形態におけるマーカ検出装置の詳細な構成を示すブロック図である。 マーカ不存在領域特定テーブルの構成を示す図表である。 非マーカ特徴点を中心として非検出範囲が設定された様子を示す図である。 複数の非マーカ特徴点を包含するように非検出範囲が設定された様子を示す図である。 特徴空間に配置された特徴点の一部を削除する様子を示す図である。 本発明の第四実施形態におけるマーカ検出装置の動作手順（マーカ検出方法）を示すフローチャートである。 本発明の第五実施形態におけるマーカ検出装置の構成を示すブロック図である。 本発明の第五実施形態におけるマーカ検出装置の詳細な構成を示すブロック図である。 撮影範囲に一致検出領域と非出現範囲を設定した様子を示す図である。 一致検出領域と非出現範囲を複数設定した様子を示す図である。 一致検出領域を広範囲（帯状）に設定した様子を示す図である。 一致検出領域設定テーブルの構成を示す図表である。 特徴空間に配置された特徴点のうち、一致検出領域以外の範囲に位置する特徴点を削除した様子を示す図である。 本発明の第五実施形態におけるマーカ検出装置の動作手順（マーカ検出方法）を示すフローチャートである。 マーカ生成装置の構成を示すブロック図である。 マーカ生成装置の詳細な構成を示すブロック図である。 映像入力部が撮影した複数の背景映像を示す図である。 フレーム画像から特徴点を抽出した様子を示す図である。 特徴空間に配置された特徴点に番号が付された様子を示す図である。 特徴空間に配置された特徴点を不変量特徴空間に写像した様子を示す図である。 不変量特徴空間を複数の区画に区切った様子を示す図である。 一以上の不変特徴が配置された区画をグレーで表した不変量特徴空間を示す図である。 マーカパターン生成範囲が設定された不変量特徴空間を示す図表である。 マーカパターン生成範囲に特異特徴が配置された様子を示す図である。 特異特徴配置図の構成を示す図である。 特異特徴配置図の他の構成を示す図である。 本発明のマーカ生成装置の動作手順を示すフローチャートである。 マーカ生成検出装置の構成を示すブロック図である。 マーカ生成検出装置の詳細な構成を示すブロック図である。 マーカ生成検出システムの構成を示すブロック図である。

以下、本発明に係るマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムの好ましい実施形態について、図面を参照して説明する。

［マーカ検出装置及びマーカ検出方法の第一実施形態］
まず、本発明のマーカ検出装置及びマーカ検出方法の第一実施形態について、図１を参照して説明する。
同図は、本実施形態のマーカ検出装置の構成を示すブロック図である。

（Ｉ）マーカ検出装置
図１に示すように、マーカ検出装置１ａは、照合手段１０ａと、照合監視手段２０ａとを備えている。
照合手段１０ａは、図２に示すように、照合データ入力部１１と、照合データ記憶部１２と、照合部１３とを有している。
照合データ入力部１１は、「特徴点情報テーブル」と、「マーカ情報テーブル」とを入力する。そして、照合データ入力部１１は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」を照合データ記憶部１２に記憶させる。

「特徴点情報テーブル」は、検出対象映像（マーカ検出用の画像）から抽出された特徴点に関するデータをまとめたテーブルである。
この「特徴点情報テーブル」は、図３に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）とを項目として構成することができる。

「フレーム画像のシリアル番号」は、一又は二以上のフレーム画像のそれぞれに付された番号を示す。
「特徴点のシリアル番号」は、一枚のフレーム画像から抽出された複数の特徴点の一つ一つに付された番号を示す。
「特徴点のｘ座標」は、特徴空間における、その特徴点のｘ座標を示す。
「特徴点のｙ座標」は、特徴空間における、その特徴点のｙ座標を示す。
なお、フレーム画像、特徴空間、特徴点の抽出方法などについては、第二実施形態で詳細に説明する。

「マーカ情報テーブル」は、図４に示すように、「マーカのシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）とを項目として構成することができる。
「マーカのシリアル番号」は、一又は二以上のマーカのそれぞれに付された番号を示す。
「特徴点のシリアル番号」は、マーカから抽出された一又は二以上の特徴点の一つ一つに付された番号を示す。
「特徴点のｘ座標」は、その特徴点のｘ座標を示す。
「特徴点のｙ座標」は、その特徴点のｙ座標を示す。

照合データ記憶部１２は、所定のメモリ領域を保持している。この照合データ記憶部１２は、「特徴点情報テーブル」と、「マーカ情報テーブル」と、「検出特徴点情報テーブル」とを記憶することができる。

「検出特徴点情報テーブル」は、図５に示すように、「フレーム画像のシリアル番号」（ア）と、「検出特徴点の番号」（イ）と、「検出特徴点のｘ座標」（ウ）と、「検出特徴点のｙ座標」（エ）とを項目として構成することができる。
「フレーム画像のシリアル番号」は、そのフレーム画像に付された番号を示す。
「検出特徴点の番号」は、検出特徴点のそれぞれに付された「特徴点のシリアル番号」を示す。
「検出特徴点のｘ座標」は、その検出特徴点のｘ座標を示す。
「検出特徴点のｙ座標」は、その検出特徴点のｙ座標を示す。

照合部１３は、照合データ記憶部１２から「特徴点情報テーブル」と「マーカ情報テーブル」を取り出す。そして、照合部１３は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」に示されたデータを用いて、検出対象映像から抽出された特徴点群の配置の中に、マーカから抽出された特徴点群の配置と一致するものがあるか否かを判断する。

この判断は、次のように行うことができる。
「特徴点情報テーブル」は、前述したように、「特徴点のシリアル番号」と、「特徴点のｘ座標」と、「特徴点のｙ座標」とを項目として有している。
ここで、「特徴点のシリアル番号」に示された特徴点のそれぞれを、「特徴点のｘ座標」に示されたｘ座標と、「特徴点のｙ座標」に示されたｙ座標にしたがって特徴空間に配置すると、図６に示すようになる。
具体的には、例えば、特徴点t1は、特徴空間においては、ｘ座標（x1001）、ｙ座標（y1001）のところに配置される。

一方、「マーカ情報テーブル」は、前述したように、「特徴点のシリアル番号」と、「特徴点のｘ座標」と、「特徴点のｙ座標」とを項目として有している。
ここで、「特徴点のシリアル番号」に示された特徴点のそれぞれを、「特徴点のｘ座標」に示されたｘ座標と、「特徴点のｙ座標」に示されたｙ座標にしたがって所定の空間（例えば、特徴空間と同じ座標系のマーカ配置空間）に配置すると、図７に示すようになる。

照合部１３は、マーカから抽出された特徴点群m1〜mnのうちの二つの特徴点を基準点とする。ここでは、特徴点m1を第一基準点とし、m5を第二基準点とする。
次いで、照合部１３は、その二つ基準点m1,m5を、特徴空間に配置された特徴点群のうちの二つ（ここでは、特徴点t1,t2）に合わせる。

ここで、二つの基準点m1−m5間の距離と、特徴空間における二つの特徴点t1−t2間の距離が相違しているときは、照合部１３は、図８（i）、（ii）に示すように、特徴点t1−t2間の距離に一致するように、基準点m1−m5間の距離を伸長又は短縮する。
例えば、図８（i）に示すように、特徴空間における二つの特徴点t1−t2間の距離は、t1-2であったとする。一方、基準点m1-m5間の距離は、m1-5であったとする。ここで、距離m1-5が距離t1-2よりも短い場合、照合部１３は、距離m1-5を距離t1-2と一致するように伸長する。

距離m1-5が距離t1-2と一致すると、照合部１３は、マーカにおける他の特徴点間の距離（m1-2、m1-3、m1-4、m1-6、m2-3、m2-4、m2-5、m2-6、m3-4、m3-5、m3-6、m4-5、m4-6、m5-6）を、距離m1-2の伸長率ａを用いて伸長する。例えば、特徴点m1−m6間の距離は、伸長すると、a(m1-6)となる。
これら伸長処理を行った結果、マーカにもとづく特徴点は、図８（ii）に示すように、マーカの全体が拡大されたかたちで各特徴点m1〜m6が配置される。

これに対し、距離m1-5が距離t1-2よりも長い場合、照合部１３は、距離m1-5を距離t1-2と一致するように短縮する。そして、照合部１３は、マーカにおける他の特徴点間の距離（m1-2、m1-3、m1-4、m1-6、m2-3、m2-4、m2-5、m2-6、m3-4、m3-5、m3-6、m4-5、m4-6、m5-6）を、距離m1-5の短縮率ａ’を用いて短縮する。
この短縮処理を行った結果、マーカにもとづく特徴点は、マーカの全体が縮小されたかたちで各特徴点m1〜m6が配置される。

続いて、照合部１３は、マーカの基準点m1、m5を特徴空間における二つの特徴点t1、t2に重ね合わせる。
ここで、特徴空間の二つの特徴点t1、t2を結ぶ線と、マーカの基準点m1、m5を結ぶ線が平行でない場合、照合部１３は、マーカ全体を回転させて、それら各線を平行にし、その後に、マーカ全体を平行移動させて、マーカの基準点m1、m5を特徴空間の二つの特徴点t1、t2に重ね合わせるようにすることもできる。

マーカ全体を移動させ、マーカの基準点m1、m5が特徴空間における二つの特徴点t1、t2に重なり合うと、照合部１３は、マーカにおける基準点以外の特徴点m2、m3、m4、m6が置かれた位置に、特徴空間に配置された特徴点群のいずれかが重なって配置されているか否かを判断する。
判断の結果、重なって配置されているときは、照合部１３は、その配置された特徴点が、マーカから抽出された特徴点であると判断する。
一方、配置されていないときは、照合部１３は、この部分にはマーカにもとづく特徴点が存在しない（この部分には、マーカが映し出されていない）と判断する。

照合部１３は、このような重ね合わせの処理を、特徴空間の特徴点t1-tnのすべてに対して行う。すなわち、照合部１３は、マーカの基準点m1,m2を、特徴空間における二つの特徴点の組(t1,t2)→(t1,t3)→(t1,t4)→(t1,t5)→・・・→(t1,tn)→(t2,t1)→(t2,t2)→(t2,t3)→・・・→(t2,tn)→(t3,t1)→(t3,t2)→・・・に対して、それぞれ重ね合わせを行っていく。そして、その重ね合わせを行うたびに、マーカの特徴点m2、m3、m4、m6に一致する特徴空間の特徴点を探索し、それらマーカの特徴点m2等に一致する特徴空間の特徴点があるときは、その特徴点をマーカから抽出された特徴点であると判断し、一方、ないときは、この部分にはマーカの特徴点が存在しないと判断する。

これにより、照合部１３は、特徴空間に配置された特徴点群t1-tnの中から、検出対象映像に映し出されたマーカにもとづく特徴点を検出することができる。
なお、基準点以外のマーカの特徴点と特徴空間の特徴点が一致しているか否かの判断は、その特徴空間でユークリッド距離が既定値以下である場合に一致したものとみなすことができる。また、そのユークリッド距離が既定値以下の特徴点の数をスコアとして累積していってもよい。

さらに、マーカの特徴点群の中から二つの特徴点を基準点として選択し、この基準点を用いて重ね合わせの処理を行った後は、そのマーカにおける他の特徴点を基準点として選択し重ね合わせの処理を行う必要はない。これは、特徴空間の特徴点の中に検出対象映像に映し出されたマーカにもとづく特徴点がある場合、この特徴点は、マーカの基準点がm1,m2の場合でも、m1,m3の場合でも、m5,m6の場合でも検出されるからである。
ただし、検出精度を高めるために、マーカにおける二つの特徴点を基準点として順次選択し、この選択された基準点を用いて順次重ね合わせの処理を行うこともできる。
また、本実施形態において、基準点は、二つとしたが、二つに限るものではなく、三つ以上とすることもできる。

次いで、照合部１３は、特徴空間の特徴点群t1-tnの中から、マーカの特徴点m1-mnと一致するものを検出したときは、これを検出特徴点とする。
なお、前述したユークリッド距離を算出する場合、スコアが既定値を超えているときに、その特徴空間における当該特徴点を検出特徴点として受諾するようにしてもよい。また、この場合、ユークリッド距離の累積値が既定値以下である条件を付加してもよい。

続いて、照合部１３は、検出特徴点に関するデータをまとめた「検出特徴点情報テーブル」を作成する。
この「検出特徴点情報テーブル」は、「特徴点情報テーブル」の中から、検出特徴点とされた特徴点に関するデータを取り出してまとめたものである。図５に示す「検出特徴点情報テーブル」においては、t40、t53、t60等が検出特徴点である。
また、照合部１３は、特徴空間において検出特徴点が配置された位置又はこの位置を含む領域を「一致検出領域」として特定する。具体的には、図５に示す「検出特徴点情報テーブル」においては、(x1040,y1040)、(x1053,y1053)、(x1060,y1060)等で示される位置が「一致検出領域」である。
なお、「一致検出領域」は、一点、複数の点、線分、所定の広さの面、三次元空間の一部などによってその領域を特定することができる。

ここまで説明した各処理、すなわち、照合データ入力部１１が「特徴点情報テーブル」を入力してから、照合部１３が「検出特徴点情報テーブル」を作成するまでの処理は、照合データ入力部１１が「特徴点情報テーブル」を入力するたびに実行される。
これにより、「特徴点情報テーブル」は、照合データ入力部１１が入力した数だけ、照合データ記憶部１２に記憶される。また、「検出特徴点情報テーブル」は、「特徴点情報テーブル」と同数が、照合データ記憶部１２に記憶される。
なお、一の特徴空間から検出特徴点が検出されなかった場合、照合部１３は、その特徴空間について「検出特徴点情報テーブル」を作成することを要しない。この場合、照合データ記憶部１２は、「検出特徴点情報テーブル」を記憶しないことになる。ただし、一の特徴空間から検出特徴点が検出されなかったことについては、このことを示すデータを残しておくことが望ましい。この場合、照合部１３は、検出特徴点が無いことを示す「検出特徴点情報テーブル」を作成し、照合データ記憶部１２は、その「検出特徴点情報テーブル」を記憶することができる。

また、特徴空間における特徴点群の各配置の中に、マーカの特徴点群の配置に完全一致しているわけではないものの、非常に近いものがある場合、照合部１３は、それら特徴空間における特徴点群とマーカの特徴点群とのユークリッド距離を算出し、このユークリッド距離が既定値以下であるときに、それら特徴点が一致しているものと見なして、その特徴空間における特徴点を検出対象映像に映し出されたマーカにもとづく特徴点であると判断することもできる。

照合監視手段２０ａは、図２に示すように、監視データ記憶部２１と、照合監視部２２とを有している。
監視データ記憶部２１は、「検出特徴点情報テーブル」と、「検出特徴点監視テーブル」とを記憶する。
「検出特徴点監視テーブル」は、複数の「検出特徴点情報テーブル」をまとめたものである。

この「検出特徴点監視テーブル」は、図９に示すように、「ｘ座標」と、「ｙ座標」と、「検出特徴点の検出回数」と、「内訳」とを項目として構成することができる。
「ｘ座標」は、特徴空間におけるｘ座標を示す。
「ｙ座標」は、特徴空間におけるｙ座標を示す。
これら「ｘ座標」と「ｙ座標」は、照合部１３で検出された検出特徴点についてのｘ座標とｙ座標である。

「検出特徴点の検出回数」は、「ｘ座標」及び「ｙ座標」に示された座標において検出特徴点が検出された回数を示す。
「内訳」は、「ｘ座標」及び「ｙ座標」に示された座標において検出された検出特徴点の内訳を示す。具体的には、「内訳」は、その検出特徴点が検出されたフレーム画像を特定する情報と、このフレーム画像における検出特徴点の番号とを、検出特徴点ごとに示す。

照合監視部２２は、照合手段１０ａの照合データ記憶部１２から一又は二以上の「検出特徴点情報テーブル」を取り出して、監視データ記憶部２１に記憶させる。この「検出特徴点情報テーブル」を照合データ記憶部１２から取り出す処理は、照合データ記憶部１２が「検出特徴点情報テーブル」を記憶した直後でもよく、所定時間が経過するたびに行ってもよく、「検出特徴点情報テーブル」が所定数記憶されるたびに行ってもよい。

また、照合監視部２２は、所定のタイミングで、監視データ記憶部２１から複数の「検出特徴点情報テーブル」を取り出す。そして、照合監視部２２は、それら複数の「検出特徴点情報テーブル」を用いて「検出特徴点監視テーブル」を作成する。

この「検出特徴点監視テーブル」の作成は、次の手順で行うことができる。
照合監視部２２は、複数の「検出特徴点情報テーブル」を参照し、「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」が一致しているデータ列を抽出する。
次いで、照合監視部２２は、抽出した「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」を、「検出特徴点監視テーブル」の「ｘ座標」及び「ｙ座標」に示す。続いて、照合監視部２２は、「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」が一致しているデータ列の数を、その「ｘ座標」及び「ｙ座標」に関連付けて「検出特徴点の検出回数」に示す。さらに、照合監視部２２は、抽出したデータ列のうちの「検出特徴点の番号」と、これを抽出した「フレーム画像のシリアル番号」を、その「ｘ座標」及び「ｙ座標」に関連付けて「内訳」に示す。
この処理を実行することにより、「検出特徴点監視テーブル」には、検出特徴点が複数回検出された「一致検出領域」を、その検出回数とともに示すことができる。

また、照合監視部２２は、複数の「検出特徴点情報テーブル」を参照し、「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」に示されたｘ座標及びｙ座標の中で、一回しか表れていないｘ座標及びｙ座標と、これらに関連付けられたデータ列とを抽出する。
次いで、照合監視部２２は、抽出した「検出特徴点のｘ座標」及び「検出特徴点のｙ座標」を、「検出特徴点監視テーブル」の「ｘ座標」及び「ｙ座標」に示す。続いて、照合監視部２２は、その「ｘ座標」及び「ｙ座標」に関連付けて「検出特徴点の検出回数」に「１」を示す。さらに、照合監視部２２は、抽出したデータ列のうちの「検出特徴点の番号」と、これを抽出した「フレーム画像のシリアル番号」を、その「ｘ座標」及び「ｙ座標」に関連付けて「内訳」に示す。
この処理を実行することにより、「検出特徴点監視テーブル」には、検出特徴点が一回のみ検出された「一致検出領域」を示すことができる。
そして、これらの手順を実行することにより、「検出特徴点監視テーブル」を作成することができる。

さらに、照合監視部２２は、その「検出特徴点監視テーブル」の「検出特徴点の検出回数」を参照し、検出回数が所定回数以下の検出特徴点を抽出する。
ここで、「検出特徴点の検出回数」に示される数がフレーム画像と同数の場合（例えば、図９の「５０」などの場合）は、この座標にマーカが存在することを意味する。また、「検出特徴点の検出回数」に示される数がフレーム画像の数よりも少ないものの比較的大きい数の場合（例えば、「４０」や「３０」などの場合）は、この座標でマーカが検出されることが多いことを意味する。一方、この「検出特徴点の検出回数」に示される数が少ない場合は、この座標でマーカが検出されることが少ないことを意味する。特に、「検出特徴点の検出回数」において、「１」のような数が示されている場合には、検出対象映像の背景部分が変化したことによって、マーカ生成段階における背景映像に表れていなかったパターンが表れ、この新出パターンがマーカパターンとして誤認して過剰に検出されたものとみなすことができる。
そして、照合監視部２２は、「検出特徴点の検出回数」が所定数以下（例えば、１以下）である「一致検出領域」を「マーカ非出現領域」として特定する。また、照合監視部２２は、この「マーカ非出現領域」に位置する検出特徴点を、「非マーカ特徴点」として特定する。

なお、検出対象映像の背景部分が変化する場合としては、例えば、その検出対象映像に動体が映し出された場合が挙げられる。
動体とは、時間の経過とともに位置や形状、色、テクスチャなどの状態等が変化するもの、言い換えれば、検出対象映像から抽出される特徴点が時間の経過とともに変化するものをいう。

すなわち、この動体には、例えば、存在する位置が変わっていくもの、位置はそのままで形状などが変化するもの、存在する位置と形状等の両方が変化するもの、発生が短時間のものなどがある。
存在する位置が変わっていくものには、例えば、ベルトコンベアで運ばれている物、走行中の自動車、投げられたボールなどがある。
位置はそのままで形状などが変化するものには、例えば、風になびくカーテン、羽根が回転しながら首を振る扇風機、まわる回転灯、モニタに映し出された映像などがある。
存在する位置と形状等の両方が変化するものには、例えば、歩いている人、動いている動物、転がる石、落ちている葉、人などによって動かされている物（ランナーが持つ旗、コンベア搬送による製造過程にあるパン）などがある。
発生が短時間のものには、例えば、煙、土埃、打ち上げられた花火などがある。

また、特徴点を色相、明度、彩度によって抽出する場合、動体には、色相、明度、彩度が変化するものが含まれ、テクスチャが変化するものも含まれる。
さらに、動体には、非剛体が含まれる。非剛体とは、剛体でないもの、すなわち、外部又は内部からの力に対して変形するものをいう。この非剛体には、例えば、風になびくカーテン、指で抑えつけられたボールなどが含まれる。

そして、動体の存在によって「マーカ非出現領域」が発生する場合としては、例えば、動体から抽出された特徴点の全部又は一部の配置がマーカから抽出された特徴点の配置と一致又は近似する場合、動体が変形することにより特徴点の配置が変化する場合において、あるタイミングでの動体にもとづく特徴点の全部又は一部の配置がマーカから抽出された特徴点の配置と一致又は近似する場合、動体から抽出された特徴点の全部又は一部とこの動体の近傍の背景部分から抽出された特徴点の配置がマーカから抽出された特徴点の配置と一致又は近似する場合などが挙げられる。

（II）マーカ検出方法
次に、本実施形態のマーカ検出装置の動作（マーカ検出方法）について、図１０、図１１を参照して説明する。
図１０は、照合手段の動作手順を示すフローチャートである。図１１は、照合監視手段の動作手順を示すフローチャートである。

（II-1）照合手段の動作手順
図１０に示すように、マーカ検出装置１ａにおいて、照合手段１０ａの照合データ入力部１１は、外部から「特徴点情報テーブル」と、「マーカ情報テーブル」とを入力する（ステップ１０）。
照合データ記憶部１２は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」を記憶する。

照合部１３は、照合データ記憶部１２から「特徴点情報テーブル」と「マーカ情報テーブル」を取り出す。そして、照合部１３は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」に示されたデータを用いて、検出対象映像から抽出された特徴点群（特徴空間に配置された特徴点群）の配置の中に、マーカから抽出された特徴点群の配置と一致するものがあるか否かを判断する（ステップ１１、照合処理）。なお、必要な場合は、図８（i）、（ii）に示したような、マーカの伸長又は短縮の処理を実行する。

判断の結果、特徴空間に配置された特徴点群の配置の中に、マーカから抽出された特徴点群の配置と一致するものがあるときは、照合部１３は、そのマーカの特徴点群と一致した特徴空間の特徴点のそれぞれを検出特徴点とする（ステップ１２、検出特徴点の検出）。また、照合部１３は、その検出特徴点が配置されている位置又はこの位置を含む領域を「一致検出領域」として特定する。
そして、照合部１３は、その検出特徴点に関するデータをまとめた「検出特徴点情報テーブル」を作成する（ステップ１３）。照合データ記憶部１２は、「検出特徴点情報テーブル」を記憶する。

ここで、照合部１３は、所定時間の経過、所定数の「特徴点情報テーブル」の入力、所定数の検出特徴点の検出、電源スイッチのＯＦＦなど、所定の条件を満たしているか否かを判断する（ステップ１４）。
判断の結果、所定の条件を満たしているときは、照合部１３を含む照合手段１０ａは、ステップ１０〜ステップ１４の一連の処理を終了する。
一方、所定の条件を満たしていないときは、照合部１３は、照合データ入力部１１で「特徴点情報テーブル」が入力されたか否かを判断する（ステップ１５）。
判断の結果、「特徴点情報テーブル」が入力されたときは、照合部１３は、ステップ１１以降の処理を実行する。

（II-2）照合監視手段の動作手順
図１１に示すように、マーカ検出装置１ａにおいて、照合監視手段２０ａの照合監視部２２は、照合データ記憶部１２が新たに「検出特徴点情報テーブル」を記憶したか否かを判断する（ステップ２０）。
判断の結果、照合データ記憶部１２が新たに「検出特徴点情報テーブル」を記憶したときは、照合監視部２２は、その「検出特徴点情報テーブル」を取り出して、監視データ記憶部２１に記憶させる（ステップ２１）。
一方、照合データ記憶部１２に新たに「検出特徴点情報テーブル」を記憶していないとき（照合データ記憶部１２に記憶されている「検出特徴点情報テーブル」と、監視データ記憶部２１に記憶されている「検出特徴点情報テーブル」が同じであるとき）は、照合監視部２２は、「検出特徴点情報テーブル」の取り出し等は実行しない。

次いで、照合監視部２２は、所定の条件を満たしているか否かを判断する（ステップ２２）。ここで、所定の条件とは、例えば、所定時間の経過、「検出特徴点情報テーブル」の所定数の記憶、検出特徴点の所定数の検出などをいう。
判断の結果、所定の条件を満たしているときは、照合監視部２２は、監視データ記憶部２１から複数の「検出特徴点情報テーブル」を取り出す。
次いで、照合監視部２２は、それら複数の「検出特徴点情報テーブル」を一の「検出特徴点監視テーブル」にまとめる（ステップ２３）。
監視データ記憶部２１は、「検出特徴点監視テーブル」を記憶する。

さらに、照合監視部２２は、その「検出特徴点監視テーブル」の「検出特徴点の検出回数」を参照し、検出回数が所定回数以下の検出特徴点を抽出する。
そして、照合監視部２２は、その抽出した検出特徴点を検出対象映像に一時的に表れたパターンにもとづく非マーカ特徴点であると特定する（ステップ２４）。また、照合監視部２２は、その非マーカ特徴点が配置された「一致検出領域」を「マーカ非出現領域」として特定する。
一方、検出回数が所定回数以上の検出特徴点については、マーカにもとづく特徴点であると判断する。そして、この検出特徴点が配置された「一致検出領域」を「マーカ検出領域」として特定する。

なお、「一致検出領域」は、一点、複数の点、線分、所定の広さの面、三次元空間の一部などによってその領域を特定することができる。このため、「マーカ検出領域」及び「マーカ非出現領域」についても同様に、一点、複数の点、線分、所定の広さの面、三次元空間の一部などによってそれらの領域を特定することができる。

以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、複数の検出対象映像から抽出された特徴点群の配置の中にマーカの特徴点群の配置と一致するものがある場合に、その一致した特徴点が配置された位置を「一致検出領域」とし、複数の検出対象映像から抽出された複数の特徴点のうち「一致検出領域」に配置される特徴点の数が非常に少ないときには、その特徴点を、動体にもとづく特徴点（非マーカ特徴点）として特定し、この非マーカ特徴点が配置された位置を「マーカ非出現領域」として特定することができる。

これにより、動体の変形、経時変化、複数物体の干渉などにより出現したパターンにもとづく特徴点の配置がマーカにもとづく特徴点の配置と偶然に一致した場合でも、その特徴点が、所望のマーカにもとづくものではなく、動体にもとづくものであるとの判断が可能となる。
したがって、マーカが付されていない物体を誤って過剰検出したことを認識できるとともに、正規のマーカを安定かつ確実に検出することができる。

［マーカ検出装置及びマーカ検出方法の第二実施形態］
次に、本発明のマーカ検出装置及びマーカ検出方法の第二の実施形態について、図１２を参照して説明する。
図１２は、本実施形態のマーカ検出装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段と、特徴抽出手段と、マーカ記憶手段と、報知手段とを新たに備えた点が相違する。他の構成要素は第一実施形態と同様である。
したがって、図１２において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

（マーカ検出装置）
図１２に示すように、マーカ検出装置１ｂは、照合手段１０ｂと、照合監視手段２０ｂと、映像入力手段３０と、特徴抽出手段４０ｂと、マーカ記憶手段５０と、報知手段６０とを備えている。
ここで、映像入力手段３０は、図１３に示すように、映像入力部３１と、映像記憶部３２とを有している。

映像入力部３１は、検出対象映像（マーカ検出用の画像）を入力する。
検出対象映像は、マーカ生成装置（後述）により生成されたマーカが付されている物体が存在する可能性のある環境を撮影したものである。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、その物体を搬送している状態のベルトコンベア、搬送する前の状態や搬送した後の状態のベルトコンベア、及び、ベルトコンベアの周辺を撮影した映像などが該当する。
この検出対象映像は、動画像（映像）であってもよく、また、所定時間間隔で撮影した複数枚の静止画像であってもよい。
さらに、検出対象映像には、ライブ映像、録画映像、配信映像などを含むことができる。

また、映像入力部３１は、自身が撮像デバイスを有することができる。この場合、映像入力部３１は、当該マーカ検出装置１ｂが設置された場所の周囲の様子を検出対象映像として撮影することができる。
さらに、映像入力部３１は、当該マーカ検出装置１ｂ以外の装置で取り込まれた検出対象映像を、通信ネットワークや通信ケーブルなどを介して入力することもできる。

この映像入力部３１が撮影又は入力した検出対象映像の例を、図１４（i-11）〜（i-15）、図１５（i-21）〜（i-25）に示す。
撮影角度（カメラアングル）が同じであって、写し出されている物がすべて静止している場合、検出対象映像は、図１４（i-11）〜（i-15）に示すように、どの撮影時刻においても同じになる。これに対し、検出対象映像に動く物体（動体）が映し出された場合、その動体が写し出された画像（図１５（i-23））と、他の画像（図１５（i-21）、（i-22）、（i-24）、（i-25））とは、その動体がある部分で異なっている。

映像記憶部３２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。検出対象映像を構成する静止画フレームとは、例えば、図１４（i-11）〜（i-15）に示す各画像の一枚一枚をいう。
また、映像記憶部３２は、複数のフレーム画像のそれぞれに付された番号（例えば、シリアル番号）を記憶する。この番号は、一枚のフレーム画像を一意に特定する。図１４においては、（i-11）、（i-12）、（i-13）、・・・が該当する。
さらに、映像記憶部３２は、フレーム画像が撮影された時刻、フレーム画像を撮影した装置を特定する情報（フレーム画像が外部入力されたものである場合）などを記憶することもできる。

特徴抽出手段４０ｂは、図１３に示すように、特徴抽出部４１と、特徴記憶部４２とを有している。
特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出す。そして、特徴抽出部４１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
画像特徴としては、例えば、図形的に特徴的な特性を数値化したものを用いることができる。
これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されているTommasiniらによる「Making good features track better」に記載されている方法を使用することができる。この方法は、画像中の物体形状に頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図１４（i-11）のフレーム画像に対して、この方法で特徴点を抽出すると、図１６に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。
なお、特徴点が配置された空間を特徴空間という。

また、他の方法としては、例えば、Montanariによる１９７１年Communications of ACM、１４巻に掲載されている「On the option detection of curves in noisy pictures」に記載の方法がある。これは、基準点からの距離、相対角度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。

次いで、特徴抽出部４１は、図６に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番にt1、t2、t3、t4、・・・のように付与することができる。
続いて、特徴抽出部４１は、特徴点のそれぞれの座標を求める。座標は、図６に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。
なお、図６に示す白い丸（t40,t53,t60,t61,t64,t65）は、図１４（i-11）に示すマーカ（人が持っているボードに描かれたマーカ）から抽出された特徴点である。

そして、特徴抽出部４１は、それら特徴点のシリアル番号や座標を含む「特徴点情報テーブル」を作成する。
「特徴点情報テーブル」は、図１７に示すように、「フレーム画像のシリアル番号」（ア）と、「特徴点のシリアル番号」（イ）と、「特徴点のｘ座標」（ウ）と、「特徴点のｙ座標」（エ）と、「特徴点に関する情報」（オ）とを項目として構成することができる。

「フレーム画像のシリアル番号」、「特徴点のシリアル番号」、「特徴点のｘ座標」、「特徴点のｙ座標」は、図３に示す「特徴点情報テーブル」の「フレーム画像のシリアル番号」、「特徴点のシリアル番号」、「特徴点のｘ座標」、「特徴点のｙ座標」と同様である。
「特徴点に関する情報」は、例えば、特徴として認識された要素（エッジ、交差など）、特徴点が位置する画素の色相、明度、彩度、テクスチャなどを含むことができる。なお、この「特徴点に関する情報」は、省略することができる。この場合は、図３に示す構成の「特徴点情報テーブル」が作成される。
特徴抽出部４１は、映像記憶部３２に記憶されたフレーム画像ごとに、特徴点を抽出し、「特徴点情報テーブル」を作成する。

特徴記憶部４２は、所定のメモリ領域を保持している。この特徴記憶部４２は、特徴抽出部４１で実行された処理に関する各種データを記憶する。特に、特徴記憶部４２は、「特徴点情報テーブル」を一又は二以上記憶することができる。

マーカ記憶手段５０は、マーカに関するデータを記憶する。
マーカは、マーカ生成装置（後述）で生成される。
このマーカは、図１８（ｉ）〜（iv）に示すように、種々の形状に形成することができる。ただし、マーカから抽出される特徴点は、特異特徴（後述）の配置と一致していることを要する。
このマーカ記憶手段５０は、図４に示す「マーカ情報テーブル」を記憶している。
なお、マーカ記憶手段５０は、例えば、マーカの形状、マーカを構成する線分の座標、マーカから抽出される特徴点の座標などを記憶することができる。

照合手段１０ｂは、図１３に示すように、照合データ入力部１１と、照合データ記憶部１２と、照合部１３とを有している。
照合データ入力部１１は、特徴抽出手段４０ｂの特徴記憶部４２から「特徴点情報テーブル」を取り出す。また、照合データ入力部１１は、マーカ記憶手段５０から「マーカ情報テーブル」を取り出す。そして、照合データ入力部１１は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」を照合データ記憶部１２に記憶させる。
照合データ記憶部１２は、「特徴点情報テーブル」と、「マーカ情報テーブル」と、「検出特徴点情報テーブル」とを記憶する。

照合部１３は、照合データ記憶部１２から「特徴点情報テーブル」と「マーカ情報テーブル」を取り出す。そして、照合部１３は、それら「特徴点情報テーブル」及び「マーカ情報テーブル」に示されたデータを用いて、検出対象映像から抽出された特徴点群（特徴空間に配置された特徴点群）の配置の中に、マーカから抽出された特徴点群の配置と一致するものがあるか否かを判断する。

判断の結果、一致しているものがあるときは、照合部１３は、特徴空間における、その一致した特徴点が、マーカにもとづく特徴点であると判断し、これを検出特徴点とする。また、この検出特徴点が配置された位置又はこの位置を含む領域を「一致検出領域」として特定する。そして、照合部１３は、検出特徴点に関するデータをまとめた「検出特徴点情報テーブル」を作成する。
一方、一致しているものがないときは、照合部１３は、その特徴空間には、マーカにもとづく特徴点がなかったと判断する。
なお、照合部１３は、このような判断処理を、「特徴点情報テーブル」が照合データ記憶部１２に記憶されるたびに（フレーム画像ごとに）実行する。

照合監視手段２０ｂは、図１３に示すように、監視データ記憶部２１と、照合監視部２２とを有している。
照合監視部２２は、複数の「検出特徴点情報テーブル」を用いて「検出特徴点監視テーブル」を作成する。また、照合監視部２２は、その「検出特徴点監視テーブル」の「検出特徴点の検出回数」を参照する。そして、照合監視部２２は、検出回数が所定回数以下の検出特徴点を抽出すると、その抽出した検出特徴点を非マーカ特徴点であると特定し、この非マーカ特徴点が配置された「一致検出領域」を「マーカ非出現領域」として特定する。一方、検出回数が所定回数以上の検出特徴点を抽出すると、その抽出した検出特徴点が配置された「一致検出領域」を「マーカ検出領域」として特定する。そして、照合監視部２２は、非マーカ特徴点又は「マーカ非出現領域」を特定したときは、報知手段６０に報知信号を送る。

報知手段６０は、マーカが検出されたこと、非マーカ特徴点が特定されたこと、「マーカ非出現領域」が特定されたことなどを外部に知らせる。
この報知手段６０は、図１３に示すように、表示部６１と、音声出力部６２と、信号出力部６３とを有することができる。

表示部６１は、図１９に示すように、映像入力部３１で入力された検出対象映像を表示する。また、表示部６１は、マーカが検出された箇所を「マーカ検出領域」として表示することができる。さらに、表示部６１は、非マーカ特徴点が検出された箇所を「マーカ非出現領域」として表示することができる。
この表示部６１における「マーカ検出領域」や「マーカ非出現領域」の表示は、「検出特徴点監視テーブル」に示されたｘ座標やｙ座標にしたがって行うことができる。

また、「マーカ非出現領域」の表示は、すなわち、マーカ検出が誤って行われた箇所を示している。このため、その「マーカ非出現領域」の表示は、目立つように色を変えて表示したり、上から紙を貼るなどして隠蔽したりすることが望ましい。これにより、「マーカ非出現領域」でマーカが正規に検出されたものとユーザが誤って認識するのを避けることができる。
さらに、非マーカ特徴点が検出されたことで、表示部６１は、マーカの再設計を促す表示をすることもできる。

音声出力部６２は、例えば、スピーカなどで構成することができる。この音声出力部６２は、所定の音声を出力することで、マーカや非マーカ特徴点が検出されたことを外部に知らせる。
信号出力部６３は、所定の信号を外部に送信する。この信号の送信は、有線であってもよく、無線であってもよい。この信号出力部６３から出力された信号を受信した装置は、所定の報知を行う。

なお、図１３においては、報知手段６０が、表示部６１と音声出力部６２と信号出力部６３とを有する構成としてあるが、報知手段６０は、この構成に限るものではなく、それら表示部６１等のうちの一又は二以上によって構成することもできる。

（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図２０を参照して説明する。
マーカ記憶手段５０は、マーカに関するデータを含む「マーカ情報テーブル」を予め記憶している（ステップ３０）。

映像入力手段３０の映像入力部３１は、マーカが存在する可能性のある環境を検出対象映像として入力する（ステップ３１）。
映像記憶部３２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。

特徴抽出手段４０ｂの特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出す。そして、特徴抽出部４１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴（特徴点）を抽出する（ステップ３２）。
また、特徴抽出部４１は、抽出した特徴点の座標を算出し、「特徴点情報テーブル」を作成する（ステップ３３）。特徴記憶部４２は、「特徴点情報テーブル」を記憶する。

照合手段１０ｂの照合データ入力部１１は、特徴記憶部４２から「特徴点情報テーブル」を取り出す。また、照合データ入力部１１は、マーカ記憶手段５０から「マーカ情報テーブル」を取り出す。
照合部１３は、「特徴点情報テーブル」と「マーカ情報テーブル」とを用いて、検出対象映像にもとづく特徴点群の配置の中に、マーカパターンにもとづく特徴点群の配置と一致するものがあるか否かを判断する（ステップ３４）。

判断の結果、検出対象映像にもとづく特徴点群の配置の中に、マーカパターンにもとづく特徴点群の配置と一致する特徴点があるときは、照合部１３は、検出対象映像における当該特徴点を検出特徴点とし、この検出特徴点の座標を示す「検出特徴点情報テーブル」を作成する（ステップ３５）。そして、照合データ記憶部１２は、「検出特徴点情報テーブル」を記憶する。
一方、検出対象映像にもとづく特徴点群の配置の中に、マーカパターンにもとづく特徴点と一致する特徴点群の配置がないときは、照合部１３は、特徴点の座標の検出及び報知信号の送出を行わない。

照合監視手段２０ｂの照合監視部２２は、所定のタイミング（一定時間の経過、所定枚数の「検出特徴点情報テーブル」の記憶）であるか否かを判断する（ステップ３６）。
判断の結果、所定のタイミングでないときは、ステップ３１〜ステップ３６の処理を繰り返す。
一方、所定のタイミングであるときは、照合監視部２２は、照合データ記憶部１２から「検出特徴点情報テーブル」を複数取り出す。

次いで、照合監視部２２は、それら複数の「検出特徴点情報テーブル」を用いて、「検出特徴点監視テーブル」を作成する（ステップ３７）。
続いて、照合監視部２２は、その「検出特徴点監視テーブル」を参照し、検出回数が所定数以下の検出特徴点があるか否かを判断する（ステップ３８）。
判断の結果、検出回数が所定数以下の検出特徴点があるときは、これを非マーカ特徴点として検出する（ステップ３９）。そして、照合監視部２２は、報知手段６０へ報知信号を送る。
報知手段６０は、照合監視部２２から報知信号を受けると、非マーカ特徴点が検出されたことを外部に報知する（ステップ４０）。

一方、検出回数が所定数以下の検出特徴点がないときは、非マーカ特徴点は検出されず、報知信号の送出も行われない。
その後は、終了するか否かが判断され（ステップ４１）、終了しないときは、ステップ３１〜ステップ４１の処理が繰り返される。

以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、検出対象映像から抽出された複数の特徴点の配置のうち、マーカにもとづく特徴点の配置と一致するものがあるときに、その特徴点の配置位置を「一致検出領域」とし、複数の検出対象映像から抽出された複数の特徴点のうち「一致検出領域」に配置される特徴点の数が所定数以下であるときは、その「一致検出領域」を、動体の存在により過剰検出された「マーカ非出現領域」であるとして特定できる。
このように、検出された「一致検出領域」を、所望の物体に付されたマーカにもとづく「マーカ検出領域」と、動体から抽出された特徴点にもとづく「マーカ非出現領域」とに区別することができるので、所望の物体を安定して確実に検出できる。

［マーカ検出装置及びマーカ検出方法の第三実施形態］
次に、本発明のマーカ検出装置及びマーカ検出方法の第三の実施形態について、図２１を参照して説明する。
図２１は、本実施形態のマーカ検出装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段と、特徴抽出手段と、マーカ記憶手段と、報知手段と、不変特徴変換手段とを新たに備えた点が相違する。他の構成要素は第一実施形態と同様である。
したがって、図２１において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

（マーカ検出装置）
図２１に示すように、マーカ検出装置１ｃは、照合手段１０ｃと、照合監視手段２０ｃと、映像入力手段３０と、特徴抽出手段４０ｃと、マーカ記憶手段５０と、報知手段６０と、不変特徴変換手段７０とを備えている。
ここで、不変特徴変換手段７０は、図２２に示すように、不変特徴変換部７１と、不変特徴記憶部７２とを有している。

不変特徴変換部７１は、特徴抽出手段４０ｃの特徴記憶部４２から「特徴点情報テーブル」（図１７参照）を取り出す。そして、不変特徴変換部７１は、その「特徴点情報テーブル」に示された特徴点を不変量特徴空間に写像する。
この写像は、次の手順で行うことができる。
あるフレーム画像から抽出した特徴点は、図１６に示すように、特徴空間に配置されているものとする。
ここで、不変特徴変換部７１は、各特徴点にシリアル番号を付す。このシリアル番号は、特徴空間において上から順番に付すことができる。本実施形態において、シリアル番号は、図６に示すように付されたものとする。

次いで、不変特徴変換部７１は、一つの特徴点を基底として定め、この基底が不変量特徴空間の座標（０，０）のところにくるように移動し、この移動量を求め、他のすべての特徴点についても、その移動量で不変量特徴空間に移動させる。
例えば、図２３に示すように、シリアル番号５番の特徴点を基底とし、この５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動する。これにより、不変量特徴空間には、同図右に示すように特徴点が配置される。なお、不変量特徴空間に配置された特徴点を不変特徴という。

また、図２４に示すように、シリアル番号１５番の特徴点を基底とし、この１５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
さらに、図２５に示すように、シリアル番号９５番の特徴点を基底とし、この９５番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。
そして、図２６に示すように、シリアル番号９７番の特徴点を基底とし、この９７番の特徴点が不変量特徴空間で座標（０，０）のところにくるように、すべての特徴点を平行移動すると、同図右の不変量特徴空間に示すように、不変特徴群が配置される。

このように、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点に移動するのに伴って、その移動量と同じ移動量ですべての特徴点を移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
図６に示す特徴点を不変量特徴空間に写像した結果は、図２７に示すようになる。これが、不変量特徴空間における不変特徴の配置された状態である。

なお、本実施形態において、特徴点を不変量特徴空間へ写像する方法は、図２３〜図２７に示す方法とするが、写像方法は、この方法に限るものではなく、種々の方法を用いることができる。
例えば、複数の特徴点のうちの一つを第一基底、他の一つを第二基底として定め、第一基底を不変量特徴空間の座標（0,0）に移動し、第二基底を（0,1）に移動することにともない、この移動規則と同一の変換規則にしたがって、すべての特徴点を移動させ、不変量特徴空間における移動後の各特徴点（不変特徴）の座標を記憶する。続いて、他の二つの特徴点を第一基底及び第二基底として定め、これら第一及び第二基底の移動にともない同一変換規則にしたがってすべての特徴点を移動させ、不変量特徴空間における不変特徴の座標を記憶する。そして、すべての特徴点が第一及び第二基底として定められ、不変量特徴空間における不変特徴の座標の蓄積が完了すると、不変量特徴空間への写像が終了する。
また、三つの特徴点を第一基底、第二基底、第三基底として定め、これら基底が不変量特徴空間の座標（0,0）、（0,1）、（1,0）に移動するように、すべての特徴点を移動させることもできる。

また、不変特徴変換部７１は、不変量特徴空間に配置された不変特徴のそれぞれの座標を算出する。そして、不変特徴変換部７１は、「不変特徴情報テーブル」を作成する。
「不変特徴情報テーブル」は、図２８に示すように、「不変量特徴空間のシリアル番号」と、「不変特徴のシリアル番号」と、「不変特徴のｘ座標」と、「不変特徴のｙ座標」と、「特徴点のシリアル番号」とを項目として構成することができる。
「不変量特徴空間のシリアル番号」は、不変量特徴空間に付された番号を示す。
「不変特徴のシリアル番号」は、複数の不変特徴のそれぞれに付された番号を示す。

「不変特徴のｘ座標」は、不変量特徴空間における、その不変特徴のｘ座標を示す。
「不変特徴のｙ座標」は、不変量特徴空間における、その不変特徴のｙ座標を示す。
「特徴点のシリアル番号」は、不変量特徴空間に写像される前の特徴点に付された番号を示す。

不変特徴記憶部７２は、所定のメモリ領域を保持している。この不変特徴記憶部７２は、不変特徴変換部７１で求められた各種データを記憶する。特に、不変特徴記憶部７２は、「不変特徴情報テーブル」を記憶する。

照合手段１０ｃは、図２２に示すように、照合データ入力部１１と、照合データ記憶部１２と、照合部１３と、マーカ変換部１４と、照合範囲特定部１５とを有している。
照合データ入力部１１は、不変特徴変換手段７０の不変特徴記憶部７２から、「不変特徴情報テーブル」（図２８参照）を取り出す。また、照合データ入力部１１は、マーカ記憶手段５０から「マーカ情報テーブル」（図４参照）を取り出す。これら「不変特徴情報テーブル」と「マーカ情報テーブル」は、照合データ記憶部１２に記憶される。

マーカ変換部１４は、マーカにもとづく特徴点を用いて、そのマーカにもとづく特異特徴を抽出する。
この処理は、図２９（ｉ）〜（iii）に示す手順で行うことができる。
マーカ変換部１４は、照合データ記憶部１２から「マーカ情報テーブル」を取り出す。この「マーカ情報テーブル」に示された特徴点m1〜mnを、同テーブルに示されたｘ座標とｙ座標にしたがって特異特徴空間に配置すると、図２９（ｉ）に示すようになる。
次いで、特異特徴空間に格子状のメッシュを掛ける（図２９（ii））。このメッシュは、不変量特徴空間（後述）に付されるメッシュと同じ格子間隔とする。
続いて、格子線で区切られた各区画のうち、マーカの特徴点が配置された区画を特異特徴として抽出する。図２９（iii）においては、黒塗りした区画が特異特徴として抽出される。

そして、マーカ変換部１４は、マーカにもとづく特異特徴を抽出すると、「マーカ用特異特徴テーブル」を作成する。
「マーカ用特異特徴テーブル」は、図３０に示すように、「マーカのシリアル番号」と、「特徴点のシリアル番号」と、「特徴点のｘ座標」と、「特徴点のｙ座標」と、「特異特徴のシリアル番号」と、「特異特徴のｘ座標」と、「特異特徴のｙ座標」とを項目として構成することができる。

「マーカのシリアル番号」は、特異特徴空間へ写像したマーカの番号を示す。
「特徴点のシリアル番号」、「特徴点のｘ座標」、「特徴点のｙ座標」は、「マーカ情報テーブル」（図４参照）を構成する「特徴点のシリアル番号」、「特徴点のｘ座標」、「特徴点のｙ座標」と同じ意味である。
「特異特徴のシリアル番号」は、各特異特徴に付されたシリアル番号を示す。
「特徴点のｘ座標」は、特異特徴空間における特異特徴のｘ座標を示す。
「特徴点のｙ座標」は、特異特徴空間における特異特徴のｙ座標を示す。
この「マーカ用特異特徴テーブル」は、照合データ記憶部１２に記憶される。

また、図２９（iii）に示す特異特徴を「マーカ用特異特徴テーブル」に表すと、図３１に示すようになる。
すなわち、六つの特異特徴のそれぞれにシリアル番号s1-s6が付されて「マーカ用特異特徴テーブル」のオ欄に表される。また、各特異特徴s1-s6が配置された区画のｘ座標とｙ座標が「マーカ用特異特徴テーブル」のカ欄及びキ欄に表される。

照合範囲特定部１５は、図２７に示した不変量特徴空間にメッシュを掛け、図３２に示すように、複数の区画に分ける。なお、形成された複数の区画のうち、不変特徴が配置された区画をグレーで表示すると、図３３に示すようになる。
次いで、照合範囲特定部１５は、図３４に示すように、不変量特徴空間においてマーカ照合範囲を特定する。このマーカ照合範囲は、マーカ生成時に特定されるマーカパターン生成範囲（後述）と同じ範囲とすることができる。

照合部１３は、図３４に示したマーカ照合範囲に、図２９（iii）に示した特異特徴空間における各区画をあてはめる。このあてはめた状態を図３５に示す。これにより、照合部１３は、不変量特徴空間における、マーカにもとづく特異特徴の座標を求めることができる。なお、図３５において、黒で塗り潰した区画がマーカにもとづく特異特徴である。

次いで、照合部１３は、「マーカ検出テーブル」を作成する。
「マーカ検出テーブル」は、図３６に示すように、「不変量特徴空間のシリアル番号」（ア）、「特異特徴のシリアル番号」（イ）、「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」（ウ）、「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」（エ）、「不変特徴の数」（オ）を項目として構成することができる。
「不変量特徴空間のシリアル番号」は、不変量特徴空間のそれぞれに付された番号を示す。
「特異特徴のシリアル番号」は、特異特徴のそれぞれに付された番号を示す。

「不変特徴の数」は、その特異特徴に位置する不変特徴の数を示す。
この「不変特徴の数」は、当該「マーカ検出テーブル」の「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」及び「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」、「不変特徴情報テーブル」（図２８参照）の「不変特徴のｘ座標」及び「不変特徴のｙ座標」を用いて算出できる。
すなわち、当該「マーカ検出テーブル」の「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」及び「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」によって特異特徴を特定し、この特定した特異特徴の範囲内に、「不変特徴情報テーブル」の「不変特徴のｘ座標」及び「不変特徴のｙ座標」の両方が含まれる不変特徴があるときは、「不変特徴の数」を加算する。
この「マーカ検出テーブル」は、照合データ記憶部１２に記憶される。
そして、照合部１３は、「不変特徴の数」が所定数以上（例えば、１以上）の特異特徴を「一致検出領域」として検出する。

照合監視手段２０ｃは、監視データ記憶部２１と、照合監視部２２とを有している。
監視データ記憶部２１は、「不変特徴情報テーブル」、「マーカ検出テーブル」、「検出不変特徴監視テーブル」を記憶する。

照合監視部２２は、照合手段１０ｃの照合データ記憶部１２から「マーカ検出テーブル」（図３６参照）を取り出して、監視データ記憶部２１に記憶させる。この「マーカ検出テーブル」を照合データ記憶部１２から取り出す処理は、照合データ記憶部１２が「マーカ検出テーブル」を記憶した直後でもよく、所定時間が経過するたびに行ってもよく、「マーカ検出テーブル」が所定数記憶されるたびに行ってもよい。

また、照合監視部２２は、所定のタイミングで、監視データ記憶部２１から複数の「マーカ検出テーブル」を取り出す。そして、照合監視部２２は、それら複数の「マーカ検出テーブル」を用いて「検出不変特徴監視テーブル」を作成する。
「検出不変特徴監視テーブル」は、図３７に示すように、「特異特徴のシリアル番号」と、「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」と、「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」と、「不変特徴の合計数」と、「不変量特徴空間のシリアル番号」とを項目として有することができる。

この「検出不変特徴監視テーブル」は、次の手順で作成することができる。
照合監視部２２は、複数の「マーカ検出テーブル」を参照し、これら複数の「マーカ検出テーブル」に示された「特異特徴のシリアル番号」、「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」、「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」のすべてを、「検出不変特徴監視テーブル」の「特異特徴のシリアル番号」、「不変量特徴空間における、マーカにもとづく特異特徴のｘ座標」、「不変量特徴空間における、マーカにもとづく特異特徴のｙ座標」に表す。ここで、重複した「特異特徴のシリアル番号」等があるときは、一つにまとめて表す。
なお、特異特徴が、図３５に示すように六つあるときは、「特異特徴のシリアル番号」等は、それら六つの特異特徴に関するシリアル番号等が示される。

次いで、照合監視部２２は、複数の「マーカ検出テーブル」を参照し、「不変特徴の数」について、「特異特徴のシリアル番号」等が共通するものを合計する。
例えば、「不変量特徴空間のシリアル番号」が「Ｆ１」の「マーカ検出テーブル」に、「特異特徴のシリアル番号」が「ｓ１」、これに関連付けられた「不変特徴の数」が「１」のデータがあり、「不変量特徴空間のシリアル番号」が「Ｆ２」の「マーカ検出テーブル」に、「特異特徴のシリアル番号」が「ｓ１」、これに関連付けられた「不変特徴の数」が「１」のデータがあるときは、「特異特徴のシリアル番号」が共通している「不変特徴の数」を合計し、「１」＋「１」＝「２」を算出する。

続いて、照合監視部２２は、合計した「不変特徴の数」を、対応する「特異特徴のシリアル番号」等に関連付けて、「検出特徴点監視テーブル」の「不変特徴の合計数」の欄に表す。
前述の例では、「不変特徴の数」の合計値である「２」を、「検出特徴点監視テーブル」において、「特異特徴のシリアル番号」の「ｓ１」に関連付けて、「不変特徴の合計数」に表す。

さらに、照合監視部２２は、「不変特徴の合計数」の合計に関係した「不変量特徴空間のシリアル番号」を、「検出特徴点監視テーブル」において、その「不変特徴の合計数」に関連付けて「不変量特徴空間のシリアル番号」に示す。
前述の例では、「不変量特徴空間のシリアル番号」の「Ｆ１」と「Ｆ２」を、「検出特徴点監視テーブル」において、「特異特徴のシリアル番号」の「ｓ１」に関連付けて、「不変量特徴空間のシリアル番号」に示す。
このような手順により、「検出特徴点監視テーブル」を作成することができる。

さらに、照合監視部２２は、「検出特徴点監視テーブル」の「不変特徴の合計数」を参照し、この「不変特徴の合計数」が所定数以下であるか否かを判断する。
ここで、「不変特徴の合計数」に示される数がフレーム画像と同数の場合（例えば、図３７の「５０」などの場合）は、この「不変特徴の合計数」に関連付けられた「特異特徴のシリアル番号」により特定される特異特徴にマーカが存在することを意味する。また、「不変特徴の合計数」に示される数がフレーム画像の数よりも少ないものの比較的大きい数の場合（例えば、「４０」や「３０」などの場合）は、この「不変特徴の合計数」に関連付けられた「特異特徴のシリアル番号」により特定される特異特徴でマーカが検出されることが多いことを意味する。一方、この「不変特徴の合計数」に示される数が少ない場合は、この「不変特徴の合計数」に関連付けられた「特異特徴のシリアル番号」により特定される特異特徴でマーカが検出されることが少ないことを意味する。特に、「不変特徴の合計数」において、「１」のような数が示されている場合には、この「不変特徴の合計数」に関連付けられた「特異特徴のシリアル番号」により特定される特異特徴において、検出対象映像に一時的に進入した物体の存在により偶発的にマーカパターンと同一のパターンが形成され、これが検出されたものとみなすことができる。

そして、照合監視部２２は、その検出数が所定数以下の特異特徴を「マーカ非出現領域」として特定し、この「マーカ非出現領域」に位置する不変特徴を「非マーカ不変特徴」として特定する。一方、照合監視部２２は、その検出数が所定数以上の特異特徴を「マーカ検出領域」として特定する。さらに、照合監視部２２は、「マーカ非出現領域」又は「非マーカ不変特徴」を特定したときは、報知手段６０に報知信号を送る。

なお、照合手段１０ｃの照合部１３は、不変量特徴空間において、マーカパターンにもとづく特異特徴と不変量特徴空間における不変特徴との間のユークリッド距離が既定値以下である場合に、その特異特徴が一致したとして、一致した不変特徴の数をスコアとして累積していってもよい。この場合、照合監視手段２０ｃの照合監視部２２は、そのスコアが既定値を超える場合にマーカの検出を受諾するようにすることができる。また、照合監視部２２は、ユークリッド距離の累積値が既定値以下である条件を付加することもできる。

また、照合部１３は、量子化した特徴空間をマーカパターンから生成可能である場合には、これを利用してもよい。この場合、検出対象映像から抽出された特徴点にもとづく不変特徴が、マーカパターンの投影される特徴空間メッシュに所定数以上一致したときに、マーカパターンの検出を受諾するようにしてもよい。

さらに、不変量特徴空間を用いて特異特徴を求める場合、幾何学的不変量の他、物体色不変量やテクスチャ不変量など多様な不変量を採用することができる。これにより、環境変化に対して頑健に、より背景と混同しにくい特徴的な図形パターンを自動生成することができる。このため、マーカの設置コストを低減しつつ、検出を安定的に実行できる。

（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図３８を参照して説明する。
図３８は、本実施形態のマーカ検出方法の処理手順を示すフローチャートである。
マーカ記憶手段５０は、マーカに関するデータを含む「マーカ情報テーブル」を予め記憶している（ステップ５０）。

映像入力手段３０の映像入力部３１は、マーカが存在する可能性のある環境を検出対象映像として入力する（ステップ５１）。
映像記憶部３２は、検出対象映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。

特徴抽出手段４０ｃの特徴抽出部４１は、映像記憶部３２からフレーム画像を取り出す。そして、特徴抽出部４１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を特徴点として抽出する（ステップ５２）。
また、特徴抽出部４１は、抽出した特徴点の座標を算出し、「特徴点情報テーブル」を作成する（ステップ５３）。
特徴記憶部４２は、「特徴点情報テーブル」を記憶する。

不変特徴変換手段７０の不変特徴変換部７１は、特徴記憶部４２から「特徴点情報テーブル」を取り出し、この「特徴点情報テーブル」に示された特徴点を不変量特徴空間に写像する（ステップ５４）。
次いで、不変特徴変換部７１は、不変量特徴空間における不変特徴の座標を算出し、「不変特徴情報テーブル」を作成する（ステップ５５）。
不変特徴記憶部７２は、「不変特徴情報テーブル」を記憶する。

照合手段１０ｃのマーカ変換部１４は、マーカ記憶手段５０から「マーカ情報テーブル」を取り出す。次いで、マーカ変換部１４は、その「マーカ情報テーブル」に示されたマーカの特徴点を用いて、マーカの特異特徴を抽出する（ステップ５６）。続いて、マーカ変換部１４は、「マーカ用特異特徴テーブル」を作成する。そして、照合データ記憶部１２は、その「マーカ用特異特徴テーブル」を記憶する。
照合手段１０ｃの照合範囲特定部１５は、不変量特徴空間において、マーカ照合範囲を特定する（ステップ５７）。

照合手段１０ｃの照合データ入力部１１は、所定のタイミングで、不変特徴記憶部７２から「不変特徴情報テーブル」を取り出す。照合データ記憶部１２は、その「不変特徴情報テーブル」を記憶する。
照合部１３は、照合データ記憶部１２から、複数の「不変特徴情報テーブル」と、「マーカ用特異特徴テーブル」を取り出す。
そして、照合部１３は、それら「不変特徴情報テーブル」と「マーカ用特異特徴テーブル」とを用いて、照合範囲特定部１５で特定されたマーカ照合範囲において特異特徴を特定し、この特異特徴に不変特徴が位置しているか否かを判断する（ステップ５８）。

判断の結果、特異特徴に不変特徴が位置しているときは、照合部１３は、その特異特徴を「一致検出領域」とし、この「一致検出領域」に位置する不変特徴の数を算出し（ステップ５９）、この不変特徴の数を示す「マーカ検出テーブル」を作成する（ステップ６０）。照合データ記憶部１２は、「マーカ検出テーブル」を記憶する。
一方、特異特徴に不変特徴が位置していないときは、照合部１３は、特異特徴に位置する不変特徴の数の算出及び「マーカ検出テーブル」の作成を行わない。

照合監視手段２０ｃの照合監視部２２は、所定のタイミング（一定時間の経過、所定枚数の「マーカ検出テーブル」の記憶）であるか否かを判断する（ステップ６１）。
判断の結果、所定のタイミングでないときは、ステップ５１〜ステップ６０の処理を繰り返す。
一方、所定のタイミングになったときは、照合監視部２２は、照合データ記憶部１２から「マーカ検出テーブル」を複数取り出す。

次いで、照合監視部２２は、それら複数の「マーカ検出テーブル」を用いて、「検出不変特徴監視テーブル」を作成する（ステップ６２）。
続いて、照合監視部２２は、その「検出特徴点監視テーブル」を参照し、所定数以下の不変特徴の合計数があるか否かを判断する（ステップ６３）。
判断の結果、所定数以下の不変特徴の合計数があるときは、この不変特徴を非マーカ不変特徴として検出し、この非マーカ不変特徴が位置する特異特徴を「マーカ非出現領域」として検出する（ステップ６４）。そして、照合監視部２２は、報知手段６０へ報知信号を送る。
一方、所定数以下の不変特徴の合計数がないときは、「マーカ非出現領域」の検出はない。また、不変特徴の合計数が所定数以上の特異特徴については、「マーカ検出領域」として検出する。これらの場合、照合監視部２２は、報知手段６０へ報知信号を送らない。

報知手段６０は、照合監視部２２から報知信号を受けると、「非マーカ不変特徴」又は「マーカ非出現領域」が検出されたことを外部に報知する（ステップ６５）。
その後は、終了するか否かが判断され（ステップ６６）、終了しないときは、ステップ５１〜ステップ６６の処理が繰り返される。

以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、検出対象映像から抽出された特徴点を不変量特徴空間に写像してマーカにもとづく特徴点と照合する場合においても、動体にもとづくパターンから誤って検出された「マーカ非出現領域」を検出可能にして、正規のマーカの検出精度を高めることができる。

［マーカ検出装置及びマーカ検出方法の第四実施形態］
次に、本発明のマーカ検出装置及びマーカ検出方法の第四の実施形態について、図３９を参照して説明する。
同図は、本実施形態のマーカ検出装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段、特徴抽出手段、マーカ記憶手段、報知手段を新たに備えるとともに、照合監視手段がマーカ非出現領域特定部を新たに有した点が相違する。他の構成要素は第一実施形態と同様である。
したがって、図３９において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

図３９に示すように、マーカ検出装置１ｄは、照合手段１０ｄと、照合監視手段２０ｄと、映像入力手段３０と、特徴抽出手段４０ｄと、マーカ記憶手段５０と、報知手段６０とを備えている。
ここで、照合監視手段２０ｄは、図４０に示すように、監視データ記憶部２１と、照合監視部２２と、マーカ非出現領域特定部２３とを有している。
マーカ非出現領域特定部２３は、照合監視部２２で非マーカ特徴点が抽出されると、この非マーカ特徴点を含む範囲を「マーカ非出現領域」として特定する。

また、マーカ非出現領域特定部２３は、「マーカ非出現領域特定テーブル」を作成する。
「マーカ非出現領域特定テーブル」は、図４１に示すように、「非マーカ特徴点のｘ座標」（ア）と、「非マーカ特徴点のｙ座標」（イ）と、「マーカ非出現領域」（ウ）とを項目として構成することができる。
「非マーカ特徴点のｘ座標」と「非マーカ特徴点のｙ座標」は、図９に示す「検出特徴点監視テーブル」における「ｘ座標」と「ｙ座標」のうち、非マーカ特徴点に関するものを挙げてある。
「マーカ非出現領域」は、「非マーカ特徴点のｘ座標」と「非マーカ特徴点のｙ座標」により特定される位置を含む範囲を示す。

「マーカ非出現領域」は、次のように求めることができる。
例えば、予め「マーカ非出現領域」の大きさ（枠）を定めておき、非マーカ特徴点が中心にくるようにその枠を配置し、その配置した枠の範囲を「マーカ非出現領域」とする。
この方法は、例えば、図４２に示すように、複数の非マーカ特徴点が、特徴空間上で、それぞれ離れた位置にある場合に用いることができる。
これに対し、図４３に示すように、複数の非マーカ特徴点が非常に近い位置にある場合には、それら非マーカ特徴点のすべてを包含する範囲で、「マーカ非出現領域」を特定することもできる。
特定された「マーカ非出現領域」は、特徴空間における座標で表現され、「マーカ非出現領域特定テーブル」の「マーカ非出現領域」に示される。

監視データ記憶部２１は、「マーカ非出現領域特定テーブル」を記憶する。
また、マーカ非出現領域特定部２３は、「マーカ非出現領域特定テーブル」を特徴抽出手段４０ｄの特徴点調整部４３（後述）へ送る。

特徴抽出手段４０ｄは、図４０に示すように、特徴抽出部４１と、特徴記憶部４２と、特徴点調整部４３とを有している。
特徴点調整部４３は、マーカ非出現領域特定部２３から「マーカ非出現領域特定テーブル」を受け取ると、特徴記憶部４２に記憶させる。
また、特徴点調整部４３は、特徴記憶部４２から「特徴点情報テーブル」（図３参照）を取り出す。そして、特徴点調整部４３は、「特徴点情報テーブル」の示す特徴点の中に、「マーカ非出現領域特定テーブル」が示す「マーカ非出現領域」に含まれるものがあるか否かを判断する。
判断の結果、「マーカ非出現領域」に含まれる特徴点があるときは、この特徴点に関するデータを「特徴点情報テーブル」から削除する。
例えば、「マーカ非出現領域」が図４３に示す範囲であって、図６に示す特徴点t91、t92、t93がその「マーカ非出現領域」に含まれるときは、特徴点調整部４３は、それら特徴点t91、t92、t93のデータを「特徴点情報テーブル」から削除する。

それら特徴点が削除された状態の特徴空間を図４４に示す。
図４４に示す特徴空間においては、特徴点t91、t92、t93が削除されている。このため、照合手段１０ｄでは、それら特徴点t91、t92、t93が照合の対象とされない。これにより、この「マーカ非出現領域」から誤ってマーカが検出されることがなくなる。

（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図４５を参照して説明する。
図４５は、本実施形態のマーカ検出方法の処理手順を示すフローチャートである。
図４５に示すように、照合監視手段２０ｄの照合監視部２２は、「検出特徴点監視テーブル」（図９参照）を作成し、非マーカ特徴点を特定する（ステップ７０）。監視データ記憶部２１は、その「検出特徴点監視テーブル」を記憶する。
マーカ非出現領域特定部２３は、監視データ記憶部２１から「検出特徴点監視テーブル」を取り出し、この「検出特徴点監視テーブル」が示す非マーカ特徴点が含まれるように「マーカ非出現領域」を特定する（ステップ７１）。
そして、マーカ非出現領域特定部２３は、その特定した「マーカ非出現領域」を表す「マーカ非出現領域特定テーブル」（図４１参照）を作成する。監視データ記憶部２１は、その「マーカ非出現領域特定テーブル」を記憶する。また、マーカ非出現領域特定部２３は、「マーカ非出現領域特定テーブル」を特徴抽出手段４０ｄへ送る。

特徴抽出手段４０ｄの特徴点調整部４３は、マーカ非出現領域特定部２３から「マーカ非出現領域特定テーブル」を受け取る。特徴記憶部４２は、その「マーカ非出現領域特定テーブル」を記憶する。
また、特徴点調整部４３は、特徴記憶部４２から「特徴点情報テーブル」を取り出し、この「特徴点情報テーブル」に示されている各特徴点の位置が、「マーカ非出現領域特定テーブル」に示されている「マーカ非出現領域」の範囲内に含まれているか否かを判断する（特徴点の中から低出現範囲に位置するものを抽出、ステップ７２）。

判断の結果、「マーカ非出現領域」の範囲内に含まれる特徴点があるときは、特徴点調整部４３は、この特徴点に関するデータを「特徴点情報テーブル」から削除する（ステップ７３）。特徴記憶部４２は、削除処理後の「特徴点情報テーブル」を記憶する。
一方、「マーカ非出現領域」の範囲内に含まれる特徴点がないときは、特徴点調整部４３は、「特徴点情報テーブル」からのデータの削除を行わない。

以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、非マーカ特徴点が表れた箇所を「マーカ非出現領域」として特定し、これらの範囲内に配置された特徴点を自動的に削除することとしたので、非マーカ特徴点を所望の物体に付されたマーカにもとづく特徴点であるとの誤った判断をなくして、マーカ検出の精度を高めることができる。

なお、本実施形態のマーカ検出装置においては、不変特徴変換手段を備えない構成について説明したが、これに限るものではなく、不変特徴変換手段を備えたものであってもよい。

［マーカ検出装置及びマーカ検出方法の第五実施形態］
次に、本発明のマーカ検出装置及びマーカ検出方法の第五の実施形態について、図４６を参照して説明する。
同図は、本実施形態のマーカ検出装置の構成を示すブロック図である。
本実施形態は、第一実施形態と比較して、映像入力手段、特徴抽出手段、マーカ記憶手段、報知手段を新たに備えるとともに、照合監視手段がマーカ不存在領域特定部を新たに有した点が相違する。他の構成要素は第一実施形態と同様である。
したがって、図４６において、図１と同様の構成部分については同一の符号を付して、その詳細な説明を省略する。

図４６に示すように、マーカ検出装置１ｅは、照合手段１０ｅと、照合監視手段２０ｅと、映像入力手段３０と、特徴抽出手段４０ｅと、マーカ記憶手段５０と、報知手段６０とを備えている。
ここで、照合監視手段２０ｅは、図４７に示すように、監視データ記憶部２１と、照合監視部２２と、マーカ不存在領域特定部２４とを有している。
マーカ不存在領域特定部２４は、照合監視部２２でマーカが検出されると、そのマーカにもとづく特徴点と一致した特徴空間における特徴点を包含する範囲を「一致検出領域」とし、それ以外を「マーカ不存在領域」として特定する。

「一致検出領域」は、次の手順で特定することができる。
第一実施形態におけるマーカ検出方法により、図６に示すように、特徴点t40、t53、t60、t61、t64、t65が検出特徴点として抽出されたものとする。
この場合は、図４８に示すように、それら検出特徴点を含む範囲を「一致検出領域」とすることができる。そして、「一致検出領域」以外の部分を「マーカ不存在領域」とする。

また、検出特徴点が、特徴空間に点在した場合、図４９に示すように、点在した検出特徴点のそれぞれについて、「一致検出領域」を特定することができる。
さらに、検出特徴点が、図５０に示すように、広範囲に多数分布する場合は、すべての検出特徴点を含む範囲を「一致検出領域」とすることができる。そして、「一致検出領域」以外の部分を「マーカ不存在領域」とする。
なお、図５０に示すように検出特徴点が広範囲に分布する場合としては、例えば、マーカが付された物体がベルトコンベアで運ばれて移動しているところを撮影した場合などが想定される。この場合は、ベルトコンベアで物体が移動する範囲を「一致検出領域」とし、ベルトコンベアが設置されていない箇所やベルトコンベアがその物体を搬送しない範囲を「マーカ不存在領域」とするのが望ましい。

また、マーカ不存在領域特定部２４は、「一致検出領域」を特定すると、「マーカ検出領域設定テーブル」を作成する。
「マーカ検出領域設定テーブル」は、図５１に示すように、区画ごとに、「一致検出領域」であるか、あるいは、「マーカ不存在領域」であるかを示すテーブルである。区画は、図３２に示した複数の区画に対応させてある。
図５１において、「○」は、「一致検出領域」を示し、「×」は、「マーカ不存在領域」を示す。具体的には、区画(x1,y1)−(x64,y1)−(x64,y5)−(x1,y5)−(x1,y1)で囲まれる範囲と、区画(x1,y28)−(x64,y28)−(x64,y30)−(x1,y30)−(x1,y28)で囲まれる範囲が「マーカ不存在領域」であり、それ以外が、「一致検出領域」である。
マーカ不存在領域特定部２４は、「マーカ検出領域設定テーブル」を作成すると、特徴抽出手段４０ｅへ送る。

特徴抽出手段４０ｅは、図４７に示すように、特徴抽出部４１と、特徴記憶部４２と、特徴点調整部４３とを有している。
特徴点調整部４３は、照合監視手段２０ｅのマーカ不存在領域特定部２４から送られてきた「マーカ検出領域設定テーブル」を受け取る。特徴記憶部４２は、その「マーカ検出領域設定テーブル」を記憶する。
また、特徴点調整部４３は、特徴記憶部４２から「特徴点情報テーブル」（図３参照）を取り出し、この「特徴点情報テーブル」に示されている各特徴点の位置が、「マーカ検出領域設定テーブル」に示されている「一致検出領域」の範囲内に含まれているか否かを判断する。

判断の結果、その特徴点が「一致検出領域」の範囲内に含まれているときは、特徴点調整部４３は、その特徴点をそのままにしておく。一方、「一致検出領域」の範囲内に含まれていない特徴点があるときは、特徴点調整部４３は、その特徴点を「特徴点情報テーブル」から削除する。
例えば、「一致検出領域」を図５０に示す範囲とし、図５２に示すように、「マーカ不存在領域」に特徴点が抽出されたとすると、特徴点調整部４３は、その「マーカ不存在領域」に位置する特徴点のデータを「特徴点情報テーブル」から削除する。
このように、「一致検出領域」以外のところで抽出された特徴点を削除することで、その「マーカ不存在領域」から誤ってマーカが検出されるのを回避できる。
なお、特徴記憶部４２は、削除処理後の「特徴点情報テーブル」を記憶する。

（マーカ検出方法）
次に、本実施形態のマーカ検出方法について、図５３を参照して説明する。
図５３は、本実施形態のマーカ検出方法の処理手順を示すフローチャートである。
図５３に示すように、照合監視手段２０ｅの照合監視部２２は、検出特徴点を抽出し、「検出特徴点監視テーブル」（図９参照）を作成する（ステップ８０）。監視データ記憶部２１は、その「検出特徴点監視テーブル」を記憶する。
マーカ不存在領域特定部２４は、監視データ記憶部２１から「検出特徴点監視テーブル」を取り出し、この「検出特徴点監視テーブル」が示す検出特徴点が含まれるように「一致検出領域」を特定する（ステップ８１）。また、マーカ不存在領域特定部２４は、「一致検出領域」以外の領域を「マーカ不存在領域」として特定する。
そして、マーカ不存在領域特定部２４は、その特定した「一致検出領域」を示す「マーカ検出領域設定テーブル」を作成する。監視データ記憶部２１は、その「マーカ検出領域設定テーブル」を記憶する。また、マーカ不存在領域特定部２４は、「マーカ検出領域設定テーブル」を特徴抽出手段４０ｅへ送る。

特徴抽出手段４０ｅの特徴点調整部４３は、マーカ不存在領域特定部２４から「マーカ検出領域設定テーブル」を受け取る。特徴記憶部４２は、その「マーカ検出領域設定テーブル」を記憶する。
また、特徴点調整部４３は、特徴記憶部４２から「特徴点情報テーブル」を取り出し、この「特徴点情報テーブル」に示されている各特徴点の位置が、「マーカ検出領域設定テーブル」に示されている「一致検出領域」の範囲内に含まれているか否かを判断する（「一致検出領域」に含まれていない検出特徴点を抽出、ステップ８２）。

判断の結果、その検出特徴点が「一致検出領域」の範囲内に含まれるときは、特徴点調整部４３は、そのままにしておく。
一方、「一致検出領域」の範囲内に含まれない検出特徴点があるときは、特徴点調整部４３は、その検出特徴点に関するデータを「特徴点情報テーブル」から削除する（ステップ８３）。

以上説明したように、本実施形態のマーカ検出装置及びマーカ検出方法によれば、検出特徴点が表れた箇所を「一致検出領域」として特定し、この領域外に配置された特徴点を自動的に削除することとしたので、その領域外に配置された特徴点を所望の物体に付されたマーカにもとづく特徴点であると誤って判断することをなくして、マーカ検出の精度を高めることができる。

また、本実施形態によるマーカ検出は、第四実施形態におけるマーカ検出に比べて高速で行うことができる。その理由としては、第四実施形態のマーカ検出は、「非マーカ不変特徴」が検出されない限り「マーカ不存在領域」が設定されず、しかもその「マーカ不存在領域」が限られた範囲で設定されるため、省略される演算処理が少ないのに対し、本実施形態のマーカ検出は、「一致検出領域」以外の範囲を「マーカ不存在領域」として広く設定するため、省略される演算処理が多いからである。

なお、本実施形態のマーカ検出装置においては、不変特徴変換手段を備えない構成について説明したが、これに限るものではなく、不変特徴変換手段を備えたものであってもよい。

［マーカ生成装置及びマーカ生成方法］
（マーカ生成装置）
次に、本発明のマーカ生成装置の実施形態について、図５４、図５５を参照して説明する。
図５４は、本実施形態のマーカ生成装置の構成を示すブロック図である。図５５は、マーカ生成装置の詳細構成を示すブロック図である。
図５４に示すように、マーカ生成装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、不変特徴変換手段１３０と、特異特徴選択手段１４０と、マーカパターン生成手段１５０とを備えている。

ここで、映像入力手段１１０は、図５５に示すように、映像入力部１１１と、映像記憶部１１２とを有している。
映像入力部１１１は、背景映像（マーカ生成用の画像）を入力する。
背景映像は、マーカ生成装置１００により生成されるマーカを使用する前の環境（マーカが存在しない環境）を撮影したものである。例えば、マーカが付された物体を搬送するベルトコンベアがある場合に、その物体を搬送していない状態のベルトコンベア及びその周辺を撮影した映像などが該当する。
この背景映像は、動画像（映像）であってもよく、また、所定時間間隔で撮影した複数枚の静止画像であってもよい。
さらに、背景映像には、ライブ映像、録画映像、配信映像などを含むことができる。

この映像入力部１１１が撮影又は入力した背景映像の例を、図５６（i-11）〜（i-15）に示す。
同図は、撮影角度（カメラアングル）が同じであって、写し出されている物がすべて静止している場合に、どの撮影時刻においても、背景映像が同じになることを示している。なお、背景映像は、どの撮影時刻においても同じである必要はなく、異なっていてもよい。

映像記憶部１１２は、背景映像を構成する静止画フレームを、ディジタイズされたフレーム画像として記憶する。背景映像を構成する静止画フレームとは、例えば、図５６（i-11）〜（i-15）に示す各画像の一枚一枚をいう。
また、映像記憶部１１２は、複数のフレーム画像のそれぞれに付されたシリアル番号（図５６においては、（i-11）、（i-12）、（i-13）、・・・）や、フレーム画像が撮影された時刻などを記憶することもできる。

特徴抽出手段１２０は、図５５に示すように、特徴抽出部１２１と、特徴記憶部１２２とを有している。
特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出す。そして、特徴抽出部１２１は、取り出したフレーム画像中の特徴的なパターンを含む画像特徴を抽出する。
特徴抽出部１２１は、画像特徴として、例えば、図形的に特徴的な特性を数値化したものを用いることができる。
これには、例えば、１９９８年ＩＥＥＥコンピュータビジョン・パターン認識会議予稿集に掲載されているTommasiniらによる「Making good features track better」に記載されている方法を使用することができる。この方法は、画像中の物体形状に頂点、線状の物体の交差点、端点などを抽出することができる。そして、それらの点の画像上での位置座標情報の系列を図形的特徴とすることができる。例えば、図５６（i-11）のフレーム画像に対して、この方法で特徴点を抽出すると、図５７に示すように、特徴点が複数配置される。特徴点の一つ一つは、座標により管理することができる。
なお、特徴点が配置された空間を特徴空間という。この特徴空間は、二次元空間であってもよく、また、三次元空間であってもよい。本実施形態の特徴空間は、二次元空間とする。

また、他の方法としては、例えば、Montanariによる１９７１年Communications of ACM、１４巻に掲載されている「On the option detection of curves in noisy pictures」に記載の方法がある。これは、基準点からの距離、相対角度を記憶するＲテーブルの内容を特徴として使用することができる。この際、基準点をすべての特徴位置に対して設定し、網羅的に特徴を抽出しておくことで、部分的な特徴の欠損に対してマーカの検出が頑健となる。
さらに、他の特徴抽出方法としては、例えば、画像上の各画素の輝度値、あるいは色差値を特徴とする方法がある。

次いで、特徴抽出部１２１は、図５８に示すように、特徴点のそれぞれにシリアル番号を付与する。このシリアル番号は、例えば、最も上に位置するものから順番に１、２、３、４、・・・のように付与することができる。
続いて、特徴抽出部１２１は、特徴点のそれぞれの座標を求める。座標は、図５８に示すように、特徴空間にＸ軸とＹ軸を設定し、Ｙ軸からの距離をＸ座標、Ｘ軸からの距離をＹ座標とすることができる。
そして、特徴抽出部１２１は、それら特徴点のシリアル番号や座標を特徴記憶部１２２に記憶させる。

特徴記憶部１２２は、所定のメモリ領域を保持している。この特徴記憶部１２２は、特徴抽出部１２１で実行された処理に関する各種データを記憶する。特に、特徴記憶部１２２は、特徴抽出部１２１で抽出された特徴点に関するデータを記憶する。
なお、特徴抽出手段１２０は、特徴点を抽出して所定の位置（特徴空間）に配置することから、「配置手段」としての機能を有している。

不変特徴変換手段１３０は、図５５に示すように、不変特徴変換部１３１と、不変特徴記憶部１３２とを有している。
不変特徴変換部１３１は、特徴抽出手段１２０の特徴記憶部１２２から特徴点に関するデータを取り出し、その特徴点を不変量特徴空間に写像する。
この写像は、次の手順で行うことができる。
あるフレーム画像から抽出した特徴点は、図５７に示すように、特徴空間に配置されているものとする。また、各特徴点には、図５８に示すように、シリアル番号が付されているものとする。

不変特徴変換部１３１は、一つの特徴点を基底として定め、この基底を不変量特徴空間の原点（0,0）に移動するのに伴って、その移動量と同じ移動量ですべての特徴点を移動させる処理を、各特徴点を順次基底として定めるごとに行い、これら移動後の特徴点を重ね合わせることで、特徴点を不変量特徴空間に写像する。
この写像は、第三実施形態における不変特徴変換手段７０の不変特徴変換部７１が行う写像と同様の方法である。

図５７に示す特徴点を不変量特徴空間に写像した結果は、図５９に示すようになる。これが、不変量特徴空間における不変特徴の配置された状態である。
なお、本実施形態において、基底の数は、一つとするが、その数は、一つに限るものではなく、二つ以上とすることもできる。

次いで、不変特徴変換部１３１は、図６０に示すように、不変量特徴空間に格子状のメッシュを付して、複数の区画に分ける。
続いて、不変特徴変換部１３１は、各区画ごとに不変特徴の数を求める。この算出結果を、図６１に示す。図６１は、不変量特徴空間において、不変特徴の数が１以上の区画にグレーを付した図である。

不変特徴記憶部１３２は、所定のメモリ領域を保持している。この不変特徴記憶部１３２は、不変特徴変換部１３１で求められた各種データを記憶する。各種データには、例えば、不変量特徴空間に配置された各不変特徴の座標、各区画の座標（範囲）、各区画ごとの不変特徴数などが含まれる。
なお、不変特徴変換手段１３０は、特徴点を所定の位置（不変量特徴空間）に配置することから、「配置手段」としての機能を有している。

特異特徴選択手段１４０は、図５５に示すように、特異特徴選択部１４１と、特異特徴記憶部１４２とを有している。
特異特徴選択部１４１は、図６２に示すように、不変量特徴空間の中で、マーカパターンの生成を行う範囲を、マーカパターン生成範囲として決定する。このマーカパターン生成範囲は、静止画フレームの大きさと同じ大きさとすることができる。
次いで、特異特徴選択部１４１は、そのマーカパターン生成範囲における各区画ごとの不変特徴数を、不変特徴記憶部１６２から取り出す。この取り出した各区画ごとの不変特徴数を図６３に示す。なお、図６３は、マーカパターン生成範囲において、不変特徴の数が１以上の区画にグレーを付した図である。

続いて、特異特徴選択部１４１は、マーカパターン生成範囲における各区画ごとの不変特徴数のうち、０又は所定値以下のものを特異特徴として選択する。図６３においては、白色の区画が、不変特徴数が０の区画である。この不変特徴数が０の区画を特異特徴として選択することができる。

このように、特異特徴選択部１４１は、背景パターンと一致しない特徴、すなわち背景映像から抽出した特徴群が現れていない特徴空間の部位を特異特徴として選択することができる。事後に、意に反して特徴点の抽出誤差などにより、特異特徴が背景パターンと類似してしまうことを避けるために、特徴空間内で背景パターンの特徴が存在しないより大きな領域から特異特徴を選択するようにしてもよい。

この特異特徴の選択処理は、特徴空間中の特徴点の分布から大きな空白を見つける問題と同一視できるから、例えば、２００３年文書解析認識国際会議予稿集に掲載されている「An algorithm for Finding Maximal Whitespace Rectangles at Arbitrary Orientations for Document Layout Analysis」などのアルゴリズムを使用して、大きな空白領域を抽出しても良いし、得られた特徴点を含まない矩形領域の中心を特異特徴としても良い。

その他の方法としては、特徴空間を特定の大きさのメッシュで量子化し、１次元もしくは多次元のヒストグラムを生成し、特徴点の発生頻度が０となるメッシュの中心を特異特徴とするなどしても良い。頻度が０となるメッシュが存在しない場合、メッシュの大きさを小さくして、ヒストグラムをとり、頻度が０となるメッシュが現れた場合、このときのメッシュから特異特徴を選択するようにしても良い。頻度が０となるメッシュが見つからない場合は、ヒストグラムを既定値で閾値処理し、既定値以下のメッシュから特異特徴を選択しても良い。

特異特徴選択部１４１が選択した特異特徴の例を、図６４、図６５に示す。図６４に示す特異特徴配置図においては、特異特徴とされた区画を白色で表し、特異特徴とされなかった区画をグレーの網掛けで表している。図６５は、図６４に示す特異特徴配置図にもとづき、特異特徴の中心と特異特徴配置図の中心点とを黒丸「●」で表した図である。
なお、図６３においては、特異特徴（特徴点数の累計数が０の区画）が４個存在するが、マーカパターンの生成処理の説明を容易にするため、特異特徴は、図６４、図６５に示すように選択されたものとする。

特異特徴選択部１４１は、選択した特異特徴の座標を求める。例えば、特異特徴選択部１４１は、図６４に示す特異特徴配置図において、特異特徴の座標を（2,6）、（5,2）、（5,4）、（5,5）、（7,6）とする。
特異特徴記憶部１４２は、特異特徴選択部１４１で選択された特異特徴の座標を記憶する。

マーカパターン生成手段１５０は、図５５に示すように、マーカパターン生成部１５１と、マーカ記憶部１５２とを有している。
マーカパターン生成部１５１は、特異特徴記憶部１４２から特異特徴の座標を取り出し、この特異特徴の座標にもとづいてマーカパターンを生成する。

マーカパターンの生成方法には、種々の方法がある。
例えば、画像中の頂点、交差点、端点を特徴点として使用する場合を例に説明する。
前述した「On the option detection of curves in noisy pictures」に記載の方法などにもとづく場合、マーカパターンの生成に必要になる、特徴点群の検出は、特徴抽出手段１２０で使用している特徴点検出アルゴリズムに依存する。

例えば、下記のようなマーカパターンの生成方法が例として挙げられる。
(1)特異特徴位置に交差点を配置したパターン（図１８（ｉ））
(2)特異特徴の凸包を求め、内部を特定の色で塗り潰す。さらに、凸包に使用されなかった特異特徴を用いて再度凸包を求め、内部を別の色で塗り潰す。このような処理を、すべての特徴が使用されるまで反復して生成されるパターン（図１８（ii））
(3)特異特徴位置を頂点にもつ、水平垂直の辺を有する、塗り潰した矩形の集合からなるパターン（図１８（iii））
(4)特異特徴点の最近傍点間を線分で結んだパターン（図１８（iv））

なお、特徴抽出手段１２０が明度値又は色差値を使用して特徴を抽出した場合、マーカを物体に付する装置は、特異特徴に対応する明度値、色差値に対応する塗料でマーカを印刷してもよい。
また、頂点、交差点、端点を図形的な特徴として利用する方法と、明度値や色差値を特徴として利用する方法とを併用することも可能である。この場合、マーカパターン生成部１５１は、選定された特異特徴に対応する明度、色、形状に対応するマーカを生成すればよい。

マーカ記憶部１５２は、マーカパターン生成部１５１で生成されたマーカに関するデータを記憶する。
例えば、マーカパターンが図１８（ｉ）に示すような場合は、特異特徴の座標が記憶される。また、図１８（ii）に示すような場合は、特異特徴の座標の他に、凸包を構成する線分の座標が記憶される。

（マーカ生成方法）
次に、マーカ生成装置の動作手順（マーカ生成方法）について、図６６を参照して説明する。
図６６は、マーカ生成方法の処理手順を示すフローチャートである。
マーカ生成装置１００において、映像入力手段１１０の映像入力部１１１は、背景映像を入力する（ステップ９０）。この背景映像は、複数枚のフレーム画像で構成される。映像入力手段１１０の映像記憶部１１２は、映像入力部１１１で入力された背景映像をフレーム画像として記憶する。

特徴抽出手段１２０の特徴抽出部１２１は、映像記憶部１１２からフレーム画像を取り出し、このフレーム画像から特徴点を抽出する（ステップ９１）。
また、特徴抽出部１２１は、抽出した特徴点の座標を算出する（ステップ９２）。この算出した座標は、特徴記憶部１２２に記憶される。

不変特徴変換手段１３０の不変特徴変換部１３１は、特徴記憶部１２２から特徴点の座標を取り出す。次いで、不変特徴変換部１３１は、取り出した特徴点の座標にもとづいて、各特徴点を不変量特徴空間に写像する（ステップ９３）。
続いて、不変特徴変換部１３１は、不変量特徴空間にメッシュを掛けて区画化する（ステップ９４）。
さらに、不変特徴変換部１３１は、各区画ごとに不変特徴数を算出する（ステップ９５）。
また、不変特徴変換部１３１は、複数のフレーム画像のそれぞれについて各区画ごとの不変特徴数を算出し、これらを累計する（ステップ９６）。
不変特徴記憶部１３２は、不変特徴変換部１３１で算出された各区画ごとの不変特徴数の累計を記憶する。

特異特徴選択手段１４０の特異特徴選択部１４１は、不変特徴記憶部１６２から各区画ごとの不変特徴数の累計を取り出す。このとき、マーカパターン生成範囲における各区画ごとの不変特徴数の累計を取り出すこともできる。
そして、特異特徴選択部１４１は、各区画ごとの不変特徴数の累計の中から、０又は所定数以下のものを選択し、これを特異特徴とする（ステップ９７）。
特異特徴記憶部１４２は、特異特徴選択部１４１で特異特徴とされた区画の座標を記憶する。

マーカパターン生成手段１５０のマーカパターン生成部１５１は、特異特徴記憶部１４２から、特異特徴の座標を取り出す。そして、マーカパターン生成部１５１は、その特異特徴の座標にもとづいてマーカパターンを生成する（ステップ９８）。
マーカ記憶部１５２は、マーカパターン生成部１５１で生成されたマーカパターンに関するデータを記憶する。

以上説明したように、本実施形態のマーカ生成装置及びマーカ生成方法によれば、背景映像に存在しないパターンをマーカパターンとして生成することができる。これにより、背景映像に存在するパターンをマーカと誤認することを回避するとともに、所望のマーカが現れたときには、確実にこれを検出できる。

なお、本実施形態においては、マーカの生成を不変量特徴空間において行なうこととしたが、マーカの生成は、不変量特徴空間に限るものではなく、例えば、特徴空間において行なうこともできる。この場合、特徴空間において特徴点が所定数以下の区画を特異特徴とし、この特異特徴を用いてマーカパターンを生成することができる。

また、マーカパターンの生成において、物体色不変量やテクスチャ不変量を用いることができる。この場合、背景映像から物体色不変量やテクスチャ不変量を抽出し、この抽出した不変量を不変特徴として不変量特徴空間に配置し、この不変特徴が所定数以下の領域を特異特徴とすることができる。

［マーカ生成検出装置及びマーカ生成検出システム］
（マーカ生成検出装置）
次に、マーカ生成検出装置について、図６７を参照して説明する。
図６７は、マーカ生成検出装置の構成を示すブロック図である。
図６７に示すように、マーカ生成検出装置２００は、マーカ検出部２１０と、マーカ生成部２２０とを備えている。

ここで、マーカ検出部２１０は、前述した第一実施形態〜第五実施形態のいずれかにおけるマーカ検出装置１と同様の機能を有することができる。
マーカ生成部２２０は、前述した図５４に示すマーカ生成装置１００と同様の機能を有することができる。
このように、マーカ生成検出装置２００は、マーカ検出装置１の有する機能とマーカ生成装置１００の有する機能とを一体化した構成とすることができる。

また、マーカ検出部２１０とマーカ生成部２２０とは、共有化できる機能があるため、図６８に示すような構成とすることもできる。
例えば、マーカ生成検出装置２００は、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段７０と、照合手段１０と、照合監視手段２０と、報知手段６０と、特異特徴選択手段１４０と、マーカパターン生成手段１５０とを有している。また、マーカパターン生成手段１５０は、マーカ生成部１５１と、マーカ記憶部１５２とを有している。
これらのうち、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段７０と、照合手段１０と、照合監視手段２０と、報知手段６０と、マーカ記憶部１５２が、マーカ検出装置としての機能を有している。
一方、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段７０と、特異特徴選択手段１４０と、マーカパターン生成手段１５０が、マーカ生成装置としての機能を有している。
そして、映像入力手段３０と、特徴抽出手段４０と、不変特徴変換手段７０と、マーカ記憶部１５２が、マーカ生成装置とマーカ検出装置に共通している部分である。

なお、マーカ検出部におけるマーカ検出方法は、前述した第一〜第五実施形態におけるマーカ生成方法と同様である。
また、マーカ生成部におけるマーカ生成方法は、前述した実施形態におけるマーカ検出方法と同様である。

（マーカ生成検出システム）
次に、本実施形態のマーカ生成検出システムについて、図６９を参照して説明する。
図６９に示すように、マーカ生成検出システム３００は、マーカ検出装置１と、マーカ生成装置１００とを備えている。これらマーカ検出装置１とマーカ生成装置１００は、通信ネットワーク又は通信ケーブル４００などで接続することができる。

マーカ検出装置１は、映像入力手段３０と、特徴抽出手段４０と、マーカ記憶手段５０と、照合手段１０と、照合監視手段２０と、報知手段６０と、通信手段８０とを有している。
通信手段８０は、マーカ生成装置１００から送信されてきたマーカに関するデータを受信する。また、通信手段１６０は、その受信したマーカに関するデータをマーカ記憶手段５０に記憶させる。

マーカ生成装置１００は、映像入力手段１１０と、特徴抽出手段１２０と、不変特徴選択手段１３０と、特異特徴選択手段１４０と、マーカパターン生成手段１５０と、通信手段１７０とを有している。
通信手段１７０は、マーカパターン生成手段１５０のマーカ記憶部１５２に記憶されているマーカに関するデータを取り出し、これをマーカ検出装置１へ送信する。

以上説明したように、マーカ生成検出装置及びマーカ生成検出システムによれば、マーカ生成検出装置又はマーカ生成検出システムのマーカ検出機能において、検出特徴点の検出、「一致検出領域」，「マーカ非出現領域」，「マーカ検出領域」，「マーカ不存在領域」の特定、「マーカ非出現領域」や「マーカ不存在領域」に位置する特徴点の排除などを行うことができる。これにより、動体から抽出された特徴点にもとづくパターンを所望の物体に付されたマーカにもとづくパターンであるとの誤認識を回避して、マーカ検出の精度を高めることができる。

［マーカ生成プログラム及びマーカ検出プログラム］
次に、マーカ生成プログラム及びマーカ検出プログラムについて説明する。
上記の各実施形態におけるコンピュータ（マーカ生成装置、マーカ検出装置、マーカ生成検出装置、マーカ生成検出システム）のマーカ生成機能（マーカ生成方法を実行するための機能）やマーカ検出機能（マーカ検出方法を実行するための機能）は、記憶手段（例えば、ＲＯＭ（Read only memory）やハードディスクなど）に記憶されたマーカ生成プログラム又はマーカ検出プログラムにより実現される。

マーカ生成プログラム及びマーカ検出プログラムは、コンピュータの制御手段（ＣＰＵ（Central Processing Unit）など）に読み込まれることにより、コンピュータの構成各部に指令を送り、所定の処理、たとえば、マーカ生成装置の映像入力処理、特徴抽出処理、特異特徴選択処理、マーカパターン生成処理、不変特徴変換処理、マーカ検出装置の映像入力処理、特徴抽出処理、照合処理、非マーカ特徴点検出処理、非マーカ不変特徴検出処理、「一致検出領域」特定処理、「マーカ非出現領域」特定処理、「マーカ検出領域」特定処理、「マーカ不存在領域」特定処理、報知処理などを行わせる。
これによって、マーカ生成機能又はマーカ検出機能は、ソフトウエアであるマーカ生成プログラムとハードウエア資源であるコンピュータ（マーカ生成手段（マーカ生成装置、マーカ生成サーバ、マーカ生成ネットワークorマーカ生成システム））の各構成手段とが協働することにより実現される。

なお、マーカ生成機能又はマーカ検出機能を実現するためのマーカ生成プログラムは、コンピュータのＲＯＭやハードディスクなどに記憶される他、コンピュータ読み取り可能な記録媒体、たとえば、外部記憶装置及び可搬記録媒体等に格納することができる。
外部記憶装置とは、ＣＤ−ＲＯＭ（Compact disk−Read only memory）等の記憶媒体を内蔵し、マーカ生成装置に外部接続されるメモリ増設装置をいう。一方、可搬記録媒体とは、記録媒体駆動装置（ドライブ装置）に装着でき、かつ、持ち運び可能な記録媒体であって、たとえば、フレキシブルディスク，メモリカード，光磁気ディスク等をいう。

そして、記録媒体に記録されたプログラムは、コンピュータのＲＡＭ（Random access memory）等にロードされて、ＣＰＵ（制御手段）により実行される。この実行により、上述した各実施形態のマーカ生成装置の機能が実現される。
さらに、コンピュータでマーカ生成プログラムをロードする場合、他のコンピュータで保有されたマーカ生成プログラムを、通信回線を利用して自己の有するＲＡＭや外部記憶装置にダウンロードすることもできる。このダウンロードされたマーカ生成プログラムも、ＣＰＵにより実行され、上記各実施形態のマーカ生成装置のマーカ生成機能を実現する。

以上説明したように、本実施形態のマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムによれば、複数のマーカ検出用の画像から特徴点を抽出し、これら特徴点を所定の空間に配置し、この配置された複数の特徴点の配置のうちマーカから抽出された特徴点の配置と一致するものがあるときは、その特徴点が位置する範囲を「一致検出領域」とし、この「一致検出領域」に配置された特徴点の数が所定数以下であるときは、これを「マーカ非出現領域」として検出することとしたので、検出対象映像の背景部分が変化したことにより新たに表れたパターンをマーカパターンとして過剰検出することを排除し、マーカ検出を適切に行なうことができる。

以上、本発明のマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムの好ましい実施形態について説明したが、本発明に係るマーカ検出装置、マーカ生成検出装置、マーカ生成検出システム、マーカ検出方法及びマーカ検出プログラムは上述した実施形態にのみ限定されるものではなく、本発明の範囲で種々の変更実施が可能であることは言うまでもない。
例えば、上述した実施形態では、マーカパターン生成手段がマーカを一つのみ生成することとしたが、マーカを一つのみ生成することに限るものではなく、複数生成することもできる。

また、上述した実施形態では、幾何学的な特徴点や不変特徴について説明したが、特徴点や不変特徴は、幾何学的なものに限るものではなく、種々の特徴を使用することができる。
例えば、物体の色を使用することができる。物体の色は、同一物体であっても撮影環境に存在する光源内に依存して、異なった色で撮影されてしまう。画像上から光源色変動の影響を分離して取り除くことができれば、実際の物体色を得ることができる。得られる実際の物体色を物体色不変量として使用してもよい。
鏡面反射している箇所は、光源色の影響が支配的で、輝度値が光源色成分において飽和しやすいため、これを光源色とみなして、飽和箇所に対応する色成分を不変特徴として選択しないようにしてもよい。

ほかにも、画像から物体色を推定する方法には、例えば、Robby T.Tan and Katsushi Ikeuchiによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 27、NO. 2、FEBRUARY 2005、pp.178-193に記載の「Separating Reflection Components of Textured Surfaces Using a Single Image」や、Graham D. Finlayson、Steven D. Hordley、Cheng Lu、 and Mark S. Drewによる、IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 28、NO. 1、JANUARY 2006、pp.59-68に記載の「On the Removal of Shadows from Images」などを使用してもよい。

また、他の例として、テクスチャ不変量を使用することができる。
画像の部分領域の輝度分布に対して数値演算を施し得られた数値又はベクトルを特徴量とする。図形的不変量と同様にテクスチャ不変量は、カメラと撮影対象との相対位置関係を受けやすいため、この影響を受けにくい特徴量を算出し、テクスチャ不変量とする。
例えば、カメラと対象の距離やズームに不変な特徴量は、注目している部分画像を極座標変換し、動径方向にパワースペクトルをとることで実装可能である。さらに、そのパワースペクトルに対して、方位角方向に再度パワースペクトルを求めるとカメラの光軸周りの回転に対して不変な特徴量となる。
その他、Chi-Man Pun and Moon-Chuen LeeによるIEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE、VOL. 25、NO. 5、MAY 2003に記載の「Log-Polar Wavelet Energy Signatures for Rotation and Scale Invariant Texture Classification」などの方法を用いてもよい。

また、幾何学的不変量についても、Richard Hartley and Andrew Zissermanによる「Multiple View Geometry in Computer Vision」などに記載されているような他の幾何学的不変量を使用してもよい。同一シーンを複数のカメラで観測する場合には、同文献に記載の方法により、距離もしくは深さ方向の相対位置関係の情報を得ることが可能となるが、この場合、同一平面にない４点を基底に選択し、例えば３次元の幾何学的不変量をつくることができる。この際には、特徴点群から選択した基底４点のうち１点を不変量空間の原点、その他の基底の特徴点を不変量空間における位置座標(1,0,0)および(0,1,0)、(0,0,1)に対応付ける変換写像を求め、その他特徴をこの変換写像を使用して不変量空間に写像するようにする。

なお、本発明のマーカ検出装置は、第一実施形態〜第五実施形態のそれぞれにおけるマーカ生成装置を任意に組み合わせたものであってもよい。

本発明は、マーカの検出に関する発明であるため、マーカを検出する装置や機器、例えば、物体管理、フィジカルセキュリティをはじめとする映像モニタリング、ロボットビジョン、複合現実感ＵＩ、コンテンツ生成応用に利用可能である。

１ａ〜１ｅ マーカ検出装置
１０ａ〜１０ｅ 照合手段
２０ａ〜２０ｅ 照合監視手段
３０ 映像入力手段
４０ｂ〜４０ｅ 特徴抽出手段
５０ マーカ記憶手段
６０ 報知手段
７０ 不変特徴変換手段
１００ マーカ生成装置
２００ マーカ生成検出装置
３００ マーカ生成検出システム

Claims (16)

1. マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、前記特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点と前記マーカから抽出された特徴点とを照合し、前記マーカ検出用の画像にもとづく複数の特徴点のうち、前記マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、
   複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを備えた
   ことを特徴とするマーカ検出装置。
2. 前記照合監視手段は、前記複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に現れる特徴点の数が所定数以上のときに、この一致検出領域をマーカ検出領域として検出する
   ことを特徴とする請求項１記載のマーカ検出装置。
3. 前記照合監視手段は、前記マーカ検出領域を含まない画像上の範囲をマーカ不存在領域とする
   ことを特徴とする請求項２記載のマーカ検出装置。
4. 前記マーカ検出用の画像のうち前記マーカ不存在領域を除いた部分から前記特徴点を抽出する配置手段を備えた
   ことを特徴とする請求項３記載のマーカ検出装置。
5. 前記マーカ検出用の画像のうち前記マーカ非出現領域を除いた部分から前記特徴点を抽出する配置手段を備えた
   ことを特徴とする請求項１〜３のいずれかに記載のマーカ検出装置。
6. 前記照合手段は、特徴空間に配置された複数の特徴点のうち、前記マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置を前記一致検出領域とする
   ことを特徴とする請求項１〜５のいずれかに記載のマーカ検出装置。
7. 前記照合手段は、前記マーカから抽出された特徴点を不変量特徴空間に配置し、この配置した特徴点が位置する部分を特異特徴として選択し、前記マーカ検出用の画像から抽出された複数の特徴点の中に前記特異特徴に位置する特徴点があるときに、この特異特徴を前記一致検出領域とする
   ことを特徴とする請求項１〜５のいずれかに記載のマーカ検出装置。
8. 画像を表示する表示手段を備え、
   この表示手段が、前記マーカ検出用の画像を表示するに際し、前記マーカ非出現領域以外の部分を表示する
   ことを特徴とする請求項１〜７のいずれかに記載のマーカ検出装置。
9. マーカ生成装置とマーカ検出装置とを備え、
   前記マーカ生成装置が、
   マーカ生成用の画像から特徴点を抽出する抽出手段と、
   前記特徴点を所定の空間に配置する配置手段と、
   前記特徴点が配置されていない部分を特異特徴として選択する特異特徴選択手段と、
   前記特異特徴を用いてマーカを生成するマーカパターン生成手段とを有し、
   前記マーカ検出装置が、
   マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点と前記マーカから抽出された特徴点とを照合し、前記マーカ検出用の画像にもとづく複数の特徴点のうち、前記マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、
   複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを有した
   ことを特徴とするマーカ生成検出システム。
10. 前記照合監視手段は、前記複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に現れる特徴点の数が所定数以上のときに、この一致検出領域をマーカ検出領域として検出する
    ことを特徴とする請求項９記載のマーカ生成検出システム。
11. マーカ生成部とマーカ検出部とを備え、
    前記マーカ生成部が、
    マーカ生成用の画像から特徴点を抽出する抽出手段と、
    前記特徴点を所定の位置に配置する配置手段と、
    前記特徴点が配置されていない部分を特異特徴として選択する特異特徴選択手段と、
    前記特異特徴を用いてマーカを生成するマーカパターン生成手段とを有し、
    前記マーカ検出部が、
    マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点と前記マーカから抽出された特徴点とを照合し、前記マーカ検出用の画像にもとづく複数の特徴点のうち、前記マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする照合手段と、
    複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する照合監視手段とを有した
    ことを特徴とするマーカ生成検出装置。
12. 前記照合監視手段は、前記複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に現れる特徴点の数が所定数以上のときに、この一致検出領域をマーカ検出領域として検出する
    ことを特徴とする請求項１１記載のマーカ生成検出装置。
13. マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、前記特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点と前記マーカから抽出された特徴点とを照合し、前記マーカ検出用の画像にもとづく複数の特徴点のうち、前記マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする工程と、
    複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する工程とを有した
    ことを特徴とするマーカ検出方法。
14. 前記複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に現れる特徴点の数が所定数以上のときに、この一致検出領域をマーカ検出領域として検出する工程を有した
    ことを特徴とする請求項１３記載のマーカ検出方法。
15. マーカ生成用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、前記特徴点が所定数以下の部分が特異特徴として選択され、この特異特徴を用いてマーカが生成され、マーカ検出用の画像から特徴点が抽出され、この特徴点が所定の空間に配置され、この配置された複数の特徴点と前記マーカから抽出された特徴点とを照合し、前記マーカ検出用の画像にもとづく複数の特徴点のうち、前記マーカから抽出された特徴点と一致する特徴点があると、この特徴点が配置された位置又はこの位置を含む領域を一致検出領域とする工程と、
    複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に配置される特徴点があるときに、この特徴点の数が所定数以下である一致検出領域を、マーカが出現しないマーカ非出現領域として検出する工程と
    をマーカ検出装置に実行させる
    ことを特徴とするマーカ検出プログラム。
16. 前記複数のマーカ検出用の画像から抽出され所定の空間に配置された複数の特徴点のうち前記一致検出領域に現れる特徴点の数が所定数以上のときに、この一致検出領域をマーカ検出領域として検出する工程を前記マーカ検出装置に実行させる
    ことを特徴とする請求項１５記載のマーカ検出プログラム。

Images