JP2005149509A - 標識検出装置、標識検出方法及び標識検出プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】標識検出装置、標識検出方法及び標識検出プログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【解決手段】第１散布度に応じた加重サンプリングを利用してフレーム映像の全体領域に設定される第１サンプリング領域の中にＮ個のサンプルブロックを生成し、当該各サンプルブロックの特徴量と標識モデルの特徴量とを比較して１次検出を行う１次検出部と、前記１次検出により得られる標識の概略的な位置を中心に設定される第２サンプリング領域の中に第２散布度に応じた加重サンプリング方式を利用してＮ個のサンプルブロックを生成し、当該各サンプルブロックの特徴量と標識モデルの特徴量とを比較して２次検出を行う２次検出部と、を備える標識検出装置である。
【選択図】図３Ａ

Description

本発明は、主として自律走行をしている知能型システムの現在位置を推定（同定）するために用いられる標識検出装置、標識検出方法及び標識検出プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

最近、自律走行システム（例えば、無人航空機、無人車輌及びモバイルロボットなど）、無人監視システム、知能型交通システムといった知能型システムについての関心が高まるにつれて、知能型システムついての活発な研究が進められている。特に、知能型システムが自己位置を認識するのに役立つ多様な位置推定（ローカリゼーション）方法が提案されている。最近では、光学技術に基づく人工あるいは自然的な標識（ランドマーク）を利用した位置推定方法が多く提案されている。

標識を利用する方法のうち自然標識を利用した位置推定方式は、人工標識を利用する位置推定方式よりさらに一般的な位置推定方式で、室内と室外の双方に適した位置推定方式である。自然標識は、任意の場面に対して自然標識自体が有している幾何学的あるいは光学的な特性を考慮して選択され、知能型システムは、自然標識の特性や特徴量を利用して標識を認識する。しかし、自然標識を利用した位置推定方式は、実際の環境において最適の標識を抽出し難いという短所がある。

一方、人工標識を利用した位置推定方式は、室内環境において知能型システムが自己位置を推定するのに非常に簡単で効果的な方式である。知能型システムは、あらかじめ標識モデルや標識モデルの特徴量をモデリングし、走行中に映像の中から人工標識を探し出す。したがって、人工標識を利用する位置推定方式においては、標識の形態や特徴量、標識の検出方式を適切に選択することが重要である。多くの標識モデルが検出アルゴリズムと結合されて提案されたが、その例としては、バーコードのような特定形態を有する標識モデルや白黒の自己類似パターンが挙げられる。しかし、このように特定の形態情報を利用する位置推定方式の場合には、映像処理の結果に非常に依存的であるため、映像内のノイズや不正確な焦点によるブレ効果によって低い認識性能を表す。

一方、ＣＯＮＤＥＮＳＡＴＩＯＮ（CONditional DENSity propagATION）アルゴリズムが標識検出のために使用される。ＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムは、複雑な環境下でもリアルタイムで物体の追跡が可能であると知られている。この場合、各フレーム映像の全部がサンプリング領域として設定され、散布度も初期に設定された値が各フレーム映像に適用される。それ故に、ＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムでは、標識の検出に長い時間を要するだけでなく、散布度を大きい値に設定した場合には、検出の精度も劣るという問題点がある。なお、ＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムについては、非特許文献１に詳細に記載されている。
Ｍ.イサード（M.Isard）、Ａ.ブレーク（A.Blake）著、「コンデンセーション−コンディショナル デンシティ プロパゲーション フォー ビジュアル トラッキング（CONDENSATION-conditional density propagation for visual tracking）」、Ｊ．コンピュータ ビジョン（Int.J.Computer Vision）、１９９８年

本発明が解決しようとする技術的課題は、フレーム映像の全体領域をサンプリング領域に設定し、散布度値を大きく設定して行う１次検出と、標識の概略的な位置を中心とする所定領域をサンプリング領域に設定し、散布度値を小さく設定して行う２次検出とを順次に行うことによって、ノイズに鈍感でありつつも正確性を向上させた標識検出装置、標識検出方法及び標識検出プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することである。

また、本発明が解決しようとする他の技術的課題は、１次検出及び２次検出時に各フレーム映像で適用される散布度を現在のフレーム映像で得られる最大マッチング確率を利用して適応的に変化させることによって正確性を向上させた標識検出装置及び標識検出方法を提供することである。

また、本発明が解決しようとするさらに他の技術的課題は、現在のフレーム映像で得られるマッチング確率、現在のフレーム映像で使われたサンプルブロックのカラーヒストグラム及び現在のフレーム映像で使われた標識モデルのカラーヒストグラムを利用して標識モデルのカラーヒストグラムを更新することによって、輝度変化に対する抵抗性を向上させた標識検出装置及び標識検出方法を提供することである。

前記課題を達成するために本発明に係る標識検出装置は、第１散布度に応じた加重サンプリングを利用してフレーム映像の全体領域に設定される第１サンプリング領域の中にＮ個のサンプルブロックを生成し、各サンプルブロックの特徴量と標識モデルの特徴量とを比較して１次検出を行う１次検出部と、前記１次検出により得られる標識の概略的な位置を中心に設定される第２サンプリング領域の中に第２散布度に応じた加重サンプリングを利用してＮ個のサンプルブロックを生成し、各サンプルブロックの特徴量と標識モデルの特徴量とを比較して２次検出を行う２次検出部と、を含むことを特徴とする。

前記課題を達成するために本発明に係る標識検出方法は、（ａ）第１散布度に応じた加重サンプリングを利用してフレーム映像の全体領域に設定される第１サンプリング領域の中にＮ個のサンプルブロックを生成し、各サンプルブロックの特徴量と標識モデルの特徴量とを比較して１次検出を行う工程と、（ｂ）前記１次検出により得られる標識の概略的な位置を中心に設定される第２サンプリング領域の中に第２散布度に応じた加重サンプリングを利用してＮ個のサンプルブロックを生成し、各サンプルブロックの特徴量と標識モデルの特徴量とを比較して２次検出を行う工程と、を含むことを特徴とする。

前記標識検出方法は、望ましくは、コンピュータで実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に具現しうる。

本発明によれば、フレーム映像の全体領域をサンプリング領域に設定して散布度値を大きく設定し、１次検出を行って標識の概略的な位置を推定した後、標識の概略的な位置を中心とする所定領域をサンプリング領域に設定して散布度値を小さく設定し、２次検出を順次に行うことによって標識検出にかかる時間を短縮させうるだけでなく、同時に正確度を向上させうる。

また、１次検出及び２次検出時に各フレームで適用される散布度値を現在のフレーム映像で得られる累積確率（最大マッチング確率）を利用して適応的に変化させることによって検出の正確度を向上させうる。

また、現在のフレーム映像で得られるマッチング確率と、現在のフレーム映像で使われたサンプルブロックのカラーヒストグラムと、現在のフレーム映像で使われた標識モデルのカラーヒストグラムとを利用して標識モデルの特徴量（例えば、カラーヒストグラム）を更新することによって輝度変化に強い検出性能を保証しうる。

以下、添付された図面を参照して本発明の望ましい一実施例について詳細に説明する。

図１は、本発明に係る知能型システムにおける標識検出装置の構成を示すブロック図であって、映像入力部１１０と、スイッチング部１３０と、標識検出部１５０と、標識追跡部１７０と、制御部１９０とを備えており、標識検出部１５０は、図２に示されたように、１次検出部２１０と２次検出部２３０とを備えている。ここで、スイッチング部１３０、標識追跡部１７０及び制御部１９０は、オプションとして備わりうる構成要素である。図１及び図２を参照して、本発明に係る標識検出装置の動作を説明する。

図１及び図２を参照すれば、映像入力部１１０には、カメラによって撮像された映像がフレーム単位で入力される。

スイッチング部１３０は、制御部１９０からの切換え制御信号に応じて、すなわち、標識検出部１５０の検出結果または標識追跡部１７０の追跡結果に応じて、映像入力部１１０から提供される現在のフレーム映像を標識検出部１５０または標識追跡部１７０に提供する。先行のフレーム映像で標識（ランドマーク）が検出または追跡された場合には、現在のフレーム映像を標識追跡部１７０に提供し、標識が検出または追跡されたこともない場合には、現在のフレーム映像を標識検出部１５０に提供する。

標識検出部１５０は、入力された現在のフレーム映像の中から標識を検出するためのものである。標識の例としては、特定のカラーのみを使用することもあるが、本実施例では特定のカラーを反復的で対称的な形態に配列させたパターンを使用する。標識の検出には、ＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムを使用する。１次検出部２１０は、第１散布度（例えば５０の確率分布）を有し、２次検出部２３０は、第２散布度（例えば１０の確率分布）を有する。すなわち、１次検出部２１０が２次検出部２３０よりも大きな散布度を有しているので、１次検出部２１０は２次検出部２３０に比べて検出の正確度が劣る。１次検出部２１０は、カラー映像のフレーム全体をサンプリング領域に設定し、散布度を大きい値に設定して粗い検出を行い、その結果、標識の概略的な位置を推定する。２次検出部２３０は、標識の概略的な位置を中心とする所定領域をサンプリング領域に設定し、散布度を小さな値に設定して詳細な検出を行う。

標識追跡部１７０は、先行のフレーム映像で標識が検出または追跡された場合に、制御部１９０から提供された先行のフレーム映像で検出された標識の位置を中心に現在のフレーム映像において所定のサンプリング領域を設定し、設定されたサンプリング領域に対して標識の追跡を行う。標識を追跡する場合も、標識の検出に使われたＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムを使用する。標識追跡部１７０は、標識検出部１５０の２次検出部２３０と類似した動作を行う。このように、標識が検出されたフレーム映像の次のフレーム映像に対して標識の追跡を適用すれば、標識が検出された部分に対して標識が存在する確率を高く算定するので、標識が隠蔽されたりまたは一時的に消える場合にも優れた検出性能を発揮しうる。

制御部１９０は、標識検出部１５０の検出結果または標識追跡部１７０の追跡結果を入手し、切換え制御信号をスイッチング部１３０に出力する。スイッチング部１３０は、標識検出の成功如何または標識追跡の成功如何に応じて、すなわち、切換え制御信号に応じて、映像入力部１１０から提供される現在のフレーム映像を標識検出部１５０及び標識追跡部１７０のうち一つに提供（出力）する。また、制御部１９０は、標識検出部１５０で標識の検出が成功した場合または標識追跡部１７０で標識の追跡が成功した場合に、検出または追跡された標識の位置座標値を標識追跡部１７０に提供する。

なお、スイッチング部１３０、標識追跡部１７０及び制御部１９０が備わっていない場合には、映像入力部１１０から提供される各フレーム映像は、標識検出部１５０に提供され、第１散布度を利用した加重サンプリング方式による１次標識検出工程と第２散布度を利用した加重サンプリング方式による２次標識検出工程とが順次に行われる。

図３Ａおよび図３Ｂは、図２に示す標識検出部１５０の１次検出部２１０及び２次検出部２３０の動作を説明するフローチャートである。ここで、１次検出部２１０と２次検出部２３０とは適用される散布度が異なり（例えば１次検出部２１０の散布度を５０、２次検出部２３０の散布度を１０とする場合など）、さらには、サンプリング領域も異なるが、基本的な動作は同じである。

図３Ａを参照すれば、工程３１１では散布度を所定値に設定する。１次検出部２１０の場合には散布度を大きい値に、２次検出部２３０の場合には散布度を小さな値、例えば第１検出部２１０の散布度の１／５ほどの値に設定する。

工程３１３では、サンプリング領域を設定する。１次検出部２１０の場合には入力されるフレーム映像全体を、２次検出部２３０の場合には１次検出部２１０によって推定された標識の概略的な位置を中心とする所定領域をサンプリング領域に設定する。

工程３１５では、カメラから撮像された現在のフレームのカラー映像が入力される。ここで、カラー映像は色度カラー空間に変換され、その結果、輝度成分が効果的かつ迅速に除去される。これにより、１次検出部２１０および２次検出部２３０は、暗い照明下でも良好に動作しうる。入力されるＲＧＢカラー映像から色度カラー空間への変換は、次の数式１のようになされる。

一方、本実施例に適用される標識としては、図６のように、特定のカラーが反復的で対称的な形態に配列されたパターンのものを使用する。このパターンは、回転されているか、または部分的に識別されているか、または距離によってサイズが変わる場合にも全体的な特性を維持しうる。このようなカラーの配列は、実際の環境で発生する幾何学的で光学的な問題に対して強い性能を備えている。一つの標識をなすカラーの数は、色度カラー空間上で最も大きい距離を有する２ないし４個のカラーであることが望ましい。

工程３１７では、ＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムに基づいて標識モデルの正常状態でのカラーヒストグラムを算出（取得）する。標識モデルは、初期段階、すなわち、最初のフレーム映像であらかじめ定義される。

工程３１９では、ＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムに基づいて、初期段階、すなわち、最初のフレーム映像の中にＮ個のサンプルブロックを生成してフレーム映像の中にランダムに分布させる。ここでは、サンプルブロックの数Ｎを５０に設定する。サンプルブロック及び標識モデルのサイズは、任意に設定しうる。

工程３２１では、全てのサンプルブロックの特徴量を算出（取得）する。定義された標識モデルを安定的に検出して追跡するためには、適切な標識の特徴量を選択することが重要である。標識の特定の外形やエッジに関する情報を利用すると、映像内のノイズやブレ効果によって標識の検出を失敗する恐れがあるので、本実施例では、映像の歪みに強く、かつ少ない計算量で抽出されうるカラーヒストグラムを特徴量として使用する。カラーヒストグラムには、標識の全域カラーヒストグラムと行または列の有する部分カラーヒストグラムとがある。全域カラーヒストグラムは、一定領域内の全体的なカラー類似度を測定しうる尺度として使用される。標識モデルが異なるパターンを有していても、類似した全域カラーヒストグラムを示すため、特定の映像の列や行に沿って定義された部分カラーヒストグラム（図７参照）を並行して使用する。

このようなヒストグラムは、計算が容易である。さらに、標識が有するカラーパターンの幾何学的な特性に起因して標識モデルが回転されているか、あるいは映像内でのサイズが変化しても、標識の全域カラーヒストグラムの特性および部分カラーヒストグラムの特性は、変化しない。また、ヒストグラムの特性は、非常に速く抽出することが可能であるため、これらカラーヒストグラムは、リアルタイムの実行に適し、また、映像処理の影響をほとんど受けないため、ノイズやブレのような現象にも強い。したがって、自律走行ロボットのような知能型システムは、このような特徴量を比較することによって、いかなる状況でも所望の標識モデルを検出しかつ追跡しうる。

工程３２３では、カラーヒストグラム間の類似度を表すヒストグラム交集合を使用して各サンプルブロックと標識モデルとの類似度を算出する。ヒストグラム交集合を使用すれば、サンプルブロック（ｉ）と標識モデル（ｊ）間の類似度（Ｍ（ｉ,ｊ））は、次の数式２のように表せる。

ここで、ＧＨＩ及びＬＨＩはそれぞれ全域ヒストグラム交集合と部分ヒストグラム交集合とを表し、次の数式３及び４のように表せる。

ここで、ｇｈ及びｌｈはそれぞれ全域ヒストグラムと部分ヒストグラムとを表す。そして、（ｒ,ｇ）は色度カラー空間でカラーヒストグラムのｂｉｎの座標を表し、ｗ及びｈは、部分ヒストグラムの行及び列の番号を表す。

工程３２５では、サンプルブロック（ｉ）と標識モデル（ｊ）間のマッチング確率（ｐｒｏｂ（ｉ｜ｊ））を工程３２３で算出された類似度を利用して次の数式５により算出する。

ここで、Ｎは、サンプルブロックの数を表す。

工程３２７では、工程３２５で算出されたＮ個のマッチング確率（ｐｒｏｂ（ｉ｜ｊ））の重心に基づいて現在のフレームにおける標識の位置を推定する。

図３Ｂに示すように、工程３２９では、工程３２７で推定された位置での標識のカラーヒストグラムとあらかじめ定義された標識モデルのカラーヒストグラムとを比較して標識の検出が成功したか否かを判断する。すなわち、二つのカラーヒストグラムの差が所定値と同じであるか、または所定値より少なければ、標識の検出に成功したと判断し、工程３３１に進んで検出された標識の位置を出力する。一方、二つのカラーヒストグラムの差が所定値より大きければ、工程３３３に進んで現在フレームが最後のフレームであるか否かを判断する。

工程３３３において、現在のフレームが最後の段階、すなわち、最後のフレームであると判断された場合には、工程３３５に進んで標識の検出が失敗したと決定し、現在のフレームが最後のフレームではないと判断された場合には、工程３３７に進んで（ｔ＋１）番目のフレームで使われる標識モデルのカラーヒストグラム（Ｃ^t+1 _j）を、サンプルブロックが有するカラーヒストグラムとサンプルブロックとのマッチング確率を利用して、次の数式６のように更新する。

ここで、αは加重値であって、この値を大きく設定する場合、システムの適応性は向上するが、性能が低下する。ここで、Ｃ^t _jはｔ番目のフレーム映像で標識モデル（ｊ）のカラーヒストグラムを表し、Ｃ_kはｋ番目のサンプルブロックのカラーヒストグラムを表す。このように標識モデルのカラーヒストグラムを更新することにより、輝度が変わる場合にも優れた検出性能を示すことができる。

工程３３９では、散布度を調整する。散布度の調整については、図４及び図５を参照してさらに詳細に説明する。散布度の調整工程は、オプションとして備わりうる。

工程３４１では、工程３３９で調整された散布度を適用し、ＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムに基づいた加重サンプリングを利用（実行）して次のフレームで使われるＮ個のサンプルブロックを生成する。その後、工程３２１に復帰する。

図４は、図３Ａに示す散布度の調整工程（工程３３９）の第１実施例を示すフローチャートである。

図４を参照すれば、工程４１１では、ｉ番目のフレームで得られた各サンプルブロック（ｉ）と標識モデル（ｊ）とのマッチング確率に対する最大マッチング確率を所定のしきい値と比較する。最大マッチング確率は、各サンプルブロックと標識モデル間のマッチング確率をすべて合算することによって得られる累積確率であって、この値をあらかじめ設定されたしきい値と比較したときに、しきい値より大きければ、正しく収斂されてマッチングされたことを意味し、そうでなければ、マッチングされていないことを意味する。

工程４１１での比較した結果、最大マッチング確率がしきい値より小さい場合には、工程４１３において、現在の散布度を所定単位、例えば０.５ほど増加させる。４１１段階での比較した結果、最大マッチング確率がしきい値と同じであるか、またはしきい値より大きい場合には、工程４１５において、現在の散布度を所定単位、例えば０.５ほど減少させる。そして、調整した散布度を（ｉ＋１）番目のフレームに適用する。

図５は、図３Ａに示す散布度の調整工程（工程３３９）の第２実施例を示すフローチャートである。第１実施例では累積確率によって二つの段階に散布度を調整したが、第２実施例では関数によって漸進的に変化させる方法を使用する。すなわち、累積確率が高いほど、正確にマッチングされていることを意味するので、狭い領域においてより詳細に追跡するために散布度を低める、すなわち、累積確率に反比例する適切な関数を利用して散布度を決定する。

図５を参照すれば、工程５１１では、所定のスケールファクターを最大マッチング確率で除算することによって実際の散布度を再び算出する。

工程５１３では、実際の散布度を所定の最大散布度と比較する。その結果、実際の散布度が最大散布度と同じであるか、またはそれより大きい場合には、工程５１５において、（ｉ＋１）番目のフレーム映像に適用される散布度を最大散布度に設定し、実際の散布度が最大散布度より小さい場合には、工程５１７に進み、散布度を調整せずに工程３４１に進む。

本発明で適用されたＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムに基づいた加重サンプリングの例を図８Ａ及び図８Ｂを参照して説明すれば、次の通りである。

図８Ａは、全体サンプルブロックの数Ｎが１０である場合で、ｉ番目のフレーム映像においてフレーム映像の中に分布されたサンプルブロックＢ１ないしＢ１０の例を示し、各サンプルブロックと標識モデルとのマッチング確率は、次の表１のように表せる。

図８Ｂは、前記のようなマッチング確率にしたがって加重サンプリングをすることにより（ｉ＋１）番目のフレーム映像に生成されるサンプルブロックの形態を表し、次の表２に示すように１０個のサンプルブロックが生成される。

すなわち、（ｉ＋１）番目のフレーム映像ではｉ番目のフレーム映像でマッチング確率が最大であるサンプルブロックＢ３に対して３個のサンプルブロックＢ’３が生成されることが分かる。

図９Ａないし図９Ｄは、本発明で提案された標識検出方法を実験した結果を示す図面である。この実験は、輝度変化が存在し、かつ、着色された物体が数多く存在する環境下において一つの標識を付して行われた。図面で白い四角形はサンプルブロックを表し、本実験では５０個のサンプルブロックを使用した。

図９Ａを参照すれば、サンプルブロックは全体映像に対して広範囲に散在しており、各サンプルブロックはそれぞれ標識モデルとの類似度を反映する確率値を有する。図９Ｂ及び図９Ｃを参照すれば、サンプルブロックは、フレーム数が増加するにつれて確率値に応じて次第に標識側に集中することが分かる。実際には、サンプルブロックが標識側に移動するのではなく、新たなサンプルブロックが標識の近くに形成される。標識検出の最終結果は、図９Ｄに示された通りであり、白い小さな四角形が標識の中心座標を表す。

前記した本発明は、コンピュータ読み取り可能な記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取ることが可能なデータが保存される全ての種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク（登録商標）、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータ可読コードが保存されかつ実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、当業者によって容易に推論されうる。

以上、図面及び明細書で最適の実施例が開示された。ここで、特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これから多様な変形及び均等な他の実施例が可能であることが分かる。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されなければならない。

本発明の標識検出方法は、無人監視システムで人を追跡するか、ＩＴＳで車輌を追跡するか、ＩＶＳで自動車間の距離制御のために先行車輌を追跡するか、または知能制御のために特定目的物を追跡するなど多様な分野に適用可能である。

本発明に係る標識検出装置の構成を示すブロック図である。 図１において、標識検出部の細部的な構成を示すブロック図である。 図１及び図２に示す１次検出部及び２次検出部の動作を説明するフローチャートである。 図１及び図２に示す１次検出部及び２次検出部の動作を説明するフローチャートである。 図３Ａに示す散布度調整工程の第１実施例を表すフローチャートである。 図３Ａに示す散布度調整工程の第２実施例を表すフローチャートである。 本発明で使われる標識モデルの一例を示す図面である。 部分カラーヒストグラムを説明する図面である。 本発明で適用されるＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムの加重サンプリングを説明するための写真である。 本発明で適用されるＣＯＮＤＥＮＳＡＴＩＯＮアルゴリズムの加重サンプリングを説明するための写真である。 本発明による標識検出方法を適用した場合における、標識検出の過程を示す写真である。 図９Ａに続くフレームにおける標識検出の過程を示す写真である。 図９Ｂに続くフレームにおける標識検出の過程を示す写真である。 標識検出の最終結果を示す写真である。

符号の説明

１１０ 映像入力部
１３０ スイッチング部
１５０ 標識検出部
１７０ 標識追跡部
１９０ 制御部
２１０ １次検出部
２３０ ２次検出部

Claims (18)

1. 第１散布度に応じた加重サンプリングを利用してフレーム映像の全体領域に設定される第１サンプリング領域の中にＮ個のサンプルブロックを生成し、当該各サンプルブロックの特徴量と標識モデルの特徴量とを比較して１次検出を行う１次検出部と、
   前記１次検出により得られる標識の概略的な位置を中心に設定される第２サンプリング領域の中に第２散布度に応じた加重サンプリングを利用してＮ個のサンプルブロックを生成し、当該各サンプルブロックの特徴量と標識モデルの特徴量とを比較して２次検出を行う２次検出部と、を含むことを特徴とする標識検出装置。
2. 前記１次検出部は、フレーム映像ごとに、前記Ｎ個のサンプルブロックのカラーヒストグラムと前記標識モデルのカラーヒストグラムとを利用して算出される類似度から各サンプルブロックと前記標識モデルとのマッチング確率を算出して標識の位置を推定し、マッチング確率に応じた加重サンプリングを利用して次のフレーム映像で適用されるＮ個のサンプルブロックを生成することを特徴とする請求項１に記載の標識検出装置。
3. 前記１次検出部は、現在のフレーム映像においてサンプルブロックが有するカラーヒストグラムと、サンプルブロックと標識モデルとのマッチング確率と、現在のフレーム映像で使われた標識モデルのカラーヒストグラムとを利用して前記標識モデルのカラーヒストグラムを更新することを特徴とする請求項１に記載の標識検出装置。
4. 前記１次検出部は、現在のフレーム映像での累積確率を利用して第１散布度を調整することを特徴とする請求項１に記載の標識検出装置。
5. 前記２次検出部は、フレーム映像ごとに、前記Ｎ個のサンプルブロックのカラーヒストグラムと前記標識モデルのカラーヒストグラムとを利用して算出される類似度から各サンプルブロックと前記標識モデルとのマッチング確率を算出して標識の位置を推定し、マッチング確率に応じた加重サンプリングを利用して次のフレーム映像で適用されるＮ個のサンプルブロックを生成することを特徴とする請求項１に記載の標識検出装置。
6. 前記２次検出部は、現在のフレーム映像においてサンプルブロックが有するカラーヒストグラムと、サンプルブロックと標識モデルとのマッチング確率と、現在のフレーム映像で使われた標識モデルのカラーヒストグラムとを利用して前記標識モデルのカラーヒストグラムを更新することを特徴とする請求項１に記載の標識検出装置。
7. 前記２次検出部は、現在のフレーム映像での累積確率を利用して第２散布度を調整することを特徴とする請求項１に記載の標識検出装置。
8. 前記第１散布度は、前記第２散布度より大きい値であることを特徴とする請求項１に記載の標識検出装置。
9. （ａ）第１散布度に応じた加重サンプリングを利用してフレーム映像の全体領域に設定される第１サンプリング領域の中にＮ個のサンプルブロックを生成し、当該各サンプルブロックの特徴量と標識モデルの特徴量とを比較して１次検出を行う工程と、
   （ｂ）前記１次検出により得られる標識の概略的な位置を中心に設定される第２サンプリング領域の中に第２散布度に応じた加重サンプリングを利用してＮ個のサンプルブロックを生成し、当該各サンプルブロックの特徴量と標識モデルの特徴量とを比較して２次検出を行う工程と、を含むことを特徴とする標識検出方法。
10. 前記第１散布度は、前記第２散布度より大きい値であることを特徴とする請求項９に記載の標識検出方法。
11. 前記第１及び第２散布度を、現在のフレーム映像での累積確率に応じて適応的に変化させて次のフレーム映像に適用することを特徴とする請求項９に記載の標識検出方法。
12. 前記第１及び第２散布度を、現在のフレーム映像での累積確率と所定のしきい値との比較結果に応じて増加または減少させて次のフレーム映像に適用することを特徴とする請求項９に記載の標識検出方法。
13. 前記第１及び第２散布度を、現在のフレーム映像での実際の散布度と最大散布度との比較結果に応じて決定して次のフレーム映像に適用することを特徴とする請求項９に記載の標識検出方法。
14. 前記（ａ）及び（ｂ）工程では、現在のフレーム映像でサンプルブロックが有する特徴量と、サンプルブロックと標識モデルとのマッチング確率と、現在のフレーム映像で使われた標識モデルの特徴量とを利用して前記標識モデルの特徴量を更新することを特徴とする請求項９に記載の標識検出方法。
15. 前記特徴量は、カラーヒストグラムであることを特徴とする請求項９に記載の標識検出方法。
16. 前記（ａ）工程は、
    （ａ１）フレーム映像ごとに、前記第１サンプリング領域の中にＮ個のサンプルブロックを生成する工程と、
    （ａ２）フレーム映像ごとに、前記Ｎ個のサンプルブロックのカラーヒストグラム及び前記標識モデルのカラーヒストグラムを算出して前記Ｎ個のサンプルブロックと前記標識モデルとの類似度を算出する工程と、
    （ａ３）フレーム映像ごとに、前記Ｎ個のサンプルブロックと前記標識モデルとの類似度を利用して各サンプルブロックと前記標識モデルとのマッチング確率を算出して標識の位置を推定する工程と、
    （ａ４）現在のフレーム映像でサンプルブロックが有するカラーヒストグラムと、サンプルブロックと標識モデルとのマッチング確率と、現在のフレーム映像で使われた標識モデルのカラーヒストグラムとを利用して前記標識モデルのカラーヒストグラムを更新する工程と、
    （ａ５）現在のフレーム映像での累積確率を利用して第１散布度を調整する工程と、を含むことを特徴とする請求項９に記載の標識検出方法。
17. 前記（ｂ）工程は、
    （ｂ１）フレーム映像ごとに、前記第２サンプリング領域の中にＮ個のサンプルブロックを生成する工程と、
    （ｂ２）フレーム映像ごとに、前記Ｎ個のサンプルブロックのカラーヒストグラム及び前記標識モデルのカラーヒストグラムを算出して前記Ｎ個のサンプルブロックと前記標識モデルとの類似度を算出する工程と、
    （ｂ３）フレーム映像ごとに、前記Ｎ個のサンプルブロックと前記標識モデルとの類似度を利用して各サンプルブロックと前記標識モデルとのマッチング確率を算出して標識の位置を推定する工程と、
    （ｂ４）現在のフレーム映像でサンプルブロックが有するカラーヒストグラムと、サンプルブロックと標識モデルとのマッチング確率と、現在のフレーム映像で使われた標識モデルのカラーヒストグラムとを利用して前記標識モデルのカラーヒストグラムを更新する工程と、
    （ｂ５）現在のフレーム映像での累積確率を利用して第２散布度を調整する工程と、を含むことを特徴とする請求項９に記載の標識検出方法。
18. コンピュータに、
    （ａ）第１散布度に応じた加重サンプリングを利用してフレーム映像の全体領域に設定される第１サンプリング領域の中にＮ個のサンプルブロックを生成し、当該各サンプルブロックの特徴量と標識モデルの特徴量とを比較して１次検出を行う工程と、
    （ｂ）前記１次検出により得られる標識の概略的な位置を中心に設定される第２サンプリング領域の中に第２散布度に応じた加重サンプリングを利用してＮ個のサンプルブロックを生成し、当該各サンプルブロックの特徴量と標識モデルの特徴量とを比較して２次検出を行う工程とを実行させるための標識検出プログラムを記録したコンピュータ読み取り可能な記録媒体。