JP2015143946A - 移動物体検知・追跡装置、移動物体検知・追跡システム、移動物体検知・追跡方法、及び、プログラム - Google Patents

Abstract

【課題】検知された移動物体の追跡性能を向上させることを可能とする移動物体検知・追跡装置、移動物体検知・追跡システム、移動物体検知・追跡方法、及び、プログラムを提供する。【解決手段】カメラ２により撮像された画像に基づいて、接近物体を検知する検知部４２と、画像を代表色で描画されている代表色画像に変換する画像変換部４３と、検知された接近物体における複数の代表色を特定する代表色特定部４４と、特定された代表色の特徴量を算出する特徴量算出部４５と、特定された複数の代表色と算出された特徴量とに基づいて、代表色画像上での接近物体の追跡を開始する追跡処理部４６と、を備える。【選択図】図１

Description

本発明は、移動物体検知・追跡装置、移動物体検知・追跡システム、移動物体検知・追跡方法、及び、プログラムに関する。

運転手が車両を運転する場合、運転手の視界には、車体などに遮られ、運転手が直接視認、又は、サイドミラーなどのミラーを介して視認できない死角部分が存在している。このような死角部分の視認性を確保するための手段として、例えば、ブラインドコーナモニタやバックカメラシステムなどがある。

ブラインドコーナモニタは、駐車場での発進の際や交差点において左右を確認するための装置であり、プリズムミラー、又は、魚眼カメラを用いて、死角部分である前方側方を撮像し、撮像した画像をモニタ上に表示する装置である。バックカメラシステムは、後退する際に、後方を確認するための装置であり、魚眼カメラなどを用いて、死角部分である後方を撮像し、撮像した画像をモニタ上に表示する装置である。

また、安全運転を支援する装置として、カメラが撮像した画像の中から、移動物体を検知し、移動物体を検知した場合には、運転手にその旨を報知して、注意を促す装置がある（例えば、非特許文献１を参照）。

移動物体の検知は、通常、オプティカルフローを用いて行われる。オプティカルフローでは、画像内に複数の特徴点を特定し、各特徴点の時間変動に基づいて、移動物体を検知している。

自車両が静止している状態では、信号機などの非移動物体の特徴点は全て静止していることから、時間変動（移動）する特徴点は、歩行者などの移動物体の特徴点とみなすことができる。このように、自車両が静止している状態では、移動物体の検知を行うことが可能である。

また、自車両が静止している状態では、自車両から遠ざかっていく移動物体の特徴点のフローは、外向きのベクトルとなり、自車両に接近してくる移動物体（以下、接近物体という）の特徴点のフローは、内向きのベクトルとなる。したがって、自車両が静止している状態では、検知した移動物体の中から接近物体を抽出することも可能である。

一方、自車両が移動している状態では、特徴点の移動の大きさや向きが、自車両の移動により生じたものか否かを判定することで、精度は下がるが（特に、歩行者など低速で移動する移動物体を検知することは困難となる。）、移動物体と非移動物体とを区別することが可能である。しかしながら、自車両が移動している状態では、接近物体の特徴点は、遠ざかっていく移動物体の特徴点と同じ動き方をすることから、移動物体の中から接近物体を抽出することは非常に困難となる。

この問題を解決するための方法としては、例えば、オプティカルフローとパターンマッチングを組み合わせる方法がある。より具体的には、自車両が静止している時に、オプティカルフローを用いて、接近物体を検知し、検知した接近物体の領域をテンプレートに、テンプレートマッチングで追跡する方法である。

テンプレートマッチングで移動物体を追跡する場合、画素値に基づいて、移動物体を特定するため、ズレが生じ、そのズレは時間の経過とともに大きくなるという問題がある。これは、対応する画素位置における画素値は、光などの各種の条件により、微妙に変化してしまうからである。

この問題を解決するための方法としては、背景と各移動物体の代表色をそれぞれ特定し、特定した代表色に基づいて、追跡する方法がある（例えば、特許文献１を参照）。この方法を適用することで、画素値の微妙な変化を抑制できるため、ズレの要因を排除することが可能となる。

特開２００９−２３１９２１号公報

［２０１４年１月６日検索］、インターネット〈URL:http://www.nissan-global.com/JP/TECHNOLOGY/OVERVIEW/mod.html〉

しかしながら、特許文献１で提案されている方法では、各フレームにおいて、移動物体の代表色と同じ色の領域をその移動物体の領域として特定することから、移動物体の代表色が背景の代表色と同じ場合には追跡ができないという問題がある。すなわち、特許文献１で提案されている方法では、追跡性能に問題がある。

一つの側面では、本発明は、検知された移動物体の追跡性能を向上させることを可能とする移動物体検知・追跡装置、移動物体検知・追跡システム、移動物体検知・追跡方法、及び、プログラムを提供することを課題とする。

一態様に係る移動物体検知・追跡装置は、撮像手段により撮像され、順次入力されるフレームの画像に基づいて、移動物体を検知する検知手段と、前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換する画像変換手段と、前記検知手段により検知された前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定する代表色特定手段と、前記代表色特定手段により特定された前記代表色が占める前記移動物体領域上の領域の特徴量を算出する特徴量算出手段と、前記代表色特定手段により特定された複数の前記代表色と、前記特徴量算出手段により算出された前記特徴量と、に基づいて、前記代表色画像上での前記移動物体の追跡を開始する追跡手段と、を備える、ことを特徴としている。

移動物体の追跡性能を向上させることで、運転手は車両周辺の状況を的確に把握することが可能となる。これにより、安全運転に寄与できる。

実施形態１における移動物体検知・追跡システムの構成例を示す図と、車載装置の構成例を示す機能ブロック図である。 カメラの配置例を示す図である。 ＨＳＶモデルを例にした色の分類例を示す図である。 実施形態１における代表色設定テーブルの例を示す図である。 実施形態１における代表色設定テーブルの別の例を示す図である。 実施形態１における代表色・特徴量管理テーブルの例を示す図である。 実施形態１における代表色画像への画像変換を説明するための具体例を示す図である。 実施形態１における追跡方法を説明するための具体例を示す図であり、追跡対象の代表色の一部が背景の代表色と同じ場合の例である。 図９（Ａ）〜（Ｃ）は、いずれも、実施形態１における追跡方法を説明するための別の具体例を示す図であり、追跡対象の代表色が背景の代表色と同じ場合の例である。 実施形態１における出力処理部の出力結果を示す図である。 実施形態１における接近物体検知・追跡処理のフローを説明するためのフローチャートの例である。 実施形態１における接近物体検知処理のフローを説明するためのフローチャートの例である。 実施形態１における接近物体追跡処理のフローを説明するためのフローチャートの例である。 実施形態１における特徴量算出処理のフローを説明するためのフローチャートの例である。 実施形態１における検知・追跡結果出力処理のフローを説明するためのフローチャートの例である。 実施形態２における移動物体検知・追跡システムを構成する車載装置の構成例を示す機能ブロック図である。 実施形態２における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。 実施形態２における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の他の一部である。 実施形態３における移動物体検知・追跡システムを構成する車載装置の構成例を示す機能ブロック図である。 実施形態３における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。 実施形態３における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の他の一部である。 実施形態４における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。 実施形態５における移動物体検知・追跡システムを構成する車載装置の構成例を示す機能ブロック図である。 実施形態５における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。 実施形態５における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の他の一部である。 実施形態６における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。 実施形態７における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。 実施形態における移動物体検知・追跡システムのハードウェア構成の例を示す図である。

以下に本発明の実施の形態について図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本実施形態１における移動物体検知・追跡システム１の構成例を示す図と、車載装置３の構成例を示す機能ブロック図である。移動物体検知・追跡システム１は、図１に示すように、一又は複数のカメラ２と、移動物体検知・追跡装置である車載装置３と、を備えて構成されている。車載装置３には、図１に示すように、一又は複数のカメラ２が、画像入力部２１を介して、接続されており、カメラ２により撮像された画像が、車載装置３に順次入力される。

カメラ２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＭＯＳ（Metal-Oxide Semiconductor）などの撮像素子などで構成され、所定頻度（例えば、３０ｆｐｓ（frame per second））で車両周辺を撮像する。そして、撮像された画像は、後述の画像バッファ２１に順次格納される。

ここで、図２を参照して、カメラ２の配置について説明する。図２は、カメラ２の配置例を示す図である。カメラ２は、図２に示すように、例えば、車両のリア部に配置され、車両後方を撮像範囲とする後方カメラである。カメラ２を、例えば、後方カメラとして配置することで、車両を後退させる際に、運転手は、カメラ２により撮像された画像をモニタ上で確認することで、車両後方の状況、例えば、車両や歩行者の接近などを知ることができる。

なお、カメラ２の配置位置は車両のリア部に限定されるものではなく、直接視認しづらい部分が撮像範囲に含まれるような位置であればよい。例えば、車両の前方側方が撮像範囲に含まれるように、車両のフロント部にカメラ２を配置してもよい。

図１に戻り、本実施形態１における車載装置３は、図１に示すように、画像入力部１０、記憶部２０と、出力部３０と、制御部４０と、を備えて構成されている。

画像入力部１０は、カメラ２を接続するためのカメラインターフェースなどで構成され、カメラ２により撮像された車両周辺の画像が順次入力され、画像入力部１０に入力された画像は、画像バッファ２１に順次格納される。

記憶部２０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などで構成されている。記憶部２０は、制御部４０を構成する、例えば、ＣＰＵ（Central Processing Unit）のワークエリア、車載装置３全体を制御するための動作プログラムなどの各種プログラムを格納するプログラムエリア、詳しくは後述の代表色設定テーブルＴ１などのテーブルなど各種データを格納するデータエリアとして機能する。

また、記憶部２０は、画像バッファ２１と、テーブル記憶部２２として機能する。画像バッファ２１は、カメラ２により撮像された自車両周辺の画像データを順次格納する。テーブル記憶部２２は、代表色設定テーブルＴ１などのテーブルを格納する。

ここで、図３乃至図６を参照して、テーブル記憶部２２に格納されている各テーブルについて説明する。図３は、ＨＳＶ（Hue, Saturation, Value）モデルを例にした色の分類例を示す図である。図４は、本実施形態１における代表色設定テーブルＴ１の例を示す図である。

代表色は、色を複数の区分に分類した際に、同じ区分に属する色を代表する色である。例えば、図３に例示するように、色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の３つの成分で構成される色空間であるＨＳＶモデルを用いて色を複数の区分に分類し、区分ごとに代表色を対応付ける。色の区分は、例えば、カテゴリカル色知覚に基づいて、設定する。なお、色の区分の設定は任意であるが、移動物体（車両、歩行者、バイク、自転車など）に使用されている色を考慮して設定するのが好ましい。

色相（Ｈ）は、色の種類であり、ＨＳＶモデルでは、図３に示すように、色相を配置した色環に沿って０〜３６０の範囲で変化する角度で定義されている。

彩度（Ｓ）は、色の鮮やかさを示す尺度であり、ＨＳＶモデルでは、０〜１の範囲で変化する値で定義されている。値が大きいほど、色の鮮やかさを増し、値が小さいほど、グレー度が増し、くすんだ色となる。Ｓ＝０の場合は、無彩色、つまり、白色、黒色、グレーのいずれかとなる。

明度（Ｖ）は、色の明るさを示す尺度であり、ＨＳＶモデルでは、０〜１の範囲で変化する値で定義されている。値が大きいほど、色の明るみを増し、Ｖ＝１の場合は、白色、Ｖ＝０の場合は、黒色となる。

代表色設定テーブルＴ１は、色の分類をテーブル化したものであり、画像変換部４３（詳しくは後述）がカメラ２により撮像された画像を代表色画像に変換する際に参照されるテーブルである。代表色設定テーブルＴ１は、図４に示すように、［色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）］の組ごとに、代表色が対応付けられているテーブルである。

図５は、本実施形態１における代表色設定テーブルＴ１の別の例を示す図である。図５に例示する代表色設定テーブルＴ１では、［色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）］の組ごとに、代表色と関連代表色とが対応付けられている。図３に示すように、色の区分に対応する領域の境界付近の色は、例えば、光のあたり具合により、隣接する別の区分に属する色となり得る。これは、代表色が変化することを意味し、追跡対象の代表色が追跡中に変化してしまうと、代表色による追跡が困難となってしまう。そこで、図５に例示する代表色設定テーブルＴ１では、代表色が変化しても、関連代表色による追跡が可能となるように、境界付近の色に対しては、周辺環境の変化により属する可能性がある区分の代表色を、関連代表色として、予め対応付けて構成している。

例えば、接近を検知した時には、代表色が赤色として識別されていた車両が、近づくにつれて、車体の照り返しなどで色相が変化し、代表色がピンク色となってしまうことがある。このようなことが起こり得る［色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）］の組に対して関連代表色を対応付けておくことで、追跡処理部４６（詳しくは後述）は、対応付けられている関連代表色で追跡対象を追跡することが可能となる。上述の例では、追跡処理部４６は、代表色（赤色）と関連代表色（ピンク色）の２色で追跡対象の車両を追跡することが可能となることから、追跡性能を向上させることが可能となる。

図６は、本実施形態１における代表色・特徴量管理テーブルＴ２の例を示す図である。代表色・特徴量管理テーブルＴ２は、代表色特定部４４（詳しくは後述）と特徴量算出部４５（詳しくは後述）と追跡処理部４６により管理され、追跡対象の代表色と特徴量を管理しているテーブルであり、追跡処理部４６が追跡対象を追跡する際に参照されるテーブルである。代表色・特徴量管理テーブルＴ２は、図６に示すように、追跡対象である接近物体毎に、代表色と特徴量（詳しくは後述）とが対応付けられているテーブルである。

接近物体は、検知部４２（詳しくは後述）により検知された接近物体であり、本フィールドには、代表色特定部４４により、接近物体を一意に識別可能な識別子が格納される。特徴量のフィールドには、特徴量算出部４５により算出された、対応する接近物体の代表色の特徴量が初期において格納され、この特徴量は、追跡処理部４６により更新される。

代表色のフィールドには、代表色特定部４４により特定された対応する接近物体の代表色が初期において格納され、この代表色は、追跡処理部４６により更新される。例えば、一つの接近物体に対して複数の代表色が特定された場合には、特定された複数の代表色が格納される。例えば、特定された代表色が、赤色と黒色と白色の場合には、例えば、｛赤、黒、白｝のように格納する。また、例えば、保持している代表色設定テーブルＴ１が、図５に例示するようなテーブルであり、関連代表色が対応付けられている代表色が特定された場合には、関連代表色と代表色との対応関係が識別可能なように格納される。例えば、特定された代表色が、赤色と黒色と白色であり、代表色の赤色にピンク色と白色の関連代表色が対応付けられている場合には、例えば、｛（赤、ピンク、白）、黒、白｝のように格納する。

図１に戻り、出力部３０は、外部機器（不図示）を接続するための機器インターフェースなどで構成され、検知部４２による検知結果、あるいは、追跡処理部４６による追跡結果を、これらの出力先となる外部機器に出力する。

制御部４０は、例えば、ＣＰＵなどで構成され、記憶部２０のプログラムエリアに格納されている動作プログラムを実行して、図１に示すように、取得部４１と、検知部４２と、画像変換部４３と、代表色特定部４４と、特徴量算出部４５と、追跡処理部４６と、出力処理部４７としての機能を実現すると共に、車載装置３全体を制御する制御処理や詳しくは後述の接近物体検知・追跡処理などの処理を実行する。

取得部４１は、カメラ２により撮像され画像バッファ２１に順次格納されるフレームの画像を、撮像されたタイミングが早い順に一フレームずつ取得する。

検知部４２は、従来技術を用いて、自車両に接近してくる接近物体を検知し、検知できた場合には、検知結果（検知した接近物体の位置を示す位置情報、例えば、各フレームで検知した接近物体の座標）を出力処理部４７に出力する。例えば、検知部４２は、取得部４１により取得されたフレームの画像に対して、オプティカルフローを適用して移動物体を検知し、検知した移動物体の中から接近物体を抽出する。また、例えば、検知部４２は、取得部４１により取得されたフレームの画像に対して、一般物体認識技術を適用して、特定物体（例えば、歩行者、車両、バイク、自転車など移動する物体）を検知してもよい。一般物体認識技術としては、輝度勾配ヒストグラム（ＨＯＧ：Histograms of Oriented Gradients）特徴量と機械学習アルゴリズム（例えば、ＡｄａＢｏｏｓｔ）との組み合わせなどが考えられる。

画像変換部４３は、検知された接近物体毎に、処理対象のフレームの画像から当該接近物体を含む領域（以下、検知物体周辺領域という）を切り出して、切り出した検知物体周辺領域の画像を代表色画像に変換する。

より具体的には、画像変換部４３は、以下に示す式にしたがって、切り出した検知物体周辺領域の各画素のＲ、Ｇ、Ｂの値に基づいて、各画素のＨ、Ｓ、Ｖの値を算出する。但し、式中の、ＭＡＸは、Ｒ、Ｇ、Ｂの３つの値の内の最大値を意味し、ＭＩＮは、Ｒ、Ｇ、Ｂの３つの値の内の最小値を意味する。なお、以下において、Ｒ、Ｇ、Ｂの値に基づいて、Ｈ、Ｓ、Ｖの値を算出することを、ＲＧＢ→ＨＳＶ変換すると称することとする。

そして、画像変換部４３は、テーブル記憶部２２に格納されている代表色設定テーブルＴ１を参照して、算出したＨ、Ｓ、Ｖの値に基づいて、対応する代表色を特定し、対応する画素の色を特定した代表色に変換することで、代表色で描画されている代表色画像を生成する。

例えば、図７を参照して、画像変換部４３は、図７に例示する検知物体周辺領域の画像に対して、ＲＧＢ→ＨＳＶ変換を行い、代表色設定テーブルＴ１を参照して、算出した各画素のＨ、Ｓ、Ｖの値に基づいて、代表色を特定し、図７に例示する代表色画像を生成する。なお、図７は、本実施形態１における代表色画像への画像変換を説明するための具体例を示す図である。

図１に戻り、代表色特定部４４は、検知された接近物体の代表色（関連代表色が対応付けられている場合には、関連代表色を含む）を複数特定し、特定した代表色を接近物体毎に対応付けて代表色・特徴量管理テーブルＴ２に格納する。より具体的には、代表色特定部４４は、検知部４２により検知された接近物体の座標と画像変換部４３により特定された各画素の代表色とに基づいて、接近物体の代表色を複数特定する。移動物体（車両、歩行者、バイク、自転車など）が、単一色で構成されている場合は、極めて稀であり、通常、接近物体の代表色を複数特定することは可能である。

例えば、背景と接近物体を分離できる場合には、代表色特定部４４は、接近物体が存在する領域の代表色を特定する。一方、背景と接近物体とを厳密に分離できない場合には、代表色特定部４４は、画像変換部４３により特定された代表色から、背景に対応する代表色と画素数が所定値以下の代表色を除外し、残った代表色を接近物体の代表色として特定する。

特徴量算出部４５は、代表色特定部４４により特定された接近物体の代表色の特徴量を算出し、代表色・特徴量管理テーブルＴ２の対応するエントリの特徴量フィールドに、算出した特徴量を格納する。

特徴量としては、例えば、代表色の領域（以下、代表色領域という）で構成される接近物体の領域の外郭形状や、接近物体の領域を構成する代表色領域の面積比（画素数比）や、接近物体の領域を構成する代表色領域の重心の相対位置や、接近物体の領域を構成する代表色領域の座標などが考えられる。すなわち、特徴量は、接近物体の領域を構成する代表色領域の特徴量である。隣接するフレーム間におけるこれらの特徴量の変動は非常に小さいことから、これらの特徴量に基づいて追跡対象を追跡することで、追跡処理部４６は、追跡対象の追跡を高い精度で行うことが可能となる。

追跡処理部４６は、検知部４２により検知された接近物体の代表色と代表色の特徴量とに基づいて、その接近物体を追跡し、追跡結果（接近物体の位置を示す位置情報、例えば、各フレームで特定した接近物体の領域の座標）を出力処理部４７に出力する。そして、追跡処理部４６は、特定した接近物体の領域における代表色と代表色の特徴量で、代表色・特徴量管理テーブルＴ２の対応するエントリの代表色と代表色の特徴量を更新する。なお、接近物体以外の移動物体も、追跡処理部４６の追跡対象とするように構成してもよい。

より具体的には、追跡処理部４６は、代表色・特徴量管理テーブルＴ２を参照して、追跡対象の接近物体の代表色と代表色の特徴量を特定し、特定した代表色と代表色の特徴量との組と、画像変換部４３により生成された対応する代表色画像内の比較対象領域における代表色と代表色の特徴量との組と、を比較し、代表色と代表色の特徴量との組が、特定した代表色と代表色の特徴量との組に最も近い領域を、追跡対象の接近物体の領域として特定する。この際、追跡対象の接近物体の代表色に関連代表色が対応付けられている場合には、追跡処理部４６は、対応する代表色を関連代表色に置き換えた組と比較対象領域における代表色と代表色の特徴量との組との比較も行い、最も近い領域を、追跡対象の接近物体の領域として特定する。

例えば、図８を参照して、追跡対象の接近物体の代表色の一部が背景の代表色と同じ場合であっても、追跡対象の接近物体に対して複数の代表色を対応付けておくことで、追跡処理部４６は、背景の代表色以外の代表色により、追跡対象の接近物体を追跡することが可能である。追跡対象は、車両や歩行者などであり、これらが単一色であることは極めて稀であり、通常、複数の代表色で構成される。なお、図８は、本実施形態１における追跡方法を説明するための具体例を示す図であり、追跡対象の代表色の一部が背景の代表色と同じ場合の例である。

また、例えば、図９を参照して、追跡対象の接近物体の代表色が背景の代表色と同じ場合であっても、代表色だけでなく代表色の特徴量に基づいて追跡することで、追跡処理部４６は、追跡を継続することが可能である。なお、図９（Ａ）〜（Ｃ）は、いずれも、本実施形態１における追跡方法を説明するための別の具体例を示す図であり、追跡対象の代表色が背景の代表色と同じ場合の例である。

図９（Ａ）を参照して、例えば、追跡対象の接近物体の領域が、緑色の代表色領域とグレーの代表色領域で構成されており、図９（Ｂ）を参照して、例えば、背景の街路樹の代表色が緑色であり、背景の防音壁の代表色がグレーであるものと仮定する。この場合、図９（Ｂ）に示すように、追跡対象の接近物体の代表色は背景の代表色と同じとなる。図９（Ｃ）を参照して、このような場合であっても、追跡処理部４６は、例えば、代表色領域で構成される接近物体の領域の外郭形状をテンプレートにして、テンプレートマッチングを行い、代表色領域の面積比と代表色領域の重心の相対位置が最も近い領域を、追跡対象の接近物体の領域として特定することで、追跡を継続することが可能である。

図１に戻り、出力処理部４７は、検知部４２による検知結果、又は、追跡処理部４６による追跡結果を、出力部３０を介して、接続されている外部機器に出力する。より具体的には、図１０に示すように、出力処理部４７は、処理対象のフレームにおいて検知部４２により接近物体が検知された場合には、同フレームにおいて追跡処理部４６による接近物体の追跡が行われたとしても、検知部４２による検知結果を出力する。一方、処理対象のフレームにおいて追跡処理部４６による接近物体の追跡が行われ、同フレームにおいて検知部４２により接近物体が検知されなかった場合には、出力処理部４７は、追跡処理部４６による追跡結果を出力する。なお、図１０は、本実施形態１における出力処理部４７の出力結果を示す図である。

次に、図１１を参照して、本実施形態１における接近物体検知・追跡処理の流れについて説明する。図１１は、本実施形態１における接近物体検知・追跡処理のフローを説明するためのフローチャートの例である。本接近物体検知・追跡処理は、例えば、カメラ２により撮像された画像が画像バッファ２１に格納されたことをトリガとして開始される。

取得部４１は、画像バッファ２１から第1フレームを処理対象として取得する（ステップＳ００１）。そして、検知部４２は、取得部４１により取得されたフレームの画像において、接近物体検知処理を行い（ステップＳ００２）、追跡処理部４６は、画像変換部４３と連係して、接近物体追跡処理を行う（ステップＳ００３）。

そして、特徴量算出部４５は、画像変換部４３などと連係して、特徴量算出処理を
行い（ステップＳ００４）、出力処理部４７は、検知・追跡結果出力処理を行って、検知結果、又は、追跡結果を出力先となる外部機器に出力する（ステップＳ００５）。

そして、取得部４１は、全フレームの処理を行ったか否かを判定する（ステップＳ００６）。つまり、取得部４１は、全フレームを取得したか否かを判定する。取得部４１により、全フレームの処理を行ったと判定された場合には（ステップＳ００６；ＹＥＳ）、本処理は終了する。

一方、未処理のフレームが有ると判定した場合には（ステップＳ００６；ＮＯ）、取得部４１は、次フレームを処理対象として取得し（ステップＳ００７）、処理はステップＳ００２の処理へと戻り、前述の処理を繰り返す。

次に、図１２を参照して、本実施形態１における接近物体検知処理の流れについて説明する。図１２は、本実施形態１における接近物体検知処理のフローを説明するためのフローチャートの例である。本接近物体検知処理は、上述の接近物体検知・追跡処理のステップＳ００２の処理に対応する処理である。

検知部４２は、取得部４１により取得されたフレームの画像において、接近物体の検知処理を行い（ステップＳ１０１）、接近物体が検知できたか否かを判定する（ステップＳ１０２）。

検知部４２により、検知できなかったと判定された場合には（ステップＳ１０２；ＮＯ）、本処理は終了して、接近物体検知・追跡処理のステップＳ００３の処理へと移行する。一方、検知できたと判定した場合には（ステップＳ１０２；ＹＥＳ）、検知部４２は、検知結果を出力処理部４７に出力する（ステップＳ１０３）。そして、本処理は終了して、接近物体検知・追跡処理のステップＳ００３の処理へと移行する。

次に、図１３を参照して、本実施形態１における接近物体追跡処理の流れについて説明する。図１３は、本実施形態１における接近物体追跡処理のフローを説明するためのフローチャートの例である。本接近物体追跡処理は、上述の接近物体検知・追跡処理のステップＳ００３の処理に対応する処理である。

追跡処理部４６は、代表色・特徴量管理テーブルＴ２を参照して、エントリが有るか否かを判定する（ステップＳ２０１）。追跡処理部４６により、エントリは無いと判定された場合には（ステップＳ２０１；ＮＯ）、本処理は終了して、接近物体検知・追跡処理のステップＳ００４の処理へと移行する。

一方、追跡処理部４６により、エントリが有ると判定された場合には（ステップＳ２０１；ＹＥＳ）、画像変換部４３は、直前のフレームにおいて接近物体が存在していた領域の近傍を処理対象のフレームから切り出して、切り出した領域の画像を代表色画像に変換する（ステップＳ２０２）。

そして、追跡処理部４６は、代表色・特徴量管理テーブルＴ２を参照して、追跡対象の接近物体の代表色と特徴量を特定し、特定した代表色と特徴量とに基づいて、代表色画像を探索して、追跡対象の接近物体の領域を特定する（ステップＳ２０３）。

そして、追跡処理部４６は、追跡結果を出力処理部４７に出力する（ステップＳ２０４）。そして、本処理は終了して、接近物体検知・追跡処理のステップＳ００４の処理へと移行する。

次に、図１４を参照して、本実施形態１における特徴量算出処理の流れについて説明する。図１４は、本実施形態１における特徴量算出処理のフローを説明するためのフローチャートの例である。本特徴量算出処理は、上述の接近物体検知・追跡処理のステップＳ００４の処理に対応する処理である。

画像変換部４３は、処理対象のフレームにおいて、接近物体が検知されたか否かを判定する（ステップＳ３０１）。接近物体が検知されたと判定した場合には（ステップＳ３０１；ＹＥＳ）、画像変換部４３は、検知された接近物体毎に、当該接近物体を含む領域を切り出して、切り出した領域の画像を代表色画像に変換する（ステップＳ３０２）。

そして、代表色特定部４４は、検知された接近物体の座標と、画像変換部４３により代表色画像の生成過程で特定された各画素の代表色と、に基づいて、接近物体の代表色をそれぞれ特定し、接近物体毎に、特定した代表色を対応付けて代表色・特徴量管理テーブルＴ２に格納する（ステップＳ３０３）。

そして、特徴量算出部４５は、代表色特定部４４により特定された接近物体の代表色の特徴量を算出し、算出した特徴量を、代表色・特徴量管理テーブルＴ２の対応するエントリの特徴量フィールドに格納する（ステップＳ３０４）。そして、本処理は終了して、接近物体検知・追跡処理のステップＳ００５の処理へと移行する。

ステップＳ３０１の処理において、画像変換部４３により、接近物体が検知されなかったと判定された場合には（ステップＳ３０１；ＮＯ）、追跡処理部４６は、処理対象のフレームにおいて、接近物体の追跡を行ったか否かを判定する（ステップＳ３０５）。追跡処理部４６により、接近物体の追跡を行っていないと判定された場合には（ステップＳ３０５；ＮＯ）、本処理は終了して、接近物体検知・追跡処理のステップＳ００５の処理へと移行する。

一方、接近物体の追跡を行ったと判定した場合には（ステップＳ３０５；ＹＥＳ）、追跡処理部４６は、特定した接近物体の領域における代表色と代表色の特徴量で、代表色・特徴量管理テーブルＴ２の対応するエントリの代表色と代表色の特徴量を更新する（ステップＳ３０６）。そして、本処理は終了して、接近物体検知・追跡処理のステップＳ００５の処理へと移行する。

次に、図１５を参照して、本実施形態１における検知・追跡結果出力処理の流れについて説明する。図１５は、本実施形態１における検知・追跡結果出力処理のフローを説明するためのフローチャートの例である。本検知・追跡結果出力処理は、上述の接近物体検知・追跡処理のステップＳ００５の処理に対応する処理である。

出力処理部４７は、検知部４２から検知結果の入力が有ったか否かを判定する（ステップＳ４０１）。検知結果の入力が有ったと判定した場合には（ステップＳ４０１；ＹＥＳ）、出力処理部４７は、検知部４２から入力された検知結果を出力部３０に接続されている外部機器に出力する（ステップＳ４０２）。そして、本処理は終了して、接近物体検知・追跡処理のステップＳ００６の処理へと移行する。

一方、検知結果の入力は無いと判定した場合には（ステップＳ４０１；ＮＯ）、出力処理部４７は、更に、追跡処理部４６から追跡結果の入力が有ったか否かを判定する（ステップＳ４０３）。出力処理部４７により、追跡結果の入力も無いと判定された場合には（ステップＳ４０３；ＮＯ）、本処理は終了して、接近物体検知・追跡処理のステップＳ００６の処理へと移行する。

一方、追跡結果の入力があったと判定した場合には（ステップＳ４０３；ＹＥＳ）、出力処理部４７は、追跡処理部４６から入力された追跡結果を出力部３０に接続されている外部機器に出力する（ステップＳ４０４）。そして、本処理は終了して、接近物体検知・追跡処理のステップＳ００６の処理へと移行する。

上記実施形態１によれば、検知した接近物体が存在する領域における代表色を複数特定し、それら複数の代表色で接近物体を追跡するように構成した。このように構成することで、例えば、接近物体の代表色の一部が背景の代表色と同じであったとしても、それ以外の代表色により接近物体を追跡することが可能となり、追跡性能を向上させることが可能となる。また、接近物体が存在すると推定される領域を代表色画像に変換して、接近物体の代表色で探索することから、処理負荷を軽減することが可能となる。

また、上記実施形態１によれば、特定した代表色における複数の特徴量を算出し、接近物体を追跡する際に、これらの特徴量も利用するように構成した。このように構成することで、例えば、接近物体の代表色の全てが背景の代表色と同じような場合であっても、特徴量が最も近い領域を特定することで、接近物体を追跡することが可能となり、追跡性能を向上させることが可能となる。

また、上記実施形態１によれば、接近物体の探索を行う領域を、直前のフレームで特定した接近物体の領域の近傍とすることで、処理負荷を軽減し、追跡処理の時間を短縮することが可能となる。

また、上記実施形態１によれば、照り返しなど周辺環境の変化により色相などが変化し、属する区分が変化し得る色に対しては、他の区分の代表色を関連代表色として代表色に対応付け、代表色だけでなく関連代表色による接近物体の追跡も行うように構成した。このように構成することで、周辺環境の変化により接近物体の色が変化しても追跡を継続することが可能となり、追跡性能を向上させることが可能となる。

また、上記実施形態１によれば、移動物体（車両、バイク、自転車、歩行者など）に使用される色を考慮して区分を設定し、各色を代表色と対応付けるように構成した。このように構成することで、背景と接近物体を分離しやすくなり、追跡性能を向上させることが可能となる。

（実施形態２）
実施形態１においては、検知部４２による接近物体の検知と、追跡処理部４６による接近物体の追跡が並行して行われるように構成した。本実施形態２においては、検知部４２により接近物体が検知されている間は、追跡処理部４６による追跡処理を行わないように構成する。

図１６は、本実施形態２における移動物体検知・追跡システム１を構成する車載装置３の構成例を示す機能ブロック図である。本実施形態２における車載装置３の構成は、基本的には実施形態１の場合と同じである。但し、車載装置３の制御部４０は、図１６に示すように、出力処理部４７を備えていない。これは、本実施形態２の構成では、同じフレームの処理において、検知結果と追跡結果が同時に出力されることがないからである。したがって、検知部４２と追跡処理部４６は、それぞれ、検知結果と追跡結果を、出力部３０に接続されている外部機器に直接出力する点で、実施形態１の場合と異なっている。

次に、図１７と図１８を参照して、本実施形態２における接近物体検知・追跡処理の流れについて説明する。図１７と図１８は、それぞれ、本実施形態２における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部と、他の一部である。本接近物体検知・追跡処理は、例えば、カメラ２により撮像された画像が画像バッファ２１に格納されたことをトリガとして開始される。

取得部４１は、画像バッファ２１から第1フレームを処理対象として取得する（ステップＳ５０１）。そして、検知部４２は、取得部４１により取得されたフレームの画像において、接近物体の検知処理を行い（ステップＳ５０２）、接近物体が検知できたか否かを判定する（ステップＳ５０３）。

検知できたと判定した場合には（ステップＳ５０３；ＹＥＳ）、検知部４２は、検知結果を出力部３０に接続されている外部機器に出力する（ステップＳ５０４）。そして、画像変換部４３は、検知された接近物体毎に、当該接近物体を含む領域を切り出して、切り出した領域の画像を代表色画像に変換する（ステップＳ５０５）。

そして、代表色特定部４４は、検知された接近物体の座標と、画像変換部４３により代表色画像の生成過程で特定された各画素の代表色と、に基づいて、接近物体の代表色をそれぞれ特定し、接近物体毎に、特定した代表色を対応付けて代表色・特徴量管理テーブルＴ２に格納する（ステップＳ５０６）。

そして、特徴量算出部４５は、代表色特定部４４により特定された接近物体の代表色の特徴量を算出し、算出した特徴量を、代表色・特徴量管理テーブルＴ２の対応するエントリの特徴量フィールドに格納する（ステップＳ５０７）。

そして、取得部４１は、全フレームの処理を行ったか否かを判定する（ステップＳ５０８）。つまり、取得部４１は、全フレームを取得したか否かを判定する。取得部４１により、全フレームの処理を行ったと判定された場合には（ステップＳ５０８；ＹＥＳ）、本処理は終了する。

一方、未処理のフレームが有ると判定した場合には（ステップＳ５０８；ＮＯ）、取得部４１は、次フレームを処理対象として取得し（ステップＳ５０９）、処理はステップＳ５０２の処理へと戻り、前述の処理を繰り返す。

ステップＳ５０３の処理において、検知部４２により、検知できなかったと判定された場合には（ステップＳ５０３；ＮＯ）、画像変換部４３は、代表色・特徴量管理テーブルＴ２を参照して、エントリが有るか否かを判定する（ステップＳ５１０）。画像変換部４３により、エントリは無いと判定された場合には（ステップＳ５１０；ＮＯ）、処理はステップＳ５０８の処理へと進み、前述の処理を繰り返す。

一方、エントリが有ると判定した場合には（ステップＳ５１０；ＹＥＳ）、画像変換部４３は、直前のフレームにおいて接近物体が存在していた領域の近傍を処理対象のフレームから切り出して、切り出した領域の画像を代表色画像に変換する（ステップＳ５１１）。

そして、追跡処理部４６は、代表色・特徴量管理テーブルＴ２を参照して、追跡対象の接近物体の代表色と特徴量を特定し、特定した代表色と特徴量とに基づいて、代表色画像を探索して、追跡対象の接近物体の領域を特定する（ステップＳ５１２）。

そして、追跡処理部４６は、追跡結果を出力部３０に接続されている外部機器に出力すると共に（ステップＳ５１３）、特定した接近物体の領域における代表色と代表色の特徴量で、代表色・特徴量管理テーブルＴ２の対応するエントリの代表色と代表色の特徴量を更新する（ステップＳ５１４）。そして、処理はステップＳ５０８の処理へと進み、前述の処理を繰り返す。

上記実施形態２によれば、検知部４２による接近物体の検知ができない場合であって、代表色・特徴量管理テーブルＴ２にエントリがある場合、すなわち、直前のフレームでは接近物体の検知ができていた場合のみ、代表色と特徴量とに基づいて、接近物体の追跡を行うように構成した。このように構成することで、処理負荷を軽減することが可能となる。

また、同じフレームに対して、検知結果と追跡結果の両方が出力されることがないことから、出力処理部４７を備える必要がなくなる。したがって、処理を簡略化することが可能となる。

（実施形態３）
本実施形態３においては、自車両が静止している間は、検知部４２による接近物体の検知を行い、自車両が移動を開始すると、検知部４２による接近物体の検知を中止し、追跡処理部４６による接近物体の追跡を開始するように構成する。

図１９は、本実施形態３における移動物体検知・追跡システム１を構成する車載装置３の構成例を示す機能ブロック図である。本実施形態３における車載装置３の構成は、基本的には実施形態１の場合と同じである。

但し、図１９に示すように、車載装置３が入力部５０を更に備える点と、車載装置３の制御部４０が出力処理部４７を備えていない点と、制御部４０が走行判定部４８を更に備える点で、実施形態１の場合と異なっている。また、検知部４２と追跡処理部４６は、それぞれ、検知結果と追跡結果を、出力部３０に接続されている外部機器に直接出力する点で、実施形態１の場合と異なっている。

入力部５０は、例えば、機器インターフェースなどで構成され、走行判定部４８が自車両の移動を判定する際に必要となる情報が入力される。例えば、ＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network）を介して、車速センサの情報が入力部５０に入力される。また、例えば、ナビゲーションシステムから自車両の位置情報が入力部５０に入力される。

走行判定部４８は、入力部５０に入力された情報に基づいて、自車両の移動を判定する。なお、車載装置３自体が、自車両の移動を検知するセンサ類、例えば、加速度センサなどを備えるように構成してもよい。

次に、図２０と図２１を参照して、本実施形態３における接近物体検知・追跡処理の流れについて説明する。図２０と図２１は、それぞれ、本実施形態３における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部と、他の一部である。本接近物体検知・追跡処理は、例えば、カメラ２により撮像された画像が画像バッファ２１に格納されたことをトリガとして開始される。

取得部４１は、画像バッファ２１から第1フレームを処理対象として取得する（ステップＳ６０１）。そして、検知部４２は、取得部４１により取得されたフレームの画像において、接近物体の検知処理を行い（ステップＳ６０２）、接近物体が検知できたか否かを判定する（ステップＳ６０３）。検知部４２により、接近物体が検知できなかったと判定された場合には（ステップＳ６０３；ＮＯ）、処理は後述のステップＳ６０５の処理へと進む。

一方、検知できたと判定した場合には（ステップＳ６０３；ＹＥＳ）、検知部４２は、検知結果を出力部３０に接続されている外部機器に出力する（ステップＳ６０４）。そして、取得部４１は、全フレームの処理を行ったか否かを判定する（ステップＳ６０５）。つまり、取得部４１は、全フレームを取得したか否かを判定する。取得部４１により、全フレームの処理を行ったと判定された場合には（ステップＳ６０５；ＹＥＳ）、本処理は終了する。

一方、取得部４１により、未処理のフレームが有ると判定された場合には（ステップＳ６０５；ＮＯ）、走行判定部４８は、自車両が移動しているか否かを判定する（ステップＳ６０６）。走行判定部４８により、自車両は移動していないと判定された場合には（ステップＳ６０６；ＮＯ）、取得部４１は、次フレームを処理対象として取得し（ステップＳ６０７）、処理はステップＳ６０２の処理へと戻り、前述の処理を繰り返す。

一方、走行判定部４８により、自車両が移動していると判定された場合には（ステップＳ６０６；ＹＥＳ）、画像変換部４３は、検知部４２により接近物体が検知されたか否かを判定する（ステップＳ６０８）。画像変換部４３により、接近物体が検知されなかったと判定された場合には（ステップＳ６０８；ＮＯ）、本処理は終了する。

一方、接近物体が検知されたと判定した場合には（ステップＳ６０８；ＹＥＳ）、画像変換部４３は、検知された接近物体毎に、当該接近物体を含む領域を切り出して、切り出した領域の画像を代表色画像に変換する（ステップＳ６０９）。

そして、代表色特定部４４は、検知された接近物体の座標と、画像変換部４３により代表色画像の生成過程で特定された各画素の代表色と、に基づいて、接近物体の代表色をそれぞれ特定し、接近物体毎に、特定した代表色を対応付けて代表色・特徴量管理テーブルＴ２に格納する（ステップＳ６１０）。

そして、特徴量算出部４５は、代表色特定部４４により特定された接近物体の代表色の特徴量を算出し、算出した特徴量を、代表色・特徴量管理テーブルＴ２の対応するエントリの特徴量フィールドに格納する（ステップＳ６１１）。

そして、取得部４１は、次フレームを処理対象として取得し（ステップＳ６１２）、画像変換部４３は、直前のフレームにおいて接近物体が存在していた領域の近傍を処理対象のフレームから切り出して、切り出した領域の画像を代表色画像に変換する（ステップＳ６１３）。

そして、追跡処理部４６は、代表色・特徴量管理テーブルＴ２を参照して、追跡対象の接近物体の代表色と特徴量を特定し、特定した代表色と特徴量とに基づいて、代表色画像を探索して、追跡対象の接近物体の領域を特定する（ステップＳ６１４）。

そして、追跡処理部４６は、追跡結果を出力部３０に接続されている外部機器に出力すると共に（ステップＳ６１５）、特定した接近物体の領域における代表色と代表色の特徴量で、代表色・特徴量管理テーブルＴ２の対応するエントリの代表色と代表色の特徴量を更新する（ステップＳ６１６）。

そして、取得部４１は、全フレームの処理を行ったか否かを判定する（ステップＳ６１７）。つまり、取得部４１は、全フレームを取得したか否かを判定する。取得部４１により、全フレームの処理を行ったと判定された場合には（ステップＳ６１７；ＹＥＳ）、本処理は終了する。

一方、取得部４１により、未処理のフレームが有ると判定された場合には（ステップＳ６１７；ＮＯ）、処理はステップＳ６１２の処理へと戻り、前述の処理を繰り返す。

上記実施形態３によれば、自車両が移動を開始した後に、代表色と特徴量とに基づく追跡処理部４６による接近物体の追跡が行われるように構成した。このように構成することで、検知部４２による接近物体の検知が高精度で行えなくなる自車両の移動中は、追跡処理部４６による追跡に切り替えることで、追跡を高精度で継続することが可能となる。

また、上記実施形態３によれば、接近物体が検知された際の代表色の特定や特徴量の算出といった処理を、自車両の移動開始時のみ行うように構成した。このように構成したことで、処理負荷を軽減することが可能となる。

（実施形態４）
実施形態３で説明した接近物体検知・追跡処理では、ステップＳ６１７の処理でＮＯと判定された場合には、処理はステップＳ６１２の処理へと戻るように構成した。

本実施形態４においては、ステップＳ６１７でＮＯと判定された場合には、図２２に示すように、処理はステップＳ６１８の処理へと進み、走行判定部４８は、再び、自車両が移動しているか否かを判定する（ステップＳ６１８）。そして、走行判定部４８により、自車両は移動していないと判定された場合には（ステップＳ６１８；ＮＯ）、処理はステップＳ６０７の処理へと進み、再び、検知部４２による接近物体の検知が開始される。

一方、走行判定部４８により、自車両が移動していると判定された場合には（ステップＳ６１８；ＹＥＳ）、処理はステップＳ６１２の処理へと戻り、前述の処理を繰り返す。

なお、図２２は、本実施形態４における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。その他の部分の処理は実施形態３の場合と同じである。

上記実施形態４によれば、追跡処理部４６による接近物体の追跡が開始された後であっても、自車両が静止状態になると、再び、検知部４２による接近物体の検知が開始されるように構成した。このように構成することで、追跡中にズレが生じていても、自車両が再び静止した際に検知された接近物体の位置情報により、ズレを補正することが可能となる。これにより、追跡性能を向上させることが可能となる。

（実施形態５）
実施形態３においては、自車両が移動を開始すると、検知部４２による接近物体の検知を中止し、追跡処理部４６が接近物体の追跡を行うように構成した。本実施形態５においては、自車両が移動を開始した後の所定時間（例えば、２秒間）は、テンプレートマッチングによる追跡を行い、その後に、代表色と特徴量とに基づく、追跡処理部４６による追跡を行うように構成する。

図２３は、本実施形態５における移動物体検知・追跡システム１を構成する車載装置３の構成例を示す機能ブロック図である。本実施形態５における車載装置３の構成は、基本的には実施形態３の場合と同じである。

但し、図２３に示すように、車載装置３の制御部４０がタイマ４９とテンプレートマッチング部４Ａを更に備える点で、実施形態３の場合と異なっている。

タイマ４９は、自車両が移動を開始した後、所定時間（テンプレートマッチング部４Ａによる追跡期間）が経過したか否かを判定するためのタイマであり、制御部４０により制御されている。

テンプレートマッチング部４Ａは、従来のテンプレートマッチング技術を用いて、検知部４２により検知された接近物体の追跡を行い、追跡結果（接近物体の位置を示す位置情報、例えば、各フレームで特定した接近物体の領域の座標）を出力部３０に接続されている外部機器に出力する。

次に、図２４と図２５を参照して、本実施形態５における接近物体検知・追跡処理の流れについて説明する。図２４と図２５は、それぞれ、本実施形態５における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部と、他の一部である。本接近物体検知・追跡処理は、例えば、カメラ２により撮像された画像が画像バッファ２１に格納されたことをトリガとして開始される。

取得部４１は、画像バッファ２１から第1フレームを処理対象として取得する（ステップＳ６０１）。そして、検知部４２は、取得部４１により取得されたフレームの画像において、接近物体の検知処理を行い（ステップＳ６０２）、接近物体が検知できたか否かを判定する（ステップＳ６０３）。検知部４２により、接近物体が検知できなかったと判定された場合には（ステップＳ６０３；ＮＯ）、処理は後述のステップＳ６０５の処理へと進む。

一方、検知できたと判定した場合には（ステップＳ６０３；ＹＥＳ）、検知部４２は、検知結果を出力部３０に接続されている外部機器に出力する（ステップＳ６０４）。そして、取得部４１は、全フレームの処理を行ったか否かを判定する（ステップＳ６０５）。つまり、取得部４１は、全フレームを取得したか否かを判定する。取得部４１により、全フレームの処理を行ったと判定された場合には（ステップＳ６０５；ＹＥＳ）、本処理は終了する。

一方、取得部４１により、未処理のフレームが有ると判定された場合には（ステップＳ６０５；ＮＯ）、走行判定部４８は、自車両が移動しているか否かを判定する（ステップＳ６０６）。走行判定部４８により、自車両は移動していないと判定された場合には（ステップＳ６０６；ＮＯ）、取得部４１は、次フレームを処理対象として取得し（ステップＳ６０７）、処理はステップＳ６０２の処理へと戻り、前述の処理を繰り返す。

一方、走行判定部４８により、自車両が移動していると判定された場合には（ステップＳ６０６；ＹＥＳ）、画像変換部４３は、検知部４２により接近物体が検知されたか否かを判定する（ステップＳ６０８）。画像変換部４３により、接近物体が検知されなかったと判定された場合には（ステップＳ６０８；ＮＯ）、本処理は終了する。

一方、画像変換部４３により、接近物体が検知されたと判定された場合には（ステップＳ６０８；ＹＥＳ）、制御部４０は、タイマ４９をスタートさせ（ステップＳ７０１）、取得部４１は、次フレームを処理対象として取得する（ステップＳ７０２）。そして、テンプレートマッチング部４Ａは、テンプレートマッチングを用いて、検知部４２により検知された接近物体を追跡し（ステップＳ７０３）、追跡結果を出力部３０に接続されている外部機器に出力する（ステップＳ７０４）。

そして、取得部４１は、全フレームの処理を行ったか否かを判定する（ステップＳ７０５）。つまり、取得部４１は、全フレームを取得したか否かを判定する。取得部４１により、全フレームの処理を行ったと判定された場合には（ステップＳ７０５；ＹＥＳ）、本処理は終了する。

一方、取得部４１により、未処理のフレームが有ると判定された場合には（ステップＳ７０５；ＮＯ）、制御部４０は、タイムアウトしたか否かを判定する（ステップＳ７０６）。制御部４０により、まだタイムアウトしていないと判定された場合には（ステップＳ７０６；ＮＯ）、処理はステップＳ７０２の処理へと戻り、前述の処理を繰り返す。

一方、制御部４０により、タイムアウトしたと判定された場合には（ステップＳ７０６；ＹＥＳ）、画像変換部４３は、検知された接近物体（テンプレートマッチング部４Ａにより追跡された接近物体）毎に、当該接近物体を含む領域を切り出して、切り出した領域の画像を代表色画像に変換する（ステップＳ６０９）。

そして、代表色特定部４４は、処理対象のフレームにおける接近物体の座標（テンプレートマッチング部４Ａが特定した接近物体の領域の座標）と、画像変換部４３により代表色画像の生成過程で特定された各画素の代表色と、に基づいて、接近物体の代表色をそれぞれ特定し、接近物体毎に、特定した代表色を対応付けて代表色・特徴量管理テーブルＴ２に格納する（ステップＳ６１０）。

そして、特徴量算出部４５は、代表色特定部４４により特定された接近物体の代表色の特徴量を算出し、算出した特徴量を、代表色・特徴量管理テーブルＴ２の対応するエントリの特徴量フィールドに格納する（ステップＳ６１１）。

そして、取得部４１は、次フレームを処理対象として取得し（ステップＳ６１２）、画像変換部４３は、直前のフレームにおいて接近物体が存在していた領域の近傍を処理対象のフレームから切り出して、切り出した領域の画像を代表色画像に変換する（ステップＳ６１３）。

そして、追跡処理部４６は、代表色・特徴量管理テーブルＴ２を参照して、追跡対象の接近物体の代表色と特徴量を特定し、特定した代表色と特徴量とに基づいて、代表色画像を探索して、追跡対象の接近物体の領域を特定する（ステップＳ６１４）。

そして、追跡処理部４６は、追跡結果を出力部３０に接続されている外部機器に出力すると共に（ステップＳ６１５）、特定した接近物体の領域における代表色と代表色の特徴量で、代表色・特徴量管理テーブルＴ２の対応するエントリの代表色と代表色の特徴量を更新する（ステップＳ６１６）。

そして、取得部４１は、全フレームの処理を行ったか否かを判定する（ステップＳ６１７）。つまり、取得部４１は、全フレームを取得したか否かを判定する。取得部４１により、全フレームの処理を行ったと判定された場合には（ステップＳ６１７；ＹＥＳ）、本処理は終了する。

一方、取得部４１により、未処理のフレームが有ると判定された場合には（ステップＳ６１７；ＮＯ）、処理はステップＳ６１２の処理へと戻り、前述の処理を繰り返す。

上記実施形態５によれば、自車両の移動開始から所定時間が経過する迄は、テンプレートマッチング部４Ａによるテンプレートマッチングを用いた接近物体の追跡を行い、その後は、追跡処理部４６による接近物体の追跡を行うように構成した。このように構成することで、例えば、自車両の移動開始時に検知されている接近物体が遠方にあり、その接近物体の領域が微小であるような場合であっても、短時間であればズレの蓄積が少なく高精度の追跡が行えるテンプレートマッチングによる接近物体の追跡を最初に行い、接近物体の領域がある程度大きくなった時点で、代表色などによる追跡を行うことで、追跡が可能となる。これにより、追跡性能を向上させることが可能となる。

（実施形態６）
実施形態５で説明した接近物体検知・追跡処理では、ステップＳ７０５の処理で、ＮＯと判定された場合には、ステップＳ７０６の処理へと進み、ステップＳ６１７の処理でＮＯと判定された場合には、処理はステップＳ６１２の処理へと戻るように構成した。

本実施形態６においては、ステップＳ７０５でＮＯと判定された場合には、図２６に示すように、処理はステップＳ８０１の処理へと進み、走行判定部４８は、再び、自車両が移動しているか否かを判定する（ステップＳ８０１）。そして、走行判定部４８により、自車両は移動していないと判定された場合には（ステップＳ８０１；ＮＯ）、処理はステップＳ６０７の処理へと進み、再び、検知部４２による接近物体の検知が開始される。

一方、走行判定部４８により、自車両が移動していると判定された場合には（ステップＳ８０１；ＹＥＳ）、処理はステップＳ７０６の処理へと進む。

また、ステップＳ６１７でＮＯと判定された場合には、図２６に示すように、処理はステップＳ６１８の処理へと進み、走行判定部４８は、再び、自車両が移動しているか否かを判定する（ステップＳ６１８）。そして、走行判定部４８により、自車両は移動していないと判定された場合には（ステップＳ６１８；ＮＯ）、処理はステップＳ６０７の処理へと進み、再び、検知部４２による接近物体の検知が開始される。

一方、走行判定部４８により、自車両が移動していると判定された場合には（ステップＳ６１８；ＹＥＳ）、処理はステップＳ６１２の処理へと戻り、前述の処理を繰り返す。

なお、図２６は、本実施形態６における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。その他の部分の処理は実施形態５の場合と同じである。

上記実施形態６によれば、テンプレートマッチング部４Ａ、又は、追跡処理部４６による接近物体の追跡が開始された後であっても、自車両が静止状態になると、再び、検知部４２による接近物体の検知が開始されるように構成した。このように構成することで、追跡中にズレが生じていても、自車両が再び静止した際に検知された接近物体の位置情報により、ズレを補正することが可能となる。これにより、追跡性能を向上させることが可能となる。

（実施形態７）
実施形態３乃至６で説明した接近物体検知・追跡処理では、ステップＳ６０８の処理でＮＯと判定された場合には、接近物体検知・追跡処理を終了するように構成した。

本実施形態７においては、ステップＳ６０８の処理でＮＯと判定された場合には、図２７に示すように、ステップＳ６０７の処理へと進み、再び、検知部４２による接近物体の検知が開始される。

なお、図２７は、本実施形態７における接近物体検知・追跡処理のフローを説明するためのフローチャートの例の一部である。

（実施形態８）
実施形態３乃至７で説明した接近物体検知・追跡処理では、接近物体を検知、又は、追跡するためのアルゴリズムの切り替えを、自車両が静止状態か否かによって行うように構成した。

本実施形態８においては、自車両の走行速度が所定の閾値Ｍ（Ｍ＞０）以下であれば、検知部４２による接近物体の検知を行うように構成する。これは、非常に低速であれば、自車両が移動中であっても接近物体を検知できると考えられるからである。この場合、走行判定部４８は、入力部５０に入力された情報に基づいて、自車両の走行速度を算出（又は、特定）し、算出（又は、特定）した走行速度が所定の閾値Ｍ以下か否かを判定すればよい。

上記実施形態８によれば、自車両が移動を開始しても、走行速度が所定の閾値Ｍ以下であれば、検知部４２による接近物体の検知が行われるように構成した。このように構成することで、検知精度を保ちながら、頻繁にアルゴリズムが切り替わるのを防止することが可能となる。

図２８は、各実施形態における移動物体検知・追跡システム１のハードウェア構成の例を示す図である。図１、図１６、図１９、図２３に示す車載装置３は、例えば、図２８に示す各種ハードウェアにより実現されてもよい。図２８の例では、車載装置３は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、カメラ２が接続されているカメラインターフェース２０５、検知結果（又は、追跡結果）の出力先の外部機器などが接続されている機器インターフェース２０６、無線通信モジュール２０７、および読取装置２０８を備え、これらのハードウェアはバス２０９を介して接続されている。

ＣＰＵ２０１は、ＨＤＤ２０４に格納されている動作プログラムをＲＡＭ２０２にロードし、ＲＡＭ２０２をワーキングメモリとして使いながら各種処理を実行する。ＣＰＵ２０１は、動作プログラムを実行することで、図１、図１６、図１９、図２３に示す制御部４０の各機能部を実現することができる。

なお、上記動作を実行するための動作プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータで読み取り可能な記録媒体２１０に記憶して配布し、これを車載装置３の読取装置２０８で読み取ってコンピュータにインストールすることにより、上述の処理を実行するように構成してもよい。さらに、インターネット上のサーバ装置が有するディスク装置等に動作プログラムを記憶しておき、無線通信モジュール２０７を介して、車載装置３のコンピュータに動作プログラムをダウンロード等するものとしてもよい。

なお、実施形態に応じて、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４以外の他の種類の記憶装置が利用されてもよい。例えば、車載装置３は、ＣＡＭ（Content Addressable Memory）、ＳＲＡＭ（Static Random Access Memory）、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの記憶装置を有してもよい。

無線通信モジュール２０７は、無線接続における物理層の処理を行うハードウェアである。無線通信モジュール２０７は、例えば、アンテナ、ＡＤＣ（Analog-to-Digital Converter）、ＤＡＣ（Digital-to-Analog Converter）、変調器、復調器、符号化器、復号器などを含む。

なお、実施形態に応じて、移動物体検知・追跡システム１のハードウェア構成は図２８とは異なっていてもよく、図２８に例示した規格・種類以外のその他のハードウェアを移動物体検知・追跡システム１に適用することもできる。

例えば、図１、図１６、図１９、図２３に示す車載装置３の制御部４０の各機能部は、ハードウェア回路により実現されてもよい。具体的には、ＣＰＵ２０１の代わりに、ＦＰＧＡ（Field Programmable Gate Array）などのリコンフィギュラブル回路や、ＡＳＩＣ（Application Specific Integrated Circuit）などにより、図１、図１６、図１９、図２３に示す制御部４０の各機能部が実現されてもよい。もちろん、ＣＰＵ２０１とハードウェア回路の双方により、これらの機能部が実現されてもよい。

以上において、いくつかの実施形態について説明した。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態を成すことができることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

以上の実施形態１〜８を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像手段により撮像され、順次入力されるフレームの画像に基づいて、移動物体を検知する検知手段と、
前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換する画像変換手段と、
前記検知手段により検知された前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定する代表色特定手段と、
前記代表色特定手段により特定された前記代表色が占める前記移動物体領域上の領域の特徴量を算出する特徴量算出手段と、
前記代表色特定手段により特定された複数の前記代表色と、前記特徴量算出手段により算出された前記特徴量と、に基づいて、前記代表色画像上での前記移動物体の追跡を開始する追跡手段と、
を備える、
ことを特徴とする移動物体検知・追跡装置。
（付記２）
前記追跡手段は、直前のフレームの前記移動物体領域の前記代表色と前記特徴量とに基づいて、前記移動物体領域を特定することを繰り返すことで、前記代表色画像上での前記移動物体の前記追跡を継続する、
ことを特徴とする付記１に記載の移動物体検知・追跡装置。
（付記３）
自装置が搭載されている車両の走行速度が所定の閾値以下か否かを判定する判定手段を、更に、備え、
前記追跡手段は、前記判定手段により前記走行速度が前記閾値を超えたと判定された際に、前記検知手段により前記移動物体が検知されている場合のみ、前記追跡を開始する、
ことを特徴とする付記１又は２に記載の移動物体検知・追跡装置。
（付記４）
自装置が搭載されている車両の走行速度が所定の閾値以下か否かを判定する判定手段と、
テンプレートマッチングにより前記移動物体を追跡するテンプレートマッチング手段と、
を、更に、備え、
前記テンプレートマッチング手段は、前記判定手段により前記走行速度が前記閾値を超えたと判定された際に、前記検知手段により前記移動物体が検知されている場合のみ、前記走行速度が前記閾値を超えたと判定されてから所定時間が経過する迄、前記移動物体の追跡を行い、
前記追跡手段は、前記所定時間が経過した後に、前記追跡を開始する、
ことを特徴とする付記１又は２に記載の移動物体検知・追跡装置。
（付記５）
前記閾値は、ゼロである、
ことを特徴とする付記３又は４に記載の移動物体検知・追跡装置。
（付記６）
前記検知手段は、前記追跡手段、又は、前記テンプレートマッチング手段による前記移動物体の追跡が開始されると、前記移動物体の検知を終了する、
ことを特徴とする付記３乃至５のいずれか一に記載の移動物体検知・追跡装置。
（付記７）
前記追跡手段、又は、前記テンプレートマッチング手段は、前記接近物体の前記追跡を開始後、前記走行速度が前記閾値以下となった場合には、前記追跡を終了し、
前記検知手段は、前記追跡手段、又は、前記テンプレートマッチング手段が追跡を終了すると、前記移動物体の検知を再開する、
ことを特徴とする付記６に記載の移動物体検知・追跡装置。
（付記８）
前記追跡手段は、現フレームにおいて前記移動物体が検知されなかったが、直前のフレームにおいて前記移動物体が検知されていた場合のみ、前記追跡を開始する、
ことを特徴とする付記１又は２に記載の移動物体検知・追跡装置。
（付記９）
前記追跡手段は、前記検知手段により、再び、前記接近物体が検知されると、追跡を終了する、
ことを特徴とする付記８に記載の移動物体検知・追跡装置。
（付記１０）
色毎に、前記代表色が対応付けられているテーブルを格納するテーブル記憶手段を、更に、備え、
前記画像変換手段は、前記テーブルを参照して、前記画像上の各色を、前記代表色に変換して、前記代表色画像を生成する、
ことを特徴とする付記１乃至９のいずれか一に記載の移動物体検知・追跡装置。
（付記１１）
少なくとも一部の色に対し、前記代表色とは異なる色の一又は複数の関連代表色が、前記代表色と対応付けられて設定されており、
前記関連代表色は、周辺環境の変化により色が変化し得る場合における変化後の色に設定されている前記代表色であり、
前記追跡手段は、前記移動物体の前記代表色の中に、前記関連代表色が対応付けられている前記代表色が有る場合には、前記関連代表色に基づく前記追跡も行う、
ことを特徴とする付記１乃至１０のいずれか一に記載の移動物体検知・追跡装置。
（付記１２）
前記画像変換手段は、前記移動物体を含む領域を前記フレームの画像から切り出し、切り出した領域の画像を前記代表色画像に変換する、
ことを特徴とする付記１乃至１１のいずれか一に記載の移動物体検知・追跡装置。
（付記１３）
検知、又は、追跡されている前記移動物体の位置を示す位置情報を出力する出力手段を、更に、備える、
ことを特徴とする付記１乃至１２のいずれか一に記載の移動物体検知・追跡装置。
（付記１４）
前記検知手段により検知される前記移動物体は、接近してくる移動物体である、
ことを特徴とする付記１乃至１３のいずれか一に記載の移動物体検知・追跡装置。
（付記１５）
前記代表色は、前記移動物体に使用される色に基づいて設定される、
ことを特徴とする付記１乃至１４のいずれか一に記載の移動物体検知・追跡装置。
（付記１６）
撮像装置と移動物体検知・追跡装置とを含む移動物体検知・追跡システムであって、
前記移動物体検知・追跡装置は、
前記撮像装置により撮像され、順次入力される画像に基づいて、移動物体を検知する検知手段と、
前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換する画像変換手段と、
前記検知手段により検知された前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定する代表色特定手段と、
前記代表色特定手段により特定された前記代表色が占める前記移動物体領域上の領域の特徴量を算出する特徴量算出手段と、
前記代表色特定手段により特定された複数の前記代表色と、前記特徴量算出手段により算出された前記特徴量と、に基づいて、前記代表色画像上での前記移動物体の追跡を開始する追跡手段と、
を備える、
ことを特徴とする移動物体検知・追跡システム。
（付記１７）
撮像手段により撮像され、順次入力される画像に基づいて、移動物体を検知し、
前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換し、
検知した前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定し、
特定した前記代表色が占める前記移動物体領域上の領域の特徴量を算出し、
特定した複数の前記代表色と算出した前記特徴量とに基づいて、前記代表色画像上での前記移動物体の追跡を開始する、
ことを特徴とする移動物体検知・追跡方法。
（付記１８）
撮像手段により撮像された画像が順次入力される移動物体検知・追跡装置のコンピュータに、
前記画像に基づいて、移動物体を検知し、
前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換し、
検知した前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定し、
特定した前記代表色が占める前記移動物体領域上の領域の特徴量を算出し、
特定した複数の前記代表色と算出した前記特徴量とに基づいて、前記代表色画像上での前記移動物体の追跡を開始する、
処理を実行させる、
ことを特徴とするプログラム。
（付記１９）
撮像手段により撮像された画像が順次入力される移動物体検知・追跡装置のコンピュータに、
前記画像に基づいて、移動物体を検知し、
前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換し、
検知した前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定し、
特定した前記代表色が占める前記移動物体領域上の領域の特徴量を算出し、
特定した複数の前記代表色と算出した前記特徴量とに基づいて、前記代表色画像上での前記移動物体の追跡を開始する、
処理を実行させるプログラムを記憶した記録媒体。

１ 移動物体検知・追跡システム
２ カメラ
３ 車載装置
１０ 画像入力部
２０ 記憶部
２１ 画像バッファ
２２ テーブル記憶部
Ｔ１ 代表色設定テーブル
Ｔ２ 代表色・特徴量管理テーブル
３０ 出力部
４０ 制御部
４１ 取得部
４２ 検知部
４３ 画像変換部
４４ 代表色特定部
４５ 特徴量算出部
４６ 追跡処理部
４７ 出力処理部
４８ 走行判定部
４９ タイマ
４Ａ テンプレートマッチング部
５０ 入力部
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ ＨＤＤ
２０５ カメラインターフェース
２０６ 機器インターフェース
２０７ 無線通信モジュール
２０８ 読取装置
２０９ バス
２１０ 記録媒体

Claims (13)

1. 撮像手段により撮像され、順次入力されるフレームの画像に基づいて、移動物体を検知する検知手段と、
   前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換する画像変換手段と、
   前記検知手段により検知された前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定する代表色特定手段と、
   前記代表色特定手段により特定された前記代表色が占める前記移動物体領域上の領域の特徴量を算出する特徴量算出手段と、
   前記代表色特定手段により特定された複数の前記代表色と、前記特徴量算出手段により算出された前記特徴量と、に基づいて、前記代表色画像上での前記移動物体の追跡を開始する追跡手段と、
   を備える、
   ことを特徴とする移動物体検知・追跡装置。
2. 前記追跡手段は、直前のフレームの前記移動物体領域の前記代表色と前記特徴量とに基づいて、前記移動物体領域を特定することを繰り返すことで、前記代表色画像上での前記移動物体の前記追跡を継続する、
   ことを特徴とする請求項１に記載の移動物体検知・追跡装置。
3. 自装置が搭載されている車両の走行速度が所定の閾値以下か否かを判定する判定手段を、更に、備え、
   前記追跡手段は、前記判定手段により前記走行速度が前記閾値を超えたと判定された際に、前記検知手段により前記移動物体が検知されている場合のみ、前記追跡を開始する、
   ことを特徴とする請求項１又は２に記載の移動物体検知・追跡装置。
4. 自装置が搭載されている車両の走行速度が所定の閾値以下か否かを判定する判定手段と、
   テンプレートマッチングにより前記移動物体を追跡するテンプレートマッチング手段と、
   を、更に、備え、
   前記テンプレートマッチング手段は、前記判定手段により前記走行速度が前記閾値を超えたと判定された際に、前記検知手段により前記移動物体が検知されている場合のみ、前記走行速度が前記閾値を超えたと判定されてから所定時間が経過する迄、前記移動物体の追跡を行い、
   前記追跡手段は、前記所定時間が経過した後に、前記追跡を開始する、
   ことを特徴とする請求項１又は２に記載の移動物体検知・追跡装置。
5. 前記検知手段は、前記追跡手段、又は、前記テンプレートマッチング手段による前記移動物体の追跡が開始されると、前記移動物体の検知を終了する、
   ことを特徴とする請求項３又は４に記載の移動物体検知・追跡装置。
6. 前記追跡手段、又は、前記テンプレートマッチング手段は、前記接近物体の前記追跡を開始後、前記走行速度が閾値以下となった場合には、前記追跡を終了し、
   前記検知手段は、前記追跡手段、又は、前記テンプレートマッチング手段が追跡を終了すると、前記移動物体の検知を再開する、
   ことを特徴とする請求項５に記載の移動物体検知・追跡装置。
7. 前記追跡手段は、現フレームにおいて前記移動物体が検知されなかったが、直前のフレームにおいて前記移動物体が検知されていた場合のみ、前記追跡を開始する、
   ことを特徴とする請求項１又は２に記載の移動物体検知・追跡装置。
8. 色毎に、前記代表色が対応付けられているテーブルを格納するテーブル記憶手段を、更に、備え、
   前記画像変換手段は、前記テーブルを参照して、前記画像上の各色を、前記代表色に変換して、前記代表色画像を生成する、
   ことを特徴とする請求項１乃至７のいずれか一に記載の移動物体検知・追跡装置。
9. 少なくとも一部の色に対し、前記代表色とは異なる色の一又は複数の関連代表色が、前記代表色と対応付けられて設定されており、
   前記関連代表色は、周辺環境の変化により色が変化し得る場合における変化後の色に設定されている前記代表色であり、
   前記追跡手段は、前記移動物体の前記代表色の中に、前記関連代表色が対応付けられている前記代表色が有る場合には、前記関連代表色に基づく前記追跡も行う、
   ことを特徴とする請求項１乃至８のいずれか一に記載の移動物体検知・追跡装置。
10. 前記画像変換手段は、前記移動物体を含む領域を前記フレームの画像から切り出し、切り出した領域の画像を前記代表色画像に変換する、
    ことを特徴とする請求項１乃至９のいずれか一に記載の移動物体検知・追跡装置。
11. 撮像装置と移動物体検知・追跡装置とを含む移動物体検知・追跡システムであって、
    前記移動物体検知・追跡装置は、
    前記撮像装置により撮像され、順次入力される画像に基づいて、移動物体を検知する検知手段と、
    前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換する画像変換手段と、
    前記検知手段により検知された前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定する代表色特定手段と、
    前記代表色特定手段により特定された前記代表色が占める前記移動物体領域上の領域の特徴量を算出する特徴量算出手段と、
    前記代表色特定手段により特定された複数の前記代表色と、前記特徴量算出手段により算出された前記特徴量と、に基づいて、前記代表色画像上での前記移動物体の追跡を開始する追跡手段と、
    を備える、
    ことを特徴とする移動物体検知・追跡システム。
12. 撮像手段により撮像され、順次入力される画像に基づいて、移動物体を検知し、
    前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換し、
    検知した前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定し、
    特定した前記代表色が占める前記移動物体領域上の領域の特徴量を算出し、
    特定した複数の前記代表色と算出した前記特徴量とに基づいて、前記代表色画像上での前記移動物体の追跡を開始する、
    ことを特徴とする移動物体検知・追跡方法。
13. 撮像手段により撮像された画像が順次入力される移動物体検知・追跡装置のコンピュータに、
    前記画像に基づいて、移動物体を検知し、
    前記画像上の各色を、色毎に予め設定されている代表色に変換して、前記画像を前記代表色で描画されている代表色画像に変換し、
    検知した前記移動物体が存在する前記代表色画像上の領域である移動物体領域における複数の前記代表色を特定し、
    特定した前記代表色が占める前記移動物体領域上の領域の特徴量を算出し、
    特定した複数の前記代表色と算出した前記特徴量とに基づいて、前記代表色画像上での前記移動物体の追跡を開始する、
    処理を実行させる、
    ことを特徴とするプログラム。