JP2010039617A - 対象物追跡装置及びプログラム - Google Patents

Abstract

【課題】追跡対象物が部分的に変形する場合であっても、簡易な処理で、安定して追跡することができるようにする。
【解決手段】撮像装置１２によって、自車両前方を撮像し、対象物検出部２２によって、第１の撮像画像から対象物領域を検出する。特徴点抽出部２４によって、第１の撮像画像について検出された対象物領域及び第２の撮像画像の各々から、複数の特徴点を抽出する。そして、対応点検索部２６によって、特徴点抽出部２４によって第１の撮像画像から抽出された特徴点の各々に対応する特徴点を、第２の撮像画像から各々検索する。対象物領域推定２８によって、第１の撮像画像における特徴点の各々に対する、対象物領域内の中心位置までの距離、方向、及び第２の撮像画像における対応する特徴点の各々に基づいて、第２の撮像画像における対象物領域の中心位置を推定し、第２の撮像画像における対象物領域を推定する。
【選択図】図１

Description

本発明は、対象物追跡装置及びプログラムに係り、特に、追跡対象物を表わす領域を追跡する対象物追跡装置及びプログラムに関する。

従来より、検出された対象物領域を小領域に分割し、個々の小領域ごとに画像間で照合を行って、追跡を行う移動体追跡のための画像処理方法が知られている（特許文献１）。また、対象物の運動モデルを用いて複数の追跡候補位置を生成し、照合することで追跡を行う対象物追跡装置が知られている（特許文献２）。
特開２００６−１７８６６９号公報 特開２００７−３２８７４６号公報

しかしながら、上記の特許文献１に記載の技術では、部分的に変形が起こる物体を、安定して追跡するためには、分割する小領域を小さくする必要があるが、小領域を小さくするほど、照合に誤りが発生してしまうと共に、照合における計算量が増大してしまう、という問題がある。

また、上記の特許文献２に記載の技術では、対象物が部分的に変形する場合、照合に誤りが発生してしまうため、追跡することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、追跡対象物が部分的に変形する場合であっても、簡易な処理で、安定して追跡することができる対象物追跡装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る対象物追跡装置は、所定領域を撮像する撮像手段と、前記撮像手段によって撮像された第１の画像について求められた追跡対象物を表わす領域から、複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって抽出された前記特徴点の各々に対応する点を、前記第１の画像と異なるタイミングで前記撮像手段によって撮像された第２の画像から各々検索する検索手段と、前記第１の画像における前記特徴点の各々に対する、前記追跡対象物を表わす領域内の特定位置の相対位置、及び第２の画像における前記検索手段によって検索された点の各々に基づいて、前記第２の画像における前記特定位置を推定する特定位置推定手段と、前記特定位置推定手段によって推定された前記第２の画像における前記特定位置に基づいて、前記第２の画像における前記追跡対象物を表わす領域を推定する領域推定手段とを含んで構成されている。

また、本発明に係るプログラムは、コンピュータを、所定領域を撮像する撮像手段によって撮像された第１の画像について求められた追跡対象物を表わす領域から、複数の特徴点を抽出する特徴点抽出手段、前記特徴点抽出手段によって抽出された前記特徴点の各々に対応する点を、前記第１の画像と異なるタイミングで前記撮像手段によって撮像された第２の画像から各々検索する検索手段、前記第１の画像における前記特徴点の各々に対する、前記追跡対象物を表わす領域内の特定位置の相対位置、及び第２の画像における前記検索手段によって検索された点の各々に基づいて、前記第２の画像における前記特定位置を推定する特定位置推定手段、及び前記特定位置推定手段によって推定された前記第２の画像における前記特定位置に基づいて、前記第２の画像における前記追跡対象物を表わす領域を推定する領域推定手段として機能させるためのプログラムである。

本発明によれば、撮像手段によって、所定領域を撮像し、特徴点抽出手段によって、撮像手段によって撮像された第１の画像について求められた追跡対象物を表わす領域から、複数の特徴点を抽出する。そして、検索手段によって、特徴点抽出手段によって抽出された特徴点の各々に対応する点を、第１の画像と異なるタイミングで撮像手段によって撮像された第２の画像から各々検索する。

特定位置推定手段によって、第１の画像における特徴点の各々に対する、追跡対象物を表わす領域内の特定位置の相対位置、及び第２の画像における検索手段によって検索された点の各々に基づいて、第２の画像における特定位置を推定する。そして、領域推定手段によって、特定位置推定手段によって推定された第２の画像における特定位置に基づいて、第２の画像における追跡対象物を表わす領域を推定する。

このように、第１の画像における特徴点の各々に対する、追跡対象物を表わす領域内の特定位置の相対位置、及び第２の画像における対応する点の各々に基づいて、第２の画像における追跡対象物を表わす領域内の特定位置を推定して、第２の画像における追跡対象物を表わす領域を推定することにより、追跡対象物が部分的に変形する場合であっても、簡易な処理で、安定して追跡対象物を追跡することができる。

本発明に係る特定位置推定手段は、第２の画像において、検索手段によって検索された点の各々と、該点から対応する特徴点に対する相対位置となる位置とを通る複数の直線から形成される各交点について、他の交点との距離の合計値又は平均値を算出し、算出した距離の合計値又は平均値が所定値以上となる複数の交点を形成する共通の直線上の前記検索された点を抽出し、点が抽出された場合、抽出された点以外の検索された点の各々と、該点に対応する特徴点に対する相対位置とに基づいて、第２の画像における特定位置を推定することができる。これによって、他の部分と異なる動作をした部分に存在する点を除外して、追跡対象物の領域内の特定位置を推定することにより、追跡対象物が部分的に変形する場合であっても、第２の画像における追跡対象物の領域を精度よく推定することができる。

本発明に係る対象物追跡装置は、第１の画像における追跡対象物を表わす領域の大きさ、第１の画像における特徴点の各々と特定位置との距離、及び第２の画像における検索手段によって検索された点の各々と推定された特定位置との距離に基づいて、第２の画像における追跡対象物を表わす領域の大きさを推定する大きさ推定手段を更に含み、領域推定手段は、特定位置推定手段によって推定された第２の画像における特定位置、及び大きさ推定手段によって推定された検出対象物を表わす領域の大きさに基づいて、第２の画像における追跡対象物を表わす領域を推定することができる。

本発明に係る対象物追跡装置は、第２の画像から追跡対象物を表わす領域を検出する領域検出手段と、領域検出手段によって検出された追跡対象物を表わす領域、及び領域推定手段によって推定された追跡対象物を表わす領域に基づいて、第２の画像における追跡対象物を表わす領域を補正する領域補正手段と、を更に含むことができる。これによって、検出された追跡対象物を表わす領域を用いて、推定された追跡対象物を表わす領域を補正することにより、第２の画像における追跡対象物の領域を精度よく推定することができる。

本発明に係る対象物追跡装置は、第１の画像から追跡対象物を表わす領域を検出する領域検出手段を更に含み、特徴点抽出手段は、領域検出手段によって検出された追跡対象物を表わす領域から、複数の特徴点を抽出することができる。

本発明に係る特徴点抽出手段は、追跡対象物を表わす領域が前回推定された第２の画像を、第１の画像とし、前回推定された追跡対象物を表わす領域から、複数の特徴点を抽出することができる。

本発明に係る特徴点抽出手段は、追跡対象物を表わす領域が前回推定された第２の画像を、第１の画像とし、前回補正された追跡対象物を表わす領域から、複数の特徴点を抽出することができる。

上記の追跡対象物を、部分的に変形可能な物体とすることができる。

以上説明したように、本発明の対象物追跡装置及びプログラムによれば、第１の画像における特徴点の各々に対する、追跡対象物を表わす領域内の特定位置の相対位置、及び第２の画像における対応する点の各々に基づいて、第２の画像における追跡対象物を表わす領域内の特定位置を推定し、第２の画像における追跡対象物を表わす領域を推定することにより、追跡対象物が部分的に変形する場合であっても、簡易な処理で、安定して追跡対象物を追跡することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

図１に示すように、本実施の形態に係る対象物追跡装置１０は、車両（図示省略）に搭載され、かつ、自車両前方を連続に撮像して撮像画像を生成する撮像装置１２と、撮像装置１２から得られる撮像画像について、追跡対象物としての歩行者を表わす対象物領域を追跡して、表示装置１６に追跡結果を表示させるコンピュータ１４とを備えている。

撮像装置１２は、自車両の前方を撮像し、画像の画像信号を生成する単眼のカメラで構成される撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。また、表示装置１６は、自車両に搭載されているディスプレイから構成されている。

コンピュータ１４は、ＣＰＵ、後述する追跡処理ルーチンを実行するためのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２から連続して出力される撮像画像を取得する画像入力部２０と、画像入力部２０によって取得された撮像画像から、歩行者を表わす対象物領域を検出する対象物検出部２２と、画像入力部２０によって取得された複数の撮像画像の各々から、画像上で追跡しやすい特徴点を複数抽出する特徴点抽出部２４と、特徴点抽出部２４により得られた２つの画像の各々における特徴点から、２つの画像間で対応する点を検索する対応点検索部２６と、対応点検索部２６で得られた対応する特徴点の各々、及び一方の撮像画像における対象物領域を入力として、他方の撮像画像における対象物領域を推定する対象物領域推定部２８と、対象物検出部２２により他方の撮像画像について検出された対象物領域を用いて、推定された対象物領域を補正する対象物領域補正部３０と、対象物領域補正部３０の補正結果を表示装置１６に表示させる表示制御部３２とを備えている。

画像入力部２０は、異なるタイミングで撮像された２つの撮像画像を撮像装置１２から取得する。なお、以下では、２つの撮像画像のうち、先に撮像された撮像画像を第１の撮像画像とし、後に撮像された撮像画像を第２の撮像画像として説明する。

対象物検出部２２は、画像入力部２０によって取得された第１の撮像画像、及び第２の撮像画像の各々から、パターン認識により、歩行者を表わす対象物領域を検出する。対象物検出部２２には、学習により得られた歩行者を表わす領域の画像特徴量のパターンが記憶されている。なお、対象物領域の検出方法については、他の既存の検出方法を用いてもよく、例えば、ミリ波レーダ、レーザレーダなどの他のセンサによる検出結果や、時系列画像又はステレオカメラによる撮像画像から立体物を検出した検出結果を用いて、歩行者を表わす対象物領域を検出するようにしてもよい。

特徴点抽出部２４は、撮像装置１２から取得した第１の撮像画像における対象物領域内から特徴点を抽出すると共に、撮像装置１２から取得した第２の撮像画像から、特徴点を抽出する。特徴点とは、周囲の点と区別でき、異なる画像間で対応関係を求めることが容易な点のことを指す。特徴点は、２次元的に濃淡変化の勾配値が大きくなる画素を検出する方法（例えばＨａｒｒｉｓオペレータなど）を用いて、自動的に抽出される。Ｈａｒｒｉｓオペレータを用いる方法では、以下に説明するように、特徴点を抽出する。まず、画像の点（ｕ，ｖ）の輝度をＩ（ｕ，ｖ）として、以下の（１）式によって、行列Ｍを計算する。

ただし、Ｉ_ｕ，Ｉ_ｖはそれぞれ水平方向、垂直方向の微分、Ｇ_σは標準偏差σのガウス分布による平滑化を表す。

そして、上記（１）式で計算された行列Ｍの固有値λ_１、λ_２を用いて、以下の（２）式によりコーナー強度を計算する。

ただし、ｋは予め設定される定数であって、０．０４〜０．０６の値が一般に用いられる。Ｈａｒｒｉｓオペレータを用いる方法では、このコーナー強度がしきい値以上でかつ極大となる点を選択し、選択された点を特徴点として抽出する。

対応点検索部２６は、特徴点抽出部２４において抽出された第１の撮像画像の対象物領域内の特徴点に対応する点を、第２の撮像画像において抽出された特徴点から検索して、特徴点の対応付けを行う。

２つの撮像画像間での特徴点の対応付けでは、特徴点周辺に設定した小領域での輝度分布が似ている点の組を選択し、選択された点の組を対応している点とする。２つの特徴点が似ているかどうかの判定にはＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）などの値を用いればよい。

例えば、第１の撮像画像Ｉ_１の対象物領域内の特徴点ｐ＝（ｘ，ｙ）について、第２の撮像画像Ｉ_２の特徴点ｐ'＝（ｘ’，ｙ’）の各々との組み合わせをペアとして、以下の（３）式を各々計算する。

ただし、ｒは、小領域の大きさを決定する変数であり、予め定められている。

そして、上記（３）式によって計算される値が最小となったときの第２の撮像画像の特徴点を検索し、第１の撮像画像の対象物領域内の特徴点に対応する点とする。

上記の計算を、第１の撮像画像の対象物領域内の特徴点の各々について行って、第１の撮像画像の対象物領域内の特徴点の各々に対応する点を、第２の撮像画像の特徴点から検索する。

また、対応点検索部２６は、特徴点抽出部２４において２つの撮像画像の各々から抽出された特徴点について、２つの撮像画像間で対応する点を少なくとも３組検索する。

ここで、本実施の形態の原理について説明する。時系列画像において、対象物を追跡する場合、画像間でマッチングをとることで同一の物体である領域を探索することが可能となるが、人などの部分的に変形が発生する対象物を追跡する場合、画像間で対応する領域を求めることができない場合が発生する。また、対象物の運動モデルを用いて、対象物領域の位置、大きさを推定することも可能であるが、撮像装置または対象物の運動に変化が生じた場合には、対象物の追跡が困難となる。

これに対して、画像間において、対象物領域内の複数の特徴点をそれぞれ追跡することにより、部分的に変形がある対象物に対しても、安定して追跡を行うことが可能となる。

そこで、本実施の形態では、対象物領域推定部２８によって、対象物検出部２２により得られた第１の撮像画像における対象物領域、及び対応点検索部２６により得られた、第１の撮像画像の対象物領域内の特徴点と第２の撮像画像の特徴点との対応関係を用いて、第２の撮像画像における歩行者を表わす対象物領域を推定する。

第２の撮像画像における対象物領域を推定する方法について以下に説明する。まず、第１の撮像画像で検出された対象物領域について、図２（Ａ）に示すように、対象物領域の幅ｗ、高さｈ、及び中心位置を各々求める。次に、図２（Ｂ）に示すように、第１の撮像画像の対象物領域内から抽出された特徴点ｐｉ（ｉ＝１，・・・，ｎであり、ｎは抽出された特徴点の数である。）に対して、中心位置との距離ｄｉ、及び中心位置への方向θｉを算出する。

また、第１の撮像画像の特徴点ｐｉに対応する点が、第２の撮像画像の特徴点ｐ’ｉであるとすると、図３（Ａ）に示すように、第２の撮像画像での各特徴点ｐ’ｉ（ｉ＝１，・・・，ｎ）から、θｉ方向へ直線を引くことにより、特徴点ｐ’ｉと、特徴点ｐ’ｉに対して、対応する特徴点ｐｉに対する中心位置の相対位置となる位置とを通る直線を引く。なお、上記図３（Ａ）では、特徴点ｐ６に対応する点が検索されなかった場合を例にしており、このように第２の撮像画像において対応点が検索されなかった点については、直線を引く処理を行わないものとする。

次に、各特徴点ｐ’ｉから引いた各直線に最も近くなる点を求め、第２の撮像画像における対象物領域の中心位置の推定値とする。このとき、追跡対象物が部分的に変形すると、変形した部分にある特徴点の動きは、追跡対象物全体の動きとは異なるため、変形した部分にある特徴点を、中心位置の推定処理において用いないように除外する。

ここで、除外する特徴点を特定する方法について説明する。まず、第２の撮像画像での対応点である特徴点の各々について引かれた複数の直線から形成される各交点について、他の交点との距離の合計値を算出し、算出された距離の合計値が閾値以上となる交点を抽出する。なお、上記の閾値については、例えば、他の交点との距離の合計値の分散値と所定係数とを乗算した値を求めて、閾値として設定すればよい。

距離の合計値が閾値以上となる交点が複数抽出された場合には、第２の撮像画像での対応点である特徴点から、抽出された複数の交点を形成する共通の直線上の特徴点を特定し、除外する特徴点とする。図３（Ａ）に示すような第２の撮像画像では、特徴点ｐ’１からｐ’４のうちのペアの組み合わせの各々から引かれた２本の直線によって形成される交点の各々は、ほぼ同じ位置となるが、特徴点ｐ’５と他の特徴点とのペアの各々とから引かれた２本の直線によって形成される交点は、他の交点と離れた位置に存在するため、距離の合計値が閾値以上となる複数の交点を形成する共通の直線上の特徴点ｐ’５が、変形が起こった部分の特徴点であると判断され、中心位置の推定処理にこの特徴点が用いられないように除外される。

そして、図３（Ｂ）に示すように、除外された特徴点以外の第２の撮像画像での対応点の各々から引かれた直線の各々から近い点を、中心位置として推定する。

上記のように、第２の撮像画像における対象物領域の中心位置が推定されると、次に、図４（Ａ）に示すように、第２の撮像画像において、各特徴点ｐ’ｉと推定された中心位置との距離ｄ’ｉを計算する。このとき、中心位置の推定処理で除外された特徴点については、中心位置との距離の計算を行わない。

そして、推定された中心位置との距離ｄ’ｉが計算された各特徴点（対応点）に対して、対応する第１の撮像画像における特徴点から中心位置までの距離との比ｄ’ｉ／ｄｉを計算し、計算された比の平均値を、第１の撮像画像の対象物領域に対する第２の撮像画像の対象物領域の拡大率αとする。

次に、第２の撮像画像において、図４（Ｂ）に示すように、幅α×ｗ、高さα×ｈを、第２の撮像画像における対象物領域の大きさとして推定し、推定された中心位置を中心とし、かつ、推定された大きさを領域の大きさとする領域を、対象物領域として推定する。

対象物領域推定部２８は、上記に説明した方法により、第２の撮像画像における対象物領域を推定する。

対象物領域補正部３０は、第２の撮像画像に対して対象物検出部２２を適用して検出した対象物領域を用いて、対象物領域推定部２８によって推定された第２の撮像画像における対象物領域を補正する。

対象物領域の補正は、検出された対象物領域と、推定された対象物領域とが重なりを持つ場合に、それらの対象物領域の平均あるいは重み付き平均を計算することにより行い、計算された対象物領域を、対象物領域の補正値とする。なお、検出された対象物領域と、推定された対象物領域とが重なりを持つ場合に、補正を行う場合を例に説明したが、これに限定されるものではなく、検出された対象物領域の位置及び大きさが、推定された対象物領域の位置及び大きさと近いと判断される場合に、補正を行うようにしてもよい。

また、重み付き平均を用いて補正する場合には、歩行者を表わす対象物領域の追跡時間が長いほど、推定された対象物領域の重みを大きくし、あるいは、検出された対象物領域の信頼度が高いほど、検出された対象物領域の重みを大きくすればよい。

対象物領域補正部３０によって補正された第２の撮像画像の対象物領域は、次の対象物領域の推定における特徴点抽出部２４の入力とされる。また、第２の撮像画像は、次の推定における第１の撮像画像とされ、次に撮像された撮像画像を第２の撮像画像として、対象物領域を推定することにより、時系列的に連続して、歩行者を表わす対象物領域の追跡を行う。

表示制御部３２は、補正された対象物領域の推定結果を、第２の撮像画像と共に表示装置１６に表示させる。

次に、本実施の形態に係る対象物追跡装置１０の作用について説明する。なお、対象物追跡装置１０を搭載した車両の走行中に、前方に存在する歩行者を追跡する場合を例に説明する。

撮像装置１２によって、自車両前方の連続撮像が開始されると、コンピュータ１４において、図５に示す追跡処理ルーチンが実行される。

まず、ステップ１００において、撮像装置１２から、第１の撮像画像及び第２の撮像画像として、２つの撮像画像を順に取得する。そして、ステップ１０２において、上記ステップ１００で取得した第１の撮像画像から、パターン認識により、歩行者を表わす対象物領域を検出する。

次のステップ１０４では、第１の撮像画像における対象物領域内から、特徴点を複数抽出し、ステップ１０６において、第２の撮像画像から、特徴点を複数抽出する。そして、ステップ１０８において、上記ステップ１０４で抽出された複数の特徴点の各々に対応する点を、上記ステップ１０６で抽出された複数の特徴点の中から検索する。

ステップ１１０では、第１の撮像画像について上記ステップ１０２又は後述するステップ１２８で求められた対象物領域の中心位置、幅、及び高さを計測する。そして、ステップ１１２において、第１の撮像画像の対象物領域内の特徴点であって、かつ、上記ステップ１０８で対応する点が検索された特徴点の各々について、特徴点に対する中心位置の相対位置として、上記ステップ１１０で計測された対象物領域の中心位置までの距離、及び中心位置への方向を算出する。

そして、ステップ１１４において、上記ステップ１０８で検索された第２の撮像画像における対応する特徴点の各々から、上記ステップ１１２で対応する特徴点について算出された中心位置への方向に延びる直線を引く。このように引かれた複数の直線によって、複数の交点が形成される。

次のステップ１１６では、上記ステップ１１４で生成された複数の直線によって形成される各交点について、他の交点との距離の合計値を算出する。ステップ１１８では、上記ステップ１１６で算出された距離の合計値が、閾値以上となる交点を抽出し、交点が複数抽出された場合には、複数の交点に共通する直線上の対応点を特定することにより、離れた位置に存在する複数の交点を形成する共通の直線上の特徴点であって、かつ、上記ステップ１０８で検索された対応する特徴点を特定し、特定された特徴点を除外対象とする。

そして、ステップ１２０において、上記ステップ１０８で検索された対応する特徴点であって、かつ、上記ステップ１１８で除外対象とされた特徴点以外の特徴点から引かれた各直線に近い位置を、第２の撮像画像における対象物領域の中心位置として推定する。次のステップ１２２では、上記ステップ１０８で検索された対応する特徴点であって、かつ、上記ステップ１１８で除外された特徴点以外の特徴点の各々と、上記ステップ１２０で推定された中心位置との距離を各々算出する。

そして、ステップ１２４において、上記ステップ１１２で算出された特徴点と中心位置との距離と、上記ステップ１２２で算出された特徴点と中心位置との距離との比を、対応する特徴点のペアの各々について求め、求められた比の平均値を、対象物領域の大きさの拡大率とし、上記ステップ１１０で計測された第１の撮像画像の対象物領域の幅及び高さと、この拡大率とに基づいて、第２の撮像画像における対象物領域の幅及び高さを推定する。そして、推定された第２の撮像画像における対象物領域の幅及び高さと、上記ステップ１２０で推定された中心位置とに基づいて、第２の撮像画像における対象物領域を推定する。

ステップ１２６では、第２の撮像画像について、パターン認識により、歩行者を表わす対象物領域を検出し、ステップ１２８において、上記ステップ１２６で検出された対象物領域を用いて、上記ステップ１２４で推定された対象物領域を補正する。

そして、ステップ１３０において、第２の撮像画像と共に、上記ステップ１２８で補正された対象物領域を表示装置１６に表示させる。次のステップ１３２では、第２の撮像画像を、次の対象物領域の推定における第１の撮像画像とすると共に、上記ステップ１２８で補正された対象物領域を、第１の撮像画像の対象物領域とする。そして、ステップ１３４において、撮像装置１２から、次の撮像画像を取得し、次の推定における第２の撮像画像として、ステップ１０４へ戻り、上記ステップ１０４〜ステップ１２８により、新たに取得された第２の撮像画像における対象物領域を推定する。

上記のように、ステップ１０４〜ステップ１３４を繰り返すことにより、連続して撮像された撮像画像において、歩行者を表わす対象物領域を追跡する。

以上説明したように、本実施の形態に係る対象物追跡装置によれば、第１の撮像画像における特徴点の各々に対する対象物領域内の中心位置までの距離、方向、及び第２の撮像画像における対応する点の各々に基づいて、第２の撮像画像における対象物領域内の中心位置を推定して、第２の撮像画像における対象物領域を推定することにより、追跡対象物が部分的に変形する場合であっても、簡易な処理で、安定して追跡対象物を追跡することができる。

また、第２の撮像画像において、他の部分と異なる動作をした部分に存在する特徴点を除外して、対象物領域内の中心位置を推定することにより、追跡対象物が部分的に変形する場合であっても、第２の撮像画像における追跡対象物の領域を精度よく推定することができる。

また、パターン認識により第２の撮像画像から検出された対象物領域を用いて、第２の撮像画像において推定された対象物領域を補正することにより、第２の撮像画像における追跡対象物の領域をより精度よく推定することができる。

なお、上記の実施の形態では、他の交点との距離の合計値が、閾値以上となる交点を抽出することにより、他の交点と離れた位置に存在する交点を抽出する場合を例に説明したが、これに限定されるものではなく、他の交点との距離の平均値が、閾値以上となる交点を抽出することにより、他の交点と離れた位置に存在する交点を抽出するようにしてもよい。

また、追跡対象物を歩行者とした場合を例に説明したが、これに限定されるものではなく、歩行者以外の部分的に変形可能な物体を、追跡対象物としてもよい。

また、対象物領域の中心位置を推定する場合を例に説明したが、これに限定されるものではなく、対象物領域内の中心位置以外の特定位置を推定するようにしてもよい。この場合には、第１の撮像画像における特徴点の各々に対する対象物領域内の特定位置までの距離及び特定位置への方向を求めるようにすればよい。

また、第１の撮像画像について、検出又は前回補正された対象物領域から、特徴点を抽出する場合を例に説明したが、これに限定されるものではなく、第１の撮像画像全体から特徴点を抽出した後に、抽出された特徴点の中から、検出又は前回補正された対象物領域内の特徴点を抽出するようにしてもよい。

本発明の実施の形態に係る対象物追跡装置を示すブロック図である。 （Ａ）第１の撮像画像から検出された対象物領域と中心位置とを示すイメージ図、及び（Ｂ）第１の撮像画像から抽出された特徴点を示すイメージ図である。 （Ａ）第２の撮像画像において対応する特徴点と、特徴点から引いた直線とを示すイメージ図、及び（Ｂ）第２の撮像画像において推定された中心位置を示すイメージ図である。 （Ａ）第２の撮像画像において、対応する特徴点と推定された中心位置との距離を示すイメージ図、及び（Ｂ）第２の撮像画像において推定された対象物領域を示すイメージ図である。 本発明の実施の形態に係る対象物追跡装置のコンピュータにおける追跡処理ルーチンの内容を示すフローチャートである。

符号の説明

１０ 対象物追跡装置
１２ 撮像装置
１４ コンピュータ
２２ 対象物検出部
２４ 特徴点抽出部
２６ 対応点検索部
２８ 対象物領域推定部
３０ 対象物領域補正部

Claims (9)

1. 所定領域を撮像する撮像手段と、
   前記撮像手段によって撮像された第１の画像について求められた追跡対象物を表わす領域から、複数の特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段によって抽出された前記特徴点の各々に対応する点を、前記第１の画像と異なるタイミングで前記撮像手段によって撮像された第２の画像から各々検索する検索手段と、
   前記第１の画像における前記特徴点の各々に対する、前記追跡対象物を表わす領域内の特定位置の相対位置、及び第２の画像における前記検索手段によって検索された点の各々に基づいて、前記第２の画像における前記特定位置を推定する特定位置推定手段と、
   前記特定位置推定手段によって推定された前記第２の画像における前記特定位置に基づいて、前記第２の画像における前記追跡対象物を表わす領域を推定する領域推定手段と、
   を含む対象物追跡装置。
2. 前記特定位置推定手段は、前記第２の画像において、前記検索手段によって検索された点の各々と、該点から対応する前記特徴点に対する前記相対位置となる位置とを通る複数の直線から形成される各交点について、他の交点との距離の合計値又は平均値を算出し、前記算出した距離の合計値又は平均値が所定値以上となる複数の交点を形成する共通の直線上の前記検索された点を抽出し、前記点が抽出された場合、前記抽出された点以外の前記検索された点の各々と、該点に対応する前記特徴点に対する前記相対位置とに基づいて、前記第２の画像における前記特定位置を推定する請求項１記載の対象物追跡装置。
3. 前記第１の画像における前記追跡対象物を表わす領域の大きさ、前記第１の画像における前記特徴点の各々と前記特定位置との距離、及び第２の画像における前記検索手段によって検索された点の各々と前記推定された前記特定位置との距離に基づいて、前記第２の画像における前記追跡対象物を表わす領域の大きさを推定する大きさ推定手段を更に含み、
   前記領域推定手段は、前記特定位置推定手段によって推定された前記第２の画像における前記特定位置、及び前記大きさ推定手段によって推定された前記検出対象物を表わす領域の大きさに基づいて、前記第２の画像における前記追跡対象物を表わす領域を推定する請求項１又は２記載の対象物追跡装置。
4. 前記第２の画像から前記追跡対象物を表わす領域を検出する領域検出手段と、
   前記領域検出手段によって検出された前記追跡対象物を表わす領域、及び前記領域推定手段によって推定された前記追跡対象物を表わす領域に基づいて、前記第２の画像における前記追跡対象物を表わす領域を補正する領域補正手段と、
   を更に含む請求項１〜請求項３の何れか１項記載の対象物追跡装置。
5. 前記第１の画像から前記追跡対象物を表わす領域を検出する領域検出手段を更に含み、
   前記特徴点抽出手段は、前記領域検出手段によって検出された前記追跡対象物を表わす領域から、複数の特徴点を抽出する請求項１〜請求項４の何れか１項記載の対象物追跡装置。
6. 前記特徴点抽出手段は、前記追跡対象物を表わす領域が前回推定された第２の画像を、第１の画像とし、前回推定された前記追跡対象物を表わす領域から、複数の特徴点を抽出する請求項１〜請求項４の何れか１項記載の対象物追跡装置。
7. 前記特徴点抽出手段は、前記追跡対象物を表わす領域が前回推定された第２の画像を、第１の画像とし、前回補正された前記追跡対象物を表わす領域から、複数の特徴点を抽出する請求項４記載の対象物追跡装置。
8. 前記追跡対象物を、部分的に変形可能な物体とした請求項１〜請求項７の何れか１項記載の対象物追跡装置。
9. コンピュータを、
   所定領域を撮像する撮像手段によって撮像された第１の画像について求められた追跡対象物を表わす領域から、複数の特徴点を抽出する特徴点抽出手段、
   前記特徴点抽出手段によって抽出された前記特徴点の各々に対応する点を、前記第１の画像と異なるタイミングで前記撮像手段によって撮像された第２の画像から各々検索する検索手段、
   前記第１の画像における前記特徴点の各々に対する、前記追跡対象物を表わす領域内の特定位置の相対位置、及び第２の画像における前記検索手段によって検索された点の各々に基づいて、前記第２の画像における前記特定位置を推定する特定位置推定手段、及び
   前記特定位置推定手段によって推定された前記第２の画像における前記特定位置に基づいて、前記第２の画像における前記追跡対象物を表わす領域を推定する領域推定手段
   として機能させるためのプログラム。

Images