JP2010166104A - 目標追尾装置 - Google Patents

Abstract

【課題】パーティクルフィルタを用いた追尾精度の高い目標追尾装置を提供する。
【解決手段】追尾対象の指定を受け付ける追尾対象指定受付部と、目標色を設定する目標色設定部と、補助対象および補助目標色を設定する補助目標色設定部と、追尾対象の初期位置を記憶する追尾対象位置格納部と、補助対象のそれぞれの初期位置を記憶する補助対象位置格納部と、パーティクルを用いて、パーティクル周辺の色と目標色との比較によって求められる色尤度の測定を行ない、追尾対象の領域を推定し、さらに、パーティクル周辺の色と補助目標色との比較によって求められる色尤度の測定を行ない、補助対象の領域を推定するパーティクルフィルタ処理部と、追尾対象の移動ベクトルと、補助対象の移動ベクトルとの差の大きさが基準値以上の補助対象を補助対象から除外する補助対象領域評価部とを備えた目標追尾装置。
【選択図】図１

Description

本発明は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置に関する。

映像監視システムやテレビ会議システムに代表されるように、様々な状況下でカメラの撮影画像を利用するカメラシステムが実用化されている。このようなカメラシステムの中には、設定された目標物体を自動的に追尾して撮影領域を変更しながら撮影する追尾機能を備えたものがある。例えば、追尾機能を備えた映像監視システムでは、不審な人物が目標物体として設定されるとこの人物を追尾して映像に収めながら撮影を続けることができる。また、追尾機能を備えたテレビ会議システムでは、設定された人物を追尾した会議画像を撮影することができる。

目標物体を追尾して画像を撮影する際には目標物体が撮影画角から外れないように、目標物体の移動に応じてカメラのパン、チルト、ズーム倍率等を制御する必要がある。これを実現するためには画像中の目標物体を認識して、その移動方向を検出しなければならない。

従来、画像中の目標物体を認識して、その移動方向を検出する方法として、輝度差分を利用する背景差分法やフレーム差分法が用いられてきたが、近年、特許文献１、非特許文献１等に記載されているようにパーティクルフィルタを適用した目標追尾技術が研究されている。

パーティクルフィルタは、事後確率を利用するベイズフィルタの近似計算法であり、有限個のパーティクルによって確率分布関数を表現し、それを用いて時系列の予測を行なうものである。すなわち、パーティクルフィルタはサンプリングに基づいた逐次モンテカルロ法といえ、時系列の分布をパーティクルの位置と重みによる集合表現で近似するため、ガウス分布で近似できないような分布でも追尾することが可能である。また、時系列の様々な特徴量を尤度として扱うことができるために応用範囲が広い。特に、特許文献１等にも記載されているように、目標物体の追尾に適用する場合には、目標物体の色を用いて尤度を測定することが行なわれている。この場合、目標物体の色に近い色の画素がパーティクルの近傍にどれだけ存在するかで尤度を測定し、測定結果に基づいて目標物体の位置を推定することができる。
特開２００４−２８２５３５号公報 M.Isard, A.Blake : CONDENSATION ? Conditional Density Propagation for Visual Tracking, Int’ IJ. Computer Vision, vol. 28, No.1, pp.5-28(1998)

上述のように、パーティクルフィルタを用いた目標物体の追尾処理では、目標物体の色を設定し、その色に近い部分に配置されたパーティクルの尤度を高くすることで目標物体を追尾する。

しかしながら、目標物体の色に近い色の物体が複数個存在している場合は、どちらの物体についてもパーティクルの尤度が高く測定されることになり、目標物体の追尾の精度が落ちたり、目標物体の追尾に失敗したりすることが起こり得る。また、目標物体が一時的に向きを変えたり他の物体に遮られたりすると、パーティクルが目標物体を見失ってしまい、その後の再補足が困難になる場合もある。

本発明は、このような状況を鑑みてなされたものであり、パーティクルフィルタを用いた追尾精度の高い目標追尾装置を提供することを目的とする。

上記課題を解決するため、本発明の第１の態様の目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、前記画像データ中における追尾対象の周辺に複数の補助対象を設定し、設定した補助対象の領域に係る色を補助目標色として設定する補助目標色設定手段と、前記指定された追尾対象の初期位置を記憶する追尾対象位置格納手段と、前記設定された補助対象のそれぞれの初期位置を記憶する補助対象位置格納手段と、所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定し、さらに、パーティクル周辺の色と前記補助目標色との比較によって求められる色尤度の測定を行ない、測定結果に基づいて画像データ中の前記補助対象の領域を推定するパーティクルフィルタ処理手段と、前記推定された追尾対象の領域の前記初期位置からの移動ベクトルと、前記推定された補助対象の領域の前記初期位置からの移動ベクトルとの差の大きさを補助対象ごとに算出し、算出された移動ベクトルの差の大きさが基準値以上の補助対象を補助対象から除外する補助対象評価手段とを備える。

上記課題を解決するため、本発明の第２の態様の目標追尾装置は、時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、前記画像データ中における追尾対象の周辺に複数の補助対象を設定し、設定した補助対象の領域に係る色を補助目標色として設定する補助目標色設定手段と、前記指定された追尾対象の初期位置を記憶する追尾対象位置格納手段と、前記設定された補助対象のそれぞれの初期位置を記憶する補助対象位置格納手段と、所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定し、さらに、パーティクル周辺の色と前記補助目標色との比較によって求められる色尤度の測定を行ない、測定結果に基づいて画像データ中の前記補助対象の領域を推定するパーティクルフィルタ処理手段と、前記パーティクルフィルタ処理手段による前記追尾対象の領域の推定結果が所定の基準を満たさない場合に、前記推定された補助対象の領域の前記初期位置からの移動ベクトルと、前記追尾対象の初期位置とに基づいて前記追尾対象の位置を推定する追尾対象位置推定手段とを備える。

本発明によれば、パーティクルフィルタを用いた目標追尾装置において追尾精度を高めることができる。

［第１実施形態］
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１実施形態である目標追尾装置１００を含む目標追尾システム１０の構成を示すブロック図である。本図に示すように目標追尾システム１０は、目標追尾装置１００と、撮影を行なって画像信号を出力するカメラ２００と、目標追尾装置１００からの制御信号に従ってカメラ２００のパン・チルト制御およびズーム倍率制御を行なう制御装置２１０とを備えている。ただし、これらの装置を一体型として目標追尾システム１０を構成してもよい。

目標追尾装置１００は、カメラ２００が出力する画像信号を入力する画像入力部１１０と、入力された画像信号に基づく映像を表示する表示部１２０と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部１３０と、追尾結果に基づいてカメラ２００を制御する制御信号を生成して制御装置２１０に出力するカメラ制御信号出力部１４０と、表示部１２０に表示されている画像中の追尾対象となる物体の指定を受け付ける追尾対象物指定受付部１５０と、指定された追尾対象に応じた目標色を設定する目標色設定部１６０と、指定された追尾対象に付随する複数の補助対象を追尾対象の周囲にランダムに配置し、補助対象に応じた補助目標色を設定する補助目標色設定部１７０と、配置された補助対象の適性を判断し、適切ではないと判断した補助対象を除外する補助対象領域評価部１８０とを備えている。

パーティクルフィルタ処理部１３０は、パーティクルフィルタを用いた目標物の追尾処理を行なうために処理対象の画像データを格納する画像格納部１３１と、設定された目標色を格納する目標色格納部１３２と、設定された補助目標色を格納する補助目標色格納部１３３と、追尾対象の位置情報を格納する追尾対象位置格納部１３４と、補助対象の位置情報を格納する補助対象位置格納部１３５とを備えている。

目標追尾装置１００は、ＣＰＵ、メモリ、入出力装置、通信処理装置等を備えた汎用的な情報処理装置を用いて構成することができる。パーソナルコンピュータ等の汎用的な情報処理装置は、上述の各機能部を構成するために開発されたプログラムを実行することで、目標追尾装置１００として機能することができる。もちろん目標追尾装置１００は専用装置として構成してもよい。

ここで、非特許文献１等に紹介されているパーティクルフィルタによる画像追尾アルゴリズムについて簡単に説明する。画像追尾アルゴリズムであるパーティクルフィルタは、時刻ｔにおける画像フレーム中の目標物体の位置の推定量である事後確率密度

を、状態χの重みπのＮ個の組から成るパーティクル群

により近似することで、目標物体を追尾する方法である。ここで、時刻ｔにおける画像フレーム中のｉ番目のパーティクルの状態量

は、その尤度である重みを示している。

時刻ｔにおいて画像フレームから尤度の観測値ztが得られると、追尾対象の状態xtを確率変数とする確率密度は、上記の事後確率密度［数１］として表わされる。この［数１］は、ベイズの法則を用いて以下のように表わすことができる。

ここで、αは正規化のための定数である。

非特許文献１に示されているCondensationアルゴリズムは、各フレームに対して対象物体を追跡する処理を、Select（選択）、Predict（予測）、Measure（測定）の３つのステップに分けて繰り返し実行している。

具体的には、選択ステップでは、対象物体の周辺にパーティクルを分散して配置し、各パーティクルで尤度を測定して、尤度が高い順番で尤度の高さに比例する確率でＮ個のパーティクルを選択する。予測ステップでは、選択ステップで選ばれた尤度の高いパーティクルをランダムに分散させて再配置する。測定ステップでは、各パーティクルについて近傍にどれだけ目標物体と近似した色の画素があるかを計算し、それをパーティクルの尤度とする。そして、すべてのパーティクルの尤度の重み付け平均により目標物体の位置を推定する。

このアルゴリズムに基づくパーティクルフィルタ処理について具体的に説明する。図２は、本実施形態におけるパーティクルフィルタ処理について説明するためのフローチャートであり、図３は、画像フレームを用いた具体例を示す図である。本図の例では、人物の顔が追尾対象として指定されているものとする。

まず、追尾対象の領域付近にパーティクルを生成する（Ｓ１０１）。生成するパーティクルの数による追尾の精度と処理速度とはトレードオフの関係となる。図３（ａ）は、追尾対象付近に生成された多数のパーティクルを示している。

次いで、生成された各パーティクルを、目標色の領域を推定するために、所定の規則にしたがって移動させる（Ｓ１０２）。ここでは、各パーティクルが指定されたそれぞれの追尾対象から分散するように標準正規分布する乱数により距離を決められて移動する。この結果、図３（ｂ）に示すように、人物の顔を中心にパーティクルが分散することになる。ただし、追尾対象としてすでに目標色に対応する領域が指定されている場合は、目標色の領域推定のための処理は必要ない。

分散した各パーティクルは、画像フレームにおいて、それぞれの位置の近傍の画素、例えば、周辺の矩形領域内の画素について目標色と近い色の画素の割合を算出し、その結果をそれぞれのパーティクルの尤度とする測定を行なう（Ｓ１０３）。目標色をヒストグラムで表現している場合には、矩形領域内のＨＳＶヒストグラムを作成し、目標色との類似度を算出して尤度を測定することができる。図３（ｃ）の黒いパーティクルは測定された尤度が高いパーティクルを示しており、顔の領域と、顔の色と同じ色の右手領域に存在している。

尤度が測定されると、各パーティクルの尤度の重み付け平均を算出し、処理対象の画像フレームにおける追尾対象物の領域を推定する（Ｓ１０４）。追尾対象の領域は、例えば、ある閾値により尤度を二値化することや、ＥＭアルゴリズムにより混合正規分布を推定し、さらにその分散値から推定することができる。図３（d）の点線の円はＥＭアルゴリズムにより推定された追尾対象の領域候補を示しており、混合正規分布の分散値から顔を囲んでいる点線の候補領域Ａと右手を囲んでいる点線の候補領域Ｂとが追尾対象の領域となる。

そして、処理（Ｓ１０３）において測定されたパーティクルの尤度に基づいて、尤度の高いパーティクルが確率的に多くなるように、尤度の低いパーティクルを尤度が高くなる位置に移動させる。この結果、図３（ｅ）に示すようにパーティクルは追尾対象物の領域に集まってくることになる（Ｓ１０５）。

本実施形態における目標追尾装置１００は、このようなアルゴリズムのパーティクルフィルタ処理の目標物追尾性能を向上するものであり、以下に説明する処理を行なう。ただし、本発明はパーティクルフィルタを用いた画像追尾処理であれば、上述のアルゴリズムには限定されず、種々の変形アルゴリズムに適用することができる。

図４は、目標追尾装置１００の処理の流れを説明するフローチャートである。目標追尾装置１００は、カメラ２００が出力する画像信号をフレーム単位で入力する（Ｓ２０１）。目標追尾装置１００は、入力された画像信号を表示部１２０に映像として逐次表示し、追尾対象物が指定されるのを待つ（Ｓ２０２）。この状態で、監視者は、画像中の追尾対象としたい目標物体を指定することができる。

追尾対象物の指定受け付けは、例えば、マウス、ポインタ等の入力装置を介して、表示部１２０に表示されている追尾対象物に対応する領域の指示を監視者から受け付けることで行なうことができる。また、表示部１２０をタッチパネル式の表示装置で構成し、監視者からのタッチを認識することで指定を受け付けるようにしてもよい。あるいは、その他の外部装置等を介して追尾対象物の指定を受け付けるようにしてもよい。

追尾対象の指定を受け付けると（Ｓ２０２：Ｙｅｓ）、目標色設定部１６０は、画像フレーム中の指定を受け付けた領域に対応する画素の色を取得し、目標色として設定する（Ｓ２０３）。目標色は、指定された領域の単一画素のＲＧＢ値に基づいて設定してもよいし、複数画素のＲＧＢ平均値等に基づいて設定してもよい。あるいは、指定された領域に含まれる画素でヒストグラムを作成して目標色として設定してもよい。目標色を設定すると目標色格納部１３２に記録する。また、画像フレームを画像格納部１３１に記録する。

上述のように本実施形態において、パーティクルフィルタ処理部１３０は、目標色とパーティクル位置の色の尤度の算出を色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）とで表現するＨＳＶ色空間上で処理を行なうため、目標色を設定する際に、ＲＧＢ色空間をＨＳＶ色空間に変換する。ただし、ＲＧＢ色空間のまま処理を行なったり、ＹＵＶ色空間等で処理を行なうようにしてもよい。

処理Ｓ２０３で、目標色を設定すると、目標色を用いて、画像フレーム中の追尾対象物を認識して、カメラ２００を制御する目標位置調整処理を行なう（Ｓ２０４）。ここで、目標位置調整処理について詳細に説明する。図５は、目標位置調整処理について説明するためのフローチャートである。また、図６は、目標位置調整処理の具体例を示す図である。

まず、図４の処理Ｓ２０２において追尾対象の指定を受け付けた初期状態の画像フレームを対象に、パーティクルフィルタ処理部１３０は、追尾対象に対して図２を用いて説明したパーティクルフィルタ処理を行う（Ｓ３０１）。ただし、他のアルゴリズムによるパーティクルフィルタ処理を行なうようにしてもよい。そして、追尾対象の位置を追尾対象位置格納部１３４に格納する。追尾過程において撮影領域が変化するため、ここでの位置は、画像データ内の相対位置ではなく、追尾対象範囲空間内の絶対的な位置とする。図６（ａ）の点線の円は指定された追尾対象を示している。また、図６（ｂ）は、パーティクルフィルタ処理の結果、追尾対象領域に集約されたパーティクルを示している。

次いで、追尾対象の領域として推定された領域をカメラ２００の画角内の中心付近に適度な大きさで収まらせるための制御信号を生成し、カメラ制御信号出力部１４０が制御装置２１０に出力する（Ｓ３０２）。この制御信号に基づいてカメラ２００がパン、チルト、ズームすることにより、追尾対象を追尾することができる。図６（ｃ）は、追尾対象を追尾した結果の例を示している。

以上の目標位置調整を行うと、目標物体の追尾の精度を高めるために補助目標色を設定する（図４：Ｓ２０５）。補助目標色は、目標物体と近似する色の物体が複数あったり、目標物体が隠れてしまったりして目標色だけでは目標物体を特定できない場合等に用いることができる。

ここで、本実施形態の特徴的な処理である補助目標色の設定について詳細に説明する。図７は、補助目標色の設定処理について説明するためのフローチャートである。また、図８は、補助目標色の設定処理における画像フレームとパーティクルの具体例を示す図である。図８に示した例では、追尾対象として人物の顔が指定され、顔の色が目標色として設定されているものとする。

まず、目標位置調整後の画像フレームを入力する（Ｓ４０１）。図８（ａ）は、目標位置調整後の追尾対象の位置を示している。パーティクルフィルタ処理部１３０は、追尾対象にパーティクルフィルタ処理を行うことにより画像フレーム中の追尾対象領域を推定する（Ｓ４０２）。図８（ｂ）は、パーティクルフィルタ処理を追尾対象に対して行った結果を示している。

図８（ｂ）の点線の円は追尾対象の領域を表しており、補助目標色設定部１７０は、この円の周囲の近い位置にランダムに複数の補助対象を指定し（Ｓ４０３）、その位置を補助対象位置格納部１３５に格納する。補助対象の位置も画像データ内の相対位置ではなく、追尾対象範囲空間内の絶対的な位置とする。指定する補助対象の数は任意である。また、追尾対象から遠いほど追尾対象との関連している確率が低くなると考えられるため、追尾対象から近い位置に補助対象を指定する。図８（ｃ）は、追尾対象の周囲にランダムに指定された補助対象の様子を示している。本図の例では、「１」〜「５」の５つの補助対象が指定されている。

そして、補助対象に含まれる画素の色を補助目標色として取得する（Ｓ４０４）。補助目標色の取得方法は目標色の取得方法と同様とすることができる。補助目標色は、補助対象ごとに取得する。補助目標色を取得すると補助目標色格納部１３３に記録する（Ｓ４０５）。

補助目標色と目標色とが同等の色だった場合、追尾対象が隠れた場合でも目標色が同等の補助色を持つ補助対象領域を捕らえることが可能である。このため、目標色と同等の色の補助目標色は補助目標色格納部１３３から削除する（Ｓ４０６）。図８（ｄ）は、目標色と同等の色である手の領域に指定されている「４」の補助対象が削除された様子を示している。

次に、各補助対象に対してパーティクルフィルタ処理を行うことにより補助対象領域を推定する（Ｓ４０７）。図８（ｅ）は、各補助対象に対してパーティクルフィルタ処理を行なった結果を示している。

ついで、パーティクルフィルタ処理の結果から、補助対象の適性を判断し、補助対象として用いることが適切でないと判断される補助対象を外し、その補助目標色を補助目標色格納部１３３から削除する（Ｓ４０８）。また、その補助対象の位置を補助対象位置格納部１３５から削除する。

ここで、補助対象の適性は、以下のようにすることができる。例えば、補助対象の領域が追尾対象の領域に比べて大きく分布している場合には、背景である可能性が高い。このため、補助対象として用いることが適切でないと判断することができる。また、上述の目標位置調整（図４：Ｓ２０４）によって追尾対象が画像フレーム内の中心付近に適度な大きさになるように画角とズーム倍率が調整されている状況において、パーティクルフィルタ処理によって補助対象が追尾対象から遠くなった場合には、追尾対象との関連性は低いとして補助対象から外すようにしてもよい。

図８（ｅ）は、分布領域が大きい補助対象「１」を補助対象から外した様子を示している。これらの処理の結果、残った補助対象を以降の処理において用いるものとする。図８（ｆ）は、補助対象として残った「２」「３」「５」を示している。

以上説明した補助目標色設定処理（Ｓ２０５）を終えると、目標色と補助目標色とを用いて、時系列的に入力される画像フレーム中の追尾対象物を認識して、カメラ２００を制御する目標追尾処理を行なう（Ｓ２０６）。

ここで、第１実施形態における目標追尾処理について詳細に説明する。図９は、目標追尾処理について説明するためのフローチャートである。また、図１０は、目標追尾処理について画像フレームを用いた具体例を示す図である。図１０の例は、図８に示した例に続くものであり、追尾対象として人物の顔が指定され、顔の色が目標色として設定されているものとする。また、図８（ｆ）における「２」「３」「５」の３点が補助対象として設定され、それぞれの色が補助目標色として設定されているものとする。そして、これらの位置が追尾対象位置格納部１３４および補助対象位置格納部１３５に格納されている。

まず、次の画像フレームを入力する（Ｓ５０１）。そして、追尾対象に対してパーティクルフィルタ処理を行う（Ｓ５０２）。図１０（ａ）は、追尾対象領域に集約されたパーティクルを示している。次に、補助対象に対してパーティクルフィルタ処理を行なう（Ｓ５０３）。図１０（ｂ）は、３つの補助対象領域に集約されたパーティクルを示している。

そして、追尾対象に対するパーティクルフィルタ処理の結果から追尾対象の位置を推定する（Ｓ５０４）。例えば、追尾対象について尤度の高いパーティクルがある１つの領域に十分な数集まっていれば、その領域が追尾対象の位置であると推定することができる追尾対象について尤度の高いパーティクルが十分存在しない場合には、追尾対象位置の推定に失敗したとすることができる。

一方で、尤度の高いパーティクルが複数の領域に分散している場合には、追尾対象の候補位置が複数存在していることになる。この場合、補助対象を用いて、いずれの領域が追尾対象の位置であるかを推定することができる。すなわち、補助対象について尤度の高いパーティクルが集まっている補助対象候補領域を把握し、その位置と追尾対象候補との位置関係を、追尾対象位置格納部１３４および補助対象位置格納部１３５に格納されている追尾対象と補助対象との位置関係を用いて評価を行ない、評価の高い追尾対象候補の位置を追尾対象の位置であると推定することができる。この評価は、例えば、追尾対象候補と補助対象候補との距離および方向が、追尾対象位置格納部１３４および補助対象位置格納部１３５に格納されている追尾対象と補助対象との位置関係に近いほど評価結果が高くなるようにすればよく、種々の評価方式を用いることができる。

この結果、追尾対象位置の推定に成功した場合（Ｓ５０５：Ｙｅｓ）は、補助対象の絞り込みを行なうために、補助対象領域評価部１８０が、追尾対象の移動方向とかけ離れた方向に移動した補助対象を補助対象から削除する処理を行なう。このため、追尾対象の現在の位置と追尾対象位置格納部１３４に格納されている追尾対象の位置とから追尾対象の移動ベクトルを算出し、補助対象の現在の位置と補助対象位置格納部１３５に格納されている補助対象の位置とから補助対象の移動ベクトルを算出する（Ｓ５０６）。補助対象の移動ベクトルは補助対象ごとに算出する。図１０（ｃ）は、追尾対象の移動ベクトルＯＭＶと、補助対象「２」「３」「５」のそれぞれの移動ベクトルを示している。

そして、補助対象のそれぞれの移動ベクトルの評価を行なう（Ｓ５０７）。移動ベクトルの評価では、例えば、各補助対象の移動ベクトルと追尾対象の移動ベクトルとの差をとり、その大きさが所定の基準値以下であるかどうかを判定し、基準値を超える補助対象を以降の処理における補助対象から削除する。

すなわち、補助対象の移動ベクトルが（ｘn，ｙn）で、追尾対象の移動ベクトルが（ｘo，ｙo）のときに、その差の大きさ（（ｘo−ｘn）2＋（ｙo−ｙn）2）1/2が、所定の基準値以下であるかどうかを判断する。この差の大きさが大きい補助対象物は、追尾対象に付随して移動するものではない可能性が高いため、以後の処理における補助目標から外すようにするものである。ここで、所定の基準値は、例えば、追尾対象の大きさに応じて変化させるようにしてもよい。図１０（ｄ）は、移動ベクトルの差が大きい補助対象「３」が補助対象から外された様子を示している。

次いで、追尾対象の領域として推定された領域をカメラ２００の画角内に収まらせるための制御信号を生成し、カメラ制御信号出力部１４０が制御装置２１０に出力する（Ｓ５０８）。この制御信号に基づいてカメラ２００がパン、チルト、ズームすることにより、追尾対象を追尾することができる。図１０（ｅ）は、追尾対象を追尾した結果の一例を示している。一方、処理（Ｓ５０５）で追尾対象位置の推定を失敗した場合（Ｓ５０５：Ｎｏ）、カメラ制御は行わない。

その後、次画像フレームに対する同様の処理を目標追尾処理が終了するまで（Ｓ５０９）繰り返す。なお、目標追尾処理の終了判断基準は、例えば、追尾対象物がカメラ２００の追尾範囲から外れた場合、監視者からの終了指示があった場合等とすることができる。

以上説明したように、第１実施形態によれば正確な補助対象領域を選定し、使用者に負担の少ない目標追尾処理を実現することができる。この結果、パーティクルフィルタを用いた目標追尾装置において追尾精度を高めることができる。

［第２実施形態］
次に、第２実施形態について説明する。図１１は、第２実施形態である目標追尾装置１００ａを含む目標追尾システム１０ａの構成を示すブロック図である。本図に示すように目標追尾システム１０ａは、目標追尾装置１００ａと、撮影を行なって画像信号を出力するカメラ２００と、目標追尾装置１００ａからの制御信号に従ってカメラ２００のパン・チルト制御およびズーム倍率制御を行なう制御装置２１０とを備えている。

カメラ２００および制御装置２１０は、第１実施形態と同じ構成とすることができる。また、目標追尾装置１００ａも、第１実施形態における目標追尾装置１００とほぼ同じ構成とすることができる。このため、同じ機能部、処理については同じ符号を付して説明を簡略化し、ここでは第１実施形態との相違点を中心に説明する。

第１実施形態と同様に目標追尾装置１００ａは、カメラ２００が出力する画像信号を入力する画像入力部１１０と、入力された画像信号に基づく映像を表示する表示部１２０と、パーティクルフィルタを用いて目標物の追尾処理を行なうパーティクルフィルタ処理部１３０と、追尾結果に基づいてカメラ２００を制御する制御信号を生成して制御装置２１０に出力するカメラ制御信号出力部１４０と、表示部１２０に表示されている画像中の追尾対象となる物体の指定を受け付ける追尾対象物指定受付部１５０と、指定された追尾対象に応じた目標色を設定する目標色設定部１６０と、指定された追尾対象に付随する複数の補助対象を追尾対象の周囲にランダムに配置し、補助対象に応じた補助目標色を設定する補助目標色設定部１７０とを備えている。さらに第２実施形態では、第１実施形態の補助対象領域評価部１８０に代えて、追尾対象位置推定部１９０を備えている。追尾対象位置推定部１９０は、追尾対象についてのパーティクル処理で追尾対象の位置の推定ができない場合に、補助対象の移動ベクトルを用いて追尾対象の位置を推定する。

パーティクルフィルタ処理部１３０は、第１実施形態と同様に、パーティクルフィルタを用いた目標物の追尾処理を行なうために処理対象の画像データを格納する画像格納部１３１と、設定された目標色を格納する目標色格納部１３２と、設定された補助目標色を格納する補助目標色格納部１３３と、追尾対象の位置情報を格納する追尾対象位置格納部１３４と、補助対象の位置情報を格納する補助対象位置格納部１３５とを備えている。

第２実施形態における目標追尾処理は、図４に示した第１実施形態における目標追尾処理と同様とすることができる。すなわち、追尾対象として指定された領域付近にパーティクルを生成し（Ｓ２０１）、所定の規則にしたがって移動させる（Ｓ２０２）。そして、次の画像フレームを入力し（Ｓ２０３）、パーティクルの尤度の測定を行なう（Ｓ２０４）。次いで、目標色を用いた目標追尾の精度を確保するために、尤度の高いパーティクルが十分存在しているかどうかを確認する（Ｓ２０５）。尤度の高いパーティクルが十分存在している場合（Ｓ２０５：Ｙｅｓ）には、追尾対象物の領域を推定する（Ｓ２０６）。そして、追尾対象物をカメラ２００の画角内に収まらせるための制御信号を出力する（Ｓ２０７）。その後、パーティクルを集約させて（Ｓ２０８）、目標追尾処理を継続する。

ここで、本発明の第２実施形態における目標追尾処理について詳細に説明する。図１２は、第２実施形態における目標追尾処理について説明するためのフローチャートである。第１実施形態と重複する処理は説明を簡略化する。

まず、次の画像フレームを入力し（Ｓ６０１）、追尾対象に対してパーティクルフィルタ処理を行う（Ｓ６０２）。次に、補助対象に対してパーティクルフィルタ処理を行なう（Ｓ６０３）。そして、追尾対象に対するパーティクルフィルタ処理の結果から追尾対象の位置を推定する（Ｓ６０４）。

この結果、追尾対象位置の推定に成功した場合（Ｓ６０５：Ｙｅｓ）は、追尾対象の領域として推定された領域をカメラ２００の画角内に収まらせるための制御信号を生成し、カメラ制御信号出力部１４０が制御装置２１０に出力する（Ｓ６０９）。この制御信号に基づいてカメラ２００がパン、チルト、ズームすることにより、追尾対象を追尾することができる。

一方、追尾対象位置推定処理で追尾対象位置の推定を失敗した場合（Ｓ６０５：Ｎｏ）は、追尾対象位置推定部１９０が、補助対象の移動ベクトルを用いて追尾対象の位置を推定するために以下の処理を行なう。図１３（ｂ）は、図１３（ａ）で人物の顔を追尾対象としていたところ、人物が後を向いたため、パーティクルが分散したまま集束できなくなり追尾対象を見失った様子を示している。

追尾対象位置推定処理で追尾対象位置の推定を失敗した場合（Ｓ６０５：Ｎｏ）には、補助対象位置の推定に成功したかを判断する（Ｓ６０６）。補助対象位置の推定に成功したかどうかは、追尾対象位置の推定の判定と同様に行なうことができる。また、補助対象ごとに判定を行なうものとする。図１３（ｃ）は、推定された補助対象の位置を示している。

この結果、補助対象位置の推定に成功した場合（Ｓ６０６：Ｙｅｓ）は、補助対象の現在の位置と補助対象位置格納部１３５に格納されている補助対象の位置とから補助対象の移動ベクトルを算出する（Ｓ６０７）。補助対象の移動ベクトルは補助対象ごとに算出する。図１３（ｄ）は、算出された補助対象の移動ベクトルを示している。

そして、算出された補助対象の移動ベクトルを用いて追尾対象の位置の推定を行なう（Ｓ６０８）。補助対象位置の推定に成功した場合、追尾対象と補助対象とは同様の移動ベクトルをもつと予想することができるからである。なお、算出された補助対象の移動ベクトルのうち、移動ベクトルの方向と大きさが他の補助対象の移動ベクトルの方向と大きさと乖離しているものは、追尾対象の位置の推定に用いることは適切でないため追尾対象位置の推定には用いないことが望ましい。図１３（ｅ）は、他の補助対象の移動ベクトルと方向の異なる移動ベクトルを除いた様子を示している。

追尾対象の位置の推定は、補助対象の移動ベクトルを用いて追尾対象の移動ベクトルを推定することで行なうことができる。追尾対象の移動ベクトルの推定は、例えば、補助対象の移動ベクトルの平均値とすることができる。図１３（ｆ）は、２つの補助対象の移動ベクトルの平均を示している。このとき、補助対象に集約しているパーティクルの尤度で重み付けをして平均値を算出するようにしてもよい。

このように、補助対象の移動ベクトルを用いて追尾対象の位置を推定すると、追尾対象の領域として推定された領域をカメラ２００の画角内に収まらせるための制御信号を生成し、カメラ制御信号出力部１４０が制御装置２１０に出力する（Ｓ６０９）。この制御信号に基づいてカメラ２００がパン、チルト、ズームすることにより、例えば、図１４（ａ）に示すように、人物が後を向いた状態でも、追尾対象の位置にパーティクルを追従させることができ、その後、図１４（ｂ）に示すように、人物が振り向いた場合に精度よくパーティクルで追尾対象を補足することができるようになる。この結果、追尾精度を高めることができる。一方、処理（Ｓ６０６）で補助対象位置の推定を失敗した場合（Ｓ６０６：Ｎｏ）、カメラ制御は行わない。

その後、次画像フレームに対する同様の処理を目標追尾処理が終了するまで（Ｓ６１０）繰り返す。なお、目標追尾処理の終了判断基準は、例えば、追尾対象物がカメラ２００の追尾範囲から外れた場合、監視者からの終了指示があった場合等とすることができる。

このように第２実施形態によれば、追尾対象についてのパーティクルフィルタ処理で追尾対象位置の推定を失敗した場合でも、補助対象の移動ベクトルを用いて追尾対象の位置を推定することができるため、パーティクルフィルタを用いた目標追尾装置において追尾精度を高めることができる。

なお、上述した実施形態においては、目標追尾装置１００、１００ａは、表示部１２０に表示された画像中の追尾対象物を追尾対象物指定受付部１５０により受け付ける構成としたが、目標追尾装置の制御部（不図示）による動き検出処理や色検出処理等の結果に基づき、自動的に追尾対象物の位置を指定するようにしてもよい。このようにした場合は、表示部１２０および追尾対象物指定受付部１５０を省くようにしてもよい。

本発明の第１実施形態である目標追尾装置を含む目標追尾システムの構成を示すブロック図である。 パーティクルフィルタ処理について説明するためのフローチャートである。 パーティクルフィルタ処理について画像フレームを用いた具体例を示す図である。 目標追尾装置の処理の流れを説明するフローチャートである。 目標位置調整処理について説明するためのフローチャートである。 目標位置調整処理について画像フレームを用いた具体例を示す図である。 補助目標色の設定処理について説明するためのフローチャートである。 補助目標色の設定処理における画像フレームとパーティクルの具体例を示す図である。 第１実施形態における目標追尾処理について説明するためのフローチャートである。 第１実施形態における目標追尾処理について画像フレームを用いた具体例を示す図である。 第２実施形態である目標追尾装置を含む目標追尾システムの構成を示すブロック図である。 第２実施形態における目標追尾処理について説明するためのフローチャートである。 第２実施形態における目標追尾処理について画像フレームを用いた具体例を示す図である。 第２実施形態における目標追尾処理について画像フレームを用いた具体例を示す図である。

符号の説明

１０…目標追尾システム、１０ａ…目標追尾システム、１００…目標追尾装置、１００ａ…目標追尾装置、１１０…画像入力部、１２０…表示部、１３０…パーティクルフィルタ処理部、１３１…画像格納部、１３２…目標色格納部、１３３…補助目標色格納部、１３４…追尾対象位置格納部、１３５…補助対象位置格納部、１４０…カメラ制御信号出力部、１５０…追尾対象物指定受付部、１６０…目標色設定部、１７０…補助目標色設定部、１８０…補助対象領域評価部、１９０…追尾対象位置推定部、２００…カメラ、２１０…制御装置

Claims (2)

1. 時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
   画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
   指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、
   前記画像データ中における追尾対象の周辺に複数の補助対象を設定し、設定した補助対象の領域に係る色を補助目標色として設定する補助目標色設定手段と、
   前記指定された追尾対象の初期位置を記憶する追尾対象位置格納手段と、
   前記設定された補助対象それぞれの初期位置を記憶する補助対象位置格納手段と、
   所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定し、さらに、パーティクル周辺の色と前記補助目標色との比較によって求められる色尤度の測定を行ない、測定結果に基づいて画像データ中の前記補助対象の領域を推定するパーティクルフィルタ処理手段と、
   前記推定された追尾対象の領域の前記初期位置からの移動ベクトルと、前記推定された補助対象の領域の前記初期位置からの移動ベクトルとの差の大きさを補助対象ごとに算出し、算出された移動ベクトルの差の大きさが基準値以上の補助対象を補助対象から除外する補助対象評価手段と、
   を備えたことを特徴とする目標追尾装置。
2. 時系列的に取り込まれる画像データ中の目標物体を追尾する目標追尾装置であって、
   画像データ中における前記目標物体となる追尾対象の指定を受け付ける追尾対象指定受付手段と、
   指定された前記追尾対象に係る画像データ中の色を目標色として設定する目標色設定手段と、
   前記画像データ中における追尾対象の周辺に複数の補助対象を設定し、設定した補助対象の領域に係る色を補助目標色として設定する補助目標色設定手段と、
   前記指定された追尾対象の初期位置を記憶する追尾対象位置格納手段と、
   前記設定された補助対象のそれぞれの初期位置を記憶する補助対象位置格納手段と、
   所定の規則にしたがって画像データ中を移動するパーティクルを用いて、パーティクル周辺の色と前記目標色との比較によって求められる色尤度の測定を行ない、その測定結果に基づいて画像データ中の前記追尾対象の領域を推定し、さらに、パーティクル周辺の色と前記補助目標色との比較によって求められる色尤度の測定を行ない、測定結果に基づいて画像データ中の前記補助対象の領域を推定するパーティクルフィルタ処理手段と、
   前記パーティクルフィルタ処理手段による前記追尾対象の領域の推定結果が所定の基準を満たさない場合に、前記推定された補助対象の領域の前記初期位置からの移動ベクトルと、前記追尾対象の初期位置とに基づいて前記追尾対象の位置を推定する追尾対象位置推定手段と、
   を備えたことを特徴とする目標追尾装置。