JP2009199363A - パーティクルフィルタを使用する追跡システム - Google Patents

Abstract

【課題】パーティクルフィルタを使用する追跡方法において、初期化処理における移動する対象物の検出性能に依存することなく、移動する対象物に対するパーティクルの配置を確実に実行して、移動する対象物の追跡性能を向上できる追跡システムを提供することにある。
【解決手段】パーティクルフィルタを適用して移動する対象物を追跡する追跡システム１において、パーティクルフィルタ１２０は、カメラの画面内の任意の背景領域にパーティクルを待機状態で初期的に配置させて、パーティクルとの尤度変化に基づいて、移動する対象物に対してパーティクルを再配置する構成である。
【選択図】 図１

Description

本発明は、パーティクルフィルタを適用して、人間などの移動する対象物を追跡する追跡システムに関する。

従来、カメラにより撮影された画像（映像）を処理して、移動する人間や物体である対象物を追跡する追跡システムが開発されている（例えば、特許文献１を参照）。近年では、パーティクルフィルタ（particle filter）と称するアルゴリズムを適用して、移動する対象物の追跡システムが提案されている（例えば、特許文献２を参照）。

パーティクルフィルタを使用する追跡方法は、初期化処理、予測処理、尤度推定処理、及びフィルタリングの４ステップの処理手順で構成されたパーティクルフィルタ処理を実行することにより、移動する対象物の運動モデルを記述することなく、対象物を追跡することが可能な技術である。

このようなパーティクルフィルタを使用する追跡方法は、人間などの移動する対象物をパーティクルのレベルで追跡し、パーティクルの群を移動する対象物に追従させて追跡するアプローチである。

これに対して、従来の移動する対象物の追跡方法は、追跡対象を対象物の領域として扱い追跡する方法であり、移動する対象モデル(シルエットモデル)などを利用して対象物の存在領域を検出し(または初期化処理)、これを連続的に解釈することで対象物の追跡を行なう。この際、移動する対象物の候補領域として切り出された領域に対して、対象物の運動モデルを導入するなどして、検出性能を向上させている。しかし、移動する対象物の見え方(カメラ画角)や検出性能に起因して、対象物の候補領域が随時変形するような状況では、区間の追跡性能が低下するなどの課題があった。
特開２００３−２１６９５１号公報 特開２００５−１６５６８８号公報

パーティクルフィルタを使用する追跡システムは、移動する対象物の運動モデルを記述することなく、移動する対象物を追跡できる利点がある。しかしながら、この追跡システムには、以下のような課題がある。

前述したように、パーティクルフィルタを使用する追跡方法は、初期化処理、予測処理、尤度推定処理、及びフィルタリングの４ステップの処理手順で構成されている。初期化処理では、人間などの移動する対象物の検出処理（抽出処理）が実行されて、パーティクルの初期配置という処理が実行される。

ここで、移動する対象物の検出処理は、特に単眼カメラを使用する追跡方法の場合には、背景の状況や移動対象物の数などに依存して非常に困難である。一方で、移動する対象物の検出結果である初期値に依存すると、この初期値の精度が低い場合には、以降の追跡処理の性能が低下する。従って、初期化処理として、移動する対象物の検出処理を導入しない手法か、或いは移動する対象物の検出性能を向上するための手法が必要となる。

予測処理では、予め定義されるシステムモデルが使用される。システムモデルは、追跡対象が特に人間の場合には、人間のランダムウォーク(ランダムウォークのパラメータに依存するが)による背景などの影響を受けて、人間自体へのパーティクルの配置量が減少してしまう問題がある。即ち、人間のランダムな動きに対する適合性は高いものの、パーティクルの配置が対象となる人間以外の場所に配置される可能性も高く、尤度推定で類似度が高い背景に当たった場合、誤配置されてしまう可能性もある。

パーティクルの再配置処理の問題としては、一般には、例えば複数の人間が重なった状態でカメラにより撮影された場合に、いわゆるオクルージョンと呼ぶ視覚現象（撮影画像の一部または全部が影に隠れて見えない状態）が発生する。このようなオクルージョンが発生すると、例えば前面に位置する人間のみの尤度が高くなり、その人間の部位にパーティクルが集中する事態が発生する問題がある。

オクルージョンが発生している状態で、パーティクルフィルタによる追跡処理が起動すると、カメラ画角内で、オクルージョンが解除した段階、具体的には影に隠れていた人が見えるようになった段階でも、奥に隠れていた人間にパーティクルは配置されない事態となる。即ち、初期化処理時にオクルージョンが発生していた場合には、前面にいた人間のみが追跡対象となり、背後にいた人間の追跡はできないことになる。

そこで、本発明の目的は、パーティクルフィルタを使用する追跡方法において、初期化処理における移動する対象物の検出性能に依存することなく、移動する対象物に対するパーティクルの配置を確実に実行して、移動する対象物の追跡性能を向上できる追跡システムを提供することにある。

本発明の観点に従ったパーティクルフィルタを適用して移動する対象物を追跡する追跡システムは、前記移動する対象物を撮影するカメラ手段と、前記カメラ手段により撮影された画像において、任意の背景領域にパーティクルを待機状態で初期的に配置させる手段と、前記待機状態で配置されたパーティクルとの尤度の変化に基づいて、前記画像に含まれる前記移動する対象物に対して前記パーティクルを再配置する再配置手段とを備えた構成である。

本発明によれば、パーティクルフィルタを使用する追跡方法において、初期化処理における移動する対象物の検出性能に依存することなく、移動する対象物に対するパーティクルの配置を確実に実行して、移動する対象物の追跡性能を向上できる追跡システムを提供することができる。

以下図面を参照して、本発明の実施形態を説明する。

［第１の実施形態］
（システムの構成）
図１は、本実施形態に関する追跡システム１の構成を説明するためのブロック図である。

追跡システム１は、図１に示すように、第１及び第２のカメラ１０Ａ，１０Ｂ、各カメラ１０Ａ，１０Ｂのそれぞれに対応するインターフェース１１Ａ，１１Ｂ、統合処理部１２、表示制御部１３、及び表示部１４を有する。

第１及び第２のカメラ１０Ａ，１０Ｂはそれぞれ、例えばビル内に設置されて、人間などの移動する対象物を追跡するための撮影動作を行なうビデオカメラである。インターフェース１１Ａ，１１Ｂはそれぞれ、対応するカメラ１０Ａ，１０Ｂにより撮影された画像（映像）を処理して、この画像処理により得られるディジタル画像信号を統合処理部１２に出力する。

統合処理部１２は、コンピュータのハードウェア及びソフトウェアから構成されるシステム本体であり、本実施形態の追跡処理を実行する。統合処理部１２は、後述するように、本実施形態に関するパーティクルフィルタを実行するパーティクルフィルタ処理部１２０を含む。以下、パーティクルフィルタ処理部１２０を、便宜的にパーティクルフィルタとして表記する。

表示制御部１３は、統合処理部１２により処理された追跡結果や、カメラ１０Ａ，１０Ｂにより撮影された映像を表示部１４の画面上に表示する。

（追跡システムの動作）
以下、パーティクルフィルタを主機能とする追跡システム１の動作を説明する。

まず、図２のフローチャートを参照して、パーティクルフィルタの基本的処理手順を説明する。

パーティクルフィルタは、カメラ１０Ａ，１０Ｂにより撮影された画像（映像）から得られる情報に対して、図２に示すように、初期化処理、予測処理、尤度推定処理、及びフィルタリングの各処理を順次実行する。

初期化処理では、背景差分、時間差分、エッジ情報などの検出方法を用いて、監視対象となる人間などの移動する対象物の検出（抽出）を実行し、パーティクルの初期配置を行う（ステップＳ１）。具体的には、パーティクルフィルタは、初期化処理として、図３（Ａ）に示すように、カメラ１０Ａ，１０Ｂにより撮影された画面（画角）１００内において、人間の抽出結果３０にパーティクル３１を初期配置する。

予測処理では、システムモデル(人間などの対象物に対する運動モデルとは異なる)を定義し、人間などの移動に対する予測を行う（ステップＳ２）。具体的には、図３（Ｂ）に示すように、人間などの移動３２を予測し、この予測結果に基づいてパーティクル３１を配置する。

さらに、尤度推定処理では、様々な人間などの移動する対象物の特徴量を尤度関数として定義し、配置された各パーティクルに対する確からしさの確認を行う（ステップＳ３）。尤度は人間などの移動する対象物を追跡するための特徴量そのものに起因し、パーティクルフィルタを用いた追跡処理の性能を決定付ける要素である。フィルタリング処理では、尤度が低いと推定されたパーティクルに対して、パーティクルの再配置を行う（ステップＳ４）。具体的には、図３（Ｃ）に示すように、人間の移動３２に伴って、尤度が低いと推定されたパーティクルの再配置を行う（ここでは、画面１００内から対象物が消えて、追跡完了となる）。

以上のような基本処理手順に対して、本実施形態のパーティクルフィルタは、初期化処理として、人間などの移動する対象物の検出結果（抽出結果）を用いてパーティクルの初期配置をする手順ではなく、予め画面（画角）１００内にパーティクル３１を予備的に配置する（ばら撒いて配置する）手順を有する処理を行なう。

以下、図４のフローチャート及び図５を参照して、本実施形態のパーティクルフィルタにおける初期化処理の手順を説明する。

まず、パーティクルフィルタは、図５（Ａ）に示すように、画面（画角）１００内の任意の背景領域にパーティクル３１を待機状態で初期的に配置する（ステップＳ１１）。ここで、図５（Ａ）は画面（画角）１００への侵入は画角エッジのみとした場合の例である。図５（Ｂ）は、画面（画角）１００の全体に待機状態のパーティクル３１を配置した場合の例である。図５（Ｃ）は、属性管理のために、待機状態のパーティクル３１をグループ化した場合の例である。このグループ化では、画像上での人間の見え方を考慮して、各グループ５０のサイズが調整される。

パーティクルフィルタは、待機状態で配置された各パーティクルに対する尤度（確からさ）を推定する尤度推定処理を実行する（ステップＳ１２）。パーティクルフィルタは、相対的に各パーティクルに対する尤度が高い場合には、人間などの移動する対象物が存在（画面内に侵入）していないと判断する（ステップＳ１３のＹＥＳ，Ｓ１４）。即ち、パーティクルフィルタは、背景領域に配置されたパーティクル３１の待機状態をそのまま維持する（ステップＳ１５）。

一方、図５（Ｄ）に示すように、人間などの移動する対象物５１が画面（画角）１００に侵入してきた場合（存在する場合）には、配置場所のパーティクルの尤度が低くなるように変化する。従って、パーティクルフィルタは、相対的に各パーティクルに対する尤度が低い場合には、人間などの移動する対象物５１が存在（画面内に侵入）していると判断する（ステップＳ１３のＮＯ，Ｓ１６）。

パーティクルフィルタは、待機状態のパーティクルの尤度が相対的に低くなるように変化すると、パーティクル３１を人間などの移動する対象物５１に再配置させるフィルタリング処理を実行し、パーティクル３１を使用した追跡処理を開始する。

以上のように本実施形態のパーティクルフィルタでの初期化処理であれば、人間などの移動する対象物の検出処理（抽出処理）を行なうことなく、人間などの移動する対象物に対するパーティクルの初期配置（追跡処理の開始時の配置）を行なうことができる。従って、パーティクルフィルタを使用する追跡システム１において、初期化処理において移動する対象物の検出性能に依存することなく、移動する対象物に対するパーティクルの初期配置を確実に行なうことが可能であるため、人間などの移動する対象物の追跡性能を向上できる。

ここで、本実施形態の初期化処理を行なうパーティクルフィルタは、予め画面（画角）内にパーティクルを待機状態で初期的に配置（任意の背景領域にばら撒いて配置）したパーティクル３１に対する処理として、下記のように定義される待機モードから追跡モードへの遷移制御を実行する。

待機モードでは、パーティクルフィルタは、任意の背景領域に対してパーティクルを待機状態で配置する。この場合、パーティクルを動かさない(即ち、パーティクルの位置を保持)状態では、如何なる特徴量を用いたとしても、当該パーティクルの尤度が高い状態を継続する。この状態を待機モードとして定義した場合に、人間などの移動する対象物が画面内に侵入した場合には、当該対象物が背景領域を遮ることになるため、初期配置された各パーティクルの尤度は低い状態に遷移する。この時点を追跡モードへの変化点として定義する。

パーティクルフィルタは、追跡モードへの移行時点で、例えば画面内に登場してからの時間や人間モデル(シルエット形状や面積)、或いは後述する予め学習しておいた人間へのパーティクルの配置や分布の状況などを考慮して、パーティクルの初期配置の完了(初期化処理完了)を判断する。パーティクルフィルタは、このパーティクルの初期配置の完了により、待機モードから追跡モードに移行して追跡処理を開始する。また、パーティクルフィルタは、人間などの移動する対象物が画面内から退場する（フレームアウト）などの際に、追跡モードから待機モードに移行するようにモード遷移を行なう。

［第２の実施形態］
図６から図８は、第２の実施形態に関するパーティクルフィルタの動作を説明するための図である。なお、本実施形態においても、当該パーティクルフィルタを含む追跡システム１は、図１に示す構成と同様であるため、説明を省略する。

本実施形態のパーティクルフィルタは、前述の初期化処理の完了後、即ちパーティクルの初期配置と再配置の処理後に、予測処理、尤度推定処理、フィルタリング処理からなる追跡処理を実行するときに、オクルージョンの解除に対する対策機能に関する。

オクルージョンとは、前述したように、例えば複数の人間が重なった状態でカメラにより撮影された場合に、撮影画像の一部または全部が影に隠れて見えない状態である。このようなオクルージョンが発生すると、尤度が高くなった人間の部位にパーティクルが集中する事態が発生する。

具体的には、図６（Ａ）に示すように、移動する対象物である複数の人間５１Ａ，５１Ｂが重なった状態で、カメラの画面（画角）内に侵入してきたときにオクルージョンが発生する。このようなオクルージョンが発生している状態では、前述した初期化処理に含まれるパーティクルの再配置では、尤度が高くなった人間、ここでは前面の人間５１Ａの部位にのみパーティクル（便宜的に３１Ａとする）が集中する事態となる。

オクルージョンが発生している状態で、パーティクルフィルタによる追跡処理が開始されると、途中で前面の人間５１Ａの影に隠れていた人間５１Ｂが出現した場合（オクルージョンの解除）に、その影に隠れていた人間５１Ｂにはパーティクルは配置されずに、全てのパーティクルは前面にいた人間５１Ａのみに追従してしまう。従って、背後に隠れていた人間５１Ｂはロストされて、追跡できない状態となる。

そこで、本実施形態のパーティクルフィルタは、図６（Ｂ）に示すように、移動する人間５１Ａに追従しているパーティクル群（便宜的に３１Ｂとする）の近傍に、前述した待機モードのパーティクル群（便宜的に３１Ｃとする）を配置する。次に、パーティクルフィルタは、図６（Ｃ）に示すように、オクルージョンが解除されて、背後に隠れていた人間５１Ｂが出現したときに、その待機モードのパーティクル群３１Ｃを追従させて追跡処理を実行する。

図７は、画像座標系でのパーティクルの分布特性に基づいて、オクルージョンの解除を検知する方法を説明するための図である。以下、具体的に説明する。

図７（Ａ）はオクルージョンが発生している状態を示す。即ち、前面の人間５１Ａに対する尤度が高く、パーティクル３１Ａが集中的に配置されている。次に、オクルージョンが解除されると、前述したように、待機モードのパーティクル群３１Ｃを背後に隠れていた人間５１Ｂに配置して追従させる。

従って、図７（Ｂ）に示すように、画像座標系において、パーティクルの分布が２つに分割される状態が発生する（矢印）。即ち、図７（Ｃ）に示すように、前面の人間５１Ａに追従するパーティクル群３１Ｂと、背後に隠れていた人間５１Ｂに追従するパーティクル群３１Ｃとに分裂し、増殖するような状態となる。このような画像座標系でのパーティクルの分布状態に基づいて、パーティクルフィルタは、オクルージョンの解除を検知することが可能となる。

図８は、オクルージョンの解除を検知する他の方法を示す図である。この検知方法は、図８に示すように、配置されているパーティクルの尤度ヒストグラムを作成し、当該尤度ヒストグラムから尤度分布のピーク８０の数を計測する。パーティクルフィルタは、複数の尤度分布のピーク８０が発生した場合に、パーティクルの分布が分かれて、オクルージョンが解除されたことを検知することができる。

以上のようにして本実施形態によれば、初期化処理時にオクルージョンが発生している場合に、追跡に成功しているパーティクル群（３１Ｂ）の近傍に、オクルージョンの解除により出現する人間（対象物）５１Ｂに備えたパーティクル群（３１Ｃ）を予め配置させることにより、その背後に隠れていた人間５１Ｂに対して追跡処理を行なうことができる。即ち、初期化処理時にオクルージョンが発生している場合に、オクルージョンの解除に対して有効な対策を実現することができる。また、本実施形態の方法を利用して、パーティクル群の分布状況に基づいてオクルージョンの解除を検知することも可能となる。

［第３の実施形態］
図９から図１１は、第３の実施形態に関するパーティクルフィルタの動作を説明するための図である。なお、本実施形態においても、当該パーティクルフィルタを含む追跡システム１は、図１に示す構成と同様であるため、説明を省略する。

本実施形態のパーティクルフィルタは、前述の初期化処理の完了後、即ちパーティクルの初期配置と再配置の処理後に、予測処理、尤度推定処理、フィルタリング処理からなる追跡処理を実行するときに、尤度推定処理時での尤度閾値制御機能に関する。

パーティクルフィルタは、追跡対象である人間などの移動する対象物の特徴量を尤度関数として定義し、配置された各パーティクルに対する尤度を推定する。この尤度推定では、ある尤度閾値に基づいて追跡成功か、或いは再配置対象かの判断を行う必要がある。ここで、背景が複雑な場合や、追跡対象の人間などの特徴と類似した背景の場合などに依存して、パーティクルの尤度分布が変化する。そこで、本実施形態のパーティクルフィルタは、パーティクルの尤度分布に応じた尤度閾値制御を実行する。

本実施形態のパーティクルフィルタは、図１１に示すように、パーティクルの尤度分布状況９０，９２に応じて、正しく追跡が完了したパーティクル(または再配置対象となるパーティクル)を決定するための尤度閾値９１，９３を設定する。即ち、パーティクルの尤度分布９０のときには尤度閾値９１を設定し、尤度分布９２のときには尤度閾値９３を設定する。では、尤度の分布状況に応じて、正しく追跡が完了したパーティクルを決定する閾値を決定する状況を示している。この尤度閾値９１，９３は、固定又は自動的に制御することができる。

また、図１０及び図１１は、尤度分布が期待する分布になるように、パーティクルの再配置自体を制御する方法を示す図である。図１０は、背景が異なる場合には、尤度が高い方に偏った尤度分布を維持するようにパーティクルの再配置自体を制御する方法を示す。一方、図１１は、類似背景の場合には、尤度の高さに偏らず、全体の尤度分布を維持するようにパーティクルの再配置自体を制御する方法を示す。このような再配置制御は、背景が追跡対象となる人間の特徴と同様の場合と、異なる場合とで尤度のピークを示すパーティクル数をコントロールすることになる。

以上のように本実施形態によれば、背景が複雑な場合や追跡対象の人間などの特徴と類似した背景の場合などに依存して、パーティクルの尤度分布が変化するときに、その尤度分布に応じた尤度閾値制御を実行することにより、配置された各パーティクルに対する尤度を確実に推定することができる。換言すれば、本実施形態によれば、複雑な背景下或いは追跡対象の対象物が有する特徴と類似した背景下において、追跡処理の実行時に再配置対象となるパーティクルを、パーティクル群の尤度推定分布に基づいた動的な閾値制御により決定する尤度推定機能を実現することができる。

［第４の実施形態］
図１２及び図１３は、第４の実施形態に関するパーティクルフィルタに適用するシステムモデルの概念を説明するための図である。なお、本実施形態においても、当該パーティクルフィルタを含む追跡システム１は、図１に示す構成と同様であるため、説明を省略する。

本実施形態のパーティクルフィルタは、複数のシステムモデルをハイブリッド化した構成であり、ロバストな追跡処理を実現したものである。具体的には、本実施形態のパーティクルフィルタに適用するシステムモデルとして、例えばランダムウォークの追跡処理に適用するシステムモデルと、線形モデル(等速直線運動)に適用するシステムモデルを組み合わせたハイブリッド化モデルを採用する。

このハイブリッド化システムモデルを適用したパーティクルフィルタは、図１２に示すように、ランダムウォーク及び線形モデルの各モデルに基づいて、パーティクルをばら撒いて配置する初期化処理を実行する（ステップＳ２１）。次に、各モデルに基づいた予測処理及び尤度推定処理をそれぞれ実行する（ステップＳ２２，Ｓ２３及びステップＳ２４，Ｓ２５）。

さらに、各モデルに基づいた予測処理及び尤度推定処理において、尤度が高いパーティクルが多かったシステムモデルを選定する（ステップＳ２６）。そして、パーティクルフィルタは、選定したシステムモデル（ランダムウォーク又は線形モデル）に対応するフィルタリング処理を実行する（ステップＳ２７）。

一方、ハイブリッド化システムモデルを適用したパーティクルフィルタとして、図１３に示すように、ランダムウォーク及び線形モデルの各モデルに基づいたパーティクルをばら撒いて配置する初期化処理を実行した後に（ステップＳ３１）、システムモデルを選定せずに、尤度の高いパーティクルを選定する構成でもよい。即ち、パーティクルフィルタは、初期化処理を実行した後に、各モデルに基づいた予測処理を実行する（ステップＳ３２，３３）。次に、パーティクルフィルタは、各モデルに基づいた予測処理により配置されたパーティクルから尤度の高いパーティクルを選定する（ステップＳ３４）。換言すれば、尤度の高いパーティクルを有効にして、尤度の低いパーティクルを廃棄する処理を実行する。そして、パーティクルフィルタは、システムモデルを問わず、尤度の高いパーティクルに基づいてフィルタリング処理を実行する（ステップＳ３５）。

以上のように本実施形態によれば、例えばランダムウォークの追跡処理に適用するシステムモデルと、線形モデル(等速直線運動)に適用するシステムモデルを組み合わせたハイブリッド化モデルを適用したパーティクルフィルタにより、結果としてパーティクルの尤度推定での尤度の高いパーティクルを確実に選定することが可能となり、ロバストな追跡処理を実現することが可能となる。

［第５の実施形態］
第５の実施形態は、前述の図１に示すパーティクルフィルタを含む追跡システム１において、追跡処理時のパーティクルの属性情報を保持するデータベースを有する構成のパーティクルフィルタに関する。なお、他の構成は図１に示す構成と同様であるため、説明を省略する。

本実施形態のパーティクルフィルタは、人間などの移動する対象物を追跡していたパーティクルに対し、例えば人間が画面（画角）内から退場するフレームアウトした場合を想定して、パーティクルの分布状況や尤度情報を追跡していた人間の属性情報として、データベースに保持する。

次に、パーティクルフィルタは、画面（画角）内に人間が登場したときに、データベースを参照して、新たに配置されたパーティクル群に対応する属性情報と相関度が高い人間の属性情報を検索した場合には、以前にフレームアウトした人間がフレームイン(再登場)したと判断する。従って、パーティクルフィルタは、相関度が高い人間の属性情報を検索できない場合には、画面（画角）内に人間は新たに登場した人間として扱う。

以上のようして本実施形態によれば、追跡対象物が一時的に消滅した場合に、カメラの画面（画角）からフレームアウト(退場）した人間が、フレームイン(再登場)したか否かを容易に判断することが可能となる。従って、追跡していた人間がフレームアウトして、再登場してきた場合に、該当するパーティクルを同定する仕組み(パーティクル情報の保持)を実現することができる。このような本実施形態の機能を応用して、特に図１に示すように、複数のカメラ１０Ａ，１０Ｂが設置されている環境において、それぞれのカメラの撮影情報を統合することで広域追跡処理を行なうシステムを実現することが可能となる。

［第６の実施形態］
図１４及び図１５は、第６の実施形態に関するパーティクルフィルタの動作を説明するための図である。なお、本実施形態においても、当該パーティクルフィルタを含む追跡システム１は、図１に示す構成と同様であるため、説明を省略する。

本実施形態に関するパーティクルフィルタは、人間などの移動する対象物のモデル(シルエットや面積)ではなく、事前データとして任意のリファレンス映像を用いて、対象物に配置されるパーティクルの配置及び分布状況を学習しておき、この学習情報に基づいてパーティクルの初期配置完了のタイミングを判断する機能に関する。具体的には、パーティクルフィルタは、一定時間の追跡の後に、人間の距離や大きさ(形状)に依存する学習済み分布状況を活用してパーティクルの初期配置完了を判断する。

図１４は、事前に学習した人間分布状況を考慮した追跡処理を説明するための概念図である。まず、図１４（Ａ）に示すように、移動する対象物である複数の人間５１Ａ，５１Ｂが重なった状態で、カメラの画面（画角）内に侵入してきたときにオクルージョンが発生する。このようなオクルージョンが発生している状態では、前述した初期化処理に含まれるパーティクルの再配置では、尤度が高くなった人間、ここでは前面の人間５１Ａの部位にのみパーティクル３１Ａが集中する事態となる。

次に、図１４（Ｂ）に示すように、移動する人間５１Ａに追従しているパーティクル群３１Ｂと共に、オクルージョンが解除されて、背後に隠れていた人間５１Ｂが出現したときに、パーティクルの分布状況に基づいて、当該人間５１Ｂに追従するようにパーティクル群３１Ｃを配置させる。即ち、本実施形態に関するパーティクルフィルタは、事前に学習した人間のパーティクルの分布状況を考慮して、例えばオクルージョンの解除に応じて出現した人間５１Ｂに追従するようにパーティクル群３１Ｃを配置させる追跡処理を実行することができる。

一方、図１５は、事前に学習した人間へのパーティクルの配置及び分布状況を考慮した追跡処理を説明するための概念図である。

まず、図１５（Ａ）は、移動する対象物である人間５１Ａの背後に人間以外の対象物６０が重なった状態を想定している。この場合でも、初期配置では、人間５１Ａの部位にのみパーティクル３１Ａが集中している。次に、図１５（Ｂ）に示すように、移動する人間５１Ａに追従してパーティクル群３１Ｂが配置されて追跡される。このとき、オクルージョンが解除されて、背後に隠れていた対象物６０が出現する。

本実施形態に関するパーティクルフィルタは、出現した対象物６０の尤度が高いと判断してパーティクル群３１Ｄを配置させる。ここで、パーティクルフィルタは、事前に学習した人間へのパーティクルの配置及び分布状況を考慮して、出現した対象物６０が人間でないと判断し、一度配置させたパーティクル群３１Ｄを消滅させる。

以上のようにして本実施形態によれば、対象物に配置されるパーティクルの配置及び分布状況の学習情報に基づいて、人間の距離や大きさ(形状)に依存する学習済み分布状況を活用してパーティクルの初期配置完了を判断することが可能となる。なお、複数人が存在する状況でのパーティクルの分布まで含めて学習することで、複数人対応も可能になる。複数人の場合ではオクルージョン発生の可能性を認識し、当該学習情報を個々の人間を追跡する際のガイド情報として利用できる。

［第７の実施形態］
第７の実施形態は、尤度推定機能のハイブリッド化した構成のパーティクルフィルタに関する。なお、本実施形態においても、当該パーティクルフィルタを含む追跡システム１は、図１に示す構成と同様であるため、説明を省略する。

本実施形態のパーティクルフィルタは、尤度推定処理での尤度関数のハイブリッド評価を適用し、異なる複数種の尤度関数（例えば、輝度、テクスチャ、ホグ、色など）を使用する尤度推定処理をそれぞれ並行に実行する。これらの尤度推定処理により算出された各尤度値分布の評価に基づいて、人間などの対象物に配置された各パーティクルの尤度を推定する。

以上のように本実施形態によれば、尤度関数のハイブリッド評価を適用した尤度推定機能を有するパーティクルフィルタにより、結果としてパーティクルの尤度推定での尤度の高いパーティクルを確実に選定することが可能となり、ロバストな追跡処理を実現することが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態に関する追跡システムの要部を示すブロック図。 本実施形態に関するパーティクルフィルタの基本的処理手順を説明するためのフローチャート。 本実施形態に関するパーティクルフィルタを使用する追跡処理の基本的手順を説明するための概念図。 本実施形態に関するパーティクルフィルタにおける初期化処理の手順を説明するためのフローチャート。 本実施形態に関するパーティクルの初期配置の具体例を示す概念図。 第２の実施形態に関するパーティクルフィルタにおける追跡処理の手順を説明するための概念図。 第２の実施形態に関するオクルージョンの解除を検知する方法を説明するための概念図。 第２の実施形態に関するオクルージョン解除を検知する方法を説明するための特性図。 第３の実施形態に関するパーティクルの尤度分布に基づいて尤度閾値制御を説明するための特性図。 第３の本実施形態に関するパーティクルの再配置制御を説明するための特性図。 第３の本実施形態に関するパーティクルの再配置制御を説明するための特性図。 第４の実施形態に関するパーティクルフィルタに適用するシステムモデルの概念を説明するための図。 第４の実施形態に関するパーティクルフィルタに適用するシステムモデルの概念を説明するための図。 第６の実施形態に関するパーティクルフィルタにおける追跡処理の手順を説明するための概念図。 第６の実施形態に関するパーティクルフィルタにおける追跡処理の手順を説明するための概念図。

符号の説明

１…追跡システム、１０Ａ，１０Ｂ…カメラ、
１１Ａ，１１Ｂ…インターフェース、１２…統合処理部、１３…表示制御部、
１４…表示部。１２０…パーティクルフィルタ処理部（パーティクルフィルタ）。

Claims (15)

1. パーティクルフィルタを適用して移動する対象物を追跡する追跡システムにおいて、
   前記対象物を撮影するカメラ手段と、
   前記カメラ手段により撮影された画像において、任意の背景領域にパーティクルを待機状態で初期的に配置させる初期配置手段と、
   前記待機状態で配置されたパーティクルとの尤度の変化に基づいて、前記画像に含まれる前記対象物に対して前記パーティクルを再配置する再配置手段と
   を具備したことを特徴とする追跡システム。
2. 前記再配置手段は、
   前記カメラ手段により撮影される画面内に存在する対象物との比較により、前記初期的に配置されたパーティクルの尤度が低下する変化に基づいて、前記対象物に対して前記パーティクルを再配置するように構成されていることを特徴とする請求項１に記載の追跡システム。
3. 前記初期配置手段により任意の背景領域に対してパーティクルを待機状態で配置する待機モードとして定義し、
   前記カメラ手段により撮影される画像として前記対象物が発生して、前記待機モード時に初期配置されたパーティクルの尤度が低い状態に遷移したときに、前記待機モードから前記対象物の追跡処理を実行する追跡モードへの変化点と認識し、
   前記変化点の認識時点で、前記再配置手段により前記対象物に対して前記パーティクルを再配置して前記パーティクルの初期配置の完了を認識し、
   前記初期配置の完了後に前記待機モードから前記追跡モードに移行する制御する制御手段をさらに有することを特徴とする請求項１又は請求項２のいずれか１項に記載の追跡システム。
4. 前記制御手段は、
   追跡モードに移行後で、前記対象物が前記カメラ手段により撮影される画像から外れたときに、前記追跡モードから前記待機モードに移行するように制御することを特徴とする請求項３に記載の追跡システム。
5. 前記再配置手段により前記パーティクルの初期配置が完了後に、前記対象物の移動に伴って前記パーティクルを追従させて追跡処理を実行する手段と、
   前記パーティクルの初期配置が完了時にオクルージョンが発生している場合に、前記追跡処理で前記対象物に追従しているパーティクルの近傍に、前記オクルージョンの解除に備えたパーティクルを準備的に配置する手段と
   を更に有することを特徴とする請求項１から請求項３のいずれか１項に記載の追跡システム。
6. 前記追跡処理の実行時で、前記オクルージョンの解除により出現する新たな対象物に対して前記準備的に配置されたパーティクルを追従させて配置する手段を更に有することを特徴とする請求項５に記載の追跡システム。
7. 複雑な背景下或いは追跡対象の対象物が有する特徴と類似した背景下において、前記追跡処理の実行時に再配置対象となるパーティクルを、パーティクル群の尤度推定分布に基づいた動的な閾値制御により決定する尤度推定手段を更に有することを特徴とする請求項３に記載の追跡システム。
8. 前記再配置手段は、複数のシステムモデルによるパーティクルの再配置処理を実行するように構成されており、
   前記再配置手段により配置されたパーティクルの中で、相対的に尤度の高いパーティクル数が多いシステムモデルを選択し、選択したシステムモデルを適用した追跡処理を実行する手段を更に有することを特徴とする請求項１に記載の追跡システム。
9. 前記再配置手段は、複数のシステムモデルによるパーティクルの再配置処理を実行するように構成されており、
   前記各システムモデルに基づいた予測処理により配置されたパーティクルから尤度の高いパーティクルを選定する手段を更に有することを特徴とする請求項１に記載の追跡システム。
10. 前記再配置手段により前記パーティクルの初期配置が完了後に、前記対象物の移動に伴って前記パーティクルを追従させて追跡処理を実行する手段と、
    前記追跡処理時に前記対象物のパーティクル群の分布状況や尤度情報を示す属性情報を保持する手段と
    を更に有することを特徴とする請求項１から請求項３のいずれか１項に記載の追跡システム。
11. 前記追跡処理時に、前記対象物が前記カメラ手段により撮影された画像から退場した後に、前記画像に登場した対象物が再登場した前記対象物であるか否かを前記属性情報に基づいて判断する手段を更に有することを特徴とする請求項１０に記載の追跡システム。
12. 特定の前記対象物に対するパーティクルの配置及び分布状況を事前に学習して、当該学習情報を生成する手段を有し、
    前記再配置手段は、前記学習情報に基づいて前記対象物に対して前記パーティクルを再配置するように構成されていることを特徴とする請求項１から請求項３のいずれか１項に記載の追跡システム。
13. 特定の対象物に対するパーティクルの配置及び分布状況を事前に学習して、当該学習情報を生成する手段と、
    前記追跡処理の実行時で、前記学習情報に基づいて、前記オクルージョンの解除により出現する新たな対象物に対してパーティクルを追従させて配置する手段と
    を更に有することを特徴とする請求項６に記載の追跡システム。
14. 前記オクルージョンの解除により出現する新たな対象物に対してパーティクルを追従させて配置した後に、前記学習情報に基づいて前記新たな対象物が前記特定の対象物でないと判断したときに、新たな対象物に対して配置したパーティクルを消滅させる手段を更に有することを特徴とする請求項１３に記載の追跡システム。
15. 前記再配置手段により前記パーティクルの初期配置が完了後に、前記対象物の移動に伴って前記パーティクルを追従させて追跡処理を実行する手段に含まれて、前記対象物の特徴量を尤度関数として定義して、配置された各パーティクルの尤度を推定する尤度推定手段を有し、
    前記尤度推定手段は、複数種の尤度関数のそれぞれを使用した各尤度推定処理を並行して実行する構成であることを特徴とする請求項１に記載の追跡システム。

Images