JP2020149642A - 物体追跡装置および物体追跡方法 - Google Patents

Abstract

【課題】背景へのドリフトを低減し、精度の高い物体追跡を行う物体追跡装置を提供する。【解決手段】人追跡装置は、第１フレーム画像における対象物の位置を取得する取得手段と、第１フレーム画像の後のフレーム画像である第２フレーム画像から、対象物の位置を求める追跡手段２４を備える。追跡手段２４は、第２フレーム画像から抽出される特徴量に基づいて、第１の追跡アルゴリズムによって対象物の第２フレーム画像における第１の座標を求める第１サブ追跡手段２５と、第１フレーム画像と第２フレーム画像のフレーム間の差分画像に基づいて、動きのある領域の重心である第２の座標を求める第２サブ追跡手段２６と、を備える。さらに、第１の座標と第２の座標とに基づいて、第２フレーム画像における対象物の位置を求める位置特定手段２７を、備える。【選択図】図３

Description

本発明は、動画像中の物体を追跡する技術に関する。

動画像（時系列画像）のあるフレームにおいて検出された物体を追跡する物体追跡は、コンピュータビジョン分野において重要な技術である。

物体追跡アルゴリズムの一つとして相関フィルタを用いる手法が知られている（非特許文献１）。この手法では、ＨＯＧ特徴量のような形状の画像特徴を利用し、追跡対象物の周辺領域まで含めてオンライン学習を行う。しかしながら、上述のような特徴量を用いているため、物体の形状や色が急激に変化する場合に、追跡に失敗することがあった。また、追跡対象物の周辺領域を含む画像を用いてオンライン学習をしているため、複雑な背景下においては適切な応答が得られずに、背景にドリフトすることがあった。

また、物体追跡に背景差分を用いることも知られている（例えば、特許文献１）。背景差分法では、フレーム間の差分を取り、差分値の大きい領域を物体として検出する。この手法では、追跡対象の動きが止まってしまった場合にはロストしてしまう。例えば追跡対象が人物である場合、この人物が椅子に座るとロストしてしまうため、オフィス内の監視に向かない。さらに、テンプレートマッチングでは、物体が変形しテンプレートとの差異が所定の閾値以上になると、ロストしてしまう。人物の場合、人物の動作によってテンプレートと比べて大きな変形が発生するため追跡に失敗する。

ところで、ビルディングオートメーション（ＢＡ）やファクトリーオートメーション（ＦＡ）の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適制御するアプリケーションが必要とされている。このような用途では、できるだけ広い範囲の画像情報を取得するために、魚眼レンズ（フィッシュアイレンズ）を搭載した超広角のカメラ（魚眼カメラ、全方位カメラ、全天球カメラなどと呼ばれるが、いずれも意味は同じである。本明細書では「魚眼カメラ」の語を用いる）を利用することが多い。さらに、上記の用途では、できるだけ広い範囲の画像情報を取得するために、天井などの高所に取り付けたカメラをカメラの視点がトップ・ビューになるようにして配置する。この配置のカメラでは、人物を撮影する視点は、人物が画像の周辺にいるときには正面像になり、画像の中央にいるときには上面図となる。

魚眼カメラで撮影された画像は、撮影面内の位置により撮影対象の見た目が歪みのため変形する。さらに、カメラの視点をトップ・ビューにすると、追跡対象の位置により見た目が変化する。また、組み込み機器など、処理能力の限られた環境ではフレームレートが低いことが考えられ、フレーム間での物体の移動量や特徴量の変化が大きいという特殊性がある。したがって、従来技術の追跡手法では、精度良く追跡できない場合がある。

特開２００２−１５７５９９号公報

Henriques, Joao F., et al. "High-speed tracking with kernelized correlation filters." IEEE transactions on pattern analysis and machine intelligence 37.3 (2015): 583-596.

本発明は上記実情に鑑みなされたものであって、従来よりも精度の良い物体追跡技術を提供することを目的とする。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の第一側面は、第１フレーム画像における対象物の位置を取得する取得手段と、前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡手段と、を備える物体追跡装置である。前記追跡手段は、第１サブ追跡手段と第２サブ追跡手段と位置特定手段とを含む。第１サブ追跡手段は、前記第２フレーム画像から抽出される特徴量に基づいて、第１の追跡アルゴリズムによって前記対象物の前記第２フレーム画像における第１の座標を求める。第２サブ追跡手段は、前記第１フレーム画像と前記第２フレーム画像のフレーム間の差分画像に基づいて、動きのある領域の重心である第２の座標を求める。位置特定手段は、前記第１の座標と前記第２の座標とに基づいて、前記第２フレーム画像における前記対象物の位置を求める。

追跡の対象とする物体、すなわち「対象物」は、任意の物体であってよく、人体、顔、動物、車両などがその一例である。第１の追跡アルゴリズムは任意の物体追跡アルゴリズムであってよいが、局所最適化による追跡アルゴリズムが好ましい。局所最適による追跡アルゴリズムとは、追跡対象を含む部分領域の画像を学習して追跡するアルゴリズムである。この学習は逐次学習型の追跡アルゴリズムにより行うことが好適である。

第１の追跡アルゴリズムによって特定される対象物の位置（第１の座標）は、学習における誤差の蓄積の影響により正確ではない場合がある。そこで、上述のようにフレーム間の差分画像に基づいて動きのある領域の重心位置（第２の座標）を求めて、この重心位置も考慮して対象物の位置を特定することで、対象物の中心位置をより精度良く求めることができ、追跡精度が向上する。

本発明の第２サブ追跡手段は、少なくとも第１フレーム画像を用いて生成された前記対象物を含む領域の色ヒストグラムを用いて、前記第２フレーム画像において前記対象物が存在する確からしさを表す尤度のマップ（ヒートマップ）を生成し、前記第１フレーム画像と前記第２フレーム画像のフレーム間の差分画像に、前記尤度のマップを掛け合わせて調整済差分画像を生成し、前記調整済差分画像において、差分の程度に応じた画素領域の重心を前記第２の座標として求めてもよい。このようにフレーム間の差分だけでなく、色ヒストグラムに基づく前景尤度も考慮することで、追跡精度がより向上する。フレーム間の差分のみに基づいて重心位置を決定すると追跡対象ではない動体の影響を受けるが、前景尤度を考慮することでこの影響を排除もしくは低減できる。

また、本発明の第２サブ追跡手段は、前記調整済差分画像に対して、前記対象物が存在すると推測される位置を中心とする中心領域と、当該中心領域の周辺の周辺領域とを設定し、中心領域にある画素と周辺領域にある画素とに異なる重みを与えて前記重心を求めてもよい。重みは固定値であってもよいが、中心領域および周辺領域それぞれの面積に応じた値を採用してもよい。

また、本発明の第２サブ追跡手段は、前記中心領域における差分の和と、前記周辺領域における差分の和とに基づいて重み係数を決定し、前記重み係数を用いた前記第１の座標と前記第２の座標の加重平均として決定される座標を前記対象物の位置として求めてもよ
い。例えば、中心領域における差分の和が大きいほど、あるいは第２の座標に対する重みを大きく設定するとよい。これ以外にも、重み係数は、中心領域の差分の和の周辺領域の差分の和に対する比が大きいほど大きく設定したり、中心領域の差分の和と周辺領域の差分の和の和が大きいほど大きく設定したりしてもよい。第２の座標に対する重みは、第１の座標を第２の座標を用いて修正する際の修正効果の強さ、あるいは適用率とみなせる。

なお、上述の中心領域は、第１フレーム画像における対象物の位置と、第１フレーム画像における対象物の移動速度に基づいて決定することができる。

また、本発明において、第１サブ追跡手段によって決定される対象物の位置が十分に信頼できる場合には、そうでない場合よりも第２の座標による修正の効果（適用率）を小さく設定してもよいし、あるいは第２の座標による修正を行わなくてもよい。すなわち、追跡手段は、第１サブ追跡手段によって求められる第１の座標の確からしさ（信頼度）が第２閾値以上である場合には、そうでない場合よりも、第２の座標に対する重みを小さくして、第１の座標と第２の座標の加重平均として対象物の位置を決定してもよい。

また、本発明において、第１サブ追跡手段と第２サブ追跡手段によって決定される対象物の位置が十分に近いときには、そうでない場合よりも第２の座標による修正の効果（適用率）を小さく設定してもよいし、あるいは第２の座標による修正を行わなくてもよい。すなわち、位置特定手段は、第１の座標と第２の座標の差が第３閾値未満である場合には、そうでない場合よりも、第２の座標に対する重みを小さくして、第１の座標と第２の座標の加重平均として対象物の位置を決定してもよい。

本発明における第１サブ追跡手段が採用する第１の追跡アルゴリズムは特に限定されないが、例えば、第１フレーム画像における対象物の近傍から得られる特徴量を用いた相関フィルタによって、第２フレーム画像における対象物の位置を求めるアルゴリズムであってよい。また、第１の追跡アルゴリズムは、対象物の位置が特定されるたびに学習を行う逐次学習型のアルゴリズムであってよい。

また、本発明において処理対象とされる画像は、魚眼カメラにより得られた魚眼画像であってよい。「魚眼カメラ」は、魚眼レンズを搭載したカメラであり、通常のカメラに比べて超広角での撮影が可能なカメラである。全方位カメラ、全天球カメラおよび魚眼カメラはいずれも超広角カメラの一種であり、いずれも意味は同じである。魚眼カメラは、検出対象エリアの上方から検出対象エリアを見下ろすように設置されていればよい。典型的には魚眼カメラの光軸が鉛直下向きとなるように設置されるが、魚眼カメラの光軸が鉛直方向に対して傾いていても構わない。魚眼画像はひずみが大きいため、特に低フレームレートの画像ではフレーム間での物体の特徴変化が大きく、背景へのドリフトが多発する。さらに、カメラの光軸を鉛直下向きとなるように設置すると、画像における対象物の位置により対象物を撮影する視点が変化するため、特に低フレームレートの画像では、物体が大きく変形し追跡の失敗が多発する。しかし、本発明によればそのような魚眼画像においても、カメラの光軸を鉛直下向きとなるように設置しても精度の良い追跡が可能である。もっとも、本発明が処理対象とする画像は、魚眼画像に限られず、通常の画像（歪みの少ない画像や高フレームレートの画像）であっても構わない。

本発明の第二側面は、第１フレーム画像における対象物の位置を取得する取得ステップと、前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡ステップと、を含む、物体追跡方法であって、前記追跡ステップは、前記第２フレーム画像から抽出される特徴量に基づいて、第１の追跡アルゴリズムによって前記対象物の前記第２フレーム画像における第１の座標を求めるステップと、前記第１フレーム画像と前記第２フレーム画像のフレーム間の差分画像に基づいて、動きのある領
域の重心である第２の座標を求めるステップと、前記第１の座標と前記第２の座標とに基づいて、前記第２フレーム画像における前記対象物の位置を求めるステップと、を含む、ことを特徴とする物体追跡方法を提供する。

本発明は、上記手段の少なくとも一部を有する物体追跡装置として捉えてもよいし、画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む物体追跡方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、従来よりも精度の良い物体追跡が行える。

図１は、本発明に係る人追跡装置の適用例を示す図である。 図２は、人追跡装置を備える監視システムの構成を示す図である。 図３は、追跡部の詳細な機能ブロック図である。 図４は、人追跡装置が実施する全体処理のフローチャートである。 図５は、学習処理のフローチャートである。 図６は、追跡処理のフローチャートである。 図７は、追跡処理におけるターゲット中心修正処理のフローチャートである。 図８は、ターゲット中心修正処理における他追跡対象のマスク処理のフローチャートである。 図９は、本実施形態における学習処理および追跡処理（修正処理含む）を説明する図である。 図１０は、調整済差分画像、差分領域の重心、および中心領域と周辺領域の差分の和を説明する図である。 図１１は、適用率を求めるために用いる関数を説明する図である。 図１２は、他追跡対象のマスク処理を説明する図である。

＜適用例＞
図１を参照して、本発明に係る物体追跡装置の適用例を説明する。人追跡装置１は、追跡対象エリア１１の上方（例えば天井１２など）に設置された魚眼カメラ１０により得られた魚眼画像を解析して、追跡対象エリア１１内に存在する人１３を検出・追跡する装置である。この人追跡装置１は、例えば、オフィスや工場などにおいて、追跡対象エリア１１を通行する人１３の検出、認識、追跡などを行う。図１の例では、魚眼画像から検出された４つの人体それぞれの領域がバウンディングボックスで示されている。人追跡装置１の検出結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視および動線分析などに利用される。

本適用例では、物体追跡アルゴリズムとして、局所最適化による追跡アルゴリズムを採用する。このアルゴリズムでは、追跡対象を含む部分領域の画像を学習し、対象物と同様の特徴を有する領域の位置を特定することにより追跡が行われる。対象物の近傍も学習対象としているので、背景が複雑に変化する状況では対象物の位置を適切に予測できずに、背景を誤って対象物であると判断してしまうドリフトと呼ばれる誤動作が発生することがある。このような誤動作を防止するために、本適用例では、局所最適化による追跡アルゴリズムによって得られる対象物位置を、フレーム間の差分画像に基づいて得られる対象物
位置（差分重心）により修正することで、背景へのドリフトを抑制する。より具体的には前フレーム画像と現フレーム画像の差分画像に加えて、色ヒストグラム、追跡対象物の移動速度（向き及び速さ）、中心領域と周辺領域の差分の分布などを考慮して、差分重心の算出および差分重心による位置の修正効果の度合いを決定する。これにより、基本的な追跡性能の向上と、背景固着を抑制し、より精度の良い追跡を実現する。

＜監視システム＞
図２を参照して、本発明の実施形態を説明する。図２は、本発明の実施形態に係る人追跡装置を適用した監視システムの構成を示すブロック図である。監視システム２は、魚眼カメラ１０と人追跡装置１とを備えている。

魚眼カメラ１０は、魚眼レンズを含む光学系と撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。魚眼カメラ１０は、例えば図１に示すように、追跡対象エリア１１の天井１２などに、光軸を鉛直下向きにした状態で設置され、追跡対象エリア１１の全方位（３６０度）の画像を撮影するとよい。魚眼カメラ１０は人追跡装置１に対し有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で接続され、魚眼カメラ１０で撮影された画像データは人追跡装置１に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、１０ｆｐｓ（１秒あたり１０枚）で取り込まれるカラー（ＲＧＢ）画像を用いることを想定している。

本実施形態の人追跡装置１は、画像入力部２０、人体検出部２１、学習部２２、記憶部２３、追跡部２４、出力部２８を有している。

画像入力部２０は、魚眼カメラ１０から画像データを取り込む機能を有する。取り込まれた画像データは人体検出部２１および追跡部２４に引き渡される。この画像データは記憶部２３に格納されてもよい。

人体検出部２１は、人体を検出するアルゴリズムを用いて、魚眼画像から人体を検出する機能を有する。人体検出部２１によって検出された人体が、追跡部２４による追跡処理の対象となる。なお、人体検出部２１は、画像内に新たに現れた人物のみを検出してもよく、追跡対象の人物が存在している位置の近くは検出処理の対象から除外してもよい。さらに、一定の時間間隔またはフレーム間隔により、画像全体に人体検出部２１による人物の検出を行い、その後、追跡部２４による追跡処理をするＴｒａｃｋｉｎｇ−ｂｙ−ｄｅｔｅｃｔｉｏｎ方式にしてもよい。

学習部２２は、人体検出部２１が検出した、あるいは追跡部２４が特定した人体の画像から、追跡対象の人体の特徴を学習して学習結果を記憶部２３に記憶する。ここでは、学習部２２は、形状特徴に基づく評価を行うための相関フィルタと、色特徴に基づく評価を行うための色ヒストグラムとを求める。学習部２２は、毎フレーム学習を行い、現フレームから得られる学習結果を所定の係数で過去の学習結果に反映させて更新する。

記憶部２３は、学習部２２によって学習された学習結果を記憶する。記憶部２３は、また、利用する特徴量、各特徴量のパラメータ、学習係数、差分重心による修正の際の重み係数（関数）など、学習処理および追跡処理のハイパーパラメータも記憶する。

追跡部２４は、追跡対象の人物の現フレーム画像中での位置を特定する。追跡部２４は、最初は人体検出部２１による検出位置を含む領域をターゲット領域として、そのターゲット領域内から検出された人物と同様の特徴を有する物体位置を特定する。それ以降は、前フレーム画像について追跡部２４が特定した位置の付近をターゲット領域として、現フ
レーム画像中から追跡対象の人物の位置を特定する。

図３は、追跡部２４のより詳細な機能ブロック図である。追跡部２４は、第１サブ追跡部２５と第２サブ追跡部２６と位置修正部２７とを含む。第１サブ追跡部２５は、特徴量抽出部２５１、応答マップ生成部２５２、仮中心決定部２５３を含む。第２サブ追跡部２６は、差分抽出部２６１、ヒートマップ生成部２６２、差分画像調整部２６３、他対象領域マスク部２６４、中心予測部２６５、重心決定部２６６、重み決定部２６７を含む。

特徴量抽出部２５１は、ターゲット領域から物体の形状に関する特徴量と色に関する特徴量を抽出する。特徴量抽出部２５１は、形状に関する特徴としてＨＯＧ特徴量を抽出し、色に関する特徴量として色ヒストグラムを抽出する。

応答マップ生成部２６は、抽出された特徴量と、記憶部２３に記憶されている相関フィルタを用いて、ターゲット領域の各位置について追跡対象物が存在する確からしさを表す応答マップ（尤度のマップ）を生成する。

仮中心決定部２５３は、応答マップに基づいて、現フレーム画像における追跡対象物の暫定的な位置を決定する。具体的には、仮中心決定部２５３は、応答マップにおいて最大値を取るターゲット領域中の位置を特定し、この位置を現フレーム画像における追跡対象物の中心位置（第１の座標）として仮決定する。なお、応答マップにおける最大値を取る位置を中心位置として決定する必要はなく、応答マップに複数のピークが現れる場合に、その他の要素を考慮して最大値以外の局所ピークを取る位置を対象物の中心位置として仮決定してもよい。

第２サブ追跡部２６は、前フレーム画像と現フレーム画像の差分に基づき現フレーム画像における追跡対象物の中心位置を決定する。第２サブ追跡部２６の各機能部については、以下でフローチャートを参照しながら詳細に説明する。

位置修正部２７は、第１サブ追跡部２５が決定した対象物の位置を、第２サブ追跡部２６が決定した対象物の位置を用いて修正することで、現フレーム画像における対象物の中心位置を特定する。位置修正部２７は、現フレーム画像における対象物の位置を特定する位置特定手段の一例である。具体的には、上記２つの位置の重み付け和（加重平均）を取ることで最終的な対象物の中心位置が特定される。処理の詳細については、以下でフローチャートを参照しながら説明する。

出力部２８は、魚眼画像や検出結果・追跡結果などの情報を外部装置に出力する機能を有する。例えば、出力部２８は、外部装置としてのディスプレイに情報を表示してもよいし、外部装置としてのコンピュータに情報を転送してもよいし、外部装置としての照明装置や空調やＦＡ装置に対し情報や制御信号を送信してもよい。

人追跡装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図２、図３に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図２に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図２に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

＜全体処理＞
図４は、監視システム２による人追跡処理の全体フローチャートである。図４に沿って人追跡処理の全体的な流れを説明する。

まず、ステップＳ１０１において、ユーザが人追跡装置１に対して学習および追跡のハイパーパラメータの設定を行う。ハイパーパラメータの例として、利用する特徴量、各特徴量のパラメータ、学習係数、差分重心による修正の際の重み係数（関数）などが挙げられる。入力されたハイパーパラメータは記憶部２３に記憶される。

次に、ステップＳ１０２において、人追跡装置１は、ターゲット領域を取得する。ターゲット領域は、追跡対象の人物が存在する領域とその周辺をあわせた領域であり、追跡対象の人物が存在する可能性が高い領域である。ターゲット領域は、追跡部２４によって処理対象とされる領域ともいえる。本実施形態では、追跡対象人物の初期位置は人体検出部２１によって検出される。ただし、追跡対象人物の初期位置は、例えば、ユーザによって入力されるなどしてもよい。

以下、ステップＳ１０４からＳ１０７の処理が繰り返し実施される。ステップＳ１０３の終了判定において終了条件を満たしたら処理を終了する。終了条件は、例えば、追跡対象人物の喪失（フレームアウト）や動画の終了とすることができる。

ステップＳ１０４において、画像入力部２０が魚眼カメラ１０から１フレームの魚眼画像を入力する。この際、魚眼画像の歪みを補正した平面展開画像を作成して以降の処理を行ってもよいが、本実施形態の監視システム２では、魚眼画像をそのまま（歪んだまま）検出や追跡の処理に用いる。

ステップＳ１０５では、現在のフレームが最初の画像であるか否かが判定される。ここで、最初の画像とは、追跡対象人物の初期位置が与えられたフレーム画像のことであり、典型的には人体検出部２１によって追跡対象人物が検出されたフレーム画像のことである。

現在のフレームが最初の画像よりも後のフレームの画像である場合には、ステップＳ１０６に進み、追跡部２４が追跡処理を実行する。追跡処理の詳細は後述する。

ステップＳ１０７では、現在のフレーム画像において対象人物が存在する領域に基づいて、学習部２２が学習処理を実行する。学習処理の詳細は後述する。

このように、追跡処理Ｓ１０６による追跡対象人物の位置特定が毎フレーム行われて、追跡が実現される。また、本実施形態の追跡手法は、追跡対象人物の特徴を毎フレーム学習する逐次学習型の追跡アルゴリズムを採用している。

＜学習処理＞
図５は、ステップＳ１０７の学習処理の詳細を示すフローチャートである。また、図９は学習処理および学習結果を用いた追跡処理を説明する図である。以下、図５および図９を参照して学習処理について説明する。

学習部２２は、まず、現フレーム画像からターゲット領域９０４を切り出す（Ｓ２０１）。ここでは、Ｔフレームが現フレーム画像であるとする。図９に示すように、ターゲット領域９０４は、人物の前景領域９０２および背景領域９０３を含む領域である。前景領域９０２は追跡対象人物が存在する領域であり、背景領域は追跡対象人物が存在しない領域である。背景領域９０３の大きさは、前景領域９０２の大きさに応じて決定されている
。例えば、前景領域９０２のサイズがターゲット領域９０４の全体サイズの所定の比率（例えば１／３）となるように、背景領域９０３のサイズが決定されている。なお、ターゲット領域は中心が追跡対象人物の位置となるように追跡処理の最後に更新されている（図６のステップＳ３０６）ので、ターゲット領域９０４の中心９０１は追跡対象人物の中心位置と等しい。

学習部２２は、ターゲット領域９０４の特徴量画像として、明度特徴量画像９０６とＨＯＧ特徴量画像９０７を取得する（Ｓ２０２）。ＨＯＧ特徴量は、局所領域の輝度勾配方向をヒストグラム化した特徴量であり、物体の形状・輪郭を表す特徴量と捉えられる。ここでは、ＨＯＧ特徴量を採用しているが、物体の形状・輪郭を表す他の特徴量、例えば、ＬＢＰ特徴量、ＳＨＩＦＴ特徴量、ＳＵＲＦ特徴量を採用してもよい。また、明度画像ではなく輝度画像を採用してもよい。なお、追跡処理（図６のステップＳ３０２）で明度特徴量画像とＨＯＧ特徴量画像が求められている場合には、あらためてこれらを求める必要はない。

学習部２２は、次フレームでフレーム間の差分画像を求める際に利用できるように
明度特徴量画像９０６を記憶部２３に記憶する（Ｓ２０３）。

学習部２２はまた、ターゲット領域９０４内の色ヒストグラム９０８を取得する（Ｓ２０４）。具体的には、前景領域９０２と背景領域９０３のそれぞれの色ヒストグラムを取得する。色ヒストグラムは色を表す特徴量であり、色を表すその他の特徴量としてColor Names (CN)特徴量を採用できる。また、色の特徴量ではなく、輝度の特徴を表す特徴量として輝度ヒストグラムを採用してもよい。学習部２２は、求めた色ヒストグラム９０８を記憶部２３に記憶する。

学習部２２は、応答がターゲット中心にピークを持つような相関フィルタ９０９を求める（Ｓ２０５）。具体的には、ＨＯＧ特徴量画像９０７を抽出した後に、その特徴量画像自身の相関に対して、中心のみにピークを持つ理想の応答に最も近づくようなフィルタを求めることで、相関フィルタ９０９が得られる。相関フィルタの計算をフーリエ空間で行う場合には、特徴量画像に窓関数を乗じても良い。ＨＯＧ特徴量画像９０７は、次フレームの追跡処理で相関フィルタをかける際に使用するため、記憶部２３に記憶する。

今回の学習が最初の学習であれば（Ｓ２０６−ＹＥＳ）、ステップＳ２０４およびＳ２０５で生成した相関フィルタおよび色ヒストグラムをそのまま記憶部２３に記憶する。一方、今回の学習が２回目以降の学習であれば（Ｓ２０６−ＮＯ）、処理はステップＳ２０７に進む。

学習部２２は、ステップＳ２０７において、前回求めた相関フィルタ（記憶部２３に記憶されている相関フィルタ）と今回ステップＳ２０５で求めた相関フィルタを合成することで新たな相関フィルタを求め、記憶部２３に記憶する。また、学習部２２は、ステップＳ２０８において、前回求めた色ヒストグラム（記憶部２３に記憶されている色ヒストグラム）と、今回ステップＳ２０４で求めた色ヒストグラムを合成することで新たな色ヒストグラムを求め、記憶部２３に記憶する。合成の際の重み（学習係数）は適宜決定すればよい。

＜追跡処理＞
図６は、ステップＳ１０６の追跡処理の詳細を示すフローチャートである。また、図９は学習処理および学習結果を用いた追跡処理を説明する図である。以下、図６および図９を参照して追跡処理について説明する。

［相関フィルタモデルによる追跡処理］
追跡部２４は、現フレーム画像からターゲット領域９０５を切り出す（Ｓ３０１）。ここでは、Ｔ＋１フレーム目が現フレーム画像であるとする。なお、ターゲット領域は中心が追跡対象人物の位置となるように前回の追跡処理の最後に更新されている（図６のステップＳ３０６）ので、Ｔフレーム目の画像のターゲット領域９０４の中心９０１は追跡対象人物の中心位置と等しい。ここでは、図９に示すように、Ｔフレーム目において特定された追跡対象人物の位置を中心とするターゲット領域９０４に対応するターゲット領域９０５が切り出される。

特徴量抽出部２５１は、ターゲット領域９０５の特徴量画像として、明度特徴量画像９１０とＨＯＧ特徴量画像９１１を抽出する（Ｓ３０２）。明度特徴量画像９１０はフレーム画像と同じ解像度であるが、ＨＯＧ特徴量画像はセルごと（例えば３×３画素ごと）に特徴量が求められるのでその解像度はフレーム画像よりも低い。応答マップ生成部２５２は、ターゲット領域９０５内のＨＯＧ特徴量画像９１１と記憶部２３に記憶されているＨＯＧ特徴量画像９０７の相関に対して相関フィルタ９０９をかけて応答マップ９２１（尤度のマップ）を求める（Ｓ３０３）。仮中心決定部２５３は、応答マップ９２１における最大値を取る位置を、現フレーム画像における対象物の中心位置ｐ（９２２）であると仮決定する（Ｓ３０４）。なお、中心位置ｐは応答マップ９２１において最大値を取る位置として決定される必要はなく、例えば、応答マップ９２１に複数のピークが現れる場合にはその他の要素を考慮して最大以外のピークの位置を中心位置ｐとしてもよい。

［修正処理］
追跡部２４は、ステップＳ３０５においてフレーム間の差分画像に基づく対象物の中心位置ｃを求め、ステップＳ３０４で求めた中心位置ｐを中心位置ｃにより修正する。図７は、ステップＳ３０５の処理の詳細を示すフローチャートである。以下、図７を参照して詳しく説明する。

ヒートマップ生成部２６２は、ターゲット領域９０５内の各画素の色と記憶部２３に記憶されている色ヒストグラム９０８とから、ターゲット領域９０５内の各画素が追跡対象人物（前景）である確からしさ（尤度）を表す前景尤度のマップ９１２を生成する（Ｓ４０１）。本明細書では、色ヒストグラムに基づく前景尤度のマップのことをヒートマップと称する。

追跡部２４は、ヒートマップ９１２、前フレームの明度特徴量画像９０６、現フレームの明度特徴量画像９１０をそれぞれ同じ解像度に低解像度化する。追跡部２４は、例えば、これらの画像の解像度を相関フィルタ演算の結果得られる応答マップ９２１と同じにする。低解像度化により、ある程度の広がりを持った領域についての前景尤度や差分を平均化した画素からなる画像が得られる。

差分画像調整部２６３は、低解像度化された明度特徴量画像９０６，９１０の各画素について、差の絶対値（絶対値差）を計算して、差の絶対値画像９１３を生成する（Ｓ４０４）。差分画像調整部２６３は、差の絶対値画像９１３と前景らしさを表すヒートマップ９１２を画素ごとに積算して、調整済差分画像９１４を生成する（Ｓ４０４）。調整済差分画像は、単純なフレーム間の差分画像に対して、低解像度化を施し、かつ、色に基づく前景尤度に応じた調整を行った画像と捉えられる。低解像度化によりある程度の広がりを持った領域に対する差分を把握でき、かつ、色に基づく前景尤度を考慮することで追跡対象ではない動体を除外することができる。

差分画像調整部２６３は、さらに、調整済差分画像９１４を二値化する（Ｓ４０５）。二値化処理には、既存の任意の動的二値化アルゴリズムを採用可能であるが、固定閾値で
二値化を行ってもよい。図１０Ａは二値化された調整済差分画像９１４の例を示す。図において白抜きで示した画素１００１は差分がある画素（差分が閾値上の画素）である。差分がある画素１００１の全体からなる領域が動きのある領域に該当する。

このようにして得られた調整済差分画像９１４に対して、他対象領域マスク部２６４が、他の追跡対象物によって生じている差分を無視（除去）するためのマスク領域を設定する（Ｓ４０６）。ここでは理解の容易化のために、ターゲット領域９０５内に他の追跡対象が存在しないと仮定して、マスク処理の詳細には立ち入らずに説明を続ける。マスク処理の詳細については後ほど説明する。

中心予測部２６５は、前フレーム画像における追跡対象物の中心位置と、前フレーム画像までの追跡対象物の移動速度から、現フレーム画像における追跡対象物の中心位置を予測する（Ｓ４０７）。図１０Ｂに、前フレーム画像における中心位置１００２と前フレーム画像までの追跡対象物の移動速度１００３が示されており、中心予測部２６５は、これらの情報に基づいて、現フレーム画像における予測中心位置１００４を予測する。予測にはベイジアンフィルターを用いてもよく、例えばカルマンフィルターにより移動位置を推定してもよく、オプティカルフローにより移動位置を推定してもよい。なお、予測中心位置１００４を中心とする中心領域１００５が設定される。また、ターゲット領域のうち中心領域１００５ではない領域は周辺領域として設定される。

次に、重心決定部２６６は差分のある画素からなる領域の重心ｃの位置を求める（Ｓ４０８、図９の符号９１５）。重心ｃを求める際に、それぞれの画素について重みを設定してもよい。すなわち、下記の式（１）によって重心ｃを求めても良い。
差分の重心＝Σ_ｉ（ｄ（ｉ）×ｗ（ｉ）×ｐ（ｉ）） ・・・（１）
ここで、ｐ（ｉ）が画素の座標（位置ベクトル）、ｄ（ｉ）は差分の有無（差分があれば１、なければ０）、ｗ（ｉ）は重みであり、総和（シグマ）は調整済差分画像の全体を対象とする。

上記の重みｗ（ｉ）は、例えば、中心領域内の画素と周辺領域内の画素とにそれぞれ異なる値に設定することが考えられ、この際、それぞれの重みは中心領域および周辺領域の面積に反比例する値を設定することが考えられる。これ以外にも、予測中心位置１００４から近いほど大きな重みを設定するなど、その他の基準で重みを設定してもよい。なお、重心ｃを求める際に重み付けをしないで、単純な重心を求めてもよい。なお、重心位置の座標はサブ画素精度で求められてもよい。また、上記のｄ（ｉ）は差分が閾値以上か否かによって０または１の二値としているが、差分の程度に応じた３つ以上の値あるいは連続値を取るようにしてもよい。

上述のようにして求めた重心ｃは、フレーム間の差分画像に基づく現フレーム画像における追跡対象物の予測中心位置と捉えることができる。また、以下では重心ｃのことを差分重心と称する場合もある。

また、重み決定部２６７は、中心領域１００５内の差分の和ｓｃと周辺領域内の差分の和ｓｂをそれぞれ求める（Ｓ４０８、図９の符号９１５）。図１０Ｃにおいて白で示した画素が中心領域内の差分のある画素であり、斜線を付した画素が周辺領域内の差分のある画素である。ここでも、差分の和ｓｃ，ｓｂは重み付け和として求めてもよく、重みの設定は上記と同様である。差分の和は具体的には下記の式（２）により求められる。
差分の和＝Σ_ｉ（ｄ（ｉ）×ｗ（ｉ））・・・（２）
ここで、総和（シグマ）の対象は、中心領域または周辺領域である。

なお、式（２）により求めた差分の和ｓｃ，ｓｂを中心領域および周辺領域の面積で正
規化してもよい。言い換えると、式（２）で求められる値を中心領域または周辺領域の面積で割り算した値をｓｃ，ｓｂとしてもよい。

重み決定部２６７は、このようにして求めたｓｃとｓｂを元に、仮決定した中心位置ｐに対する重心の適用率（重み係数）ｅを算出する（Ｓ４０９）。ここでは、以下の式によって適用率ｅを算出する。
ｅ＝ｆ（ｓｃ＋ｓｂ）_０，α×ｆ（ｓｃ／ｓｂ）_β，１ ・・・（３）
ここで、関数ｆ（ｘ）_ａ，ｂは、図１１に示すように、ｘ＜ａのとき０、ｘ＞ｂのとき１、ａ≦ｘ≦ｂのとき（ｘ−ａ）／（ｂ−ａ）をとる関数である。

ここで示したｅの算出式は一例であり、重心ｃが追跡対象物の中心位置である確率が高いと推定されるほど１に近い値を取るように決定すればその他の算出式を用いてもよい。上記の算出式においてαは十分に小さい値（例えば０．０２５）であり、ｓｃ＋ｓｂがα以下の場合には第１項は０となる。また、βはある程度大きな値（例えば０．５）であり、ｓｃ／ｓｂがβ以下であれば第２項は０となり、βよりも大きい場合にはｓｃ／ｓｂが大きいほど第２項は大きな値を取る。このように適用率ｅを決定すれば、背景が動いていて中心領域よりも周辺領域に差分が多くなるようなケースや得られる差分が少ないケースのように、差分重心ｃが追跡対象物の中心位置である確率が低い場合に、差分重心ｃによる修正の効果を低く設定でき、適切ではない修正を回避できる。

位置修正部２７は、第１サブ追跡部２５による中心位置ｐに対して、第２サブ追跡部２６（重心決定部２６６）による重心ｃの位置に適用率ｅを掛けて、中心位置ｐを修正（補正）する（Ｓ４１０）。修正後の中心位置Ｐ（９２３）は、以下の式により算出される。
Ｐ＝（１−ｅ）×ｐ＋ｅ×ｃ ・・・（４）

なお、ここでは適用率ｅを調整済差分画像における差分の和ｓｃ，ｓｂに基づいて式（３）にしたがって決定しているが、その他の要素を考慮して適用率ｅを決定してもよい。

例えば、第１サブ追跡部２５による追跡対象物の中心位置の信頼度（確からしさ）を考慮して、信頼度が閾値よりも高い場合には、適用率ｅを上記式（３）により求まる値よりも小さな値としたり、ゼロとしたりしてもよい。この閾値は、第１サブ追跡部２５による追跡位置が十分に信頼できるとみなせる値に設定する。このようにすれば、フレーム間の差分画像に基づく重心を用いた修正により追跡位置の精度が低下することを防止できる。例えば、追跡対象物が静止している場合には第１サブ追跡部２５により得られる追跡位置は十分に精度が良い。しかしながら、その周辺に移動物体があるとフレーム間の差分画像に基づく重心の影響により適切ではない追跡位置の修正が行われ追跡精度が低下する可能性がある。このような事態を避けられる。

また、第１サブ追跡部２５による追跡対象物の中心位置ｐと、差分重心ｃの位置との差が閾値以下であれば、適用率ｅを上記式（３）により求まる値よりも小さな値としたり、ゼロとしたりしてもよい。この閾値は実験等により定めればよいが十分に小さい値とする。相関フィルタは、過去の追跡対象の画像の累積により決定されるため、追跡対象の位置を実際の位置から僅かにずらす修正をした場合でも、不適切な修正が累積すると最終的に誤検出につながる可能性がある。そこで、相関フィルタによる中心位置ｐと差分重心ｃとが十分に近いならば、相関フィルタによる結果を重視して相関フィルタの応答の劣化を避けることで精度の良い追跡が実現できる。

以上によりステップＳ３０５の修正処理が完了し、現フレーム画像における追跡対象物の中心位置Ｐが決定される。

図６のフローチャートの説明に戻る。上記のようにしてステップＳ３０５の修正処理が完了すると、追跡部２４は、ターゲット領域の中心を修正後の中心位置Ｐに更新する（Ｓ３０６）。また、ターゲット領域のサイズを更新する。このように、追跡処理が完了した後に、ターゲット領域の中心は追跡対象人物の中心位置に更新され、また、ターゲット領域のサイズも追跡結果に応じて更新される。ターゲット領域の更新サイズは、ＤＳＳＴ（Discriminative Scale Space Tracking）のように画像のピラミッドを用いる方法で推定
してもよいし、前フレームにおけるターゲット領域のサイズ、レンズ歪みの特性、カメラの視点、カメラの配置およびターゲット領域の画像における位置の少なくともいずれかに基づいて決定されてもよい。追跡処理完了後のターゲット領域の中心が追跡対象人物の中心位置であり、ターゲット領域中の前景領域が追跡対象人物の存在領域（バウンディングボックス）である。

［マスク処理］
次に、上記で説明を省略した修正処理中の他追跡対象領域のマスク処理（図７のＳ４０６）について説明する。上述したように、ステップＳ４０６のマスク処理は、調整済差分画像９１４において他の追跡対象物によって生じている差分を無視（除去）するためにマスク領域を設定する処理である。図８は、マスク処理Ｓ４０６の詳細を示すフローチャートである。この処理は、追跡処理Ｓ１０６において現在注目している追跡対象物以外の追跡対象物のそれぞれについて処理が繰り返される。図１２Ａにおいて、人物１２０１は現在注目している追跡対象人物であり、人物１２０２はそれ以外の追跡対象人物である。したがって、人物１２０２のそれぞれについて、以下のステップＳ５０１からＳ５０３の処理が繰り返される。

具体的には、他対象領域マスク部２６４は、前フレーム画像における他追跡対象物１２０２のターゲット矩形１２１１を取得し（Ｓ５０１）、前フレーム画像までの他追跡対象物１２０２の位置と移動速度１２０３に基づいて現フレーム画像における他追跡対象物１２０２のターゲット矩形１２１１を予測する（Ｓ５０２）。そして、他対象領域マスク部２６４は、現フレーム画像のターゲット領域から、矩形１２１０および矩形１２１１のいずれかに領域をマスクし、ステップＳ４０７以降の処理で考慮されないように除外する。矩形１２１０と矩形１２１１の和が、注目している対象物以外の対象物が存在すると予測される領域に相当する。

図１２Ａに示すように追跡対象人物が密集あるいは近接している状況の下では図１２Ｃに示すような調整済差分画像９１４が得られる。他追跡対象物１２０２が存在すると予測される領域をマスクして処理の対象外とすることで、図１２Ｄに示すマスク後の調整済差分画像が、ステップＳ４０８等の重心算出や差分和の算出に使われる。このように、他追跡対象物の領域を除外することで、着目している追跡対象物の移動の伴う差分のみを考慮することができるので、第２サブ追跡部２６による重心ｃおよび適用率ｅの算出の精度が向上する。

＜本実施形態の有利な効果＞
本実施形態では、魚眼画像を平面展開せずに用いる人追跡装置において、背景へのドリフトを抑制し、精度の高い人追跡が実現できる。ドリフトは、逐次学習を行う際に追跡対象以外の特徴を誤って学習することに起因して発生する追跡の失敗である。第１サブ追跡部２５による物体追跡アルゴリズムは、対象物が存在する領域の近傍領域まで含めて局所的な特徴を学習する。したがって背景が複雑に変化する場合に、実際の対象物中心とは異なる位置を中心位置として認識することがある。このような誤差が逐次学習により蓄積され、最終的に誤って背景を追跡対象として認識してしまう場合がある。本実施形態においては、第１サブ追跡部２５が求めた対象物の位置を、フレーム間の差分画像に基づいて求めた位置によって修正しているので、より精度良く対象物の位置を特定することができる
。特に、第１サブ追跡部２５の相関フィルタによる追跡性能を極力損ねずに、かつ、相関フィルタによる追跡が適切に行われない可能性が高い、静止した複雑な背景下で激しく変化する対象の追跡が精度良く行えるようになる。

また、従来の背景差分法では、現フレーム画像とその前後のフレーム画像を処理に用いるため、現フレーム画像に対する追跡結果が得られるのはその１フレーム後の画像が入力された後となる。しかしながら、本実施形態では、現フレーム画像とその前のフレーム画像のみを用いているため、追跡開始からすぐに効果が得られる。また、従来の背景差分法は処理対象となる領域が広くなり演算コストが高く、演算リソースの少ない組込機器には不向きであるが、本実施形態の手法は注目する領域のみのフレーム間の差分画像が対象となり演算コストが低いため組込機器にも好適に適用できる。

また、他の追跡対象人物が存在すると予測される領域をマスクして処理の対象とすることで、追跡対象人物が密接あるいは近接しているときに、他の追跡対象人物の影響で差分重心が正しく求まらない事態を回避できる。仮に、マスク処理により差分情報が全て除外されてしまっても、差分重心に基づく修正が行われないだけであり、相関フィルタを用いた追跡位置が利用可能である。すなわち、マスク処理は追跡の結果に悪影響を与えにくいという利点がある。

また、フレーム間の差分画像、中心位置の修正に必要な情報を得るために必要な処理負荷が少ないため、演算リソースの少ない組込機器にも好適に適用できる。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

また、上記の実施形態において、第１サブ追跡部２５は相関フィルタを用いた追跡処理を行っているが、その他のアルゴリズムにより追跡を行ってもよい。例えば、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long
Short-Term Memory）のような深層学習モデルや、ＳＶＭ（Support Vector Machine）のようなパターン認識モデルを利用して追跡を行ってもよい。また、第２サブ追跡部２６は、差分に基づく動体検知手法であれば、上記以外の手法を採用してもよい。

また、上記の実施形態では魚眼画像を平面展開せずに処理しているが、魚眼画像を平面展開した画像を処理対象としてもよいし、通常のカメラにより撮影された画像を処理対象としてもよい。

＜付記＞
（１）第１フレーム画像における対象物の位置を取得する取得手段（２１）と、
前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡手段（２４）と、
を備える、物体追跡装置（１）であって、
前記追跡手段（２４）は、
前記第２フレーム画像から抽出される特徴量に基づいて、第１の追跡アルゴリズムによって前記対象物の前記第２フレーム画像における第１の座標（ｐ）を求める第１サブ追跡手段（２５）と、
前記第１フレーム画像と前記第２フレーム画像のフレーム間の差分画像（９１３）に基づいて、動きのある領域の重心である第２の座標（ｃ）を求める第２サブ追跡手段（２６）と、
前記第１の座標（ｐ）と前記第２の座標（ｃ）とに基づいて、前記第２フレーム画像における前記対象物の位置（Ｐ）を求める位置特定手段（２７）と、
を備える、
ことを特徴とする物体追跡装置（１）。

（２）第１フレーム画像における対象物の位置を取得する取得ステップ（Ｓ１０２）と、
前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡ステップ（Ｓ１０６）と、
を含む、物体追跡方法であって、
前記追跡ステップは、
前記第２フレーム画像から抽出される特徴量に基づいて、第１の追跡アルゴリズムによって前記対象物の前記第２フレーム画像における第１の座標（ｐ）を求めるステップ（Ｓ３０４）と、
前記第１フレーム画像と前記第２フレーム画像のフレーム間の差分画像（９１３）に基づいて、動きのある領域の重心である第２の座標（ｃ）を求めるステップ（Ｓ４０８）と、
前記第１の座標と前記第２の座標とに基づいて、前記第２フレーム画像における前記対象物の位置（Ｐ）を求めるステップ（Ｓ４１０）と、
を含む、ことを特徴とする物体追跡方法。

１：人追跡装置
２：監視システム
１０：魚眼カメラ
１１：追跡対象エリア
１２：天井
１３：人

Claims (12)

1. 第１フレーム画像における対象物の位置を取得する取得手段と、
   前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡手段と、
   を備える、物体追跡装置であって、
   前記追跡手段は、
   前記第２フレーム画像から抽出される特徴量に基づいて、第１の追跡アルゴリズムによって前記対象物の前記第２フレーム画像における第１の座標を求める第１サブ追跡手段と、
   前記第１フレーム画像と前記第２フレーム画像のフレーム間の差分画像に基づいて、動きのある領域の重心である第２の座標を求める第２サブ追跡手段と、
   前記第１の座標と前記第２の座標とに基づいて、前記第２フレーム画像における前記対象物の位置を求める位置特定手段と、
   を備える、
   ことを特徴とする物体追跡装置。
2. 前記第２サブ追跡手段は、
   少なくとも第１フレーム画像を用いて生成された前記対象物を含む領域の色ヒストグラムを用いて、前記第２フレーム画像において前記対象物が存在する確からしさを表す尤度のマップを生成し、
   前記第１フレーム画像と前記第２フレーム画像のフレーム間の差分画像に、前記尤度のマップを掛け合わせて調整済差分画像を生成し、
   前記調整済差分画像において、差分の程度に基づいた画素領域の重心を前記第２の座標として求める、
   請求項１に記載の物体追跡装置。
3. 前記第２サブ追跡手段は、
   前記調整済差分画像に対して、前記対象物が存在すると推測される位置を中心とする中心領域と、当該中心領域の周辺の周辺領域とを設定し、
   中心領域にある画素と周辺領域にある画素とに異なる重みを与えて前記重心を求める、
   請求項２に記載の物体追跡装置。
4. 前記第２サブ追跡手段は、
   前記調整済差分画像に対して、前記対象物が存在すると推測される位置を中心とする中心領域と、当該中心領域の周辺の周辺領域とを設定し、
   前記中心領域における差分の和と、前記周辺領域における差分の和とに基づいて重み係数を決定し、
   前記位置特定手段は、前記重み係数を用いた前記第１の座標と前記第２の座標の加重平均として決定される座標を前記対象物の位置として求める、
   請求項２または３に記載の物体追跡装置。
5. 前記第２サブ追跡手段は、前記調整済差分画像のうち注目している対象物以外の対象物が存在すると予測される領域を除外して、前記重心および前記差分の和を求める、
   請求項４に記載の物体追跡装置。
6. 前記対象物が存在すると推測される位置は、前記第１フレーム画像における前記対象物の位置と、前記第１フレーム画像における前記対象物の移動速度とに基づいて決定される、
   請求項３から５のいずれか１項に記載の物体追跡装置。
7. 前記位置特定手段は、前記第１サブ追跡手段によって求められる前記第１の座標の確からしさが第２閾値以上である場合は、そうでない場合よりも前記第２の座標に対する重みを小さくして、前記第１の座標と前記第２の座標の加重平均として決定される座標を前記対象物の位置として決定する、
   請求項１から６のいずれか１項に記載の物体追跡装置。
8. 前記位置特定手段は、前記第１の座標と前記第２の座標の差が第３閾値未満である場合は、そうでない場合よりも前記第２の座標に対する重みを小さくして、前記第１の座標と前記第２の座標の加重平均として決定される座標を前記対象物の位置として決定する、
   請求項１から７のいずれか１項に記載の物体追跡装置。
9. 前記第１の追跡アルゴリズムは、前記第１フレーム画像における前記対象物の近傍から得られる特徴量に基づく相関フィルタによって、前記第２フレーム画像における対象物の位置を求めるアルゴリズムである、
   請求項１から８のいずれか１項に記載の物体追跡装置。
10. 前記第１フレーム画像および前記第２フレーム画像は、魚眼カメラにより得られた魚眼画像である、
    ことを特徴とする、請求項１から９のいずれか１項に記載の物体追跡装置。
11. 第１フレーム画像における対象物の位置を取得する取得ステップと、
    前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡ステップと、
    を含む、物体追跡方法であって、
    前記追跡ステップは、
    前記第２フレーム画像から抽出される特徴量に基づいて、第１の追跡アルゴリズムによって前記対象物の前記第２フレーム画像における第１の座標を求めるステップと、
    前記第１フレーム画像と前記第２フレーム画像のフレーム間の差分画像に基づいて、動きのある領域の重心である第２の座標を求めるステップと、
    前記第１の座標と前記第２の座標とに基づいて、前記第２フレーム画像における前記対象物の位置を求めるステップと、
    を含む、ことを特徴とする物体追跡方法。
12. 請求項１１に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images