JP2006209755A

JP2006209755A - シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法

Info

Publication number: JP2006209755A
Application number: JP2006005268A
Authority: JP
Inventors: Shmuel Avidan; シュミュエル・アビダン
Original assignee: Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Research Laboratories Inc
Priority date: 2005-01-24
Filing date: 2006-01-12
Publication date: 2006-08-10
Also published as: US7526101B2; US20060165258A1

Abstract

【課題】方法は、ビデオのフレームシーケンス中のオブジェクトを見付ける。
【解決手段】各フレーム内の全画素について特徴ベクトルを構築する。特徴ベクトルを、弱分類器の訓練に用いる。弱分類器は、オブジェクトに関連する画素を背景に関連する画素と分離する。一組の弱分類器を組み合わせて１つの強力な分類器にする。この強力な分類器は、フレーム内の画素をラベル付けして信頼度マップを生成する。平均値シフト操作を用いて信頼度の「ピーク」を見付ける。ピークは、フレーム内のオブジェクトの位置を示す。すなわち、信頼度マップは、ビデオにおけるオブジェクトを背景と区別する。
【選択図】図１

Description

本発明は、包括的にはコンピュータビジョンに関し、特にビデオ中のオブジェクトの追跡に関する。

オブジェクト追跡
オブジェクト追跡は、監視（Stauffer等著「Learning Patterns of Activity Using Real-Time Tracking」（PAMI, 22(8), pp. 747-757, 2000））、ドライバー支援システム（Avidan著「Support Vector Tracking」（IEEE Trans. on Pattern Analysis and Machine Intelligence, 2004））、及び人間−コンピュータ間の対話（Bobick等著「The KidsRoom」（Communications of the ACM, 43(3), 2000））といった多くのコンピュータビジョン用途において用いられている。追跡すべき多様なオブジェクトが、あらゆるオブジェクト追跡用途に課題を投げかけている。カラーヒストグラム、外観モデル（appearance model）又はキーポイントといった様々なオブジェクト表現がオブジェクト追跡に用いられている。

単純なオブジェクト追跡は、ビデオのフレームシーケンス中の、オブジェクトに一致する領域を見付ける。機械学習の点で、これは最近傍分類に等しい。この単純な手法は、背景の役割を無視する。

フィルタリングを用いて、異なる一致に対して確率を割り当てることができる。残念ながら、フィルタ方法は、オブジェクトの記述に影響を与えない。記述は、オブジェクトを背景とより高い精度で（better）分離するために用いることができる。したがって、より精度の高い手法は、オブジェクトを背景と区別できるようにオブジェクト記述子を変化させる。

分類器
強力な分類器は、一組の弱分類器を組み合わせる。この組み合わせは線形であっても非線形であってもよい。例えば、よく知られたＡｄａＢｏｏｓｔ（アダブースト）プロセスは、一組の弱分類器の中の各分類器を、訓練データの難度を高めながら訓練する。次に、弱分類器を組み合わせて、どの弱分類器よりも精度の高い１つの強力な分類器を生成する（Freund等著「A decision-theoretic generalization of on-line learning and an application to boosting」（Computational Learning Theory, Eurocolt '95, pp. 23-37, 1995）（参照により本明細書中に援用される））。

平均値シフトは、分布勾配に作用してピークを見付けるモード探索プロセスである。平均値シフトは、所与のカラーヒストグラムに似たカラーヒストグラムを有する画像中の領域を探索する。性能を高めるために、Comanciu等は空間平滑化を用いた（Comanciu等著「Kernel-Based Object Tracking」（IEEE Trans. on Pattern Analysis and Machine Intelligence, (PAMI), 25:5, pp. 564-575, 2003）（参照により本明細書中に援用される））。さらに、オブジェクトの外側に現れる色を用いて、オブジェクト上に現れる色の「重みを下げる（down-weight）」。

パーティクルフィルタリングのような時間積分方法は、経時的な測定値を適切に積分する（Isard等著「CONDENSATION - Conditional Density Propagation for Visual Tracking」（International Journal of Computer Vision, Vol 29(1), pp. 5-28, 1998））。

「ＷＳＬ」トラッカは、短期及び長期のオブジェクト記述子を保持する（Jepson等著「Robust on-line appearance models for vision tracking」（IEEE Transactions on Pattern Analysis and Machine Intelligence 25(10), pp. 1296-1311））。記述子は、期待値最大化（ＥＭ）プロセスを用いて絶えず更新及び再重み付けされる。

インクリメンタルな部分空間法は、適応的部分空間を絶えず更新して、安定したオブジェクト記述子を保持する（Ho等著「Visual Tracking Using Learned Linear Subspaces」（IEEE Conf. on Computer Vision and Pattern Recognition, 2004））。

データマイニングは概念流動を用いる。データマイニングでは、大量のデータを高速走査して「概念」を学習することを目的とする。概念の流動に伴い、分類器を適応させる。例えば、「動的重み付き多数決」は、データマイニング用途の概念流動を追跡することができる（Kotler等著「Dynamic Weighted Majority: A new Set Method for Tracking Concept Drift」（Proceedings of the Third International IEEE Conference on Data Mining, 2003））。

別の方法は、概念流動に変化の検出を追加して、概念の急激な変化を検出する（Chu等著「Fast and Light Boosting for Adaptive Mining of Data Streams」（The Eighth Pacific-Asia Conference on Knowledge Discovery and Data Mining, 2004））。この方法は、Jepson等のＷＳＬトラッカに類似している。

特徴選択は、一組の異なる色空間の中から選択を行い、最も識別性の高い色空間に「切り換える」ことができる（Collins等著「On-Line Selection of Discriminative Tracking Features」（Proceedings of the International Conference on Computer Vision (ICCV '03), 2003））。この方法は、低次元の特徴空間における特徴の固定された離散的ヒストグラムを使用して、平均値シフト操作のための信頼度マップを生成する。

本発明は、オブジェクト追跡を二値分類問題として扱う。一組の弱分類器を訓練して、或るシーンから取得したビデオのフレームシーケンス中のオブジェクトと背景を区別する。訓練は、ビデオを取得しながら行う。すなわち、本発明は、リアルタイムで適応的に機能する。

各フレーム内の全画素について特徴ベクトルを構築する。この特徴ベクトルを、弱分類器の訓練に用いる。弱分類器は、オブジェクトに関連する画素を背景に関連する画素と分離する。

一組の弱分類器を組み合わせて１つの強力な分類器にする。この強力な分類器は、フレーム内の画素をラベル付けして信頼度マップを生成する。平均値シフト操作を用いて信頼度の「ピーク」を見付ける。ピークは、フレーム内のオブジェクトの位置を示す。すなわち、信頼度マップは、ビデオにおけるオブジェクトを背景と区別する。

オブジェクトと背景がシーン中で比較的静的である場合、オブジェクト追跡の初期化時における分類器の訓練で十分であろう。しかし、オブジェクトと背景が経時的に変化する場合、分類器をそれに応じて適応させなければならない。したがって、オブジェクトの追跡中に一組の弱分類器を訓練しながら、一組の弱分類器を追加の弱分類器により更新することによって時間的な一貫性を維持する。古い分類器は除去する。

さらに、一組の分類器の数を、オブジェクトを見付ける成功率に応じて適応させることができる。したがって、区別の容易なオブジェクトの場合、一組は弱分類器を１つ又は２つのみ含み、検出の困難なオブジェクトの場合、５つから７つの分類器を用いることができる。

したがって、一組の分類器は２つの目標を達成する。各弱分類器を、特定のフレーム内でオブジェクトを背景と分離するように「調整」するとともに、その一組が全体で時間的な一貫性を確保する。

本発明によるオブジェクト追跡方法はいくつかの利点を有する。本方法は、時間のかかる訓練段階を、リアルタイムで実行できる一連の単純で計算の容易な訓練タスクに分割する。本方法は、一組の中の異なる弱分類器の重みを自動的に調節する。さらに、弱分類器は、様々な特徴空間について訓練することができる。

本方法は、オフライン訓練とオンライン訓練を統合することもできる。例えば、追跡すべきオブジェクトクラスが既知である場合、いくつかの弱分類器を大きな訓練データセットについてオフラインで訓練することができる。これらの分類器は、リアルタイムで訓練した分類器に追加して用いることができる。分類器を経時的に統合することによって、シーン中にオブジェクトの遮蔽又は照明の変化がある場合にオブジェクト追跡の安定性が向上する。

事実上、本発明は、オブジェクト追跡を二値分類問題として扱う。一組の弱分類器をリアルタイムで、オブジェクトの特徴と背景の特徴を区別するように適合させる。弱分類器を組み合わせて１つの強力な分類器を形成する。次に、この強力な分類器を用いて、各フレームの信頼度マップを生成する。平均値シフト操作を用いてマップ中のピーク、よってオブジェクトの位置を見付ける。分類器を経時的に更新して、オブジェクト及び背景の外観の変化に合わせて調整する。

オブジェクト追跡
本発明は、カメラにより或るシーンから取得したビデオのフレーム（画像）シーケンスにおいてオブジェクトを適応的に追跡する方法を提供する。本発明は、変化する背景及び移動するカメラを許容する。本発明は、オブジェクト追跡を、「前景」にあるオブジェクトと「背景」にあるシーンの残りの部分の二値分類問題として扱う。

一組の弱分類器をフレーム毎に更新する。弱分類器を組み合わせて１つの強力な分類器にする。この強力な分類器は、オブジェクトを背景と分離する。経時的なオブジェクト及び背景の外観の変化を組み込むために、一組の弱分類器に対して弱分類器をいつでも追加又は除去することができる。

本発明は、オブジェクトを明示的に表現しない。代わりに、一組の分類器が、特定の画素がオブジェクトに関連するものであるか背景に関連するものであるかを判定する。各弱分類器を正及び負の訓練例について訓練する。正例はオブジェクトに関連付けられ、負例は背景に関連付けられる。

一組の分類器を用いて信頼度マップを生成する。ここではマージンを信頼度として用いる。平均値シフト操作を用いて、信頼度マップの「ピーク」を検出する。ピークはオブジェクトの位置を示す。

初期化
図１は、本発明による、ビデオ１０１のフレームシーケンス中のオブジェクトを追跡する方法１００を示す。この方法に対する入力はフレームＩ_１，．．．，Ｉ_ｎ１０２である。追跡用三角形ｒ_１により１番目のフレームＩ_１内のオブジェクトを囲むことができる。これは、手動で、又は従来のオブジェクト検出器を用いて行うことができる。この方法の出力は、三角形ｒ_２，．．．，ｒ_ｎ１４１、すなわち以後のフレーム内のオブジェクトの位置である。

初期化中、すなわち、１番目のフレームＩ_１について、一組の弱分類器１１１を訓練する１１０。この一組の弱分類器を組み合わせて１１５、１つの強力な分類器１１６を生成する。これらの分類器は、本方法を実行する前に訓練することができることに留意すべきである。この組み合わせは線形であっても非線形であってもよい。

通常、３つから５つの分類器を用いる。しかし、従来技術におけるように弱分類器の数を事前に固定する代わりに、本発明は、可変数の分類器を用いて機能することができる。言い換えれば、分類器が個別に適応されるだけでなく、分類器の数も適応される。例えば、所定の分類閾値を設定することができ、一組の中の弱分類器の数は、この閾値を達成するように選択することができる。例えば、オブジェクトが背景から際立っている場合、１つの分類器を用いることができる。オブジェクトが背景と類似している場合、５つから７つの分類器を用いる。

方法ステップ
本発明による方法１００には４つの主なステップがある。各ステップを順にビデオ中の各フレームに適用する。強力な分類器１１６を用いて、各フレームＩ_ｊ内の画素を分類する１２０。分類された画素は、各フレームの信頼度マップＬ_ｊ１２１を形成する。

平均値シフト操作１３０を信頼度マップ１２１に適用して「ピーク」を検出する。このピークを用いて、オブジェクトが移動する際の、現フレーム内の三角形ｒ_ｊ１４１の位置、すなわち、オブジェクトの位置を求める１４０。

次に、現フレームＩ_ｊを用いて分類器を更新する１５０。選択された弱分類器を一組の弱分類器１１１の中から除去し１５０、新たな分類器を追加し残りの分類器と組み合わせて、強力な分類器１１６をシーン及びオブジェクトの外観の変化に適応させることができる。

次に、これらのステップを、更新された分類器を用いて次の各フレームについて繰り返す。

本発明による適応的な追跡方法の擬似コードを付録に示す。

弱分類器
現フレーム内の画素毎に、画素近傍の局所情報を特徴付けるｄ次元の特徴ベクトルを抽出する。特に、特徴ベクトルは１１次元である。特徴ベクトルは例えば、強度勾配に基づく局所方位ヒストグラムの８つのビン及び３つの画素色（ＲＧＢ）の組み合わせである。８ビンの局所方位ヒストグラムを、その画素を中心とする５×５のウインドウ全体で求める。

性能を高めるために、何らかの所定の閾値、例えば１０個の強度値を上回るエッジのみを計数する。これらの特徴は、抽出が容易であり、オブジェクト検出に十分な情報を伝える。特徴ベクトルは、局所近傍における方位エッジの計数である。例えば、所与の画素の特徴ベクトルは、画素の近傍に３つの水平方向エッジ及び２つの垂直方向エッジを示し、対角線方向エッジは示さない可能性がある。この表現はいくつかの利点を有する。第１に、この表現は照明の変化の影響をあまり受けない。これは、エッジが何らかの閾値、例えば１０個の強度値を上回りさえすれば、特徴ベクトルはエッジの長さに依存するためである。第２に、特徴ベクトルは、小さな画像平面における変形に対してロバストな画像パッチの局所的な記述を与える。

実際には、特徴ベクトルは、画素のＲＧＢ値及び５×５の局所近傍における方位エッジ数のヒストグラムから成る１１次元ベクトルである。すなわち、閾値を上回るウインドウ内の全てのエッジを見付けて計数し、それらのエッジを方位及び計数に応じてビンにクラスタリングする。

フィルタバンクから取得されるような他の特徴も用いることができる。切り株、すなわち１ノードの決定木又はパーセプトロンのような他の分類器を、最小二乗法に基づく分類器の代わりに用いることができる。

好ましい実施形態では、全ての分類器に同一の特徴を用いる。しかし、様々なキューの融合といった他の技法により追跡を向上させることができる。

｛ｘ_ｉ，ｙ_ｉ｝^ｎ _ｉ＝１がＮ個の例とそのラベルをそれぞれ示すものとし、ここで、ｘ_ｉ∈Ｒ^ｄ及びｙ_ｉ∈｛−１，＋１｝である。弱分類器はｈ（ｘ）：Ｒ→｛−１，＋１｝であり、ここで、ｈ（ｘ）は、最小二乗法で訓練される線形分類器の符号である。最小二乗解は、平均値シフト追跡で多く用いられるカラーヒストグラムよりも求めるのに時間がかかるが、高次元にスケーリングする。一組の分類器を使用し、その出力、すなわち信頼度マップ１２１に対して平均値シフトを実行することによって、本方法は、平均値シフトを高次元データに間接的に適用する。

分類器をフレーム毎に経時的に更新すること１５０によって、ビデオの時間的な一貫性を利用する。各フレームについて、Ｋ個の「最も古い」弱分類器を除去し１５０、新たな弱分類器を訓練して、強力な分類器１１６を再構成することができる。追跡すべきオブジェクトに関する知識を更新に組み込むことができる。例えば、特定の弱分類器は、更新中に決して除去しない。

マージンの形の分類器の結果ｈ（ｘ）を信頼度マップ１２１の信頼値ｃ（ｘ）に写像する。この写像は、信頼値を確実に［０，１］の範囲に正規化するシグモイド関数を用いる。次に、信頼度マップ１２１を平均値シフトステップ１３０に供給する。

分類器の更新
更新ステップ１５０において、一組の中から「古い」弱分類器を除去し、いくつかの新たな弱分類器のための余地を作る。しかし、新たな弱分類器を追加する前に、残りの弱分類器の重みを調節する。これは、重みが未知であり弱分類器が既知である最小二乗問題を形成するか、又は、よく知られたＡｄａＢｏｏｓｔプロセスを実行することによって行うことができる。

更新ステップはＡｄａＢｏｏｓｔに、既存の一組の弱分類器の中から弱分類器を一度に１つずつ提供する。これにより、訓練時間が削減され、強力な分類器、及び新たな弱分類器の訓練に用いることができるサンプル分布が生成される。

「偶然」と比べて精度がそれほど高くない弱分類器を追加又は再重み付けする場合には注意する。重みの再計算中、弱分類器の精度が偶然よりも低い場合、その分類器の重みをゼロに設定する。したがって、新たな弱分類器の精度は、何らかの所定のマージン（例えばｅｒｒ＝０．４）だけ偶然よりも高くなければならない。すなわち、擬似コードのステップ（７）における更新は、この条件が満たされない場合に終了する。

これは、弱分類器がオブジェクトに属すのではなく、遮蔽オブジェクト又は照明に属すデータについて訓練されてしまう可能性がある遮蔽又は重度の照明アーチファクトの場合、特に重要である。

外れ値除去
追跡すべきオブジェクトが追跡用三角形ｒの形状と一致しない場合、いくつかの画素が誤ってラベル付けされる可能性がある。ＡｄａＢｏｏｓｔは外れ値に敏感であるため、外れ値を除去する。単純な手法は「困難」な画素を外れ値として扱い、そのラベルを変更する。

具体的には、擬似コードのステップ（４）の定常状態を次のように書き表すことができる。

ここで、ｒ_ｊは、オブジェクトを囲む現在の三角形であり、ｐ_ｉは現在の画素であり、ｉｎｓｉｄｅ（ｒ，ｐ）は、画素ｐが三角形ｒの内部にある場合に真（＋１）であり、そうでない場合に偽（−１）である述語である。

外れ値除去バージョンは次のように表すことができる。

ここで、ｗ_ｉは、強力な分類器を適用した後の画素ｐ_ｉの重みであり、Θは所定の予め定義された閾値、例えばΘ＝３／Ｎであり、ここで、Ｎは例の数である。すなわち、追跡用三角形内の画素を、分類があまりに「困難」でなければ正例と仮定する。困難な画素は負（背景）に変更する。外れ値除去は、信頼度マップを改善し、より安定した追跡プロセスをもたらす。

多重解像度追跡
オブジェクト追跡は、複数の解像度、例えばフルフレームサイズ、半フレームサイズ、及び１／４フレームサイズを用いて行うことができる。これにより、オブジェクトトラッカは、特徴を複数のスケールで抽出することができる。追跡は、解像度レベル毎に個別に行われる。各レベルは、対応する信頼度マップを生成する。次に、各レベルにおける分類器の分類スコアに基づいて対応マップを組み合わせる。

具体的には、弱分類器を解像度レベル毎に訓練し、解像度レベル毎に１つの強力な分類器を保持する。各強力な分類器は信頼度マップを生成する。全ての信頼度マップを元のフレームサイズにサイズ変更し、加重平均が、平均値シフト操作１３０に用いられる信頼度マップ１２１を形成する。

本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び変更をすべて網羅することである。

付録
アルゴリズム１一般的なアンサンブル追跡
入力：ｎ個のビデオフレームＩ_１，．．．，Ｉ_ｎ
１番目のフレーム内のオブジェクトの三角形ｒ_１
出力：三角形ｒ_２，．．．，ｒ_ｎ
初期化（フレームＩ_１について）：
・いくつかの弱分類器を訓練し、それらをアンサンブルに追加する
新たな各フレームＩ_ｊについて、以下を行う：
・現在の強力な分類器を用いてフレームＩ_ｊ内の全画素を検査し、信頼度マップＬ_ｊを作成する
・信頼度マップＬ_ｊに対して平均値シフトを実行し、新たなオブジェクト三角形ｒ_ｊを報告する
・三角形ｒ_ｊ内の画素をオブジェクトとして、三角形ｒ_ｊ外の全画素を背景としてラベル付けする
・古い弱分類器を除去する
・フレームＩ_ｊについて新たな弱分類器を訓練し、それらをアンサンブルに追加する

アルゴリズム２特異的なアンサンブル追跡
入力：ｎ個のビデオフレームＩ_１，．．．，Ｉ_ｎ
１番目のフレーム内のオブジェクトの三角形ｒ_１
出力：三角形ｒ_２，．．．，ｒ_ｎ
初期化（フレームＩ_１について）：
１．ラベル｛ｙ_ｉ｝^Ｎ _ｉ＝１を有する｛ｘ_ｉ｝^Ｎ _ｉ＝１の例を抽出する
２．重み｛ｗ_ｉ｝^Ｎ _ｉ＝１を１／Ｎとなるように初期化する
３．ｔ＝１．．．Ｔについて、
（ａ）｛ｗ_ｉ｝^Ｎ _ｉ＝１を分布とする
（ｂ）弱分類器ｈ_ｔを訓練する
（ｃ）ｅｒｒ＝Σ^Ｎ _ｉ＝１ｗ_ｉ｜ｈ_ｔ（ｘ_ｉ）−ｙ_ｉ｜とする
（ｄ）弱分類器の重みα_ｔ＝１／２・ｌｏｇ｛（１−ｅｒｒ）／ｅｒｒ｝とする
（ｅ）例の重みをｗ_ｉ＝ｗ_ｉｅ^{（αｔ｜ｈｔ（ｘｉ）−ｙｉ｜）}に更新する
４．強力な分類器をｓｉｇｎ（Ｈ（ｘ））によって与える。ここで
Ｈ（ｘ）＝Σ^Ｔ _ｔ＝１α_ｔｈ_ｔ（ｘ）である
新たな各フレームＩ_ｊについて、以下を行う：
１．｛ｘ_ｉ｝^Ｎ _ｉ＝１の例を抽出する
２．強力な分類器Ｈ（ｘ）を用いて例を検査し、信頼度画像Ｌ_ｊを作成する
３．ｒ_ｊ−１を三角形の初期位置としてＬ_ｊに対して平均値シフトを実行し、ｒ_ｊの位置を信頼度画像のピークに設定する
４．新たな三角形ｒ_ｊに対してラベル｛ｙ_ｉ｝^Ｎ _ｉ＝１を定義する。三角形内の画素に＋１のラベルを付け、三角形外の画素に−１のラベルを付ける。
５．Ｋ個の最も古い弱分類器を除去する
６．重み｛ｗ_ｉ｝^Ｎ _ｉ＝１を１／Ｎとなるように初期化する
７．ｔ＝Ｋ＋１．．．Ｔについて、（重みを更新）
（ａ）｛ｗ_ｉ｝^Ｎ _ｉ＝１を分布とする
（ｂ）ｅｒｒ＝Σ^Ｎ _ｉ＝１ｗ_ｉ｜ｈ_ｔ（ｘ_ｉ）−ｙ_ｉ｜とする
（ｃ）弱分類器の重みα_ｔ＝１／２・ｌｏｇ｛（１−ｅｒｒ）／ｅｒｒ｝とする
（ｄ）例の重みをｗ_ｉ＝ｗ_ｉｅ^{（αｔ｜ｈｔ（ｘｉ）｜−ｙｉ）}に更新する
８．ｔ＝１．．．Ｋについて、（新たな弱分類器を追加）
（ａ）｛ｗ_ｉ｝^Ｎ _ｉ＝１を分布とする
（ｂ）弱分類器ｈ_ｔを訓練する
（ｃ）ｅｒｒ＝Σ^Ｎ _ｉ＝１ｗ_ｉ｜ｈ_ｔ（ｘ_ｉ）−ｙ_ｉ｜とする
（ｄ）弱分類器の重みα_ｔ＝１／２・ｌｏｇ｛（１−ｅｒｒ）／ｅｒｒ｝とする
（ｅ）例の重みをｗ_ｉ＝ｗ_ｉｅ^{（αｔ｜ｈｔ（ｘｉ）−ｙｉ｜）}に更新
９．更新した強力な分類器をｓｉｇｎ（Ｈ（ｘ））によって与える
ここでＨ（ｘ）＝Σ^Ｔ _ｔ＝１α_ｔｈ_ｔ（ｘ）である

本発明によるオブジェクトを適応的に追跡する方法のフロー図である。

Claims

シーンから取得されたフレームシーケンス中の移動オブジェクトを追跡する方法であって、各フレームは複数の画素を含み、フレーム毎に、
前記複数の画素を強力な分類器により分類して、前記フレームに対応する信頼度マップを生成するステップと、
前記信頼度マップに対して平均値シフト操作を適用して、前記フレーム内の前記移動オブジェクトの位置に対応するピークを検出するステップと、
前記強力な分類器を更新するステップと
を含む方法。
前記移動オブジェクトを追跡用三角形で囲むことをさらに含む
請求項１記載の方法。
一組の弱分類器を組み合わせて、前記強力な分類器を形成することをさらに含む
請求項１記載の方法。
前記組み合わせることは、線形で重み付けされる
請求項３記載の方法。
前記更新することは、選択された弱分類器を除去するとともに新たな弱分類器を追加して、前記強力な分類器を経時的な前記シーン及び前記オブジェクトの外観の変化に適応させる
請求項３記載の方法。
画素毎に、前記画素の近傍の局所情報を特徴付けるｄ次元の特徴ベクトルを抽出すること、
及び
前記ｄ次元の特徴ベクトルを用いて前記弱分類器を訓練することをさらに含む
請求項３記載の方法。
前記ｄ次元の特徴ベクトルは、１１次元である
請求項６記載の方法。
前記ｄ次元の特徴ベクトルは、画像強度勾配に基づく局所方位ヒストグラムの８つのビン及び３つの画素色を含む
請求項６記載の方法。
前記８つのビンは、前記画素を中心とする５×５のウインドウ全体で求められる
請求項８記載の方法。
各弱分類器に重みを割り当てることをさらに含む
請求項３記載の方法。
前記訓練している間に外れ値画素を除去することをさらに含む
請求項６記載の方法。
前記ステップは、複数の解像度を用いて行われる
請求項１記載の方法。
前記解像度は、フルフレームサイズ、半フレームサイズ、及び１／４フレームサイズを含む
請求項１２記載の方法。
各解像度につき１つの信頼度マップがある
請求項１２記載の方法。
前記複数の解像度の前記信頼度マップは、平均化される
請求項１４記載の方法。
前記一組の中の弱分類器の数は、前記移動オブジェクトを見付ける成功率に応じて経時的に変化する
請求項３記載の方法。