JP2009217855A - 視覚型動き解析及び視覚型追跡のためのアピアランスモデル - Google Patents

Abstract

【課題】複雑な自然オブジェクトの動きベースの追跡のための堅牢な適応型アピアランス・モデルを提供する。
【解決手段】アピアランス・モデル１２０は、長い時間経過にわたって学習される安定モデル・コンポーネント（Ｓ）、および比較的短い時間経過（たとえば２−フレームの動きコンポーネント（Ｗ）および／またはアウトライア処理コンポーネント（Ｌ））にわたって学習される推移コンポーネント（Ｗ／Ｌ）を含む。オンラインＥＭアルゴリズムが使用されて、経時的にアピアランス・モデル・パラメータの適応が行われる。このアプローチの実装は、ステアラブル・ピラミッドからのフィルタ応答に基づいて展開されている。アピアランス・モデルは、動きベースの追跡アルゴリズム１１０内において使用され、オクルージョンによって生じるようなイメージのアウトライアに抗して堅牢性を提供する。
【選択図】図１

Description

本発明は、概して、アピアランス・モデルを生成し、かつ更新するためのプロセッサ−ベースのテクニックに関し、より詳細には、複数のモデル・コンポーネントを使用してアピアランス・モデルを生成するためのプロセスに関する。

自動化された視覚型追跡システムがしばしば使用されて、一連のイメージ・フレーム内に現れるターゲット・イメージの追跡が行われる。概して、ターゲット・オブジェクトが識別された後は、追跡システムが、当該ターゲット・オブジェクトを背景ならびにそのほかの非ターゲット・イメージ・データから区別することによって、連続するそれぞれのイメージ・フレーム内における当該ターゲット・オブジェクトのポジションを決定する。この種の追跡システムは、しばしば動き評価アルゴリズムを使用し、新しい（カレント）イメージ・フレーム内のターゲット・オブジェクトの動きを、当該新しいフレームに先行する２ないしはそれを超える数のイメージ・フレーム内におけるターゲット・オブジェクトの動きのパターンを解析することによって予測している。

必ずしもそれそのものとして述べられてはいないが、従来の動き評価および追跡システムは、何らかの形式のアピアランス・モデルを具体化しており、それが使用されて各イメージ・フレーム内のターゲット・オブジェクトが識別される。概して、アピアランス・モデルは、ターゲット・オブジェクトの記述であって、動き評価／追跡システムは、それを使用して、各イメージ・フレーム内のターゲット・オブジェクトを、当該ターゲット・オブジェクトを囲む非ターゲット・オブジェクトから区別することができる。ターゲット・オブジェクトがロケーションを変化させるとき、動き評価／追跡システムは、アピアランス・モデルによって提供されるすでに確立済みの記述を満足する新しいフレームの領域を識別することにより、それぞれの新しいロケーションを識別する。

動き評価および追跡システムのパフォーマンスを制限する主要な要因の１つは、アピアランス・モデルがターゲット・オブジェクトのアピアランスの変化に対する適応に失敗することである。３次元（３Ｄ）空間内に配置された３Ｄターゲット・オブジェクトによって２次元イメージ・フレーム内に伝えられるイメージは、通常、ターゲット・オブジェクトとイメージ・フレーム生成デバイス（たとえばカメラ）の間の相対的な変位によってもたらされるイメージのひずみの影響を受ける。たとえば、カメラとターゲット・オブジェクトのポジションの間の距離が変化するとターゲット・オブジェクトのサイズがより大きく、またはより小さくなる。同様に、形状および／またはターゲット・オブジェクトから反射される光についても、通常、カメラに対する相対的なターゲット・オブジェクトの向きの変化（たとえばターゲット・オブジェクトまたはカメラの回転もしくは平行移動）に起因して変化する。それに加えて、非ターゲット・オブジェクトによるターゲット・オブジェクトの部分的もしくは完全なオクルージョン（つまり、ターゲット・オブジェクトとカメラの間への介挿）が発生した場合にもイメージのひずみを生じる。さらに、複雑な自然オブジェクト（つまり、アピアランスが、顔の表情等の、ターゲット・オブジェクトとカメラの間における相対的な変位と独立した変化の影響を受けやすいオブジェクト）が、追加のアピアランスのバリエーションをもたらし、それについてもアピアランス・モデルによって説明が得られなければならない。以下に追加の詳細を述べるが、テンプレート・マッチング・モデル、グローバル統計モデル、２−フレームの動き評価、および時間的にフィルタリングされた動き補償イメージ・モデルといった従来のアピアランス・モデルは、これらのひずみの１ないしは複数の説明に失敗しており、その結果、動き評価および追跡システムが最終的にターゲット・オブジェクトの追跡を逃している。

テンプレート・マッチング・アピアランス・モデルは、ターゲット・オブジェクトの、あらかじめ学習済みの固定イメージ・モデル（「テンプレート」）であり、それが追跡システムによって使用されて、イメージ・フレーム内のターゲット・オブジェクトが識別（「マッチング」）され、それによってそのロケーションが決定される。この種の追跡システムは、短期間（つまり、ターゲット・オブジェクトのアピアランスが固定イメージ・モデルと無矛盾を維持する間）にわたって信頼に足るものとなり得るが、多くの応用に共通して生じる、より長い期間にわたるターゲット・オブジェクトのアピアランスの変化に良好に対処できない。これらの追跡システムの信頼性は、テンプレート内において各ピクセルの変動性を表現することによって改善することができる（特許文献１参照）。しかしながら、追跡に先行して学習段階が必要となり、そこではトレーニング・イメージ・データに関して各ピクセルにおけるイメージの輝度の分散の評価が行われる。

追跡システムの信頼性は、アピアランスの部分空間モデルの使用を伴って強化されることもある（たとえば、特許文献２参照）。一般に基本コンポーネント解析を用いて学習されるこの種のビュー・ベースのモデルは、ポーズおよび照明におけるバリエーションのモデリングに利点を有する。これらは、サーチだけでなく、逐次追跡にも使用することができる。しかしながら同時にそれらは、それらがオブジェクト固有であるという不利点、および部分空間の学習のために追跡に先行して行われるトレーニングを必要とするという不利点も有している。

カラー・ヒストグラム等のローカルならびにグローバル・イメージ統計も、ターゲット・オブジェクトの追跡のための粗いアピアランス・モデルとして使用されてきた（たとえば特許文献３参照）。これらのアピアランス・モデルは、イメージのひずみおよびオクルージョンが生じたときの堅牢性を提供し、学習が高速であり、かつサーチだけでなく追跡に使用することもできる。しかしながら、グローバルな統計的記述は、アピアランスの空間構造が欠けている；言い換えると、多数の類似するカラー・ピクセル（たとえば、高い比率の赤および青のピクセル）をそれらのカラー・ピクセルの空間的な関係（たとえば、青いズボンの上に配置される赤いシャツのイメージに関連付けされる青ピクセルのグループの上に垂直に配置される赤ピクセルのグループ）から区別する能力に欠けている。この表現能力の欠如は、多くの場合にグローバルな統計的記述の、ターゲット・オブジェクトにアピアランス・モデルを正確にレジストする能力を制限する。それに加えて、これらの粗いアピアランス・モデルは、類似の統計を近隣の領域と共有する注目領域内におけるオブジェクトの正確な追跡に失敗する可能性も有する。

動きベースの追跡方法は、時間を通して動き評価を調整する。２−フレームの動き評価の場合は、それぞれの連続するフレームのペアの間において動きが計算される。それぞれの連続するフレームのペアの間において動きが計算されることから、動きベースの追跡システムによって使用されるアピアランスの唯一のモデルは、最後のフレーム内の注目領域内におけるターゲット・オブジェクトのアピアランスである。その結果、この方法の誤差は、時間とともに急速に累積される可能性がある。２−フレームの動き評価におけるアピアランス・モデルは、アピアランスの急な変化に適応することができる。しかしながら、ターゲット・オブジェクトがアピアランスをすばやく変化させるときには、しばしばアピアランス・モデルがターゲット・オブジェクトからドリフトして離れる。その結果、しばしば注目領域がターゲット・オブジェクトからスライドして、背景もしくは別のオブジェクト上にはずれる。これは、特に、ターゲット・オブジェクトと背景の動きが類似しているときに問題をもたらすものとなる。

動きベースの追跡方法は、時間的に適応型アピアランス・モデルを蓄積することによって改善された。実際、最適動き評価を、同時的な動きおよびアピアランス両方の評価として公式化することが可能である（特許文献４参照）。この意味においては、前述の学習済みの部分空間アプローチと同様に、最適動き評価が、時間を通じて獲得されるアピアランス・モデルに対してイメージをレジストすることによって達成される。たとえば、安定化後のイメージのシーケンスを、動き評価から形成し、アピアランス・モデルを学習させることができる。この安定化後のイメージ・シーケンスは、ＩＩＲロー・パス・フィルタ等の再帰ロー・パス・フィルタを用いてスムージングし、いくつかのノイズの除去およびもっとも新しいフレームのアップ・ウェイトを行うことができる。しかしながら、線形フィルタリングは、オクルージョンおよび局所的なアピアランスのひずみに関して堅牢性をもたらす安定性の尺度を提供しない。

２０００年６月にヒルトン・ヘッドで開催されたＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（コンピュータの視覚およびパターン認識に関するＩＥＥＥ会議）の会報、第Ｉ巻、１８５〜１９２ページにあるＢ．Ｆｒｅｙ（Ｂ．フレイ）による「Ｆｉｌｌｉｎｇ ｉｎ Ｓｃｅｎｅｓ ｂｙ Ｐｒｏｐａｇａｔｉｎｇ Ｐｒｏｂａｂｉｌｉｔｉｅｓ Ｔｈｒｏｕｇｈ Ｌａｙｅｒｓ ｉｎｔｏ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ（レイヤを介したアピアランス・モデル内への確率の伝播によるシーン内のフィリング）」 １９９８年のＩｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン）２６（１）：６３〜８４にあるＭ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊ．ブラック）およびＡ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）による「ＥｉｇｅｎＴｒａｃｋｉｎｇ： Ｒｏｂｕｓｔ Ｍａｔｃｈｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ａｒｔｉｃｕｌａｔｅｄ Ｏｂｊｅｃｔｓ ｕｓｉｎｇ ａ Ｖｉｅｗ Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（固有追跡：ビュー−ベース表現を使用する連節オブジェクトの堅牢なマッチングおよび追跡）」 １９９８年６月にサンタバーバラで開催されたＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（コンピュータの視覚およびパターン認識に関するＩＥＥＥ会議）の会報、２３２〜２３７ページにあるＳ．Ｂｉｒｃｈｆｉｅｌｄ（Ｓ．バーチフィールド）による「Ｅｌｌｉｐｔｉｃａｌ Ｈｅａｄ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｉｎｔｅｎｓｉｔｙ Ｇｒａｄｉｅｎｔｓ ａｎｄ Ｃｏｌｏｒ Ｈｉｓｔｏｇｒａｍｓ（明暗度グラディエントおよびカラー・ヒストグラムを使用する長円頭部追跡）」 ２００１年、ケンブリッジ、ＭＩＴプレスのＰｒｏｂａｂｉｌｉｓｔｉｃ Ｍｏｄｅｌｓ ｏｆ ｔｈｅ Ｂｒａｉｎ： Ｐｅｒｃｅｐｔｉｏｎ ａｎｄ Ｎａｔｕｒａｌ Ｆｕｎｃｔｉｏｎ（脳の蓋然論的モデル：知覚および自然関数）の８１〜１００ページにあるＹ．Ｗｅｉｓｓ（Ｙ．バイス）およびＤ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）による「Ｖｅｌｏｃｉｔｙ Ｌｉｋｅｌｉｈｏｏｄｓ ｉｎ Ｂｉｏｌｏｇｉｃａｌ ａｎｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ（生物学的およびマシンの視覚における速度尤度）」

必要とされているものは、複雑な自然オブジェクトの動きベースの追跡のための堅牢な適応型アピアランス・モデルである。そのアピアランス・モデルは、緩やかに変化するアピアランスをはじめ、観測されるイメージ構造の安定性の自然な評価の、追跡の間にわたる維持に適応する必要がある。またアピアランス・モデルは、オクルージョン、著しいイメージのひずみ、および顔の表情ならびに衣類に伴って生じるような自然なアピアランスの変化に関して堅牢である必要がある。アピアランス・モデルのフレームワークは、局所的な特徴追跡等の可能性のある各種応用に関する追跡および正確なイメージ・アライメントをサポートし、かつ人体の肢等の相対的なアライメントおよびポジションが重要になるモデルの追跡をサポートする必要がある。

本発明は、複数の連続したイメージフレーム内に提供されるイメージデータを使用するアピアランスモデルを生成するための方法であって、前記アピアランスモデルが、第１の混合確率及び比較的多数の連続したイメージフレーム内に提供されるイメージデータによって定義される第１のデータパラメータを含む安定コンポーネントによって定義され、かつ前記アピアランスモデルが、第２の混合確率及び比較的少数の連続したイメージフレーム内に提供されるイメージデータによって定義される第２のデータパラメータを有する推移コンポーネントを包含し、前記方法が、複数の連続したイメージフレームの、もっとも新しいイメージフレームに対応するイメージデータを受け取るステップと、前記安定コンポーネントに関する第１の尤度値及び前記推移コンポーネントに関する第２の尤度値の決定であって、前記第１の尤度値が前記イメージデータと前記第１のデータパラメータの間における相対的な一致を示し、第２の尤度値が前記イメージデータと前記第２のデータパラメータの間における相対的な一致を示すものとするステップと、前記第１および第２の尤度値をそれぞれ使用して、前記安定コンポーネントの前記混合確率及び前記推移コンポーネントの前記第２の混合確率を更新するステップを含む。

また、本発明は、選択されたターゲットオブジェクトを追跡するための方法であって、前記ターゲットオブジェクトに関連付けされたイメージデータを含むカレントイメージフレームを受け取るステップと、ターゲットオブジェクトの動きを、時間的に前記カレントイメージフレームに先行する比較的多数のイメージフレームにわたって受け取られたイメージデータによって定義されるパラメータを有する第１のイメージコンポーネント及び時間的に前記カレントイメージフレームに先行する比較的少数の連続するイメージフレームにわたるイメージデータによって定義されるパラメータを有する第２のイメージコンポーネントを含む適応型アピアランスモデルを使用して評価するステップと、前記第１及び第２のイメージコンポーネントを更新するステップを含む。

また、本発明の適応型アピアランスモデルは、プロセッサによりコントロールされるマシン上に実装される、複数の連続したイメージフレーム内に現れるオブジェクトを識別するための適応型アピアランスモデルであって、比較的多数の連続したイメージフレームにわたって安定を保つイメージデータによって定義されるパラメータを有する第１のイメージコンポーネントと、比較的少数の連続したイメージフレームによって定義されるパラメータを有する第２のイメージコンポーネントを含み、かつ、複数の連続したイメージフレームのカレントイメージフレームを受け取った後に、前記第１のイメージコンポーネントを更新するための手段とを包含する。

発明の実施態様に従ったアピアランス・モデルを含む追跡システムを図示したブロック図である。 図１の追跡システム内において使用されるアピアランス・モデルの概略の動作を図示したフローチャートである。 アピアランス・モデルによって処理されるいくつかのイメージのひずみを示した写真である。 アピアランス・モデルによって処理されるいくつかのイメージのひずみを示した写真である。 アピアランス・モデルによって処理されるいくつかのイメージのひずみを示した写真である。 アピアランス・モデルによって処理されるいくつかのイメージのひずみを示した写真である。 イメージ・データおよび関連するアピアランス・モデルの混合パラメータを示した説明図である。 イメージ・データおよび関連するアピアランス・モデルの混合パラメータを示した説明図である。 一連の時間値および関連するイメージ・データ値をリストした表である。 比較的安定した初期期間に応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。 比較的安定した初期期間に応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。 比較的安定した初期期間に応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。 短いオクルージョンに応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。 漸進的に変化するイメージ・データに応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。 長い期間にわたるイメージのひずみに応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。 長い期間にわたるイメージのひずみに応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。 振り返る３Ｄターゲット・オブジェクトの追跡を示したイメージである。 振り返る３Ｄターゲット・オブジェクトの追跡を示したイメージである。 振り返る３Ｄターゲット・オブジェクトの追跡を示したイメージである。 図１７のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。 図１７のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。 図１８のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。 図１８のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。 図１９のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。 図１９のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。 カメラに向かって移動する３Ｄオブジェクトの追跡を示した合成写真である。 カメラに向かって移動する３Ｄオブジェクトの追跡を示した合成写真である。 オクルージョンの前のターゲット・オブジェクトに関連付けされるイメージ・データを含む写真である。 図２８に示されているイメージ・データに関連付けされる混合確率、を示した説明図である。 図２８に示されているイメージ・データに関連付けされる平均データ値を示した説明図である。 図２８に示されているイメージ・データに関連付けされるオーナーシップ・データを示した説明図である。 オクルージョンの開始時における図２８のターゲット・オブジェクトに関連付けされるイメージ・データを含む写真である。 図３２に示されているイメージ・データに関連付けされる混合確率を示した説明図である。 図３２に示されているイメージ・データに関連付けされる平均データ値を示した説明図である。 図３２に示されているイメージ・データに関連付けされるオーナーシップ・データを示した説明図である。 オクルージョンの比較的長い期間の後における図２８のターゲット・オブジェクトに関連付けされるイメージ・データを含む写真である。 図３６に示されているイメージ・データに関連付けされる混合確率を示した説明図である。 図３６に示されているイメージ・データに関連付けされる平均データ値を示した説明図である。 図３６に示されているイメージ・データに関連付けされるオーナーシップ・データを示した説明図である。 オクルージョンが解消された後における図２８のターゲット・オブジェクトに関連付けされるイメージ・データを含む写真である。 図４０に示されているイメージ・データに関連付けされる混合確率を示した説明図である。 図４０に示されているイメージ・データに関連付けされる平均データ値を示した説明図である。 図４０に示されているイメージ・データに関連付けされるオーナーシップ・データを示した説明図である。 自然なひずみを見せている対象の追跡を示したイメージである。 自然なひずみを見せている対象の追跡を示したイメージである。 自然なひずみを見せている対象の追跡を示したイメージである。 図４４のイメージに関連付けされる混合確率を示した説明図である。 図４４のイメージに関連付けされる平均イメージ・データ値を示した説明図である。 図４５のイメージに関連付けされる混合確率を示した説明図である。 図４５のイメージに関連付けされる平均イメージ・データ値を示した説明図である。 図４６のイメージに関連付けされる混合確率を示した説明図である。 図４６のイメージに関連付けされる平均イメージ・データ値を示した説明図である。

本発明は、コンピュータまたはワークステーションによって生成され、かつ更新され、当該コンピュータ／ワークステーションが読むことのできる１ないしは複数のメモリ・デバイスにストアされたパラメータによって定義されるアピアランス・モデルに指向されている。アピアランス・モデルの動作については、以下に、追跡システムとの関連から説明し、本発明の有益な特徴がいかにして複雑な自然のオブジェクトの動きベースの追跡を容易にするかということを例証する。しかしながら、追跡システムの範囲において説明されてはいるものの、本発明のアピアランス・モデルが、この機能に限定されることはなく、別の目的にも使用される可能性もある。たとえば、アピアランス・モデルを使用して、複雑な自然のオブジェクト（たとえば人間）の識別に用いることができる動的なイメージ・シグニチャを生成することができる。したがって、付随する特許請求の範囲は、限定が明示的に引用されている場合を除いて、本発明のアピアランス・モデルを追跡システムに、もしくは動き評価アプリケーションに限定するものと解釈されるべきではない。

図１は、イメージ追跡システム１１０を実装するべく構成されたコンピュータ１００を示した簡略化したブロック図であり、このイメージ追跡システムは、アピアランス・モデル１２０を使用して時間的に連続する一連のイメージ・データ・フレーム１０１内に現れる選択されたターゲット・オブジェクトを追跡するが、これらのイメージ・データ・フレームは、従来の方法の使用を介して適切にディジタル化され、コンピュータ１００内に入力される。また追跡システム１１０は、オプションの、カレント・イメージ・フレームを表すイメージ・ピクセル・データの配列に関連付けされた１ないしは複数のデータ・ストリームを生成するフィルタ／プロセッサ・サブシステム１５０、動きエスティメータ１６０、イメージ・ワーピング・ツール１７０、およびアピアランスモデル更新ツール１８０を含む複数のソフトウエア・サブシステム（ツール）を包含している。これらのサブシステムによって実行される個別の機能については後述する。これらのサブシステムは、協働して追跡機能を実行し、追加の詳細を以下に説明する方法に従ってアピアランス・モデル１２０を更新する。ここで注意が必要であるが、図１に示されている独立のサブシステム・ブロックは説明のみを目的として提供されており、これらのサブシステムのいくつかによって実行される少なくとも一部の機能が、公知のテクニックを使用して別のサブシステムに統合されることはあり得る。

本発明の一実施態様によれば、アピアランス・モデル１２０が、１ないしは複数のデータ・ストリームに関して、安定（Ｓ）コンポーネント１３０および１ないしは複数の推移コンポーネント１４０（たとえば「遊動」（Ｗ）コンポーネント１４０Ａおよび／または「迷子」（Ｌ）コンポーネント１４０Ｂ）を含んでおり、それらが集合的に選択されたターゲット・オブジェクトのオンライン・ディジタル表現を定義する。ここで用いている用語「オンライン」は、選択されたターゲット・オブジェクトのディジタル表現がカレント（つまりもっとも新しい）イメージ・フレームからのデータを使用して逐次更新されることを意味する。特に、最初の一連のイメージ・フレーム内において受け取ったデータを使用して（安定コンポーネント１３０および推移コンポーネント１４０のパラメータによって定義されるように）ターゲット・オブジェクトのディジタル表現を確立した後、確立済みディジタル表現が、新しいイメージ・フレームからの対応するデータと比較され、その後、先行する確立済みディジタル表現と新しいデータの間における差に従って確立済みディジタル表現が更新（変更）され、その結果、逐次「新しい」確立済みのディジタル表現が生成される。つまり、１ないしは複数のイメージ・フレームから以前に受け取ったデータ、およびカレント・フレームからの新しいデータの両方によって定義されるという意味において、このディジタル表現は「オンライン」である。

概して、安定コンポーネント１３０によって定義されるディジタル表現のコンポーネントが、推移コンポーネント１４０によるそれに比べて長い時間履歴（つまり、より長い時間スケール）に基づくことから、安定コンポーネント１３０と推移コンポーネント１４０は異なる。つまり、安定コンポーネント１３０のパラメータは、逐次確立されるディジタル表現のそれぞれにおけるイメージ・データの「安定性」を反映している。これらの用語「安定性」および「安定（した）」は、比較的長い時間スケールにわたって（たとえば５ないしはそれを超える数の連続イメージ・フレームにわたって）比較的変化しないイメージ・データ値を記述するためにここで用いられている。これに対して、推移コンポーネント１４０のパラメータは、逐次確立されるディジタル表現のそれぞれにおけるイメージ・データの相対的な推移を反映している。したがって、この用語「推移」は、不安定なイメージ・データ値（たとえばアウトライア）、あるいは比較的短い時間スケール（たとえば、５より少ない数の連続イメージ・フレーム）の間においてのみ安定しているイメージ・データを記述するためにここで用いられている。たとえば、以下に説明する例示の実施態様においては、Ｗコンポーネント１４０Ａが、カレント・イメージ・フレームおよびカレント・イメージ・フレームの直前に先行するイメージ・フレームのみを使用してパラメータが計算されるという点において従来の２−フレームの動きエスティメータと類似の態様で動作する。変形実施態様においては、Ｗコンポーネント１４０Ａを、カレント・イメージ・フレームに先行する少数の（たとえば２もしくは３）フレームからのデータとの比較を行うべく修正することもできる。それに代わり、以下に示す例示の実施態様の中で説明するように、Ｌコンポーネント１４０Ｂがアウトライア・データのストアに使用されて、したがって単一のイメージ・フレーム（つまりカレント・イメージ・フレーム）からのデータを使用して更新される。

本発明の別の側面によれば、選択されたデータ・ストリームからのイメージ・データの各断片が（たとえば、関連する表示ピクセルの相対的な輝度またはフィルタ出力を表すデータ）、安定コンポーネント１３０および推移コンポーネント１４０の両方によって集合的に表現される。言い換えると、安定コンポーネント１３０および推移コンポーネント１４０のそれぞれは、関連するコンポーネントによって表される関連するデータ値のパーセンテージを示す寄与パラメータ（たとえば混合確率）を含む。たとえば、所定のイメージ・データの断片は、寄与パラメータ１３２によって示される量の安定コンポーネント１３０、および対応する寄与パラメータ１４２Ａおよび１４２Ｂ（それぞれＷコンポーネント１４０ＡおよびＬコンポーネント１４０Ｂに関連付けされる）によって示される推移コンポーネント１４０で表される。アピアランス・モデル１２０を構成するすべてのコンポーネントの寄与パラメータ１３２、１４２Ａおよび１４２Ｂの合計は１（つまり１００パーセント）に等しい。これらの寄与パラメータは、所定のデータ値がターゲット・オブジェクトを記述している信頼性の尺度を示す。たとえば、詳細を後述するように、データ値が長時間にわたって安定していれば、寄与パラメータ１３２が、一時的な寄与パラメータ１４２Ａおよび１４２Ｂに比較して相対的に高くなる。これに対して、データ値が急峻に変化するとき、あるいはすばやい変化があるとき、通常は一時的な寄与パラメータ１４２Ａおよび１４２Ｂによって表されるパーセンテージが増加し、安定した寄与パラメータ１３２によって表されるパーセンテージが、それに応じて減少する。

本発明のさらに別の側面によれば、安定コンポーネント１３０が１ないしは複数の安定データ・パラメータ１３４を含み、それが使用されて、新しいデータが以前に受け取られたイメージ・データをどの程度良好に模しているかということが決定される。前述したように、安定コンポーネント１３０は、比較的多くのイメージ・フレームに基づいたターゲット・イメージのディジタル表現である。したがって、以下に説明する実施態様においては、統計的な方法を使用し、安定データ・パラメータ１３４が平均値μ_Ｓおよび標準偏差σ_Ｓパラメータとして表され、それらは、現在受け取っているイメージ・フレームに先行するあらかじめ決定済みの数（たとえば１５）のイメージ・フレームにわたって受け取られたデータ値を使用して計算され、計算に使用されるデータについては、あらかじめ決定済みの平均値の範囲内に含まれることを前提とする（つまりアウトライアが除外される）。それに代えて、安定データ・パラメータ１３４を、選択した（たとえば２つ置きに）データ値の平均等の代替方法を使用して計算することもできる。追加の詳細を以下に示すように、安定データ・パラメータ１３４は、新しいデータのそれぞれと比較され、比較の結果は、寄与パラメータ１３２、１４２Ａ、および１４２Ｂの更新に使用される。つまり、前述したように、安定データ・パラメータ１３４が新しいデータとまったく同一である場合には、新しいデータは、比較的安定であることを示し、寄与パラメータ１３２が増加する（あるいは最大値を維持する）傾向を持つ。その逆に、新しいデータが、安定データ・パラメータ１３４と著しく異なる場合には、寄与パラメータ１３２が減少する傾向となり、推移寄与パラメータ１４２Ａおよび１４２Ｂの一方もしくは両方の、それに応じた増加という結果がもたらされる。

本発明のさらに別の側面によれば、推移コンポーネント１４０が１ないしは複数の推移データ・パラメータ１４４Ａおよび１４４Ｂを含んでおり、それらはオプションで使用されて新しいデータが以前に受け取られたイメージ・データをどの程度良好に模しているかということについてさらに決定がなされる。たとえば、アピアランス・モデル１２０において使用される場合には、コンポーネント１４０Ａが平均μ_Ｗおよび標準偏差σ_Ｗパラメータを含み、それらが、比較的少数のフレームにわたって計算される。それに代えて、以下に説明する例示の実施態様において使用されているように、「平均」を単純に先行して受け取られているデータ値とし、「標準偏差」をあらかじめ決定済みの固定範囲とする。ここで注意が必要であるが、Ｌコンポーネント１４０Ｂについては、詳細を以下に述べるが、「平均」パラメータμ_Ｌが使用されることもあれば、省略されることもある。

再度図１を参照するが、追跡システム１１０は、概略において次のように動作する。イメージ・データ１０１がフィルタ／プロセッサ１５０に渡され、それが、たとえばノイズまたはそのほかの不要データを除去する確立済みのテクニックに従って当該イメージ・データのフィルタリングおよび／または処理を行う。以下に説明する例示の実施態様においては、このフィルタリング・プロセスが、続く追跡オペレーションに適した方法でイメージ・データを修正するウェーブレット−ベースのフィルタリング・テクニックを使用する。フィルタリング後／処理後のイメージ・データ（または、フィルタ／プロセッサが使用されない場合には生データ）は、続いて動きエスティメータ１６０に渡されるが、そこでは、アピアランス・モデル１２０によってストアされた現存するイメージ記述も受け取られる。動きエスティメータ１６０は、アピアランス・モデル１２０、およびターゲット・オブジェクトに関連付けされた動きの履歴を使用してカレント・イメージ・フレーム内におけるターゲット・オブジェクトの場所を決定するが、この履歴は、確立済みのテクニックに従って動きエスティメータ１６０によって生成される。イメージ・フレーム内のターゲット・オブジェクトのロケーションが決定されると、イメージ・ワーピング・ツール１７０が使用されてアピアランス・モデル１２０（もしくは新しいイメージ・データ）が修正され、動きベースのひずみ（たとえば、サイズおよび／または軸回転）の説明が行われる。ワーピングの実行後は、アピアランス・モデル１２０内に提供されるイメージ記述がモデル更新ツール１８０に渡され、それがアピアランス・モデル１２０を、ここで述べている方法に従って更新する。その後は、更新後のアピアランス・モデルのパラメータが使用されて、その後に続いて受け取られるデータ・フレームが処理される。

図２は、本発明の一実施態様に従ってアピアランス・モデル１２０（図１）の生成ならびに更新に使用される概略プロセスを示したフローチャートである。この単純化したフローチャートは、各繰り返しの間に単一のデータ・ポイントが処理されること、および追跡に関連付けされた機能（たとえば、動き評価およびイメージ・ワーピング）が省略されることを前提としている。次に、この例示のプロセスをより詳細に説明する。

図２の上側部分を参照すると、このプロセスは安定コンポーネントならびに推移コンポーネントのパラメータを初期化することによって開始する（ブロック２１０）。たとえば図１を参照すると、安定コンポーネント１３０の安定寄与コンポーネント１３２および安定データ・コンポーネント１３４を、あらかじめ決定済みの値にセットすることができる。ここで注意が必要であるが、安定寄与コンポーネント１３２用のあらかじめ決定済みの値は、リセット・オペレーション（後述）において使用される。

図２に戻るが、初期化の後、イメージ・データが前述の方法に従って受け取られ（ブロック２２０）、続いて確立済みコンポーネント・パラメータと比較される（ブロック２３０）。本発明の一実施態様によれば、この比較の間にログ尤度（「尤度」）値が、当該データと現存するデータ・パラメータ（１ないしは複数）の間における差に基づき、周知の統計学的方法に従って、それぞれのコンポーネントに関して計算される。この尤度値は、当該データが確立済みデータ・パラメータにどの程度良好に整合しているかを示す。たとえば、安定データ・パラメータが１４の平均値μ_Ｓおよび標準偏差２を有していると仮定する。そのときデータが１４に等しければ、計算される尤度値は、その安定コンポーネントに関して最大化される。それに対して、データが２４に等しいとすれば、尤度値は相対的に極めて低くなる。尤度値は、Ｗコンポ（使用される場合）に関しても類似の態様に従って計算されるが、Ｌコンポーネント（使用される場合）については省略されることがある。

続いてデータと確立済みデータ・パラメータの間における比較の結果が使用されて寄与パラメータ（以下、混合確率と言う）が更新され、さらにアピアランス・モデル・コンポーネントのそれぞれに関する新しいデータ・パラメータが生成される（ブロック２４０）。一実施態様においては、このプロセスが尤度値を使用する各コンポーネントに関するオーナーシップ値の計算を行うオプションのステップ（ブロック２４２）を含むが、それについての追加の詳細は後述する。次に（あるいは、それに代えて）それぞれのコンポーネントについて、新しい混合確率が、オーナーシップ確率および／または尤度値を使用して計算される（ブロック２４４）。その後、新しく計算された安定寄与値（たとえば、ｍ_Ｓ）と、あらかじめ定義済みの最小値の比較が行われる（ブロック２４５）。新しく計算された安定寄与値が、あらかじめ定義済みの最小値より小さい場合（ＹＥＳ）には、すべてのコンポーネント・パラメータがあらかじめ定義済みの値にリセットされる（ブロック２４６）。これに対して、新しく計算された安定寄与値が、あらかじめ定義済みの最小値より大きい場合（ブロック２４５のＮＯ）には、各コンポーネントのデータ・パラメータが更新されて、新しいデータが反映される（ブロック２４８）。

その後、上記のシーケンスが、新しいデータ・ストリームに関連付けされた新しいデータごとに繰り返される。ここで注意が必要であるが、コンポーネント・パラメータを更新するプロセス（ブロック２４０）は、最終的な結果を損なうことなく、データ・パラメータの再計算（ブロック２４８）の後に最小値の決定（ブロック２４５）を行う形に変形することができる。

新しく、かつ有益なアピアランス・モデルが、図２を参照して説明したプロセスとの組み合わせにおいて安定コンポーネントならびに少なくとも１つの推移コンポーネントを用いて生成されるが、現在のところ好ましい本発明の実施態様は、安定（Ｓ）コンポーネント１３０、遊動（Ｗ）コンポーネント１４０Ａ、および迷子（Ｌ）コンポーネント１４０Ｂ（図１参照）を以下の説明に従ってすべて組み込んだアピアランス・モデルを含む。その種のアピアランス・モデルを、ここでは「ＷＳＬアピアランス・モデル」と呼んでいる。

本発明のＷＳＬアピアランス・モデルについて、次に、単一の実数値のデータ観測を引用して紹介する。単一データ値を参照したＷＳＬアピアランス・モデルの動作の説明の後に、全データ・フレームの処理に向けて説明を移行させる。

図３〜６は、単純なパラメトリック動きモデルを使用した追跡領域（ターゲット・オブジェクト）として顔を示したイメージ・データ・フレームの断続シーケンスを表しており、ＷＳＬアピアランス・モデルによって説明されなければならない、典型的な、イメージをひずませる現象が図示されている。図３は、最初の、ＷＳＬアピアランス・モデルが安定することが許される、比較的安定した期間を表している。ここで、高いコントラストの領域、たとえば額領域３１０および口領域３２０等が、極めて安定したイメージ・データを生成する傾向にあることに注意されたい。図４は、部分的なオクルージョンを示しており、その間に対象の手が短時間にわたって口領域３２０の上に置かれたが、額領域３１０は、比較的ひずみを受けない状態に保たれている。図５は、リスタートを招く著しいアピアランスの不連続を表している（つまり、突然かつ急激な頭部の動きであり、その間に対象の頭部が傾けられ、カメラから離れる方向にすばやく動き、さらに目領域３３０からメガネが外された）。最後の図６は、自然のひずみの例として表情の変化を示している。特に領域３４０において、対象が大げさにほほえんでいるが、そのほかには目立った動きがない（図３の口領域３１０と対比）。

図３〜６に示した現象は、ＷＳＬアピアランス・モデルの各種のコンポーネント・データ・パラメータを誘導する。図３に示されている比較的安定したイメージは、Ｓコンポーネントを誘導し、それには、時間的に安定したイメージの観測の振る舞いを、それらが生じている時点および場所で取り込むことが意図されている。より詳細に述べれば、各フレームｔにおけるデータ値をｄ_ｔで表し、安定コンポーネントが観測ｄ_ｔを生成したと仮定すると、ｄ_ｔに関する確率密度は、ガウス密度ｐ_ｓ（ｄ_ｔ｜μ_ｓ，ｔ，σ^２ _ｓ，ｔ）によってモデリングされる。これにおいて、μ_ｓ，ｔ，σ^２ _ｓ，ｔは、区分的に、緩やかに変化する関数であり、ガウス・モデルの平均および分散を指定する。

ＷＳＬアピアランス・モデルの第２のコンポーネントは、データのアウトライアを説明するが、これらは追跡の失敗またはオクルージョンに起因して生じることが予想される。前述したように、対応するランダム・プロセスを、ここではＷＳＬアピアランス・モデルの「迷子」またはＬコンポーネントと呼んでいる。Ｌコンポーネントの確率密度、すなわちｐ_ｌ（ｄ_ｔ）は、観測ドメインにわたって均一に分布しているものと考える。

図７に示した合成信号は、単一データ・ストリームに関するこれらの発生プロセスの理想化した例を示している。破線は、区分的に緩やかに変化するアピアランス信号ＡＳを表している。観測されたデータＯＤは、ガウス密度ｐ_ｓ（ｄ_ｔ｜μ_ｓ，ｔ，σ^２ _ｓ，ｔ）およびＬコンポーネントに関する広い分布ｐ_ｌ（ｄ_ｔ）の混合から形成されるテールの長いノイズによって改ざんされている。太い実線のラインは、Ｓコンポーネントに関する評価後の平均ＥＭである。前述の説明に従うと、イメージ・データ・フレームのシーケンスは、領域４００において開始され、その後、図３に関連付けされる比較的安定した段階（領域４１０）に入る。合成信号の領域４２０は、図４のオクルージョンに相似の、フレーム３００と３１５の間におけるアウトライアのバーストを示している。領域４３０は、図５のアピアランスの不連続に相似のフレーム６００におけるリスタートを示している。最後の領域４４０は、図６の顔の表情の変化によって生成された、局所的な信号のひずみを示している。

ＷＳＬアピアランス・モデルのＷコンポーネントは、アピアランス・モデルとイメージ−ベースの追跡アルゴリズムの統合に対する要求によって誘導される。つまり、選択されたイメージ領域に関して、ゴールは、その領域内の支配的な安定したイメージ構造に対してモデルを倣わせることであり、同時にそれを追跡することである。これは、最初の安定したアピアランス・モデルが提供されない場合、もしくはオブジェクトがどのように動くかについての情報が提供されない場合に困難なものとなる。Ｗコンポーネントは、その種の状態において何が追跡されるべきかを決定する。前述したように、実際上、Ｗコンポーネントは、アピアランス・モデルが充分な過去のデータ観測について説明しないとき、追跡システム（後述）が、２−フレームの動きトラッカまで優雅に低下することを可能にする。

Ｗコンポーネントは、Ｓコンポーネント・パラメータの信頼性のある評価に必要となる場合に比べて、より急峻な一時的な変動およびより短時間の履歴を許容する必要がある。そのためｄ_ｔに関する確率密度が、それがＷコンポーネントによって生成されているとして、ガウス密度ｐ_ｗ（ｄ_ｔ｜ｄ_ｔ−１）となるように選択される。ここでは、平均が単純に以前のフレームｄ_ｔ−１からの観測となり、分散がσ^２ _ｗに固定される。

３つのコンポーネントＷ、Ｓ、およびＬは、ｄ_ｔに関する蓋然論的混合モデル内において結合される。

これにおいて、
ｍ＝（ｍ_ｗ，ｍ_ｓ，ｍ_ｌ）は混合確率であり、
ｑ_ｔ＝（μ_ｓ，ｔ，σ^２ _ｓ，ｔ）
は、このモデルの安定コンポーネントの平均ならびに分散パラメータを含む。

従来の追跡システムにおいてこのＷＳＬアピアランス・モデルを実装するためには、式（１）における発生モデルのパラメータ、すなわちデータｄ_ｔの予測の平均および分散を、安定プロセス
ｑ＝（μ_ｓ，σ^２ _ｓ）
および混合確率
ｍ＝（ｍ_ｗ，ｍ_ｓ，ｍ_ｌ）
によって評価することが必要になる。さらに、フィルタ応答に評価スキームを適用するためには、各観測に関して比較的小さなメモリしか必要としない単純な演算アルゴリズムが求められる。

再帰的定式化を予測し、モデル・パラメータの時間的適合を許容して、現在時にロケートされた指数包絡線、ｋ≦ｔに関するＳ_ｔ（ｋ）＝αｅ^{−（ｔ−ｋ）／τ}の下においてデータ観測を考える。これにおいてτ＝η_{ｓ／ｌｏｇ２}であり、η_ｓはフレーム内の包絡線の半減期であり、α＝１−ｅ^−１／τであり、その結果、包絡線の重みＳ_ｔ（ｋ）の合計は１になる。この包絡線を用いると、観測履歴のログ尤度
ｄ_ｔ＝｛ｄ_ｋ｝^ｔ _ｋ＝０
を、式（１）における密度に従って表すことができる。

これにおいて
ｍ_ｔ
および
ｑ_ｔ
は、時間的な台の包絡線Ｓ_ｔ（ｋ）の下におけるデータに関係するパラメータを表す。これらのパラメータは時間的に緩やかに変化するが、ＥＭアルゴリズム（たとえば、１９７７年のＪ．Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ Ｓｅｒｉｅｓ Ｂ（王立統計学会シリーズＢ），３９：１〜３８の、Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ（Ａ．Ｐ．ディムスター）、Ｎ．Ｍ．Ｌａｉｒｄ（Ｎ．Ｍ．ラード）、およびＤ．Ｂ．Ｒｕｂｉｎ（ルービン）による「Ｍａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄ ｆｒｏｍ Ｉｎｃｏｍｐｌｅｔｅ Ｄａｔａ Ｖｉａ ｔｈｅ ＥＭ Ａｌｇｏｒｉｔｈｍ（ＥＭアルゴリズムを介した不完全データからの最大尤度）」を参照されたい）が
ｍ_ｔ
および
ｑ_ｔ
の評価に考慮され、それにおいては、これらが時間ウインドウの下に一定であることが仮定される。これらのＥＭ更新の形式は、ここで述べているオンライン方法に関する基礎を提供する。

状態変数
ｍ_ｔ
および
ｑ_ｔ
に関する現在の推測（時間ウインドウにわたって一定）を前提とするとＥ−ステップは、ｉ∈｛ｗ，ｓ，ｌ｝に関して、各観測ｄ_ｋに関するオーナーシップ確率を提供する。

これらのオーナーシップを条件とし、続いてＭ−ステップが、新しい最大尤度評価を
ｍ_ｔ
および
ｑ_ｔ
に関して計算する。まず、更新された最大確率ｍ_ｔは、ｉ∈｛ｗ，ｓ，ｌ｝に関し、次式によって与えられる（表記
ｍ_ｉ，ｔ
は、再利用されて更新された値を表す）。

同様に、平均および分散に関するＭ−ステップは次のようになる。

これにおいてＭ_ｊ，ｔは、オーナーシップの重み付けがなされた、次式によって定義されるｊ次のデータ・モーメントである。

ここで、ゼロ番目のデータ・モーメント、すなわち安定プロセスの時間平均オーナーシップが、正確にＷＳＬアピアランス・モデルのＳコンポーネントに関する混合比率となり、Ｍ_０，ｔ＝Ｍ_ｓ，ｔとなることは注目に値する。したがって、標準ＥＭアルゴリズムは、式（３）〜（６）に概説したステップの繰り返しからなる。

このＥＭアルゴリズムは、先行する時間からのデータが保持されてｏ_ｓ，ｔ（ｄ_ｋ）の計算が行われることを必要とし、オンライン・アプローチにとってそれは実際的ではない。それに代えて式（３）〜（６）の近似が採用される。そのため、指数の台Ｓ_ｔ（ｋ）に関する帰納式が利用されて次式が得られる。

過去のデータを保持しなければならないという要件を回避するために、過去のデータのカレント・オーナーシップが、そのデータが最初に観測された時点におけるオーナーシップによって近似される。すなわち、ｏ_ｓ，ｔ（ｄ_ｋ）がｏ_ｓ，ｋ（ｄ_ｋ）に置き換えられて、次の近似モーメントが得られる。

また、混合確率についても同様にｉ∈｛ｓ，ｗ，ｓ，ｌ｝に関して次のように近似される。

これらの式からの１つの大きなずれが使用されて単一の状態が回避される；すなわち、非ゼロの低い境界が、混合確率およびσ_ｓ，ｔに強制される。

式（３）〜（６）内のバッチＥＭに対するこの近似においては、前述したように、過去の観測のオーナーシップが更新されない。したがって、モデル・パラメータが急激に変化したとき、このオンライン近似は不充分なものとなる。好都合にも、一般にこれは、データが安定でないときに現れ、通常はいずれの場合においてもＳコンポーネントに関する低い混合確率および広い分散をもたらす。これに対して、平均および分散が緩やかにドリフトしているときのオンライン近似は、通常、非常に良好なものとなる（図７参照）。

アピアランス内に急激な変化、または不安定なデータがあると、Ｓコンポーネントがしばしば平均の追跡を逃し、小さい混合確率が与えられる（後述する図８を参照されたい）。つまり、アピアランス・モデルを臨時にリスタートすることが必要になる。ここでは、安定した混合確率ｍ_ｓ，ｔが固定スレッショルド（たとえば０．１）を下回ると必ずＷＳＬアピアランス・モデルがリスタートされる。これは、すべての状態変数の値を単純にリセットすることによってなされる。一実施態様においては、混合確率に関して使用される新しい値ｍ_ｉ，ｔが、ｉ＝ｗ、ｓ、ｌについてそれぞれ０．４、０．１５、および０．４５になる。ｍ_ｓ，ｔに対応する値が小さいことは、Ｓコンポーネントに関する初期の不確定性を反映している。モーメントＭ_ｊ，ｔに関する新しい値は、ｊ＝０、１、２について、それぞれｍ_ｓ，ｔ、ｄ_ｔｍ_ｓ，ｔおよびσ^２ _ｓ，０ｍ_ｓ，ｔとなるように取られる。実際、これが、カレント観測ｄ_ｔによって与えられる平均、および一定のσ^２ _ｓ，０によって与えられる分散を用いてＳコンポーネントをリスタートする。ここでは、σ_ｓ，０＝σ_ｗ／１．５が使用される。これらと同じ値が、最初のフレームにおける初期化に使用されている。

図８は、半減期ｎ_ｓ＝８を使用する図７の１Ｄの例を参照するＥＭプロシージャを例示している。領域４０５に示されているスタートアップ期間（図７の領域４００に対応する）において、Ｗ、Ｓ、およびＬコンポーネントのそれぞれは、あらかじめ決定済みのリセット値を仮定する。最初は、Ｗコンポーネントの混合確率がリセット値から増加しており、領域４１５（図７の領域４１０に対応する）によって示されるようにＳコンポーネントが信頼性を得るまでの、そのデータの比較的より大きなオーナーシップを示す。領域４２５は、フレーム３００におけるアウトライアのバースト（図７の領域４２０に対応する）の間に、Ｌコンポーネントの混合確率が増加し、その後、安定な戻りとして降下することを示している。ここで、このオクルージョンは、オクルージョンを生じていない安定イメージ・データ（たとえば図４における領域３１０）のために、リスタートを起動するほど充分なものにならなかったことに注意が必要である。領域４３５は、フレーム６００におけるアピアランスの不連続（図７の領域４３０に対応する）に対する応答を示しており、それにおいてＳコンポーネントはデータの予測に関して不充分であり、その混合確率が急速に低下している。ここで注意が必要であるが、Ｗコンポーネントがデータを説明できることから、その混合確率が増加している。フレーム６２５においては、Ｓコンポーネントの混合確率がプロシージャのリスタートに充分な低さまで下がっており、その後、Ｓコンポーネントが真の状態に戻ってロックする。

図９〜１６は、別の簡略化した例を使用する、本発明のＷＳＬアピアランス・モデルにおける各種のデータ変化の効果を図示している。図９は、時間ｔ_０とｔ_１６の間に延びる時間シーケンスの間における選択されたピクセルの輝度（グレイスケール）を記述した連続データを示している。ここに示された各時点の間隔は、均一であってもよく、またそうでなくてもよいことに注意されたい。比較的安定した初期段階が、時間ｔ_０〜ｔ_５の間において提供され、その間に、図３を参照した前述の説明と同様に、アピアランス・モデルが安定することが可能になる。時間ｔ_６において、図４を参照して説明したオクルージョンと類似の短時間のオクルージョンが導入され、比較的急峻でありかつ大きいが、短時間の、第１の安定値（たとえば１２）から第２の安定値（たとえば２４）へのイメージ・データの変化、および第１の安定値に戻る変化によって特徴付けされる。時間ｔ_７とｔ_１１の間は、漸進的な輝度の変化が示され、その間においては、イメージ・データが比較的緩慢に、比較的小さい範囲にわたって（たとえば１２から１４）変化する。最後に、時間ｔ_１２にアピアランスの不連続が示されており、比較的急峻であり、かつ大きく、比較的固定した、第１の安定値（たとえば１４）から第２の安定値（たとえば２４）への変化によって特徴付けされる。

図１０、１１、および１２は、時間ｔ_０〜ｔ_５の初期安定期間の間におけるＳコンポーネント、Ｗコンポーネント、およびＬコンポーネントに対する調整をそれぞれ示したグラフである。リセット時（時間ｔ_０）においては、寄与パラメータ（つまり混合確率であり、各グラフの垂直スケールによって示される）があらかじめ決定済みのリセット値を採用する。これらの値は、時間ｔ_０における各コンポーネントの垂直位置によって示される。たとえば、図１０を参照すると、コンポーネントＳ（ｔ_０）がグラフの低い部分に配置されており、リセット値０．１５にそろえられている。同様に、図１１および１２を参照すると、コンポーネントＷ（ｔ_０）およびＬ（ｔ_０）が、それぞれリセット値０．４および０．４５にそろえられている。再度ここで注意したいが、これらのリセット値は変更可能である。時間ｔ_０に続いて、データが安定を保つことから、Ｓコンポーネントに関する寄与パラメータが時間ｔ_５における極大値（頂点）０．８５まで漸進的に増加する。ただしこの極大値は、純粋に説明の目的から選択されたものである。それに加えて、この時間的期間にわたる一定のデータ値１２は、１２にセンタリングされたままとなる安定した平均パラメータμ_Ｓをもたらし、その一方で標準偏差が減少する（標準偏差パラメータ＋σ_Ｓおよび−σ_Ｓによって区切られるバーが、漸進的に短くなることによって示されている）。図１１および１２を参照すると、Ｓコンポーネントはこの極大値まで上昇するが、ＷコンポーネントおよびＬコンポーネントは、データの残りのオーナーシップ部分を奪い合う形になる。開示した例においては、データ値が安定してとどまることから、Ｗコンポーネントの寄与値がＬコンポーネントのそれよりすばやく増加し、一貫性のあるデータ値が受け取られるに従って緩やかに減少する。Ｗコンポーネントの、そのリセット値から最大値（コンポーネントＷ（ｔ_１）によって示される）までの初期増加があり、その後、Ｓモデルが信頼性を獲得し、その最大値に達すると、最小値（たとえば０．１５）まで後退する。ここで注意されたいが、比較的長い安定期間を仮定するとＬコンポーネントが非常に小さい値まで後退するが、それがゼロになることはない。

図１３を参照すると、１２から２４へのデータ値のジャンプとして示されている時間ｔ_１における短時間のオクルージョンが、ＳコンポーネントおよびＷコンポーネントの両方に関する寄与パラメータの縮小を招いている。より詳細には、データ値（つまり２４）がＳコンポーネントおよびＷコンポーネントの両方にとって分散の外になることから、データがアウトライアとして処理され、データ値のオーナーシップが優勢的にＬコンポーネントに割り当てられる。したがって、図１３の右側に示されているように、コンポーネントＬ（ｔ_５）に、いくらかの、より大きな、たとえば０．３５といった寄与パラメータが割り当てられる。この増加されたＬコンポーネントによるオーナーシップは、ＳおよびＷコンポーネントの寄与パラメータにおける縮小をもたらし、それらが、それぞれＳ（ｔ_５）およびＷ（ｔ_５）によって示されている。開示している実施態様においては、時間ｔ_５におけるデータ値がアウトライアと見なされることから、それがＳコンポーネントの平均および分散の再計算に使用されることはない。したがって、平均値μ_{Ｓ（ｔ５）}がデータ値１２にセンタリングされたままとどまり、分散がＳ（ｔ_４）（図１０参照）から変化しない。オクルージョンが取り除かれ（時間ｔ_６）、安定したデータが再び現れると、Ｓコンポーネントが再び信頼性を得て、その最大値に再び到達するまで（時間ｔ_７）その寄与パラメータが増加し、逆にＬコンポーネントが減少する。これにおいても注意が必要であるが、Ｗコンポーネントの平均は、以前のデータ値によって決定され、したがって時間ｔ_５においては平均μ_Ｗが１２にセンタリングされたままとどまり、その後、時間ｔ_６において２４にシフトし、さらにその後、時間ｔ_７において１２に戻る。

図１４に示されているように、図１３を参照して説明したオクルージョンとは対照的に、言い換えるとそのオクルージョンは、Ｓコンポーネントのデータ・パラメータを変化させなかったが、時間ｔ_６とｔ_１１の間における漸進的なデータの変化は、Ｓコンポーネントの平均値の移行をもたらし、標準偏差を増加させる。図１４に示した例は、Ｓコンポーネントの寄与パラメータが最大化されていることが前提となっており、そのため小さいデータ値の変化であってもＳモデルの信頼性を低下させ、関連する寄与パラメータの低減を招く。寄与パラメータが最大化されていなければ、新しいデータ値が以前に計算された平均と異なる場合であっても、それが実際に増加することもある。この例においては、時間ｔ_７とｔ_８の間におけるイメージ・データの変化（つまり、１２から１３への変化）がＳコンポーネントの標準偏差内に選択されていることから、Ｓコンポーネントのデータ・パラメータ（たとえば平均および標準偏差）が変化する。したがって、このイメージ・データの変化はアウトライアとして扱われることなく、新しい平均値μ_{Ｓ（ｔ８）}の計算に使用され、それが１２から１４に向かって漸進的にシフトされる。ここで注意が必要であるが、Ｓコンポーネントの寄与パラメータにおける減少は、データ値の変化に伴って平均値が移行するＷコンポーネントにおけるそれの増加によって説明される。イメージ・データが１４に再度安定してしばらくすると（たとえば時間ｔ_１０）、Ｓコンポーネントの信頼性が戻り、平均値が、コンポーネントＳ（ｔ_１１）によって示されるように、新しい安定した値にセンタリングされる。したがって、図１４に示されている例は、本発明に従って生成されるアピアランス・モデルのＳコンポーネントが、いかにして緩やかなイメージ・データの変化に適合し、それによって３Ｄオブジェクトの追跡を容易にしているかということを示している。

図１５および１６は、最後の例であり、それにおいてはイメージ・データが、１つの安定した値（たとえば時間ｔ_１１の１４）から別の安定した値（たとえば時間ｔ_１２の２４）へ大きく変化する。前述し、かつ図１５にも示したが、比較的大きなイメージ・データの変化の突然の出現は、ＷおよびＳコンポーネントの寄与パラメータにおける減少を生じさせ、Ｌコンポーネントの寄与にジャンプする。ここでも注意されたいが、新しいデータは、Ｓコンポーネントに関するデータ・パラメータ（平均および分散）の計算に含められない。データ値が２４に安定していることから、Ｓコンポーネントの寄与パラメータが継続的に降下し、Ｗコンポーネントが増加し始める（Ｌコンポーネントは減少する）。最終的に、Ｓコンポーネントの寄与パラメータが、あらかじめ決定済みのリセット値（図２のステップ２４５を参照されたい）より低くなり、その結果、時間ｔ_１５においてリスタートが生じるが、それが図１６に示されている。ここで、リスタートにおいては、平均値μ_{Ｓ（ｔ１６）}が、もっとも新しいデータ値（つまり２４）にセンタリングされていることに注意されたい。続くアピアランス・モデルの再構築は、図１０、１１、および１２を参照して前述した説明と基本的に同一である。

以上、単一データ値を参照してＷＳＬアピアランス・モデルの各種パラメータ応答について説明してきたが、次に、追跡システム１１０（図１参照）におけるＷＳＬアピアランス・モデルの実装に使用するコンポーネントの導出について説明する。より詳細には、以下に示すように、フィルタ／プロセッサ１５０によって実行されるフィルタリング／処理が、以下に示すようなステアラブル・ピラミッドを使用して実装される。それに加えて、動きエスティメータ１６０およびイメージ・ワーピング・ツール１７０によって実行される動き評価およびイメージ・ワーピング機能についても説明する。

イメージ・アピアランスのプロパティは数多く存在し、それをデータ・ストリームとして使用することが可能であり、それから追跡およびオブジェクトのサーチに関してアピアランス・モデルを学習させることができる。例としては、局所的カラー統計、マルチスケール・フィルタ応答、および局在化したエッジ断片を挙げることができる。この研究においては、適用されたステアラブル・フィルタ・ピラミッドの応答からデータ・ストリームが導かれた（つまりＧ_２およびＨ_２フィルタに基づいている；参照によりこれに援用している１９９１年のＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ（パターン解析および機械知能に関するＩＥＥＥトランザクション）１３：８９１〜９０６、Ｗ．Ｆｒｅｅｍａｎ（Ｗ．フリーマン）およびＥ．Ｈ．Ａｄｅｌｓｏｎ（Ｅ．Ｈ．アデルソン）による「Ｔｈｅ Ｄｅｓｉｇｎ ａｎｄ Ｕｓｅ ｏｆ Ｓｔｅｅｒａｂｌｅ Ｆｉｌｔｅｒｓ（ステアラブル・フィルタの設計および使用）」を参照されたい）。ステアラブル・ピラミッドは、異なるスケールおよび向きにおけるイメージの記述を提供し、粗から密への差分動き評価に、また異なるスケールならびに異なる空間的ロケーションにおける安定性、および異なるイメージの向きの分離に有用である。ここでは、Ｇ_２およびＨ_２フィルタを２つのスケールにおいて、すなわち８および１６ピクセル（２および４の因数によってサブサンプルされる）の波長に調整して使用し、それぞれのスケールは４つの向きを伴う。

フィルタ出力から、本発明者らは選択を行い、アピアランス・モデルとして位相構造の表現を維持した。これは、振幅の自然な度合いおよび照度の独立性を提供し、かつ位相ベースの方法によって得られる正確なイメージ・アライメントに関する忠実度を提供する（たとえば、参照によりこれに援用されている１９９３年のＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡＭＩ（ＰＡＭＩに関するＩＥＥＥトランザクション）１５（１２）：１２５３〜１２６８、Ｄ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）およびＡ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）による「Ｓｔａｂｉｌｉｔｙ ｏｆ Ｐｈａｓｅ Ｉｎｆｏｒｍａｔｉｏｎ（位相情報の安定性）」を参照されたい）。小さいフィルタ振幅に関連付けされる位相応答、あるいは引用したこれらの文献に説明されているテクニックに従って不安定であると見なされる位相応答は、アウトライアとして扱われた。

以下においては、イメージ・ピラミッドおよびターゲット領域Ｎ_ｔを考え、
ｄ_ｔ＝｛ｄ（ｘ，ｔ）｝_ｘ∈Ｎｔ
がその領域内の時間ｔにおけるすべてのフィルタからの位相観測のセットを示すものとする。また
Ａ_ｔ＝｛Ｍ（ｘ，ｔ），ｑ（ｘ，ｔ）｝_ｘ∈Ｎｔ
は、Ｎ_ｔのそれぞれの向き、スケールおよび空間ロケーションにおける位相のアピアランス・モデル全体を表すものとする。指数時間的な台Ｓ_ｔ（ｋ）の半減期は、ｎ_ｓ＝２０フレームにセットされた。オンラインＥＭエスティメータのそのほかのパラメータは：（１）［−π；π）において均一なアウトライア確率；（２）σ_ｗ＝０．３５πを伴う平均ゼロのガウシアンとなるように取られる、位相差におけるＷコンポーネントの標準偏差；および（３）Ｓコンポーネントの最小標準偏差、σ_ｓ，０＝０．１πである。後者のパラメータは、位相の使用に固有である。

次に本発明者らは、非剛体オブジェクトの追跡に関して、適応型位相ベースのアピアランス・モデルの振る舞いを立証する。この立証に関して、時間０における楕円領域Ｎ_０は、マニュアルで指定される。その後、追跡アルゴリズムが、経時的にＮ_ｔ内の支配的なイメージ構造を追跡する間に、イメージの動きおよびアピアランス・モデルの評価を行う。

動きは、フレーム対フレームのパラメータ化したイメージ・ワープに置き換えて表現される。より詳細には、ワープ・パラメータ
ｃ_ｔ
を考えたとき、フレームｔ−１におけるピクセル
ｘ
は、時間ｔにおけるイメージ・ロケーション
ｘ_ｔ＝ｗ（ｘ；ｃ_ｔ）
に対応し、それにおいて
ｗ（ｘ；ｃ_ｔ）
はワープ関数である。ここでは類似性変換が使用され、したがって、
ｃ_ｔ＝（ｕ_ｔ，θ_ｔ，ρ_ｔ）
は、それぞれ平行移動、回転およびスケール変換を記述する４次元ベクトルとなる。平行移動はピクセルにおいて、回転はラジアンにおいて指定され、スケール・パラメータは乗数を示すことから
η≡（０，０，０，１）
は、アイデンティティ・ワープである。追跡のために、ターゲット近隣が、各フレームにおいて動きパラメータによって前方に対流（つまりワープ）される。言い換えると、パラメータ・ベクトル
ｃ_ｔ
を考えた場合、Ｎ_ｔは、
ｗ（ｘ；ｃ_ｔ）
によるＮ_ｔ−１のワープによって提供される単なる楕円領域となる。このほかのパラメータ化されたイメージ・ワープ、およびこのほかのパラメータ化された領域表現を使用することもできる（たとえば、参照によりこれに援用されている１９９４年のＣＶＧＩＰ：Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ（イメージの理解）６０（２）：１１９〜１４０、Ｆ．Ｇ．Ｍｅｙｅｒ（Ｆ．Ｇ．メイヤー）およびＰ．Ｂｏｕｔｈｅｍｙ（Ｐ．バウスミー）による「Ｒｅｇｉｏｎ−Ｂａｓｅｄ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｍｏｄｅｌｓ ｉｎ Ｌｏｎｇ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ（長いイメージ・シーケンスにおけるアフィン動きモデルを使用した領域ベースの追跡）」を参照されたい）。

最適ワープを見つけるため、データのログ尤度ならびにログ−プライア（原文：ｌｏｇ−ｐｒｉｏｒ）の合計が（局所的に）最大化され、遅い、なめらかな動きに関するプレファレンスが提供される。上に概説した動きおよびアピアランス・モデルに関して言えば、データのログ尤度は、次式のように表すことができる。

これにおいては、表記の便宜上、以前のフレームからのデータをＤ_ｔ−１≡｛ｄ_{ｘ，ｔ−１}｝_{ｘ∈Ｎｔ−１}として表しているが、個別のデータは
ｄ_{ｘ，ｔ−１}≡ｄ（ｘ，ｔ−１）
である。同様に、参照している以前のフレームにワープ・バックされたカレント・データは、
ｄ_ｘ，ｔ≡ｄ（ｗ（ｘ；ｃ_ｔ），ｔ）
によって示され、最後に発明者らは、
Ａ_ｘ，ｔ≡（ｍ_{ｘ，ｔ−１}，ｑ_{ｘ，ｔ−１}）
を定義している。直感的に、このログ尤度は、次のように理解することができる：カレント・フレームｔにおけるデータが、パラメータ
ｃ_ｔ
に従ってフレームｔ−１の座標にワープ・バックされる。このワープ後のデータ
｛ｄ_ｘ，ｔ｝_{ｘ∈Ｎｔ−１}
のログ尤度が、その後、以前のフレーム内のターゲット領域
Ｎ_ｔ−１
の参照しているフレーム内のアピアランス・モデル
Ａ_ｔ−１
に関して演算される。

プライア（ｐｒｉｏｒ）が導入されて、主にオクルージョンが処理され、安定コンポーネントＳの持続性が利用される。発明者らは、時間ｔ−１における動き
ｃ_ｔ−１
に調和された動きパラメータ
ｃ_ｔ＝（ｕ_ｔ，θ_ｔ，ρ_ｔ）
に関する事前密度を、２つの４Ｄガウシアンの積となるように設定した。

最初のガウス因数は、その平均が単位元ワープ
η
に等しく、その共分散が
Ｖ_１≡ｄｉａｇ（８^２，８^２，０．０５^２，０．０１^２）
によって与えられる、遅い動きを優先する。２番目のガウシアンは、
Ｖ_２≡ｄｉａｇ（１，１，０．０２^２，０．０１^２）
を伴う、動き内の遅い変化を優先する。

ｃ_ｔ
を評価するために、与えられたログ尤度およびログ−プライアの合計を次式によって最大化する。

Ｅ（ｃ_ｔ）
の最大化は、参照によりこれに援用されている１９９３年６月にニューヨークで開催されたＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＥＥＥコンピュータの視覚およびパターン認識）ＣＶＰＲ−９３の会報７６０〜７６１ページにある「Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｏｐｔｉｃｌ Ｆｌｏｗ Ｃｏｍｐｕｔａｔｉｏｎ（オプティカル・フロー演算に関する混合モデル）」にＡ．Ｊｅｐｓｏｎ（Ａ．ジェプソン）およびＭ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊブラック）によって説明されているように期待−最大化（ＥＭ）アルゴリズムの単純な変形が使用される。これは、繰り返しの粗−密アルゴリズムであり、この方法の局所的な最小値内へのトラップのコントロールに使用されるアニーリングを伴う。簡単に述べると、Ｅ−ステップが逆方向ワープ済みデータ
Ｄ_ｔ
に関するオーナーシップ確率を、前述の式（３）にあるように決定する。Ｍ−ステップは、これらのオーナーシップを使用して
ｃ_ｔ
に対する更新に関する線形連立系を構成する。線形連立系のこれらのコンポーネントは、ＷおよびＳプロセスに関するオーナーシップ確率によって重み付けされる動き制約から獲得される。

ここでは、ＥＭアルゴリズムの導出が、次式を満足する
Ｅ（ｃ_ｔ）
の極値を用いて開始する。

ｄ_ｘ，ｔ≡ｄ（ｗ（ｘ；ｃ_ｔ），ｔ）
によって示されるワープ後のデータを用いると、式（１０）にあるようなログ尤度の導関数は次式のようになる。

単位元を利用すると
∂（ｌｏｇ（ｆ（ｘ））／∂ｘ＝１／ｆ（ｘ）（∂（ｆ（ｘ））／∂ｘ）
となり、式（１）に従って尤度関数を拡張すると、式（１４）は次のように簡略化される。

最後に、オーナーシップ確率を次のように定義し、
ログ尤度のグラディエントに関する式が次のように簡略化される。

式（１６）と、式（１１）から簡単に導かれるログ−プライアとを結合すると、次のように目的関数のグラディエントの式が提供される。

ＥＭアルゴリズムは、
Ｅ（ｃ_ｔ）
の最大化のための反復法である。Ｅ−ステップにおいて、動きパラメータに関するカレント推測値を
ｃ_ｔ
とすると、オーナーシップ確率、
ｏ_ｗ（ｄ_ｘ，ｔ）
および
ｏ_ｓ（ｄ_ｘ，ｔ）
は、動きパラメータを固定したまま計算される。続くＭ−ステップにおいては、動きパラメータに対する更新
δｃ
が、オーナーシップ確率を一定に維持して目的関数を最大化することによって評価される。

ところで、Ｍ式は直接解くことができない。それに代えて、グラディエント−ベースの制約を用いてしばしばオプティカル・フローが評価される方法と同様に、近似の目的関数が最大化される。近似関数
□（δｃ；ｃ_ｔ）
は、動きパラメータに関する初期推測
ｃ_ｔ
についてカレント観測を線形化することによって得られる。より詳細には、
ｄ（ｗ（ｘ；ｃ_ｔ），ｔ）
が、
ｃ_ｔ
に関して取られるその１次のテーラー級数によって近似される。より数式的には、
となり、それにおいては、
∇ｄ（ｘ，ｔ）≡（ｄ_ｘ（ｘ，ｔ），ｄ_ｙ（ｘ，ｔ））
が、データ観測の空間的な部分導関数を示し、
Ｗ＝δｗ／δｃ_ｔ
が、
ｃ_ｔ
におけるワープ・マップの２×４ヤコビアンを示す。

ｄ（ｗ（ｘ；ｃ_ｔ＋δｃ），ｔ）
に関するこの近似を目的関数に代入することによって、アピアランス・モデルの安定コンポーネントに関する次の式が得られる。

これにおいて、
δｄ_ｓ≡ｄ（ｗ（ｘ；ｃ_ｔ），ｔ）−μ_ｓ，ｔ、
ｑ＝（μ_ｓ，ｔ，σ_ｓ，ｔ）
は、アピアランス・モデルのＳコンポーネントの平均および標準偏差であり、かつ
∇ｄ＝∇ｄ（ｗ（ｘ；ｃ_ｔ），ｔ）
であり、κ_ｓは、
ｃ_ｔ
とは独立した定数である。同様に、アピアランス・モデルのＷコンポーネントについては次式が得られる。

これにおいて、
δｄ_ｗ≡ｄ（ｗ（ｘ；ｃ_ｔ），ｔ）−ｄ（ｘ，ｔ−１）−ｄ（ｗ（ｘ，ｔ−１））
であり、かつκ_ｗは、
ｃ_ｔ
とは独立した定数である。

これらの線形化を用いると、近似目的関数が次式によって与えられる。

これにおいてκは、
ｃ_ｔ
とは独立した定数である。近似目的関数が更新
δｃ
に関する２次式であることから、その導関数は、次に示すように
δｃ
に関する線形連立方程式をもたらす。

これに代えて、結果として得られる更新
δｃ
に関する線形方程式を次のように記述することができる。

これにおいてＡ_ｉは４×４のマトリクスであり、各
ｂ_ｉ
は、ｉ＝ｗ，ｓ，ｐに関する４次元ベクトルである。

この連立方程式の各線形方程式は、それぞれＷおよびＳコンポーネントに関するオーナーシップ確率によって重み付けされた、異なる動き制約から作られる。式（２３）におけるεは、Ｗコンポーネント制約に関する重み付け因数である。式（２１）の近似目的関数の最大化に関する数学的に適正なＭ−ステップは、重みε＝１を使用することになろう。発明者らは、ε＝１／ｎの因数により、Ｗコンポーネントによって所有されている制約のダウン・ウェイトを行うと有用であることを発見し、それにおいてｎ_ｓは、アピアランス・モデル内において使用される指数時間ウインドウの半減期である。それに加えて、Ｄ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）およびＡ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）による「Ｓｔａｂｉｌｉｔｙ ｏｆ Ｐｈａｓｅ Ｉｎｆｏｒｍａｔｉｏｎ（位相情報の安定性）」（上記引用）を使用して帯域信号で発生する局所的位相不安定性を検出する。局所的位相観測ｄ_ｘ，ｔが不安定であると考えられるときは、常に対応するグラディエント制約が未定義になり、式（２３）に含められることはない。時間ｔ−１における不安定な観測を、カレント・ワープの下に時間ｔにおける良好な観測にマップすると、尤度
ｐ_ｗ（ｄ_ｘ，ｔ，ｄ_{ｘ，ｔ−１}）
が未定義になる。それに代えて、以前の観測が不安定と考えられるとき、ｐ_ｗ＝０，０５を使用する。また、それらの場合においては、対応するＷコンポーネントの制約を、εを０にセットすることによって線形連立系から除去する。

実際上は、局所的な最小値にはまり込むことを回避する補助のために、粗−密ストラテジを伴うＥＭアルゴリズムおよび決定論的アニーリングを、動きパラメータの当てはめに適用することが有用である（たとえば、参照によりこれに援用されている１９９３年６月にニューヨークで開催されたＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＥＥＥコンピュータの視覚およびパターン認識）ＣＶＰＲ−９３の会報７６０〜７６１ページにあるＡ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）およびＭ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊ．ブラック）による「Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｏｐｔｉｃｌ Ｆｌｏｗ Ｃｏｍｐｕｔａｔｉｏｎ（オプティカル・フロー演算に関する混合モデル）」を参照されたい）。ワープ・パラメータに関する初期推測は、定速モデルを基礎とし、その結果、初期推測は、単純に以前のフレームからの評価済みワープ・パラメータに等しくなる。アニーリングのために、ＳおよびＷコンポーネントに関する式（２２）のオーナーシップならびにグラディエントの演算における分散σ^２ _ｓ，ｔおよびσ^２ _ｗの使用に代えて、パラメータσ_ｓおよびσ_ｗが使用される。ＥＭアルゴリズムの各繰り返しにおいては、これらの値が以下に従って減少する。

これにおいて
σ_ｓ
および
σ_ｗ
は、カレントのＥＭの繰り返しにおいて獲得された動き評価を前提とする、ＳコンポーネントおよびＷコンポーネントの位相差の、全近隣Ｎ_ｔにわたる最大尤度分散評価である。分散が最小値に達すると、アニーリングがオフになり、それらは、カレントの動きパラメータに従った揺動が許される。さらに、Ｓコンポーネントの分散が、各ＥＭの繰り返しにおけるデータ観測の空間的集合に従って減少することから、オーナーシップおよび尤度グラディエントの演算における各個別の観測に使用される分散は、対応する分散σ^２ _ｓ，ｔより低くなることができない。

最後に、ワープ・パラメータ
ｃ_ｔ
が決定された後は、アピアランス・モデルＡ_ｔ−１が
ｃ_ｔ
によって指定されるワープを使用して、カレント時間ｔに向かって前方に対流（ワープ）される。このワープを行うために、区分的な定数の補間値（原文：ｉｎｔｅｒｐｏｌａｎｔ）が、ＷＳＬ状態変数
ｍ（ｘ，ｔ−１）
および
σ_ｓ（ｘ，ｔ−１）
に関して使用される。この補間は、安定プロセスに関する平均
μ（ｘ，ｔ−１）
の補間への使用には粗すぎることが予測されたため、区分的な線型モデルを使用して平均の補間が行われている。この補間に関する空間位相グラディエントは、イメージ・ピラミッドのサンプリング・グリッド上の希望ロケーション
ｘ
に対する最近ピクセルにおけるフィルタ応答のグラディエントから決定される（参照によりこれに援用されている１９９１年のＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ（コンピュータの視覚およびイメージの理解）５３（２）：１９８〜２１０にあるＤ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）、Ａ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）およびＭ．Ｊｅｎｋｉｎ（Ｍ．ジェンキン）による「Ｐｈａｓｅ−Ｂａｓｅｄ Ｄｉｓｐａｒｉｔｙ Ｍｅａｓｕｒｅｍｅｎｔ（位相ベースの不同測定）」を参照されたい）。

上に示したようにＷＳＬアピアランス・モデルを使用する追跡システムが、発明者らによって、Ｕｎｉｘ（登録商標）（読み：ユニックス（登録商標））オペレーティング・システムで動作するＳＵＮ（読み：サン）ワークステーションを使用して実装され、ＭａｔｌａｂＰｙｒＴｏｏｌｓおよびＭａｔＬａｂソフトウエア・ツールボックスの１ないしは複数を使用してＣプログラミング言語により記述された。この実装された追跡システムのパフォーマンスを記述する各種の例について次に説明する。

図１７〜１９は、第１の方向に歩行中（イメージ・フレーム内を左から右；図１７）の対象がカメラの方向に振り返り（図１８）、続いて逆方向に歩いて行く（つまり右から左；図１９）シーケンスから抽出したイメージを示している。この例は、Ｓコンポーネントが、３Ｄターゲット・オブジェクト（たとえば対象の頭部）の回転によって生じる漸進的なひずみに適合し得ることを例示している。図１７〜１９において、色が薄くなっている楕円は、最初のフレーム内においてマニュアルで選択された選択領域を示している。この楕円が、振り返るプロセスの間にわたって対象の頭部に貼り付いていることは、追跡が成功していることを表す。

図２０〜２５に例証されているように、追跡システムの成功は、対象の振り返り全体を通じて安定したイメージ構造を識別するＳコンポーネントの能力に大きく影響される。図２０および２１は、図１７のイメージ・フレームによって生成された複数のデータ・ストリームに関する混合確率および平均値をそれぞれ示している。図２０の色の濃い領域は、密に詰まっている比較的高い混合確率値（安定した構造を意味する）の領域を示し、色の薄い領域は低い混合確率値（不安定な構造を意味する）を示す。領域１１１０および１１２０内に示されるように、高度に安定した構造は、それぞれ対象の目および耳に関連付けされた高コントラストのエリア内において識別されている。図２２および２３は、対象の振り返り（図１８に示されている）に従って生じる混合確率および平均値に対する変化を示している。ここで注意が必要であるが、目の領域１２１０および耳の領域１２２０内の混合確率がそれぞれ高く、これらの領域内においては安定したイメージ・データが維持される。最後の図２４および２５は、対象の振り返りが完了（図１８に示されている）した後の混合確率および平均値に対する変化を示している。ここでは、数が大きく縮小されているにもかかわらず、目の領域１３１０および耳の領域１３２０から充分に安定したデータが獲得され、追跡の成功が促進されていることに注意されたい。

図２６および２７は、合成イメージであり、サイズおよび証明条件の著しい変化に抗して追跡システムの動きおよびアピアランスの結合評価が安定していることを示している。現在の方法にとってさらに困難なことは、ターゲット領域が（時々）小さくなること、および背景の動きからの、オブジェクトの動きの分離が小さいこと（フレーム当たり１ピクセル程度）である。また、ターゲット領域の概略半分に、茂みによるオクルージョンが時々生じている。カメラは、撮影の間にわたって静止しており、シーケンスは、それぞれ概略で２５０フレームである。図２６および２７に図示されている２つのランは、最後のフレームに重畳された選択フレームに関して、ターゲット領域を強調して示している。

図２８〜４３は、部分的なオクルージョンに応答した追跡システムの振る舞いを例示している。図２８、３２、３６、および４０は、対象がオクルージョンの生じていない初期状態（図２８）から、看板によって部分的なオクルージョンを生じ（図３２および３６）、最終的に看板の後方に再度現れる状態（図４０）まで移動する間のシーケンスから選択したイメージ・フレームである。図２９〜４１は、混合確率
ｍ_ｓ（ｘ，ｔ）
をプロットしており、図３０〜４２は、平均
μ_ｓ（ｘ，ｔ）
をプロットしており、図３１〜４３は、Ｓコンポーネントに関するオーナーシップ
ｏ_ｓ，ｔ（ｘ，ｔ）
をプロットしている。

図２８〜３１は、約７０フレームの後の処理を示している。ｍ_ｓ，ｔおよびｏ_ｓ，ｔに関する著しい応答（図２９および３１）は、アピアランス・モデルが、通常はオブジェクト境界の内側となる、安定した構造の識別に成功したことを立証している。看板によって対象の部分的なオクルージョンが生じている図３２〜３５および３６〜３９を参照すると、
ｍ_ｓ（ｘ，ｔ）
は、データのサポートがないことからオクルージョンの生じている領域内においてなめらかに減衰しているが、平均
μ_ｓ（ｘ，ｔ）
は、ｍ_ｓがプロットのスレッショルドより低く落ちるまで概略で一定に保たれている。これは、アピアランス・モデルの持続性を明確に例証している。図３６〜３９は、オクルージョンから約２０フレーム後の（ここで、このモデルの半減期がｎ_ｓ＝２０であったことを思い出されたい）対象およびアピアランス・モデルを示しており、その時点まで、Ｓコンポーネント内のより弱いデータ・ポイントが消失している。しかしながら、このモデルは、このオクルージョンの発生を通じて追跡を継続しており、対象の見えている部分上（たとえば領域１７１０；図３９）に安定したモデルを維持している。図４０〜４３においては、オクルージョンの背後から人物が現れたとき、消散された安定したモデルをアピアランス・モデルが再構築している。

図４４〜５２は、図１９Ａ〜４６に示されている一連のイメージ内に現れている表情の変化等の、非剛体（たとえば自然）オブジェクトのイメージ内における安定したプロパティを追跡し、識別し得るＷＳＬアピアランス・モデルの能力を例示している。前述の例の場合と同様に、図４７、４９、および５１は、Ｓコンポーネントの混合確率を示し、図４７、４９、および５１は、それぞれの平均値を示している。図４７を参照すると、最初に口の領域２０１０が比較的安定であるとして識別されていることに気付く。図４９においては、対象がほほえんだ直後に、口の領域２０１０の安定性が大きく弱められている（より色の薄いシェーディングによって示されている）。図９１に示されているように、約２０フレームの間にわたって新しい表情が維持された後は、口の領域２０１０における安定性が再確立される。眉等の顔の残りの部分も類似の振る舞いを呈する。その逆に、生え際近傍および鼻のｍ_ｓの値は、これらのイベント全体を通じて増加を続け、それらが持続的に安定していること、および全体として頭部が正確に追跡されていることを示している。

以上、１ないしは複数の具体的な実施態様との関係から本発明を説明してきたが、この説明は、いかなる意味においても本発明を限定する意図ではない。すなわち、ここに説明した本発明には、付随する特許請求の範囲内に含まれる、当業者にとって明らかなすべての修正および変形を包含することが意図されている。

Claims (3)

1. 複数の連続したイメージフレーム内に提供されるイメージデータを使用するアピアランスモデルを生成するための方法であって、
   前記アピアランスモデルが、第１の混合確率及び比較的多数の連続したイメージフレーム内に提供されるイメージデータによって定義される第１のデータパラメータを含む安定コンポーネントによって定義され、かつ前記アピアランスモデルが、第２の混合確率及び比較的少数の連続したイメージフレーム内に提供されるイメージデータによって定義される第２のデータパラメータを有する推移コンポーネントを包含し、
   前記方法が、
   複数の連続したイメージフレームの、もっとも新しいイメージフレームに対応するイメージデータを受け取り、
   前記安定コンポーネントに関する第１の尤度値及び前記推移コンポーネントに関する第２の尤度値の決定であって、前記第１の尤度値が前記イメージデータと前記第１のデータパラメータの間における相対的な一致を示し、第２の尤度値が前記イメージデータと前記第２のデータパラメータの間における相対的な一致を示すものとし、
   前記第１および第２の尤度値をそれぞれ使用して、前記安定コンポーネントの前記混合確率及び前記推移コンポーネントの前記第２の混合確率を更新する、
   各ステップを含む方法。
2. 選択されたターゲットオブジェクトを追跡するための方法であって、
   前記ターゲットオブジェクトに関連付けされたイメージデータを含むカレントイメージフレームを受け取り、
   ターゲットオブジェクトの動きを、時間的に前記カレントイメージフレームに先行する比較的多数のイメージフレームにわたって受け取られたイメージデータによって定義されるパラメータを有する第１のイメージコンポーネント及び時間的に前記カレントイメージフレームに先行する比較的少数の連続するイメージフレームにわたるイメージデータによって定義されるパラメータを有する第２のイメージコンポーネントを含む適応型アピアランスモデルを使用して評価し、
   前記第１及び第２のイメージコンポーネントを更新する、
   各ステップを含む方法。
3. プロセッサによりコントロールされるマシン上に実装される、複数の連続したイメージフレーム内に現れるオブジェクトを識別するための適応型アピアランスモデルであって、
   比較的多数の連続したイメージフレームにわたって安定を保つイメージデータによって定義されるパラメータを有する第１のイメージコンポーネントと、
   比較的少数の連続したイメージフレームによって定義されるパラメータを有する第２のイメージコンポーネントを含み、かつ
   複数の連続したイメージフレームのカレントイメージフレームを受け取った後に、前記第１のイメージコンポーネントを更新するための手段と、
   を包含する適応型アピアランスモデル。