JP2003196661A - 視覚型動き解析及び視覚型追跡のためのアピアランスモデル - Google Patents

Abstract

(57)【要約】 【課題】 複雑な自然オブジェクトの動きベースの追跡
のための堅牢な適応型アピアランス・モデルを提供す
る。 【解決手段】 アピアランス・モデル１２０は、長い時
間経過にわたって学習される安定モデル・コンポーネン
ト（Ｓ）、および比較的短い時間経過（たとえば２−フ
レームの動きコンポーネント（Ｗ）および／またはアウ
トライア処理コンポーネント（Ｌ））にわたって学習さ
れる推移コンポーネント（Ｗ／Ｌ）を含む。オンライン
ＥＭアルゴリズムが使用されて、経時的にアピアランス
・モデル・パラメータの適応が行われる。このアプロー
チの実装は、ステアラブル・ピラミッドからのフィルタ
応答に基づいて展開されている。アピアランス・モデル
は、動きベースの追跡アルゴリズム１１０内において使
用され、オクルージョンによって生じるようなイメージ
のアウトライアに抗して堅牢性を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、概して、アピアラ
ンス・モデルを生成し、かつ更新するためのプロセッサ
−ベースのテクニックに関し、より詳細には、複数のモ
デル・コンポーネントを使用してアピアランス・モデル
を生成するためのプロセスに関する。

【０００２】

【従来の技術】自動化された視覚型追跡システムがしば
しば使用されて、一連のイメージ・フレーム内に現れる
ターゲット・イメージの追跡が行われる。概して、ター
ゲット・オブジェクトが識別された後は、追跡システム
が、当該ターゲット・オブジェクトを背景ならびにその
ほかの非ターゲット・イメージ・データから区別するこ
とによって、連続するそれぞれのイメージ・フレーム内
における当該ターゲット・オブジェクトのポジションを
決定する。この種の追跡システムは、しばしば動き評価
アルゴリズムを使用し、新しい（カレント）イメージ・
フレーム内のターゲット・オブジェクトの動きを、当該
新しいフレームに先行する２ないしはそれを超える数の
イメージ・フレーム内におけるターゲット・オブジェク
トの動きのパターンを解析することによって予測してい
る。

【０００３】必ずしもそれそのものとして述べられては
いないが、従来の動き評価および追跡システムは、何ら
かの形式のアピアランス・モデルを具体化しており、そ
れが使用されて各イメージ・フレーム内のターゲット・
オブジェクトが識別される。概して、アピアランス・モ
デルは、ターゲット・オブジェクトの記述であって、動
き評価／追跡システムは、それを使用して、各イメージ
・フレーム内のターゲット・オブジェクトを、当該ター
ゲット・オブジェクトを囲む非ターゲット・オブジェク
トから区別することができる。ターゲット・オブジェク
トがロケーションを変化させるとき、動き評価／追跡シ
ステムは、アピアランス・モデルによって提供されるす
でに確立済みの記述を満足する新しいフレームの領域を
識別することにより、それぞれの新しいロケーションを
識別する。

【０００４】動き評価および追跡システムのパフォーマ
ンスを制限する主要な要因の１つは、アピアランス・モ
デルがターゲット・オブジェクトのアピアランスの変化
に対する適応に失敗することである。３次元（３Ｄ）空
間内に配置された３Ｄターゲット・オブジェクトによっ
て２次元イメージ・フレーム内に伝えられるイメージ
は、通常、ターゲット・オブジェクトとイメージ・フレ
ーム生成デバイス（たとえばカメラ）の間の相対的な変
位によってもたらされるイメージのひずみの影響を受け
る。たとえば、カメラとターゲット・オブジェクトのポ
ジションの間の距離が変化するとターゲット・オブジェ
クトのサイズがより大きく、またはより小さくなる。同
様に、形状および／またはターゲット・オブジェクトか
ら反射される光についても、通常、カメラに対する相対
的なターゲット・オブジェクトの向きの変化（たとえば
ターゲット・オブジェクトまたはカメラの回転もしくは
平行移動）に起因して変化する。それに加えて、非ター
ゲット・オブジェクトによるターゲット・オブジェクト
の部分的もしくは完全なオクルージョン（つまり、ター
ゲット・オブジェクトとカメラの間への介挿）が発生し
た場合にもイメージのひずみを生じる。さらに、複雑な
自然オブジェクト（つまり、アピアランスが、顔の表情
等の、ターゲット・オブジェクトとカメラの間における
相対的な変位と独立した変化の影響を受けやすいオブジ
ェクト）が、追加のアピアランスのバリエーションをも
たらし、それについてもアピアランス・モデルによって
説明が得られなければならない。以下に追加の詳細を述
べるが、テンプレート・マッチング・モデル、グローバ
ル統計モデル、２−フレームの動き評価、および時間的
にフィルタリングされた動き補償イメージ・モデルとい
った従来のアピアランス・モデルは、これらのひずみの
１ないしは複数の説明に失敗しており、その結果、動き
評価および追跡システムが最終的にターゲット・オブジ
ェクトの追跡を逃している。

【０００５】テンプレート・マッチング・アピアランス
・モデルは、ターゲット・オブジェクトの、あらかじめ
学習済みの固定イメージ・モデル（「テンプレート」）
であり、それが追跡システムによって使用されて、イメ
ージ・フレーム内のターゲット・オブジェクトが識別
（「マッチング」）され、それによってそのロケーショ
ンが決定される。この種の追跡システムは、短期間（つ
まり、ターゲット・オブジェクトのアピアランスが固定
イメージ・モデルと無矛盾を維持する間）にわたって信
頼に足るものとなり得るが、多くの応用に共通して生じ
る、より長い期間にわたるターゲット・オブジェクトの
アピアランスの変化に良好に対処できない。これらの追
跡システムの信頼性は、テンプレート内において各ピク
セルの変動性を表現することによって改善することがで
きる（特許文献１参照）。しかしながら、追跡に先行し
て学習段階が必要となり、そこではトレーニング・イメ
ージ・データに関して各ピクセルにおけるイメージの輝
度の分散の評価が行われる。

【０００６】追跡システムの信頼性は、アピアランスの
部分空間モデルの使用を伴って強化されることもある
（たとえば、特許文献２参照）。一般に基本コンポーネ
ント解析を用いて学習されるこの種のビュー・ベースの
モデルは、ポーズおよび照明におけるバリエーションの
モデリングに利点を有する。これらは、サーチだけでな
く、逐次追跡にも使用することができる。しかしながら
同時にそれらは、それらがオブジェクト固有であるとい
う不利点、および部分空間の学習のために追跡に先行し
て行われるトレーニングを必要とするという不利点も有
している。

【０００７】カラー・ヒストグラム等のローカルならび
にグローバル・イメージ統計も、ターゲット・オブジェ
クトの追跡のための粗いアピアランス・モデルとして使
用されてきた（たとえば特許文献３参照）。これらのア
ピアランス・モデルは、イメージのひずみおよびオクル
ージョンが生じたときの堅牢性を提供し、学習が高速で
あり、かつサーチだけでなく追跡に使用することもでき
る。しかしながら、グローバルな統計的記述は、アピア
ランスの空間構造が欠けている；言い換えると、多数の
類似するカラー・ピクセル（たとえば、高い比率の赤お
よび青のピクセル）をそれらのカラー・ピクセルの空間
的な関係（たとえば、青いズボンの上に配置される赤い
シャツのイメージに関連付けされる青ピクセルのグルー
プの上に垂直に配置される赤ピクセルのグループ）から
区別する能力に欠けている。この表現能力の欠如は、多
くの場合にグローバルな統計的記述の、ターゲット・オ
ブジェクトにアピアランス・モデルを正確にレジストす
る能力を制限する。それに加えて、これらの粗いアピア
ランス・モデルは、類似の統計を近隣の領域と共有する
注目領域内におけるオブジェクトの正確な追跡に失敗す
る可能性も有する。

【０００８】動きベースの追跡方法は、時間を通して動
き評価を調整する。２−フレームの動き評価の場合は、
それぞれの連続するフレームのペアの間において動きが
計算される。それぞれの連続するフレームのペアの間に
おいて動きが計算されることから、動きベースの追跡シ
ステムによって使用されるアピアランスの唯一のモデル
は、最後のフレーム内の注目領域内におけるターゲット
・オブジェクトのアピアランスである。その結果、この
方法の誤差は、時間とともに急速に累積される可能性が
ある。２−フレームの動き評価におけるアピアランス・
モデルは、アピアランスの急な変化に適応することがで
きる。しかしながら、ターゲット・オブジェクトがアピ
アランスをすばやく変化させるときには、しばしばアピ
アランス・モデルがターゲット・オブジェクトからドリ
フトして離れる。その結果、しばしば注目領域がターゲ
ット・オブジェクトからスライドして、背景もしくは別
のオブジェクト上にはずれる。これは、特に、ターゲッ
ト・オブジェクトと背景の動きが類似しているときに問
題をもたらすものとなる。

【０００９】動きベースの追跡方法は、時間的に適応型
アピアランス・モデルを蓄積することによって改善され
た。実際、最適動き評価を、同時的な動きおよびアピア
ランス両方の評価として公式化することが可能である
（特許文献４参照）。この意味においては、前述の学習
済みの部分空間アプローチと同様に、最適動き評価が、
時間を通じて獲得されるアピアランス・モデルに対して
イメージをレジストすることによって達成される。たと
えば、安定化後のイメージのシーケンスを、動き評価か
ら形成し、アピアランス・モデルを学習させることがで
きる。この安定化後のイメージ・シーケンスは、ＩＩＲ
ロー・パス・フィルタ等の再帰ロー・パス・フィルタを
用いてスムージングし、いくつかのノイズの除去および
もっとも新しいフレームのアップ・ウェイトを行うこと
ができる。しかしながら、線形フィルタリングは、オク
ルージョンおよび局所的なアピアランスのひずみに関し
て堅牢性をもたらす安定性の尺度を提供しない。

【００１０】

【非特許文献１】２０００年６月にヒルトン・ヘッドで
開催されたＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃ
ｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒ
ｎ Ｒｅｃｏｇｎｉｔｉｏｎ（コンピュータの視覚およ
びパターン認識に関するＩＥＥＥ会議）の会報、第Ｉ
巻、１８５〜１９２ページにあるＢ．Ｆｒｅｙ（Ｂ．フ
レイ）による「Ｆｉｌｌｉｎｇ ｉｎ Ｓｃｅｎｅｓ
ｂｙ Ｐｒｏｐａｇａｔｉｎｇ Ｐｒｏｂａｂｉｌｉｔ
ｉｅｓ Ｔｈｒｏｕｇｈ Ｌａｙｅｒｓ ｉｎｔｏＡｐ
ｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ（レイヤを介したアピ
アランス・モデル内への確率の伝播によるシーン内のフ
ィリング）」

【非特許文献２】１９９８年のＩｎｔｅｒｎａｔｉｏｎ
ａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉ
ｓｉｏｎ（インターナショナル・ジャーナル・オブ・コ
ンピュータ・ビジョン）２６（１）：６３〜８４にある
Ｍ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊ．ブラック）およびＡ．
Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）による「Ｅｉ
ｇｅｎＴｒａｃｋｉｎｇ： Ｒｏｂｕｓｔ Ｍａｔｃｈ
ｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ａｒｔｉｃ
ｕｌａｔｅｄ Ｏｂｊｅｃｔｓ ｕｓｉｎｇ ａ Ｖｉ
ｅｗ Ｂａｓｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（固
有追跡：ビュー−ベース表現を使用する連節オブジェク
トの堅牢なマッチングおよび追跡）」

【非特許文献３】１９９８年６月にサンタバーバラで開
催されたＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏ
ｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ
Ｒｅｃｏｇｎｉｔｉｏｎ（コンピュータの視覚および
パターン認識に関するＩＥＥＥ会議）の会報、２３２〜
２３７ページにあるＳ．Ｂｉｒｃｈｆｉｅｌｄ（Ｓ．バ
ーチフィールド）による「Ｅｌｌｉｐｔｉｃａｌ Ｈｅ
ａｄ ＴｒａｃｋｉｎｇＵｓｉｎｇ Ｉｎｔｅｎｓｉｔ
ｙ Ｇｒａｄｉｅｎｔｓ ａｎｄ ＣｏｌｏｒＨｉｓｔ
ｏｇｒａｍｓ（明暗度グラディエントおよびカラー・ヒ
ストグラムを使用する長円頭部追跡）」

【非特許文献４】２００１年、ケンブリッジ、ＭＩＴプ
レスのＰｒｏｂａｂｉｌｉｓｔｉｃ Ｍｏｄｅｌｓ ｏ
ｆ ｔｈｅ Ｂｒａｉｎ： Ｐｅｒｃｅｐｔｉｏｎ ａ
ｎｄ Ｎａｔｕｒａｌ Ｆｕｎｃｔｉｏｎ（脳の蓋然論
的モデル：知覚および自然関数）の８１〜１００ページ
にあるＹ．Ｗｅｉｓｓ（Ｙ．バイス）およびＤ．Ｊ．Ｆ
ｌｅｅｔ（Ｄ．Ｊ．フリート）による「Ｖｅｌｏｃｉｔ
ｙ Ｌｉｋｅｌｉｈｏｏｄｓ ｉｎ Ｂｉｏｌｏｇｉｃ
ａｌ ａｎｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ（生物学
的およびマシンの視覚における速度尤度）」

【００１１】

【発明が解決しようとする課題】必要とされているもの
は、複雑な自然オブジェクトの動きベースの追跡のため
の堅牢な適応型アピアランス・モデルである。そのアピ
アランス・モデルは、緩やかに変化するアピアランスを
はじめ、観測されるイメージ構造の安定性の自然な評価
の、追跡の間にわたる維持に適応する必要がある。また
アピアランス・モデルは、オクルージョン、著しいイメ
ージのひずみ、および顔の表情ならびに衣類に伴って生
じるような自然なアピアランスの変化に関して堅牢であ
る必要がある。アピアランス・モデルのフレームワーク
は、局所的な特徴追跡等の可能性のある各種応用に関す
る追跡および正確なイメージ・アライメントをサポート
し、かつ人体の肢等の相対的なアライメントおよびポジ
ションが重要になるモデルの追跡をサポートする必要が
ある。

【００１２】

【課題を解決するための手段】本発明は、複数の連続し
たイメージフレーム内に提供されるイメージデータを使
用するアピアランスモデルを生成するための方法であっ
て、前記アピアランスモデルが、第１の混合確率及び比
較的多数の連続したイメージフレーム内に提供されるイ
メージデータによって定義される第１のデータパラメー
タを含む安定コンポーネントによって定義され、かつ前
記アピアランスモデルが、第２の混合確率及び比較的少
数の連続したイメージフレーム内に提供されるイメージ
データによって定義される第２のデータパラメータを有
する推移コンポーネントを包含し、前記方法が、複数の
連続したイメージフレームの、もっとも新しいイメージ
フレームに対応するイメージデータを受け取るステップ
と、前記安定コンポーネントに関する第１の尤度値及び
前記推移コンポーネントに関する第２の尤度値の決定で
あって、前記第１の尤度値が前記イメージデータと前記
第１のデータパラメータの間における相対的な一致を示
し、第２の尤度値が前記イメージデータと前記第２のデ
ータパラメータの間における相対的な一致を示すものと
するステップと、前記第１および第２の尤度値をそれぞ
れ使用して、前記安定コンポーネントの前記混合確率及
び前記推移コンポーネントの前記第２の混合確率を更新
するステップを含む。

【００１３】また、本発明は、選択されたターゲットオ
ブジェクトを追跡するための方法であって、前記ターゲ
ットオブジェクトに関連付けされたイメージデータを含
むカレントイメージフレームを受け取るステップと、タ
ーゲットオブジェクトの動きを、時間的に前記カレント
イメージフレームに先行する比較的多数のイメージフレ
ームにわたって受け取られたイメージデータによって定
義されるパラメータを有する第１のイメージコンポーネ
ント及び時間的に前記カレントイメージフレームに先行
する比較的少数の連続するイメージフレームにわたるイ
メージデータによって定義されるパラメータを有する第
２のイメージコンポーネントを含む適応型アピアランス
モデルを使用して評価するステップと、前記第１及び第
２のイメージコンポーネントを更新するステップを含
む。

【００１４】また、本発明の適応型アピアランスモデル
は、プロセッサによりコントロールされるマシン上に実
装される、複数の連続したイメージフレーム内に現れる
オブジェクトを識別するための適応型アピアランスモデ
ルであって、比較的多数の連続したイメージフレームに
わたって安定を保つイメージデータによって定義される
パラメータを有する第１のイメージコンポーネントと、
比較的少数の連続したイメージフレームによって定義さ
れるパラメータを有する第２のイメージコンポーネント
を含み、かつ、複数の連続したイメージフレームのカレ
ントイメージフレームを受け取った後に、前記第１のイ
メージコンポーネントを更新するための手段とを包含す
る。

【００１５】

【発明の実施の形態】本発明は、コンピュータまたはワ
ークステーションによって生成され、かつ更新され、当
該コンピュータ／ワークステーションが読むことのでき
る１ないしは複数のメモリ・デバイスにストアされたパ
ラメータによって定義されるアピアランス・モデルに指
向されている。アピアランス・モデルの動作について
は、以下に、追跡システムとの関連から説明し、本発明
の有益な特徴がいかにして複雑な自然のオブジェクトの
動きベースの追跡を容易にするかということを例証す
る。しかしながら、追跡システムの範囲において説明さ
れてはいるものの、本発明のアピアランス・モデルが、
この機能に限定されることはなく、別の目的にも使用さ
れる可能性もある。たとえば、アピアランス・モデルを
使用して、複雑な自然のオブジェクト（たとえば人間）
の識別に用いることができる動的なイメージ・シグニチ
ャを生成することができる。したがって、付随する特許
請求の範囲は、限定が明示的に引用されている場合を除
いて、本発明のアピアランス・モデルを追跡システム
に、もしくは動き評価アプリケーションに限定するもの
と解釈されるべきではない。

【００１６】図１は、イメージ追跡システム１１０を実
装するべく構成されたコンピュータ１００を示した簡略
化したブロック図であり、このイメージ追跡システム
は、アピアランス・モデル１２０を使用して時間的に連
続する一連のイメージ・データ・フレーム１０１内に現
れる選択されたターゲット・オブジェクトを追跡する
が、これらのイメージ・データ・フレームは、従来の方
法の使用を介して適切にディジタル化され、コンピュー
タ１００内に入力される。また追跡システム１１０は、
オプションの、カレント・イメージ・フレームを表すイ
メージ・ピクセル・データの配列に関連付けされた１な
いしは複数のデータ・ストリームを生成するフィルタ／
プロセッサ・サブシステム１５０、動きエスティメータ
１６０、イメージ・ワーピング・ツール１７０、および
アピアランスモデル更新ツール１８０を含む複数のソフ
トウエア・サブシステム（ツール）を包含している。こ
れらのサブシステムによって実行される個別の機能につ
いては後述する。これらのサブシステムは、協働して追
跡機能を実行し、追加の詳細を以下に説明する方法に従
ってアピアランス・モデル１２０を更新する。ここで注
意が必要であるが、図１に示されている独立のサブシス
テム・ブロックは説明のみを目的として提供されてお
り、これらのサブシステムのいくつかによって実行され
る少なくとも一部の機能が、公知のテクニックを使用し
て別のサブシステムに統合されることはあり得る。

【００１７】本発明の一実施態様によれば、アピアラン
ス・モデル１２０が、１ないしは複数のデータ・ストリ
ームに関して、安定（Ｓ）コンポーネント１３０および
１ないしは複数の推移コンポーネント１４０（たとえば
「遊動」（Ｗ）コンポーネント１４０Ａおよび／または
「迷子」（Ｌ）コンポーネント１４０Ｂ）を含んでお
り、それらが集合的に選択されたターゲット・オブジェ
クトのオンライン・ディジタル表現を定義する。ここで
用いている用語「オンライン」は、選択されたターゲッ
ト・オブジェクトのディジタル表現がカレント（つまり
もっとも新しい）イメージ・フレームからのデータを使
用して逐次更新されることを意味する。特に、最初の一
連のイメージ・フレーム内において受け取ったデータを
使用して（安定コンポーネント１３０および推移コンポ
ーネント１４０のパラメータによって定義されるよう
に）ターゲット・オブジェクトのディジタル表現を確立
した後、確立済みディジタル表現が、新しいイメージ・
フレームからの対応するデータと比較され、その後、先
行する確立済みディジタル表現と新しいデータの間にお
ける差に従って確立済みディジタル表現が更新（変更）
され、その結果、逐次「新しい」確立済みのディジタル
表現が生成される。つまり、１ないしは複数のイメージ
・フレームから以前に受け取ったデータ、およびカレン
ト・フレームからの新しいデータの両方によって定義さ
れるという意味において、このディジタル表現は「オン
ライン」である。

【００１８】概して、安定コンポーネント１３０によっ
て定義されるディジタル表現のコンポーネントが、推移
コンポーネント１４０によるそれに比べて長い時間履歴
（つまり、より長い時間スケール）に基づくことから、
安定コンポーネント１３０と推移コンポーネント１４０
は異なる。つまり、安定コンポーネント１３０のパラメ
ータは、逐次確立されるディジタル表現のそれぞれにお
けるイメージ・データの「安定性」を反映している。こ
れらの用語「安定性」および「安定（した）」は、比較
的長い時間スケールにわたって（たとえば５ないしはそ
れを超える数の連続イメージ・フレームにわたって）比
較的変化しないイメージ・データ値を記述するためにこ
こで用いられている。これに対して、推移コンポーネン
ト１４０のパラメータは、逐次確立されるディジタル表
現のそれぞれにおけるイメージ・データの相対的な推移
を反映している。したがって、この用語「推移」は、不
安定なイメージ・データ値（たとえばアウトライア）、
あるいは比較的短い時間スケール（たとえば、５より少
ない数の連続イメージ・フレーム）の間においてのみ安
定しているイメージ・データを記述するためにここで用
いられている。たとえば、以下に説明する例示の実施態
様においては、Ｗコンポーネント１４０Ａが、カレント
・イメージ・フレームおよびカレント・イメージ・フレ
ームの直前に先行するイメージ・フレームのみを使用し
てパラメータが計算されるという点において従来の２−
フレームの動きエスティメータと類似の態様で動作す
る。変形実施態様においては、Ｗコンポーネント１４０
Ａを、カレント・イメージ・フレームに先行する少数の
（たとえば２もしくは３）フレームからのデータとの比
較を行うべく修正することもできる。それに代わり、以
下に示す例示の実施態様の中で説明するように、Ｌコン
ポーネント１４０Ｂがアウトライア・データのストアに
使用されて、したがって単一のイメージ・フレーム（つ
まりカレント・イメージ・フレーム）からのデータを使
用して更新される。

【００１９】本発明の別の側面によれば、選択されたデ
ータ・ストリームからのイメージ・データの各断片が
（たとえば、関連する表示ピクセルの相対的な輝度また
はフィルタ出力を表すデータ）、安定コンポーネント１
３０および推移コンポーネント１４０の両方によって集
合的に表現される。言い換えると、安定コンポーネント
１３０および推移コンポーネント１４０のそれぞれは、
関連するコンポーネントによって表される関連するデー
タ値のパーセンテージを示す寄与パラメータ（たとえば
混合確率）を含む。たとえば、所定のイメージ・データ
の断片は、寄与パラメータ１３２によって示される量の
安定コンポーネント１３０、および対応する寄与パラメ
ータ１４２Ａおよび１４２Ｂ（それぞれＷコンポーネン
ト１４０ＡおよびＬコンポーネント１４０Ｂに関連付け
される）によって示される推移コンポーネント１４０で
表される。アピアランス・モデル１２０を構成するすべ
てのコンポーネントの寄与パラメータ１３２、１４２Ａ
および１４２Ｂの合計は１（つまり１００パーセント）
に等しい。これらの寄与パラメータは、所定のデータ値
がターゲット・オブジェクトを記述している信頼性の尺
度を示す。たとえば、詳細を後述するように、データ値
が長時間にわたって安定していれば、寄与パラメータ１
３２が、一時的な寄与パラメータ１４２Ａおよび１４２
Ｂに比較して相対的に高くなる。これに対して、データ
値が急峻に変化するとき、あるいはすばやい変化がある
とき、通常は一時的な寄与パラメータ１４２Ａおよび１
４２Ｂによって表されるパーセンテージが増加し、安定
した寄与パラメータ１３２によって表されるパーセンテ
ージが、それに応じて減少する。

【００２０】本発明のさらに別の側面によれば、安定コ
ンポーネント１３０が１ないしは複数の安定データ・パ
ラメータ１３４を含み、それが使用されて、新しいデー
タが以前に受け取られたイメージ・データをどの程度良
好に模しているかということが決定される。前述したよ
うに、安定コンポーネント１３０は、比較的多くのイメ
ージ・フレームに基づいたターゲット・イメージのディ
ジタル表現である。したがって、以下に説明する実施態
様においては、統計的な方法を使用し、安定データ・パ
ラメータ１３４が平均値μ_Sおよび標準偏差σ_Sパラメー
タとして表され、それらは、現在受け取っているイメー
ジ・フレームに先行するあらかじめ決定済みの数（たと
えば１５）のイメージ・フレームにわたって受け取られ
たデータ値を使用して計算され、計算に使用されるデー
タについては、あらかじめ決定済みの平均値の範囲内に
含まれることを前提とする（つまりアウトライアが除外
される）。それに代えて、安定データ・パラメータ１３
４を、選択した（たとえば２つ置きに）データ値の平均
等の代替方法を使用して計算することもできる。追加の
詳細を以下に示すように、安定データ・パラメータ１３
４は、新しいデータのそれぞれと比較され、比較の結果
は、寄与パラメータ１３２、１４２Ａ、および１４２Ｂ
の更新に使用される。つまり、前述したように、安定デ
ータ・パラメータ１３４が新しいデータとまったく同一
である場合には、新しいデータは、比較的安定であるこ
とを示し、寄与パラメータ１３２が増加する（あるいは
最大値を維持する）傾向を持つ。その逆に、新しいデー
タが、安定データ・パラメータ１３４と著しく異なる場
合には、寄与パラメータ１３２が減少する傾向となり、
推移寄与パラメータ１４２Ａおよび１４２Ｂの一方もし
くは両方の、それに応じた増加という結果がもたらされ
る。

【００２１】本発明のさらに別の側面によれば、推移コ
ンポーネント１４０が１ないしは複数の推移データ・パ
ラメータ１４４Ａおよび１４４Ｂを含んでおり、それら
はオプションで使用されて新しいデータが以前に受け取
られたイメージ・データをどの程度良好に模しているか
ということについてさらに決定がなされる。たとえば、
アピアランス・モデル１２０において使用される場合に
は、コンポーネント１４０Ａが平均μ_Wおよび標準偏差
σ_Wパラメータを含み、それらが、比較的少数のフレー
ムにわたって計算される。それに代えて、以下に説明す
る例示の実施態様において使用されているように、「平
均」を単純に先行して受け取られているデータ値とし、
「標準偏差」をあらかじめ決定済みの固定範囲とする。
ここで注意が必要であるが、Ｌコンポーネント１４０Ｂ
については、詳細を以下に述べるが、「平均」パラメー
タμ_Lが使用されることもあれば、省略されることもあ
る。

【００２２】再度図１を参照するが、追跡システム１１
０は、概略において次のように動作する。イメージ・デ
ータ１０１がフィルタ／プロセッサ１５０に渡され、そ
れが、たとえばノイズまたはそのほかの不要データを除
去する確立済みのテクニックに従って当該イメージ・デ
ータのフィルタリングおよび／または処理を行う。以下
に説明する例示の実施態様においては、このフィルタリ
ング・プロセスが、続く追跡オペレーションに適した方
法でイメージ・データを修正するウェーブレット−ベー
スのフィルタリング・テクニックを使用する。フィルタ
リング後／処理後のイメージ・データ（または、フィル
タ／プロセッサが使用されない場合には生データ）は、
続いて動きエスティメータ１６０に渡されるが、そこで
は、アピアランス・モデル１２０によってストアされた
現存するイメージ記述も受け取られる。動きエスティメ
ータ１６０は、アピアランス・モデル１２０、およびタ
ーゲット・オブジェクトに関連付けされた動きの履歴を
使用してカレント・イメージ・フレーム内におけるター
ゲット・オブジェクトの場所を決定するが、この履歴
は、確立済みのテクニックに従って動きエスティメータ
１６０によって生成される。イメージ・フレーム内のタ
ーゲット・オブジェクトのロケーションが決定される
と、イメージ・ワーピング・ツール１７０が使用されて
アピアランス・モデル１２０（もしくは新しいイメージ
・データ）が修正され、動きベースのひずみ（たとえ
ば、サイズおよび／または軸回転）の説明が行われる。
ワーピングの実行後は、アピアランス・モデル１２０内
に提供されるイメージ記述がモデル更新ツール１８０に
渡され、それがアピアランス・モデル１２０を、ここで
述べている方法に従って更新する。その後は、更新後の
アピアランス・モデルのパラメータが使用されて、その
後に続いて受け取られるデータ・フレームが処理され
る。

【００２３】図２は、本発明の一実施態様に従ってアピ
アランス・モデル１２０（図１）の生成ならびに更新に
使用される概略プロセスを示したフローチャートであ
る。この単純化したフローチャートは、各繰り返しの間
に単一のデータ・ポイントが処理されること、および追
跡に関連付けされた機能（たとえば、動き評価およびイ
メージ・ワーピング）が省略されることを前提としてい
る。次に、この例示のプロセスをより詳細に説明する。

【００２４】図２の上側部分を参照すると、このプロセ
スは安定コンポーネントならびに推移コンポーネントの
パラメータを初期化することによって開始する（ブロッ
ク２１０）。たとえば図１を参照すると、安定コンポー
ネント１３０の安定寄与コンポーネント１３２および安
定データ・コンポーネント１３４を、あらかじめ決定済
みの値にセットすることができる。ここで注意が必要で
あるが、安定寄与コンポーネント１３２用のあらかじめ
決定済みの値は、リセット・オペレーション（後述）に
おいて使用される。

【００２５】図２に戻るが、初期化の後、イメージ・デ
ータが前述の方法に従って受け取られ（ブロック２２
０）、続いて確立済みコンポーネント・パラメータと比
較される（ブロック２３０）。本発明の一実施態様によ
れば、この比較の間にログ尤度（「尤度」）値が、当該
データと現存するデータ・パラメータ（１ないしは複
数）の間における差に基づき、周知の統計学的方法に従
って、それぞれのコンポーネントに関して計算される。
この尤度値は、当該データが確立済みデータ・パラメー
タにどの程度良好に整合しているかを示す。たとえば、
安定データ・パラメータが１４の平均値μ_Sおよび標準
偏差２を有していると仮定する。そのときデータが１４
に等しければ、計算される尤度値は、その安定コンポー
ネントに関して最大化される。それに対して、データが
２４に等しいとすれば、尤度値は相対的に極めて低くな
る。尤度値は、Ｗコンポ（使用される場合）に関しても
類似の態様に従って計算されるが、Ｌコンポーネント
（使用される場合）については省略されることがある。

【００２６】続いてデータと確立済みデータ・パラメー
タの間における比較の結果が使用されて寄与パラメータ
（以下、混合確率と言う）が更新され、さらにアピアラ
ンス・モデル・コンポーネントのそれぞれに関する新し
いデータ・パラメータが生成される（ブロック２４
０）。一実施態様においては、このプロセスが尤度値を
使用する各コンポーネントに関するオーナーシップ値の
計算を行うオプションのステップ（ブロック２４２）を
含むが、それについての追加の詳細は後述する。次に
（あるいは、それに代えて）それぞれのコンポーネント
について、新しい混合確率が、オーナーシップ確率およ
び／または尤度値を使用して計算される（ブロック２４
４）。その後、新しく計算された安定寄与値（たとえ
ば、ｍ_S）と、あらかじめ定義済みの最小値の比較が行
われる（ブロック２４５）。新しく計算された安定寄与
値が、あらかじめ定義済みの最小値より小さい場合（Ｙ
ＥＳ）には、すべてのコンポーネント・パラメータがあ
らかじめ定義済みの値にリセットされる（ブロック２４
６）。これに対して、新しく計算された安定寄与値が、
あらかじめ定義済みの最小値より大きい場合（ブロック
２４５のＮＯ）には、各コンポーネントのデータ・パラ
メータが更新されて、新しいデータが反映される（ブロ
ック２４８）。

【００２７】その後、上記のシーケンスが、新しいデー
タ・ストリームに関連付けされた新しいデータごとに繰
り返される。ここで注意が必要であるが、コンポーネン
ト・パラメータを更新するプロセス（ブロック２４０）
は、最終的な結果を損なうことなく、データ・パラメー
タの再計算（ブロック２４８）の後に最小値の決定（ブ
ロック２４５）を行う形に変形することができる。

【００２８】新しく、かつ有益なアピアランス・モデル
が、図２を参照して説明したプロセスとの組み合わせに
おいて安定コンポーネントならびに少なくとも１つの推
移コンポーネントを用いて生成されるが、現在のところ
好ましい本発明の実施態様は、安定（Ｓ）コンポーネン
ト１３０、遊動（Ｗ）コンポーネント１４０Ａ、および
迷子（Ｌ）コンポーネント１４０Ｂ（図１参照）を以下
の説明に従ってすべて組み込んだアピアランス・モデル
を含む。その種のアピアランス・モデルを、ここでは
「ＷＳＬアピアランス・モデル」と呼んでいる。

【００２９】本発明のＷＳＬアピアランス・モデルにつ
いて、次に、単一の実数値のデータ観測を引用して紹介
する。単一データ値を参照したＷＳＬアピアランス・モ
デルの動作の説明の後に、全データ・フレームの処理に
向けて説明を移行させる。

【００３０】図３〜６は、単純なパラメトリック動きモ
デルを使用した追跡領域（ターゲット・オブジェクト）
として顔を示したイメージ・データ・フレームの断続シ
ーケンスを表しており、ＷＳＬアピアランス・モデルに
よって説明されなければならない、典型的な、イメージ
をひずませる現象が図示されている。図３は、最初の、
ＷＳＬアピアランス・モデルが安定することが許され
る、比較的安定した期間を表している。ここで、高いコ
ントラストの領域、たとえば額領域３１０および口領域
３２０等が、極めて安定したイメージ・データを生成す
る傾向にあることに注意されたい。図４は、部分的なオ
クルージョンを示しており、その間に対象の手が短時間
にわたって口領域３２０の上に置かれたが、額領域３１
０は、比較的ひずみを受けない状態に保たれている。図
５は、リスタートを招く著しいアピアランスの不連続を
表している（つまり、突然かつ急激な頭部の動きであ
り、その間に対象の頭部が傾けられ、カメラから離れる
方向にすばやく動き、さらに目領域３３０からメガネが
外された）。最後の図６は、自然のひずみの例として表
情の変化を示している。特に領域３４０において、対象
が大げさにほほえんでいるが、そのほかには目立った動
きがない（図３の口領域３１０と対比）。

【００３１】図３〜６に示した現象は、ＷＳＬアピアラ
ンス・モデルの各種のコンポーネント・データ・パラメ
ータを誘導する。図３に示されている比較的安定したイ
メージは、Ｓコンポーネントを誘導し、それには、時間
的に安定したイメージの観測の振る舞いを、それらが生
じている時点および場所で取り込むことが意図されてい
る。より詳細に述べれば、各フレームｔにおけるデータ
値をｄ_tで表し、安定コンポーネントが観測ｄ_tを生成し
たと仮定すると、ｄ_tに関する確率密度は、ガウス密度
ｐ_s（ｄ_t｜μ_s,t，σ_2s,t）によってモデリングされ
る。これにおいて、μ_s,t，σ_2s,tは、区分的に、緩や
かに変化する関数であり、ガウス・モデルの平均および
分散を指定する。

【００３２】ＷＳＬアピアランス・モデルの第２のコン
ポーネントは、データのアウトライアを説明するが、こ
れらは追跡の失敗またはオクルージョンに起因して生じ
ることが予想される。前述したように、対応するランダ
ム・プロセスを、ここではＷＳＬアピアランス・モデル
の「迷子」またはＬコンポーネントと呼んでいる。Ｌコ
ンポーネントの確率密度、すなわちｐ_l（ｄ_t）は、観測
ドメインにわたって均一に分布しているものと考える。

【００３３】図７に示した合成信号は、単一データ・ス
トリームに関するこれらの発生プロセスの理想化した例
を示している。破線は、区分的に緩やかに変化するアピ
アランス信号ＡＳを表している。観測されたデータＯＤ
は、ガウス密度ｐ_s（ｄ_t｜μ _s,t，σ_2s,t）およびＬコ
ンポーネントに関する広い分布ｐ_l（ｄ_t）の混合から形
成されるテールの長いノイズによって改ざんされてい
る。太い実線のラインは、Ｓコンポーネントに関する評
価後の平均ＥＭである。前述の説明に従うと、イメージ
・データ・フレームのシーケンスは、領域４００におい
て開始され、その後、図３に関連付けされる比較的安定
した段階（領域４１０）に入る。合成信号の領域４２０
は、図４のオクルージョンに相似の、フレーム３００と
３１５の間におけるアウトライアのバーストを示してい
る。領域４３０は、図５のアピアランスの不連続に相似
のフレーム６００におけるリスタートを示している。最
後の領域４４０は、図６の顔の表情の変化によって生成
された、局所的な信号のひずみを示している。

【００３４】ＷＳＬアピアランス・モデルのＷコンポー
ネントは、アピアランス・モデルとイメージ−ベースの
追跡アルゴリズムの統合に対する要求によって誘導され
る。つまり、選択されたイメージ領域に関して、ゴール
は、その領域内の支配的な安定したイメージ構造に対し
てモデルを倣わせることであり、同時にそれを追跡する
ことである。これは、最初の安定したアピアランス・モ
デルが提供されない場合、もしくはオブジェクトがどの
ように動くかについての情報が提供されない場合に困難
なものとなる。Ｗコンポーネントは、その種の状態にお
いて何が追跡されるべきかを決定する。前述したよう
に、実際上、Ｗコンポーネントは、アピアランス・モデ
ルが充分な過去のデータ観測について説明しないとき、
追跡システム（後述）が、２−フレームの動きトラッカ
まで優雅に低下することを可能にする。

【００３５】Ｗコンポーネントは、Ｓコンポーネント・
パラメータの信頼性のある評価に必要となる場合に比べ
て、より急峻な一時的な変動およびより短時間の履歴を
許容する必要がある。そのためｄ_tに関する確率密度
が、それがＷコンポーネントによって生成されていると
して、ガウス密度ｐ_w（ｄ_t｜ｄ_t-1）となるように選択
される。ここでは、平均が単純に以前のフレームｄ_t-1
からの観測となり、分散がσ_2wに固定される。

【００３６】３つのコンポーネントＷ、Ｓ、およびＬ
は、ｄ_tに関する蓋然論的混合モデル内において結合さ
れる。

【００３７】

【数１】 これにおいて、 ｍ＝（ｍ_w，ｍ_s，ｍ_l）は混合確率であり、 ｑ_t＝（μ_s,t，σ_2s,t） は、このモデルの安定コンポーネントの平均ならびに分
散パラメータを含む。

【００３８】従来の追跡システムにおいてこのＷＳＬア
ピアランス・モデルを実装するためには、式（１）にお
ける発生モデルのパラメータ、すなわちデータｄ_tの予
測の平均および分散を、安定プロセス ｑ＝（μ_s，σ_2s） および混合確率 ｍ＝（ｍ_w，ｍ_s，ｍ_l） によって評価することが必要になる。さらに、フィルタ
応答に評価スキームを適用するためには、各観測に関し
て比較的小さなメモリしか必要としない単純な演算アル
ゴリズムが求められる。

【００３９】再帰的定式化を予測し、モデル・パラメー
タの時間的適合を許容して、現在時にロケートされた指
数包絡線、ｋ≦ｔに関するＳ_t（ｋ）＝αｅ_-(t-k)/τの
下においてデータ観測を考える。これにおいてτ＝η
_s/log2であり、η_sはフレーム内の包絡線の半減期であ
り、α＝１−ｅ_-1/τであり、その結果、包絡線の重み
Ｓ_t（ｋ）の合計は１になる。この包絡線を用いると、
観測履歴のログ尤度 ｄ_t＝｛ｄ_k｝_tk=0 を、式（１）における密度に従って表すことができる。

【００４０】

【数２】 これにおいてｍ_tおよびｑ_tは、時間的な台の包絡線Ｓ_t
（ｋ）の下におけるデータに関係するパラメータを表
す。これらのパラメータは時間的に緩やかに変化する
が、ＥＭアルゴリズム（たとえば、１９７７年のＪ．Ｒ
ｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ
Ｓｅｒｉｅｓ Ｂ（王立統計学会シリーズＢ），３９：
１〜３８の、Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ（Ａ．Ｐ．ディ
ムスター）、Ｎ．Ｍ．Ｌａｉｒｄ（Ｎ．Ｍ．ラード）、
およびＤ．Ｂ．Ｒｕｂｉｎ（ルービン）による「Ｍａｘ
ｉｍｕｍＬｉｋｅｌｉｈｏｏｄ ｆｒｏｍ Ｉｎｃｏｍ
ｐｌｅｔｅ Ｄａｔａ Ｖｉａｔｈｅ ＥＭ Ａｌｇｏ
ｒｉｔｈｍ（ＥＭアルゴリズムを介した不完全データか
らの最大尤度）」を参照されたい）がｍ_tおよびｑ_tの評
価に考慮され、それにおいては、これらが時間ウインド
ウの下に一定であることが仮定される。これらのＥＭ更
新の形式は、ここで述べているオンライン方法に関する
基礎を提供する。

【００４１】状態変数ｍ_tおよびｑ_tに関する現在の推測
（時間ウインドウにわたって一定）を前提とするとＥ−
ステップは、ｉ∈｛ｗ，ｓ，ｌ｝に関して、各観測ｄ_k
に関するオーナーシップ確率を提供する。

【００４２】

【数３】 これらのオーナーシップを条件とし、続いてＭ−ステッ
プが、新しい最大尤度評価をｍ_tおよびｑ_tに関して計算
する。まず、更新された最大確率ｍ_tは、ｉ∈｛ｗ，
ｓ，ｌ｝に関し、次式によって与えられる（表記ｍ_i,t
は、再利用されて更新された値を表す）。

【００４３】

【数４】 同様に、平均および分散に関するＭ−ステップは次のよ
うになる。

【００４４】

【数５】 これにおいてＭ_j,tは、オーナーシップの重み付けがな
された、次式によって定義されるｊ次のデータ・モーメ
ントである。

【００４５】

【数６】 ここで、ゼロ番目のデータ・モーメント、すなわち安定
プロセスの時間平均オーナーシップが、正確にＷＳＬア
ピアランス・モデルのＳコンポーネントに関する混合比
率となり、Ｍ_0,t＝Ｍ_s,tとなることは注目に値する。し
たがって、標準ＥＭアルゴリズムは、式（３）〜（６）
に概説したステップの繰り返しからなる。

【００４６】このＥＭアルゴリズムは、先行する時間か
らのデータが保持されてｏ_s,t（ｄ_k）の計算が行われる
ことを必要とし、オンライン・アプローチにとってそれ
は実際的ではない。それに代えて式（３）〜（６）の近
似が採用される。そのため、指数の台Ｓ_t（ｋ）に関す
る帰納式が利用されて次式が得られる。

【００４７】

【数７】 過去のデータを保持しなければならないという要件を回
避するために、過去のデータのカレント・オーナーシッ
プが、そのデータが最初に観測された時点におけるオー
ナーシップによって近似される。すなわち、ｏ
_s,t（ｄ_k）がｏ_s,k（ｄ_k）に置き換えられて、次の近似
モーメントが得られる。

【００４８】

【数８】 また、混合確率についても同様にｉ∈｛ｓ，ｗ，ｓ，
ｌ｝に関して次のように近似される。

【００４９】

【数９】 これらの式からの１つの大きなずれが使用されて単一の
状態が回避される；すなわち、非ゼロの低い境界が、混
合確率およびσ_s,tに強制される。

【００５０】式（３）〜（６）内のバッチＥＭに対する
この近似においては、前述したように、過去の観測のオ
ーナーシップが更新されない。したがって、モデル・パ
ラメータが急激に変化したとき、このオンライン近似は
不充分なものとなる。好都合にも、一般にこれは、デー
タが安定でないときに現れ、通常はいずれの場合におい
てもＳコンポーネントに関する低い混合確率および広い
分散をもたらす。これに対して、平均および分散が緩や
かにドリフトしているときのオンライン近似は、通常、
非常に良好なものとなる（図７参照）。

【００５１】アピアランス内に急激な変化、または不安
定なデータがあると、Ｓコンポーネントがしばしば平均
の追跡を逃し、小さい混合確率が与えられる（後述する
図８を参照されたい）。つまり、アピアランス・モデル
を臨時にリスタートすることが必要になる。ここでは、
安定した混合確率ｍ_s,tが固定スレッショルド（たとえ
ば０．１）を下回ると必ずＷＳＬアピアランス・モデル
がリスタートされる。これは、すべての状態変数の値を
単純にリセットすることによってなされる。一実施態様
においては、混合確率に関して使用される新しい値ｍ
_i,tが、ｉ＝ｗ、ｓ、ｌについてそれぞれ０．４、０．
１５、および０．４５になる。ｍ_s,tに対応する値が小
さいことは、Ｓコンポーネントに関する初期の不確定性
を反映している。モーメントＭ_j,tに関する新しい値
は、ｊ＝０、１、２について、それぞれｍ_s,t、ｄ_tｍ
_s,tおよびσ_2s,0ｍ_s,tとなるように取られる。実際、こ
れが、カレント観測ｄ_tによって与えられる平均、およ
び一定のσ_2s,0によって与えられる分散を用いてＳコン
ポーネントをリスタートする。ここでは、σ_s,0＝σ_w／
１．５が使用される。これらと同じ値が、最初のフレー
ムにおける初期化に使用されている。

【００５２】図８は、半減期ｎ_s=8を使用する図７の１
Ｄの例を参照するＥＭプロシージャを例示している。領
域４０５に示されているスタートアップ期間（図７の領
域４００に対応する）において、Ｗ、Ｓ、およびＬコン
ポーネントのそれぞれは、あらかじめ決定済みのリセッ
ト値を仮定する。最初は、Ｗコンポーネントの混合確率
がリセット値から増加しており、領域４１５（図７の領
域４１０に対応する）によって示されるようにＳコンポ
ーネントが信頼性を得るまでの、そのデータの比較的よ
り大きなオーナーシップを示す。領域４２５は、フレー
ム３００におけるアウトライアのバースト（図７の領域
４２０に対応する）の間に、Ｌコンポーネントの混合確
率が増加し、その後、安定な戻りとして降下することを
示している。ここで、このオクルージョンは、オクルー
ジョンを生じていない安定イメージ・データ（たとえば
図４における領域３１０）のために、リスタートを起動
するほど充分なものにならなかったことに注意が必要で
ある。領域４３５は、フレーム６００におけるアピアラ
ンスの不連続（図７の領域４３０に対応する）に対する
応答を示しており、それにおいてＳコンポーネントはデ
ータの予測に関して不充分であり、その混合確率が急速
に低下している。ここで注意が必要であるが、Ｗコンポ
ーネントがデータを説明できることから、その混合確率
が増加している。フレーム６２５においては、Ｓコンポ
ーネントの混合確率がプロシージャのリスタートに充分
な低さまで下がっており、その後、Ｓコンポーネントが
真の状態に戻ってロックする。

【００５３】図９〜１６は、別の簡略化した例を使用す
る、本発明のＷＳＬアピアランス・モデルにおける各種
のデータ変化の効果を図示している。図９は、時間ｔ₀
とｔ_{1 6}の間に延びる時間シーケンスの間における選択さ
れたピクセルの輝度（グレイスケール）を記述した連続
データを示している。ここに示された各時点の間隔は、
均一であってもよく、またそうでなくてもよいことに注
意されたい。比較的安定した初期段階が、時間ｔ₀〜ｔ₅
の間において提供され、その間に、図３を参照した前述
の説明と同様に、アピアランス・モデルが安定すること
が可能になる。時間ｔ₆において、図４を参照して説明
したオクルージョンと類似の短時間のオクルージョンが
導入され、比較的急峻でありかつ大きいが、短時間の、
第１の安定値（たとえば１２）から第２の安定値（たと
えば２４）へのイメージ・データの変化、および第１の
安定値に戻る変化によって特徴付けされる。時間ｔ₇と
ｔ_{1 1}の間は、漸進的な輝度の変化が示され、その間にお
いては、イメージ・データが比較的緩慢に、比較的小さ
い範囲にわたって（たとえば１２から１４）変化する。
最後に、時間ｔ₁₂にアピアランスの不連続が示されてお
り、比較的急峻であり、かつ大きく、比較的固定した、
第１の安定値（たとえば１４）から第２の安定値（たと
えば２４）への変化によって特徴付けされる。

【００５４】図１０、１１、および１２は、時間ｔ₀〜
ｔ₅の初期安定期間の間におけるＳコンポーネント、Ｗ
コンポーネント、およびＬコンポーネントに対する調整
をそれぞれ示したグラフである。リセット時（時間
ｔ₀）においては、寄与パラメータ（つまり混合確率で
あり、各グラフの垂直スケールによって示される）があ
らかじめ決定済みのリセット値を採用する。これらの値
は、時間ｔ₀における各コンポーネントの垂直位置によ
って示される。たとえば、図１０を参照すると、コンポ
ーネントＳ（ｔ₀）がグラフの低い部分に配置されてお
り、リセット値０．１５にそろえられている。同様に、
図１１および１２を参照すると、コンポーネントＷ（ｔ
₀）およびＬ（ｔ₀）が、それぞれリセット値０．４およ
び０．４５にそろえられている。再度ここで注意したい
が、これらのリセット値は変更可能である。時間ｔ₀に
続いて、データが安定を保つことから、Ｓコンポーネン
トに関する寄与パラメータが時間ｔ₅における極大値
（頂点）０．８５まで漸進的に増加する。ただしこの極
大値は、純粋に説明の目的から選択されたものである。
それに加えて、この時間的期間にわたる一定のデータ値
１２は、１２にセンタリングされたままとなる安定した
平均パラメータμ_Sをもたらし、その一方で標準偏差が
減少する（標準偏差パラメータ＋σ_Sおよび−σ_Sによっ
て区切られるバーが、漸進的に短くなることによって示
されている）。図１１および１２を参照すると、Ｓコン
ポーネントはこの極大値まで上昇するが、Ｗコンポーネ
ントおよびＬコンポーネントは、データの残りのオーナ
ーシップ部分を奪い合う形になる。開示した例において
は、データ値が安定してとどまることから、Ｗコンポー
ネントの寄与値がＬコンポーネントのそれよりすばやく
増加し、一貫性のあるデータ値が受け取られるに従って
緩やかに減少する。Ｗコンポーネントの、そのリセット
値から最大値（コンポーネントＷ（ｔ₁）によって示さ
れる）までの初期増加があり、その後、Ｓモデルが信頼
性を獲得し、その最大値に達すると、最小値（たとえば
０．１５）まで後退する。ここで注意されたいが、比較
的長い安定期間を仮定するとＬコンポーネントが非常に
小さい値まで後退するが、それがゼロになることはな
い。

【００５５】図１３を参照すると、１２から２４へのデ
ータ値のジャンプとして示されている時間ｔ₁における
短時間のオクルージョンが、ＳコンポーネントおよびＷ
コンポーネントの両方に関する寄与パラメータの縮小を
招いている。より詳細には、データ値（つまり２４）が
ＳコンポーネントおよびＷコンポーネントの両方にとっ
て分散の外になることから、データがアウトライアとし
て処理され、データ値のオーナーシップが優勢的にＬコ
ンポーネントに割り当てられる。したがって、図１３の
右側に示されているように、コンポーネントＬ（ｔ₅）
に、いくらかの、より大きな、たとえば０．３５といっ
た寄与パラメータが割り当てられる。この増加されたＬ
コンポーネントによるオーナーシップは、ＳおよびＷコ
ンポーネントの寄与パラメータにおける縮小をもたら
し、それらが、それぞれＳ（ｔ₅）およびＷ（ｔ₅）によ
って示されている。開示している実施態様においては、
時間ｔ₅におけるデータ値がアウトライアと見なされる
ことから、それがＳコンポーネントの平均および分散の
再計算に使用されることはない。したがって、平均値μ
_S(t5)がデータ値１２にセンタリングされたままとどま
り、分散がＳ（ｔ₄）（図１０参照）から変化しない。
オクルージョンが取り除かれ（時間ｔ₆）、安定したデ
ータが再び現れると、Ｓコンポーネントが再び信頼性を
得て、その最大値に再び到達するまで（時間ｔ₇）その
寄与パラメータが増加し、逆にＬコンポーネントが減少
する。これにおいても注意が必要であるが、Ｗコンポー
ネントの平均は、以前のデータ値によって決定され、し
たがって時間ｔ₅においては平均μ_Wが１２にセンタリン
グされたままとどまり、その後、時間ｔ₆において２４
にシフトし、さらにその後、時間ｔ₇において１２に戻
る。

【００５６】図１４に示されているように、図１３を参
照して説明したオクルージョンとは対照的に、言い換え
るとそのオクルージョンは、Ｓコンポーネントのデータ
・パラメータを変化させなかったが、時間ｔ₆とｔ₁₁の
間における漸進的なデータの変化は、Ｓコンポーネント
の平均値の移行をもたらし、標準偏差を増加させる。図
１４に示した例は、Ｓコンポーネントの寄与パラメータ
が最大化されていることが前提となっており、そのため
小さいデータ値の変化であってもＳモデルの信頼性を低
下させ、関連する寄与パラメータの低減を招く。寄与パ
ラメータが最大化されていなければ、新しいデータ値が
以前に計算された平均と異なる場合であっても、それが
実際に増加することもある。この例においては、時間ｔ
₇とｔ₈の間におけるイメージ・データの変化（つまり、
１２から１３への変化）がＳコンポーネントの標準偏差
内に選択されていることから、Ｓコンポーネントのデー
タ・パラメータ（たとえば平均および標準偏差）が変化
する。したがって、このイメージ・データの変化はアウ
トライアとして扱われることなく、新しい平均値μ
_S(t8)の計算に使用され、それが１２から１４に向かっ
て漸進的にシフトされる。ここで注意が必要であるが、
Ｓコンポーネントの寄与パラメータにおける減少は、デ
ータ値の変化に伴って平均値が移行するＷコンポーネン
トにおけるそれの増加によって説明される。イメージ・
データが１４に再度安定してしばらくすると（たとえば
時間ｔ₁₀）、Ｓコンポーネントの信頼性が戻り、平均値
が、コンポーネントＳ（ｔ₁₁）によって示されるよう
に、新しい安定した値にセンタリングされる。したがっ
て、図１４に示されている例は、本発明に従って生成さ
れるアピアランス・モデルのＳコンポーネントが、いか
にして緩やかなイメージ・データの変化に適合し、それ
によって３Ｄオブジェクトの追跡を容易にしているかと
いうことを示している。

【００５７】図１５および１６は、最後の例であり、そ
れにおいてはイメージ・データが、１つの安定した値
（たとえば時間ｔ₁₁の１４）から別の安定した値（たと
えば時間ｔ₁₂の２４）へ大きく変化する。前述し、かつ
図１５にも示したが、比較的大きなイメージ・データの
変化の突然の出現は、ＷおよびＳコンポーネントの寄与
パラメータにおける減少を生じさせ、Ｌコンポーネント
の寄与にジャンプする。ここでも注意されたいが、新し
いデータは、Ｓコンポーネントに関するデータ・パラメ
ータ（平均および分散）の計算に含められない。データ
値が２４に安定していることから、Ｓコンポーネントの
寄与パラメータが継続的に降下し、Ｗコンポーネントが
増加し始める（Ｌコンポーネントは減少する）。最終的
に、Ｓコンポーネントの寄与パラメータが、あらかじめ
決定済みのリセット値（図２のステップ２４５を参照さ
れたい）より低くなり、その結果、時間ｔ₁₅においてリ
スタートが生じるが、それが図１６に示されている。こ
こで、リスタートにおいては、平均値μ_S(t16)が、もっ
とも新しいデータ値（つまり２４）にセンタリングされ
ていることに注意されたい。続くアピアランス・モデル
の再構築は、図１０、１１、および１２を参照して前述
した説明と基本的に同一である。

【００５８】以上、単一データ値を参照してＷＳＬアピ
アランス・モデルの各種パラメータ応答について説明し
てきたが、次に、追跡システム１１０（図１参照）にお
けるＷＳＬアピアランス・モデルの実装に使用するコン
ポーネントの導出について説明する。より詳細には、以
下に示すように、フィルタ／プロセッサ１５０によって
実行されるフィルタリング／処理が、以下に示すような
ステアラブル・ピラミッドを使用して実装される。それ
に加えて、動きエスティメータ１６０およびイメージ・
ワーピング・ツール１７０によって実行される動き評価
およびイメージ・ワーピング機能についても説明する。

【００５９】イメージ・アピアランスのプロパティは数
多く存在し、それをデータ・ストリームとして使用する
ことが可能であり、それから追跡およびオブジェクトの
サーチに関してアピアランス・モデルを学習させること
ができる。例としては、局所的カラー統計、マルチスケ
ール・フィルタ応答、および局在化したエッジ断片を挙
げることができる。この研究においては、適用されたス
テアラブル・フィルタ・ピラミッドの応答からデータ・
ストリームが導かれた（つまりＧ₂およびＨ₂フィルタに
基づいている；参照によりこれに援用している１９９１
年のＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔ
ｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄＭａｃｈｉｎｅ
Ｉｎｔｅｌｌｉｇｅｎｃｅ（パターン解析および機械知
能に関するＩＥＥＥトランザクション）１３：８９１〜
９０６、Ｗ．Ｆｒｅｅｍａｎ（Ｗ．フリーマン）および
Ｅ．Ｈ．Ａｄｅｌｓｏｎ（Ｅ．Ｈ．アデルソン）による
「Ｔｈｅ Ｄｅｓｉｇｎ ａｎｄ Ｕｓｅ ｏｆ Ｓｔ
ｅｅｒａｂｌｅ Ｆｉｌｔｅｒｓ（ステアラブル・フィ
ルタの設計および使用）」を参照されたい）。ステアラ
ブル・ピラミッドは、異なるスケールおよび向きにおけ
るイメージの記述を提供し、粗から密への差分動き評価
に、また異なるスケールならびに異なる空間的ロケーシ
ョンにおける安定性、および異なるイメージの向きの分
離に有用である。ここでは、Ｇ₂およびＨ₂フィルタを２
つのスケールにおいて、すなわち８および１６ピクセル
（２および４の因数によってサブサンプルされる）の波
長に調整して使用し、それぞれのスケールは４つの向き
を伴う。

【００６０】フィルタ出力から、本発明者らは選択を行
い、アピアランス・モデルとして位相構造の表現を維持
した。これは、振幅の自然な度合いおよび照度の独立性
を提供し、かつ位相ベースの方法によって得られる正確
なイメージ・アライメントに関する忠実度を提供する
（たとえば、参照によりこれに援用されている１９９３
年のＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ＰＡ
ＭＩ（ＰＡＭＩに関するＩＥＥＥトランザクション）１
５（１２）：１２５３〜１２６８、Ｄ．Ｊ．Ｆｌｅｅｔ
（Ｄ．Ｊ．フリート）およびＡ．Ｄ．Ｊｅｐｓｏｎ
（Ａ．Ｄ．ジェプソン）による「Ｓｔａｂｉｌｉｔｙ
ｏｆ Ｐｈａｓｅ Ｉｎｆｏｒｍａｔｉｏｎ（位相情報
の安定性）」を参照されたい）。小さいフィルタ振幅に
関連付けされる位相応答、あるいは引用したこれらの文
献に説明されているテクニックに従って不安定であると
見なされる位相応答は、アウトライアとして扱われた。

【００６１】以下においては、イメージ・ピラミッドお
よびターゲット領域Ｎ_tを考え、 ｄ_t＝｛ｄ（ｘ，ｔ）｝_x∈_Nt がその領域内の時間ｔにおけるすべてのフィルタからの
位相観測のセットを示すものとする。また Ａ_t＝｛Ｍ（ｘ，ｔ），ｑ（ｘ，ｔ）｝_x∈_Nt は、Ｎ_tのそれぞれの向き、スケールおよび空間ロケー
ションにおける位相のアピアランス・モデル全体を表す
ものとする。指数時間的な台Ｓ_t（ｋ）の半減期は、ｎ_s
＝２０フレームにセットされた。オンラインＥＭエステ
ィメータのそのほかのパラメータは：（１）［−π；
π）において均一なアウトライア確率；（２）σ_w＝
０．３５πを伴う平均ゼロのガウシアンとなるように取
られる、位相差におけるＷコンポーネントの標準偏差；
および（３）Ｓコンポーネントの最小標準偏差、σ_s,0
＝０．１πである。後者のパラメータは、位相の使用に
固有である。

【００６２】次に本発明者らは、非剛体オブジェクトの
追跡に関して、適応型位相ベースのアピアランス・モデ
ルの振る舞いを立証する。この立証に関して、時間０に
おける楕円領域Ｎ₀は、マニュアルで指定される。その
後、追跡アルゴリズムが、経時的にＮ_t内の支配的なイ
メージ構造を追跡する間に、イメージの動きおよびアピ
アランス・モデルの評価を行う。

【００６３】動きは、フレーム対フレームのパラメータ
化したイメージ・ワープに置き換えて表現される。より
詳細には、ワープ・パラメータｃ_tを考えたとき、フレ
ームｔ−１におけるピクセルｘは、時間ｔにおけるイメ
ージ・ロケーション ｘ_t＝ｗ（ｘ；ｃ_t） に対応し、それにおいてｗ（ｘ；ｃ_t）はワープ関数で
ある。ここでは類似性変換が使用され、したがって、 ｃ_t＝（ｕ_t，θ_t，ρ_t） は、それぞれ平行移動、回転およびスケール変換を記述
する４次元ベクトルとなる。平行移動はピクセルにおい
て、回転はラジアンにおいて指定され、スケール・パラ
メータは乗数を示すことから η≡（０，０，０，１） は、アイデンティティ・ワープである。追跡のために、
ターゲット近隣が、各フレームにおいて動きパラメータ
によって前方に対流（つまりワープ）される。言い換え
ると、パラメータ・ベクトルｃ_tを考えた場合、Ｎ_tは、
ｗ（ｘ；ｃ_t）によるＮ_t-1のワープによって提供される
単なる楕円領域となる。このほかのパラメータ化された
イメージ・ワープ、およびこのほかのパラメータ化され
た領域表現を使用することもできる（たとえば、参照に
よりこれに援用されている１９９４年のＣＶＧＩＰ：Ｉ
ｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ（イメージの理
解）６０（２）：１１９〜１４０、Ｆ．Ｇ．Ｍｅｙｅｒ
（Ｆ．Ｇ．メイヤー）およびＰ．Ｂｏｕｔｈｅｍｙ
（Ｐ．バウスミー）による「Ｒｅｇｉｏｎ−Ｂａｓｅｄ
Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ａｆｆｉｎｅ Ｍｏ
ｔｉｏｎ Ｍｏｄｅｌｓ ｉｎ Ｌｏｎｇ Ｉｍａｇｅ
Ｓｅｑｕｅｎｃｅｓ（長いイメージ・シーケンスにお
けるアフィン動きモデルを使用した領域ベースの追
跡）」を参照されたい）。

【００６４】最適ワープを見つけるため、データのログ
尤度ならびにログ−プライア（原文：ｌｏｇ−ｐｒｉｏ
ｒ）の合計が（局所的に）最大化され、遅い、なめらか
な動きに関するプレファレンスが提供される。上に概説
した動きおよびアピアランス・モデルに関して言えば、
データのログ尤度は、次式のように表すことができる。

【００６５】

【数１０】 これにおいては、表記の便宜上、以前のフレームからの
データをＤ_t-1≡｛ｄ_{x,t -1}｝_x∈_Nt-1として表している
が、個別のデータは ｄ_x,t-1≡ｄ（ｘ，ｔ−１） である。同様に、参照している以前のフレームにワープ
・バックされたカレント・データは、 ｄ_x,t≡ｄ（ｗ（ｘ；ｃ_t），ｔ） によって示され、最後に発明者らは、 Ａ_x,t≡（ｍ_x,t-1，ｑ_x,t-1） を定義している。直感的に、このログ尤度は、次のよう
に理解することができる：カレント・フレームｔにおけ
るデータが、パラメータｃ_tに従ってフレームｔ−１の
座標にワープ・バックされる。このワープ後のデータ
｛ｄ_x,t｝_x∈_Nt-1のログ尤度が、その後、以前のフレー
ム内のターゲット領域Ｎ_t-1の参照しているフレーム内
のアピアランス・モデルＡ_t-1に関して演算される。

【００６６】プライア（ｐｒｉｏｒ）が導入されて、主
にオクルージョンが処理され、安定コンポーネントＳの
持続性が利用される。発明者らは、時間ｔ−１における
動きｃ_t-1に調和された動きパラメータ ｃ_t＝（ｕ_t，θ_t，ρ_t） に関する事前密度を、２つの４Ｄガウシアンの積となる
ように設定した。

【００６７】

【数１１】 最初のガウス因数は、その平均が単位元ワープηに等し
く、その共分散が Ｖ₁≡ｄｉａｇ（８₂，８₂，０．０５₂，０．０１₂） によって与えられる、遅い動きを優先する。２番目のガ
ウシアンは、 Ｖ₂≡ｄｉａｇ（１，１，０．０２₂，０．０１₂） を伴う、動き内の遅い変化を優先する。

【００６８】ｃ_tを評価するために、与えられたログ尤
度およびログ−プライアの合計を次式によって最大化す
る。

【００６９】

【数１２】 Ｅ（ｃ_t）の最大化は、参照によりこれに援用されてい
る１９９３年６月にニューヨークで開催されたＩＥＥＥ
Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔ
ｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＥＥＥコンピュー
タの視覚およびパターン認識）ＣＶＰＲ−９３の会報７
６０〜７６１ページにある「Ｍｉｘｔｕｒｅ Ｍｏｄｅ
ｌ ｆｏｒ Ｏｐｔｉｃｌ Ｆｌｏｗ Ｃｏｍｐｕｔａ
ｔｉｏｎ（オプティカル・フロー演算に関する混合モデ
ル）」にＡ．Ｊｅｐｓｏｎ（Ａ．ジェプソン）および
Ｍ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊブラック）によって説明さ
れているように期待−最大化（ＥＭ）アルゴリズムの単
純な変形が使用される。これは、繰り返しの粗−密アル
ゴリズムであり、この方法の局所的な最小値内へのトラ
ップのコントロールに使用されるアニーリングを伴う。
簡単に述べると、Ｅ−ステップが逆方向ワープ済みデー
タＤ_tに関するオーナーシップ確率を、前述の式（３）
にあるように決定する。Ｍ−ステップは、これらのオー
ナーシップを使用してｃ_tに対する更新に関する線形連
立系を構成する。線形連立系のこれらのコンポーネント
は、ＷおよびＳプロセスに関するオーナーシップ確率に
よって重み付けされる動き制約から獲得される。

【００７０】ここでは、ＥＭアルゴリズムの導出が、次
式を満足するＥ（ｃ_t）の極値を用いて開始する。

【００７１】

【数１３】 ｄ_x,t≡ｄ（ｗ（ｘ；ｃ_t），ｔ） によって示されるワープ後のデータを用いると、式（１
０）にあるようなログ尤度の導関数は次式のようにな
る。

【００７２】

【数１４】 単位元を利用すると ∂（ｌｏｇ（ｆ（ｘ））／∂ｘ＝１／ｆ（ｘ）（∂（ｆ
（ｘ））／∂ｘ） となり、式（１）に従って尤度関数を拡張すると、式
（１４）は次のように簡略化される。

【００７３】

【数１５】 最後に、オーナーシップ確率を次のように定義し、

【数１６】 ログ尤度のグラディエントに関する式が次のように簡略
化される。

【００７４】

【数１７】 式（１６）と、式（１１）から簡単に導かれるログ−プ
ライアとを結合すると、次のように目的関数のグラディ
エントの式が提供される。

【００７５】

【数１８】 ＥＭアルゴリズムは、Ｅ（ｃ_t）の最大化のための反復
法である。Ｅ−ステップにおいて、動きパラメータに関
するカレント推測値をｃ_tとすると、オーナーシップ確
率、ｏ_w（ｄ_x,t）およびｏ_s（ｄ_x,t）は、動きパラメー
タを固定したまま計算される。続くＭ−ステップにおい
ては、動きパラメータに対する更新δｃが、オーナーシ
ップ確率を一定に維持して目的関数を最大化することに
よって評価される。

【００７６】ところで、Ｍ式は直接解くことができな
い。それに代えて、グラディエント−ベースの制約を用
いてしばしばオプティカル・フローが評価される方法と
同様に、近似の目的関数が最大化される。近似関数□
（δｃ；ｃ_t）は、動きパラメータに関する初期推測ｃ_t
についてカレント観測を線形化することによって得られ
る。より詳細には、ｄ（ｗ（ｘ；ｃ_t），ｔ）が、ｃ_tに
関して取られるその１次のテーラー級数によって近似さ
れる。より数式的には、

【数１９】 となり、それにおいては、 ∇ｄ（ｘ，ｔ）≡（ｄ_x（ｘ，ｔ），ｄ_y（ｘ，ｔ）） が、データ観測の空間的な部分導関数を示し、 Ｗ＝δｗ／δｃ_t が、ｃ_tにおけるワープ・マップの２×４ヤコビアンを
示す。

【００７７】ｄ（ｗ（ｘ；ｃ_t＋δｃ），ｔ）に関する
この近似を目的関数に代入することによって、アピアラ
ンス・モデルの安定コンポーネントに関する次の式が得
られる。

【００７８】

【数２０】 これにおいて、 δｄ_s≡ｄ（ｗ（ｘ；ｃ_t），ｔ）−μ_s,t、 ｑ＝（μ_s,t，σ_s,t） は、アピアランス・モデルのＳコンポーネントの平均お
よび標準偏差であり、かつ ∇ｄ＝∇ｄ（ｗ（ｘ；ｃ_t），ｔ） であり、κ_sは、ｃ_tとは独立した定数である。同様に、
アピアランス・モデルのＷコンポーネントについては次
式が得られる。

【００７９】

【数２１】 これにおいて、 δｄ_w≡ｄ（ｗ（ｘ；ｃ_t），ｔ）−ｄ（ｘ，ｔ−１）−
ｄ（ｗ（ｘ，ｔ−１）） であり、かつκ_wは、ｃ_tとは独立した定数である。

【００８０】これらの線形化を用いると、近似目的関数
が次式によって与えられる。

【００８１】

【数２２】 これにおいてκは、ｃ_tとは独立した定数である。近似
目的関数が更新δｃに関する２次式であることから、そ
の導関数は、次に示すようにδｃに関する線形連立方程
式をもたらす。

【００８２】

【数２３】 これに代えて、結果として得られる更新δｃに関する線
形方程式を次のように記述することができる。

【００８３】

【数２４】 これにおいてＡ_iは４×４のマトリクスであり、各ｂ
_iは、ｉ＝ｗ，ｓ，ｐに関する４次元ベクトルである。

【００８４】

【数２５】 この連立方程式の各線形方程式は、それぞれＷおよびＳ
コンポーネントに関するオーナーシップ確率によって重
み付けされた、異なる動き制約から作られる。式（２
３）におけるεは、Ｗコンポーネント制約に関する重み
付け因数である。式（２１）の近似目的関数の最大化に
関する数学的に適正なＭ−ステップは、重みε＝１を使
用することになろう。発明者らは、ε＝１／ｎの因数に
より、Ｗコンポーネントによって所有されている制約の
ダウン・ウェイトを行うと有用であることを発見し、そ
れにおいてｎ_sは、アピアランス・モデル内において使
用される指数時間ウインドウの半減期である。それに加
えて、Ｄ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）および
Ａ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）による
「Ｓｔａｂｉｌｉｔｙ ｏｆ Ｐｈａｓｅ Ｉｎｆｏｒ
ｍａｔｉｏｎ（位相情報の安定性）」（上記引用）を使
用して帯域信号で発生する局所的位相不安定性を検出す
る。局所的位相観測ｄ_x,tが不安定であると考えられる
ときは、常に対応するグラディエント制約が未定義にな
り、式（２３）に含められることはない。時間ｔ−１に
おける不安定な観測を、カレント・ワープの下に時間ｔ
における良好な観測にマップすると、尤度ｐ_w（ｄ_x,t，
ｄ_x,t-1）が未定義になる。それに代えて、以前の観測
が不安定と考えられるとき、ｐ_w＝０，０５を使用す
る。また、それらの場合においては、対応するＷコンポ
ーネントの制約を、εを０にセットすることによって線
形連立系から除去する。

【００８５】実際上は、局所的な最小値にはまり込むこ
とを回避する補助のために、粗−密ストラテジを伴うＥ
Ｍアルゴリズムおよび決定論的アニーリングを、動きパ
ラメータの当てはめに適用することが有用である（たと
えば、参照によりこれに援用されている１９９３年６月
にニューヨークで開催されたＩＥＥＥ Ｃｏｍｐｕｔｅ
ｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏ
ｇｎｉｔｉｏｎ（ＩＥＥＥコンピュータの視覚およびパ
ターン認識）ＣＶＰＲ−９３の会報７６０〜７６１ペー
ジにあるＡ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）およ
びＭ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊ．ブラック）による「Ｍ
ｉｘｔｕｒｅ Ｍｏｄｅｌ ｆｏｒ Ｏｐｔｉｃｌ Ｆ
ｌｏｗ Ｃｏｍｐｕｔａｔｉｏｎ（オプティカル・フロ
ー演算に関する混合モデル）」を参照されたい）。ワー
プ・パラメータに関する初期推測は、定速モデルを基礎
とし、その結果、初期推測は、単純に以前のフレームか
らの評価済みワープ・パラメータに等しくなる。アニー
リングのために、ＳおよびＷコンポーネントに関する式
（２２）のオーナーシップならびにグラディエントの演
算における分散σ_2s,tおよびσ_2wの使用に代えて、パラ
メータσ_sおよびσ_wが使用される。ＥＭアルゴリズムの
各繰り返しにおいては、これらの値が以下に従って減少
する。

【００８６】

【数２６】 これにおいてσ_sおよびσ_wは、カレントのＥＭの繰り返
しにおいて獲得された動き評価を前提とする、Ｓコンポ
ーネントおよびＷコンポーネントの位相差の、全近隣Ｎ
_tにわたる最大尤度分散評価である。分散が最小値に達
すると、アニーリングがオフになり、それらは、カレン
トの動きパラメータに従った揺動が許される。さらに、
Ｓコンポーネントの分散が、各ＥＭの繰り返しにおける
データ観測の空間的集合に従って減少することから、オ
ーナーシップおよび尤度グラディエントの演算における
各個別の観測に使用される分散は、対応する分散σ_2s,t
より低くなることができない。

【００８７】最後に、ワープ・パラメータｃ_tが決定さ
れた後は、アピアランス・モデルＡ_t-1がｃ_tによって指
定されるワープを使用して、カレント時間ｔに向かって
前方に対流（ワープ）される。このワープを行うため
に、区分的な定数の補間値（原文：ｉｎｔｅｒｐｏｌａ
ｎｔ）が、ＷＳＬ状態変数ｍ（ｘ，ｔ−１）およびσ_s
（ｘ，ｔ−１）に関して使用される。この補間は、安定
プロセスに関する平均μ（ｘ，ｔ−１）の補間への使用
には粗すぎることが予測されたため、区分的な線型モデ
ルを使用して平均の補間が行われている。この補間に関
する空間位相グラディエントは、イメージ・ピラミッド
のサンプリング・グリッド上の希望ロケーションｘに対
する最近ピクセルにおけるフィルタ応答のグラディエン
トから決定される（参照によりこれに援用されている１
９９１年のＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎａｎｄ Ｉ
ｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ（コンピュータ
の視覚およびイメージの理解）５３（２）：１９８〜２
１０にあるＤ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）、
Ａ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）および
Ｍ．Ｊｅｎｋｉｎ（Ｍ．ジェンキン）による「Ｐｈａｓ
ｅ−Ｂａｓｅｄ Ｄｉｓｐａｒｉｔｙ Ｍｅａｓｕｒｅ
ｍｅｎｔ（位相ベースの不同測定）」を参照された
い）。

【００８８】上に示したようにＷＳＬアピアランス・モ
デルを使用する追跡システムが、発明者らによって、Ｕ
ｎｉｘ（登録商標）（読み：ユニックス（登録商標））
オペレーティング・システムで動作するＳＵＮ（読み：
サン）ワークステーションを使用して実装され、Ｍａｔ
ｌａｂＰｙｒＴｏｏｌｓおよびＭａｔＬａｂソフトウエ
ア・ツールボックスの１ないしは複数を使用してＣプロ
グラミング言語により記述された。この実装された追跡
システムのパフォーマンスを記述する各種の例について
次に説明する。

【００８９】図１７〜１９は、第１の方向に歩行中（イ
メージ・フレーム内を左から右；図１７）の対象がカメ
ラの方向に振り返り（図１８）、続いて逆方向に歩いて
行く（つまり右から左；図１９）シーケンスから抽出し
たイメージを示している。この例は、Ｓコンポーネント
が、３Ｄターゲット・オブジェクト（たとえば対象の頭
部）の回転によって生じる漸進的なひずみに適合し得る
ことを例示している。図１７〜１９において、色が薄く
なっている楕円は、最初のフレーム内においてマニュア
ルで選択された選択領域を示している。この楕円が、振
り返るプロセスの間にわたって対象の頭部に貼り付いて
いることは、追跡が成功していることを表す。

【００９０】図２０〜２５に例証されているように、追
跡システムの成功は、対象の振り返り全体を通じて安定
したイメージ構造を識別するＳコンポーネントの能力に
大きく影響される。図２０および２１は、図１７のイメ
ージ・フレームによって生成された複数のデータ・スト
リームに関する混合確率および平均値をそれぞれ示して
いる。図２０の色の濃い領域は、密に詰まっている比較
的高い混合確率値（安定した構造を意味する）の領域を
示し、色の薄い領域は低い混合確率値（不安定な構造を
意味する）を示す。領域１１１０および１１２０内に示
されるように、高度に安定した構造は、それぞれ対象の
目および耳に関連付けされた高コントラストのエリア内
において識別されている。図２２および２３は、対象の
振り返り（図１８に示されている）に従って生じる混合
確率および平均値に対する変化を示している。ここで注
意が必要であるが、目の領域１２１０および耳の領域１
２２０内の混合確率がそれぞれ高く、これらの領域内に
おいては安定したイメージ・データが維持される。最後
の図２４および２５は、対象の振り返りが完了（図１８
に示されている）した後の混合確率および平均値に対す
る変化を示している。ここでは、数が大きく縮小されて
いるにもかかわらず、目の領域１３１０および耳の領域
１３２０から充分に安定したデータが獲得され、追跡の
成功が促進されていることに注意されたい。

【００９１】図２６および２７は、合成イメージであ
り、サイズおよび証明条件の著しい変化に抗して追跡シ
ステムの動きおよびアピアランスの結合評価が安定して
いることを示している。現在の方法にとってさらに困難
なことは、ターゲット領域が（時々）小さくなること、
および背景の動きからの、オブジェクトの動きの分離が
小さいこと（フレーム当たり１ピクセル程度）である。
また、ターゲット領域の概略半分に、茂みによるオクル
ージョンが時々生じている。カメラは、撮影の間にわた
って静止しており、シーケンスは、それぞれ概略で２５
０フレームである。図２６および２７に図示されている
２つのランは、最後のフレームに重畳された選択フレー
ムに関して、ターゲット領域を強調して示している。

【００９２】図２８〜４３は、部分的なオクルージョン
に応答した追跡システムの振る舞いを例示している。図
２８、３２、３６、および４０は、対象がオクルージョ
ンの生じていない初期状態（図２８）から、看板によっ
て部分的なオクルージョンを生じ（図３２および３
６）、最終的に看板の後方に再度現れる状態（図４０）
まで移動する間のシーケンスから選択したイメージ・フ
レームである。図２９〜４１は、混合確率ｍ_s（ｘ，
ｔ）をプロットしており、図３０〜４２は、平均μ
_s（ｘ，ｔ）をプロットしており、図３１〜４３は、Ｓ
コンポーネントに関するオーナーシップｏ_s,t（ｘ，
ｔ）をプロットしている。

【００９３】図２８〜３１は、約７０フレームの後の処
理を示している。ｍ_s,tおよびｏ_s,tに関する著しい応答
（図２９および３１）は、アピアランス・モデルが、通
常はオブジェクト境界の内側となる、安定した構造の識
別に成功したことを立証している。看板によって対象の
部分的なオクルージョンが生じている図３２〜３５およ
び３６〜３９を参照すると、ｍ_s（ｘ，ｔ）は、データ
のサポートがないことからオクルージョンの生じている
領域内においてなめらかに減衰しているが、平均μ
_s（ｘ，ｔ）は、ｍ_sがプロットのスレッショルドより低
く落ちるまで概略で一定に保たれている。これは、アピ
アランス・モデルの持続性を明確に例証している。図３
６〜３９は、オクルージョンから約２０フレーム後の
（ここで、このモデルの半減期がｎ_s＝２０であったこ
とを思い出されたい）対象およびアピアランス・モデル
を示しており、その時点まで、Ｓコンポーネント内のよ
り弱いデータ・ポイントが消失している。しかしなが
ら、このモデルは、このオクルージョンの発生を通じて
追跡を継続しており、対象の見えている部分上（たとえ
ば領域１７１０；図３９）に安定したモデルを維持して
いる。図４０〜４３においては、オクルージョンの背後
から人物が現れたとき、消散された安定したモデルをア
ピアランス・モデルが再構築している。

【００９４】図４４〜５２は、図１９Ａ〜４６に示され
ている一連のイメージ内に現れている表情の変化等の、
非剛体（たとえば自然）オブジェクトのイメージ内にお
ける安定したプロパティを追跡し、識別し得るＷＳＬア
ピアランス・モデルの能力を例示している。前述の例の
場合と同様に、図４７、４９、および５１は、Ｓコンポ
ーネントの混合確率を示し、図４７、４９、および５１
は、それぞれの平均値を示している。図４７を参照する
と、最初に口の領域２０１０が比較的安定であるとして
識別されていることに気付く。図４９においては、対象
がほほえんだ直後に、口の領域２０１０の安定性が大き
く弱められている（より色の薄いシェーディングによっ
て示されている）。図９１に示されているように、約２
０フレームの間にわたって新しい表情が維持された後
は、口の領域２０１０における安定性が再確立される。
眉等の顔の残りの部分も類似の振る舞いを呈する。その
逆に、生え際近傍および鼻のｍ_sの値は、これらのイベ
ント全体を通じて増加を続け、それらが持続的に安定し
ていること、および全体として頭部が正確に追跡されて
いることを示している。

【００９５】以上、１ないしは複数の具体的な実施態様
との関係から本発明を説明してきたが、この説明は、い
かなる意味においても本発明を限定する意図ではない。
すなわち、ここに説明した本発明には、付随する特許請
求の範囲内に含まれる、当業者にとって明らかなすべて
の修正および変形を包含することが意図されている。

【図面の簡単な説明】

【図１】 発明の実施態様に従ったアピアランス・モデ
ルを含む追跡システムを図示したブロック図である。

【図２】 図１の追跡システム内において使用されるア
ピアランス・モデルの概略の動作を図示したフローチャ
ートである。

【図３】 アピアランス・モデルによって処理されるい
くつかのイメージのひずみを示した写真である。

【図４】 アピアランス・モデルによって処理されるい
くつかのイメージのひずみを示した写真である。

【図５】 アピアランス・モデルによって処理されるい
くつかのイメージのひずみを示した写真である。

【図６】 アピアランス・モデルによって処理されるい
くつかのイメージのひずみを示した写真である。

【図７】 イメージ・データおよび関連するアピアラン
ス・モデルの混合パラメータを示した説明図である。

【図８】 イメージ・データおよび関連するアピアラン
ス・モデルの混合パラメータを示した説明図である。

【図９】 一連の時間値および関連するイメージ・デー
タ値をリストした表である。

【図１０】 比較的安定した初期期間に応答して生成さ
れたアピアランス・モデルのコンポーネント・パラメー
タを示した説明図である。

【図１１】 比較的安定した初期期間に応答して生成さ
れたアピアランス・モデルのコンポーネント・パラメー
タを示した説明図である。

【図１２】 比較的安定した初期期間に応答して生成さ
れたアピアランス・モデルのコンポーネント・パラメー
タを示した説明図である。

【図１３】 短いオクルージョンに応答して生成された
アピアランス・モデルのコンポーネント・パラメータを
示した説明図である。

【図１４】 漸進的に変化するイメージ・データに応答
して生成されたアピアランス・モデルのコンポーネント
・パラメータを示した説明図である。

【図１５】 長い期間にわたるイメージのひずみに応答
して生成されたアピアランス・モデルのコンポーネント
・パラメータを示した説明図である。

【図１６】 長い期間にわたるイメージのひずみに応答
して生成されたアピアランス・モデルのコンポーネント
・パラメータを示した説明図である。

【図１７】 振り返る３Ｄターゲット・オブジェクトの
追跡を示したイメージである。

【図１８】 振り返る３Ｄターゲット・オブジェクトの
追跡を示したイメージである。

【図１９】 振り返る３Ｄターゲット・オブジェクトの
追跡を示したイメージである。

【図２０】 図１７のイメージに関連付けされる混合確
率および平均イメージ・データ値を示した説明図であ
る。

【図２１】 図１７のイメージに関連付けされる混合確
率および平均イメージ・データ値を示した説明図であ
る。

【図２２】 図１８のイメージに関連付けされる混合確
率および平均イメージ・データ値を示した説明図であ
る。

【図２３】 図１８のイメージに関連付けされる混合確
率および平均イメージ・データ値を示した説明図であ
る。

【図２４】 図１９のイメージに関連付けされる混合確
率および平均イメージ・データ値を示した説明図であ
る。

【図２５】 図１９のイメージに関連付けされる混合確
率および平均イメージ・データ値を示した説明図であ
る。

【図２６】 カメラに向かって移動する３Ｄオブジェク
トの追跡を示した合成写真である。

【図２７】 カメラに向かって移動する３Ｄオブジェク
トの追跡を示した合成写真である。

【図２８】 オクルージョンの前のターゲット・オブジ
ェクトに関連付けされるイメージ・データを含む写真で
ある。

【図２９】 図２８に示されているイメージ・データに
関連付けされる混合確率、を示した説明図である。

【図３０】 図２８に示されているイメージ・データに
関連付けされる平均データ値を示した説明図である。

【図３１】 図２８に示されているイメージ・データに
関連付けされるオーナーシップ・データを示した説明図
である。

【図３２】オクルージョンの開始時における図２８のタ
ーゲット・オブジェクトに関連付けされるイメージ・デ
ータを含む写真である。

【図３３】 図３２に示されているイメージ・データに
関連付けされる混合確率を示した説明図である。

【図３４】 図３２に示されているイメージ・データに
関連付けされる平均データ値を示した説明図である。

【図３５】 図３２に示されているイメージ・データに
関連付けされるオーナーシップ・データを示した説明図
である。

【図３６】 オクルージョンの比較的長い期間の後にお
ける図２８のターゲット・オブジェクトに関連付けされ
るイメージ・データを含む写真である。

【図３７】 図３６に示されているイメージ・データに
関連付けされる混合確率を示した説明図である。

【図３８】 図３６に示されているイメージ・データに
関連付けされる平均データ値を示した説明図である。

【図３９】 図３６に示されているイメージ・データに
関連付けされるオーナーシップ・データを示した説明図
である。

【図４０】 オクルージョンが解消された後における図
２８のターゲット・オブジェクトに関連付けされるイメ
ージ・データを含む写真である。

【図４１】 図４０に示されているイメージ・データに
関連付けされる混合確率を示した説明図である。

【図４２】 図４０に示されているイメージ・データに
関連付けされる平均データ値を示した説明図である。

【図４３】 図４０に示されているイメージ・データに
関連付けされるオーナーシップ・データを示した説明図
である。

【図４４】 自然なひずみを見せている対象の追跡を示
したイメージである。

【図４５】 自然なひずみを見せている対象の追跡を示
したイメージである。

【図４６】 自然なひずみを見せている対象の追跡を示
したイメージである。

【図４７】 図４４のイメージに関連付けされる混合確
率を示した説明図である。

【図４８】 図４４のイメージに関連付けされる平均イ
メージ・データ値を示した説明図である。

【図４９】 図４５のイメージに関連付けされる混合確
率を示した説明図である。

【図５０】 図４５のイメージに関連付けされる平均イ
メージ・データ値を示した説明図である。

【図５１】 図４６のイメージに関連付けされる混合確
率を示した説明図である。

【図５２】 図４６のイメージに関連付けされる平均イ
メージ・データ値を示した説明図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 トーマス エフ エル マラギー カナダ オンタリオ トロント メイトラ ンド プレイス 324−77 Ｆターム(参考） 5L096 BA02 CA22 HA05 KA04 LA05

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の連続したイメージフレーム内に提
   供されるイメージデータを使用するアピアランスモデル
   を生成するための方法であって、 前記アピアランスモデルが、第１の混合確率及び比較的
   多数の連続したイメージフレーム内に提供されるイメー
   ジデータによって定義される第１のデータパラメータを
   含む安定コンポーネントによって定義され、かつ前記ア
   ピアランスモデルが、第２の混合確率及び比較的少数の
   連続したイメージフレーム内に提供されるイメージデー
   タによって定義される第２のデータパラメータを有する
   推移コンポーネントを包含し、 前記方法が、 複数の連続したイメージフレームの、もっとも新しいイ
   メージフレームに対応するイメージデータを受け取り、 前記安定コンポーネントに関する第１の尤度値及び前記
   推移コンポーネントに関する第２の尤度値の決定であっ
   て、前記第１の尤度値が前記イメージデータと前記第１
   のデータパラメータの間における相対的な一致を示し、
   第２の尤度値が前記イメージデータと前記第２のデータ
   パラメータの間における相対的な一致を示すものとし、 前記第１および第２の尤度値をそれぞれ使用して、前記
   安定コンポーネントの前記混合確率及び前記推移コンポ
   ーネントの前記第２の混合確率を更新する、 各ステップを含む方法。
2. 【請求項２】 選択されたターゲットオブジェクトを追
   跡するための方法であって、 前記ターゲットオブジェクトに関連付けされたイメージ
   データを含むカレントイメージフレームを受け取り、 ターゲットオブジェクトの動きを、時間的に前記カレン
   トイメージフレームに先行する比較的多数のイメージフ
   レームにわたって受け取られたイメージデータによって
   定義されるパラメータを有する第１のイメージコンポー
   ネント及び時間的に前記カレントイメージフレームに先
   行する比較的少数の連続するイメージフレームにわたる
   イメージデータによって定義されるパラメータを有する
   第２のイメージコンポーネントを含む適応型アピアラン
   スモデルを使用して評価し、 前記第１及び第２のイメージコンポーネントを更新す
   る、 各ステップを含む方法。
3. 【請求項３】 プロセッサによりコントロールされるマ
   シン上に実装される、複数の連続したイメージフレーム
   内に現れるオブジェクトを識別するための適応型アピア
   ランスモデルであって、 比較的多数の連続したイメージフレームにわたって安定
   を保つイメージデータによって定義されるパラメータを
   有する第１のイメージコンポーネントと、 比較的少数の連続したイメージフレームによって定義さ
   れるパラメータを有する第２のイメージコンポーネント
   を含み、かつ複数の連続したイメージフレームのカレン
   トイメージフレームを受け取った後に、前記第１のイメ
   ージコンポーネントを更新するための手段と、 を包含する適応型アピアランスモデル。