JP2001273501A - 複数の画像フレームの中のオブジェクトをトラッキングするための方法 - Google Patents

複数の画像フレームの中のオブジェクトをトラッキングするための方法

Info

Publication number
JP2001273501A
JP2001273501A JP2001030687A JP2001030687A JP2001273501A JP 2001273501 A JP2001273501 A JP 2001273501A JP 2001030687 A JP2001030687 A JP 2001030687A JP 2001030687 A JP2001030687 A JP 2001030687A JP 2001273501 A JP2001273501 A JP 2001273501A
Authority
JP
Japan
Prior art keywords
template
boundary
deformation
image frame
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001030687A
Other languages
English (en)
Inventor
Todd Schoepflin
トッド・シェプリン
Vikram Chalana
ビクラム・チャラナ
David Haynor
デイビッド・ヘイノル
Kim Yonmin
ヨンミン・キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Washington
Original Assignee
University of Washington
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Washington filed Critical University of Washington
Publication of JP2001273501A publication Critical patent/JP2001273501A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 複数の画像フレーム内のオブジェクトを追跡
する方法を提供する。 【解決手段】 テンプレート（８８）を変形させる階層
状の変形オペレーション（７４−８０）が実現されて、
変形されたテンプレートをビデオフレーム内のオブジェ
クトに一致させる。最も高いレベルでは初期のテンプレ
ートは変換、回転および倍率変更されて、所与の画像フ
レーム内のオブジェクトの場所を大まかに特定する。中
間レベルではアフィン変換（７６、７８）がグローバル
またはローカルに実現されてテンプレートを変形し、テ
ンプレートを洗練して所与のフレーム内の実際のオブジ
ェクトバウンダリにテンプレートのバウンダリを近づけ
る。最も低いレベルではローカルセグメンテーションア
ルゴリズム（８０）が適用され、オブジェクトバウンダ
リに微細に一致するように現時の近いバウンダリを変形
する。

Description

【発明の詳細な説明】
【０００１】
【発明の背景】この発明は、画像フレームのシーケンス
内でのオブジェクトのトラッキングに関し、より特定的
には、変形可能なテンプレートを用いてオブジェクトを
追跡するための方法および装置に関する。
【０００２】ビデオシーケンスの多数のフレームの中の
オブジェクトを追跡する際は、オブジェクトのバウンダ
リが各々のフレーム内で識別される。オブジェクトはバ
ウンダリ内の領域である。移動し、回転しまたは変形す
るオブジェクトの追跡が可能となるように、追跡可能な
オブジェクトに対する制約が緩和されるにつれ、所与の
フレーム内でオブジェクトのバウンダリを識別する際の
問題は増加する。１つのフレーム内でオブジェクトが一
旦識別されると、次のフレームでテンプレートマッチン
グを用いることによりオブジェクトの移動を検出しても
よい。テンプレートは典型的には、先行するフレーム内
で識別されたものとしてのオブジェクトである。移動
し、回転しまたは変形するオブジェクトを検出するのに
変形可能なモデルが用いられる。変形可能なモデルを用
いるさまざまな方法が以下に説明される。
【０００３】スネークとしても公知である動的輪郭モデ
ルは、画像の特徴、特に画像のオブジェクトバウンダリ
を調整するために用いられてきた。着想上は、動的輪郭
モデルは画像に弾力的な曲線を重ねるステップを含む。
曲線（すなわちスネーク）はそれ自体を初期の形から変
形させて画像の特徴にあわせる。曲線を線およびエッジ
などの画像の特徴に適合させるエネルギ最小化機能が用
いられる。この機能は外部制約の強さおよび画像の強さ
により導かれる。最適な適合は曲線の総エネルギ算出を
最小化することにより達成される。実際には、連続性お
よび平滑さの制約が課されてモデルの変形を制御する。
モデルは先行するフレームからのオブジェクトである。
動的輪郭モデルの欠点は、あるフレームから次のフレー
ムへのオブジェクトの位置または形状の小さな変化のた
めにバウンダリの識別に失敗し得るということである。
特に、オブジェクトを追うよりはむしろ、推定されるバ
ウンダリがバックグラウンド中の強い誤ったエッジに代
わりにくっついて、オブジェクトの輪郭を歪めてしま
う。
【０００４】１９９２年の“International Journal of
Computer Vision”第８巻に掲載のユール（Yuille）ら
による「変形可能なテンプレートを用いた顔からの特徴
抽出」（“Feature Extraction from Faces Using Defo
rmable Templates”）には、画像中の目と口がいくつか
のパラメータを備えたモデルを用いて識別される過程が
開示されている。たとえば、目は２本の放物線および円
の半径を用いてモデル化される。放物線および円の半径
の形状を変化させることにより、目が識別され得る。ユ
ールらおよび他の変形モデルは、大きく制約を受けた変
形しか典型的には含まなかった。特に、オブジェクト
は、ある一般的に公知の態様で変形し得る一般的に公知
である形状を有する。動的輪郭モデルなどの処理は制約
を緩和したが、非常に狭い空間範囲の運動にわたってし
か有効ではない。ユールにより開示されたような処理は
より広い空間範囲の運動に対して有効であるが、非常に
制約を受けたタイプの運動を追跡する。したがって、よ
り広い空間範囲にわたってよりアクティブな変形を追跡
でき、より柔軟でかつ効果的なオブジェクト追跡を行な
うものが必要である。
【０００５】
【発明の概要】この発明に従うと、テンプレートを変形
し、変形されたテンプレートをビデオフレーム内のオブ
ジェクトに一致させる変形オペレーションの階層が実現
される。階層的な変形および一致は多数のフレームで行
なわれ、そのようなフレームの中のオブジェクトを追跡
する。各々の階層的処理のレベルで、テンプレートの変
形に対する制約が緩和され、一方オブジェクトバウンダ
リを探索する空間範囲はより制限される。
【０００６】所与の画像フレームに対しては、エッジエ
ネルギ分析が行なわれて画像フレームのエッジエネルギ
表示を導出する。そのような表示は、画像フレーム内に
存在する他のエッジのエネルギ表示とともにオブジェク
トバウンダリのエネルギ表示を含む。オブジェクトの場
所を識別するためにフレームを探索する際、変形オペレ
ーションの階層を用いて探索されるのはエネルギ表示で
ある。
【０００７】好ましい実施例では、３つのレベルの変形
およびトラッキングが実現される。最も高いレベルで
は、画像フレームのエネルギ表示の中のオブジェクトバ
ウンダリの場所を大まかに特定するように、現時の画像
フレームのために用いられる初期テンプレートが移動さ
れかつ回転され、これにより所与の画像フレーム内のオ
ブジェクトの場所を特定した。いくつかの実施例では、
倍率変更も最も高いレベルで行なわれる。
【０００８】この発明の１つの局面に従うと、中間レベ
ルでは、アフィン変換が実現されてテンプレートを変形
する。アフィン変換では、テンプレートの境界の線が回
転されまたは拡大される。たとえば、平行な線が、その
線を平行に維持しながら、回転されまたは拡大されて、
線上の点の間の距離を変化させる。たとえば、グローバ
ルアフィン変形オペレーションがテンプレートに与えら
れる。
【０００９】この発明の別の局面に従うと、これに加え
てまたはこれに代えて、中間レベルは、ローカルのテン
プレートの下位部分にアフィン変換が与えられるローカ
ルアフィン変換処理を含む。下位部分はオペレータによ
り選択されるかまたは予め選択される。たとえば、オブ
ジェクトが追跡されるために選択されると、下位部分は
そのオブジェクトとともにオペレータにより選択され
る。下位部分は実際にはオブジェクトの明確化する部分
である。たとえば、オブジェクトが本体であると、オペ
レータは追跡される明確なものとして１つまたはそれ以
上の付属物を選択してもよい。付属物はテンプレートの
選択された下位部分である。別の例では、オブジェクト
は車であり、明確化する下位部分はドアである。さらに
別の例では、オブジェクトは木であり、明確化する下位
部分は木の枝である。
【００１０】変形およびトラッキングのこの中間レベル
は、移動され、回転されおよび／または倍率変更された
テンプレートを、動く明確なものをオブジェクト内に許
容するように調整するために用いられる。具体的には、
追跡可能なオブジェクトの運動に対する制約は、オブジ
ェクトの付属物または他の下位部分の明確化された運動
を含有するように緩和される。中間レベルは、所与の画
像フレームに対してテンプレートのバウンダリを実際の
オブジェクトバウンダリに近づけるようにテンプレート
を洗練する。高レベルの処理においてと同様に、変形さ
れたテンプレートは画像フレームのエネルギ表示と比較
されて、オブジェクトバウンダリの場所の推定を向上さ
せる。
【００１１】最も低いレベルでは、ローカルセグメンテ
ーションアルゴリズムが好ましい実施例において適用さ
れて、オブジェクトバウンダリを微細に一致させるよう
に現時の近いバウンダリを変形する。最も低いレベルで
は、許容されたオブジェクトの変形は、ほとんど制約を
受けないものである。しかしながら、そのような運動
は、中間レベルの処理または高レベルの処理に対するよ
りもより限られた空間範囲で起こり得る。
【００１２】さまざまな実施例では、中間レベルの変形
処理は、単独でまたは高レベルの変形および／または低
レベルの変形処理とともに行なわれる。さらに、動的輪
郭モデルまたは別のローカルセグメンテーションアルゴ
リズムのようなさまざまな低レベルの変形処理が含まれ
てもよい。
【００１３】この発明の利点に従うと、オブジェクトの
正確なバウンダリが、変形するかまたは急速に動く下位
部分を含むオブジェクトに対して追跡される。多くの種
類のオブジェクトの形状および異なるオブジェクト変形
パターンを追跡する能力はＭＰＥＧ−４画像処理システ
ムとともに用いるのに特に有利である。
【００１４】この発明のこれらおよびその他の局面およ
び利点は、以下の詳細な説明を添付の図面と関連して参
照することによりさらに理解されるであろう。
【００１５】
【特定の実施例の説明】［概要］図１はビデオオブジェ
クトの場所を特定し、追跡し、かつ符号化するための対
話型処理環境１０のブロック図を示す。この処理環境１
０はユーザインターフェイス１２、シェル環境１４およ
び複数の機能上のソフトウェア「プラグイン」プログラ
ム１６を含む。ユーザインターフェイスはオペレータ入
力をさまざまな入力源、たとえばポイントおよびクリッ
ク装置２６（たとえばマウス、タッチパッド、トラック
ボール）、キー入力装置２４（例、キーボード）、また
は予め記録されたスクリプトされたマクロ１３などから
受取りおよび配布する。ユーザインターフェイス１２は
また、ディスプレイ装置２２へのフォーマット出力を制
御する。シェル環境１４はプラグイン１６とユーザイン
ターフェイス１２との間の相互作用を制御する。入力ビ
デオシーケンス１１はシェル環境１４に入力される。さ
まざまなプラグインプログラム１６ａ−１６ｎがビデオ
シーケンス１１のすべてまたは一部分を処理し得る。シ
ェル環境１４の利点の１つはプラグインプログラムを可
能なビデオシーケンス入力のさまざまなフォーマットか
ら分けることである。各々のプラグインプログラムは、
アプリケーションプログラムインターフェイス（ＡＰ
Ｉ）モジュール１８を介してシェルとインターフェイス
する。
【００１６】１つの実施例では、対話型処理環境１０は
当該技術分野において周知のタイプのプログラムされた
デジタルコンピュータで実行され、そのコンピュータの
例は図２に示される。コンピュータシステム２０はディ
スプレイ２２と、キー入力装置２４と、ポイント／クリ
ック装置２６と、プロセッサ２８と、ランダムアクセス
メモリ（ＲＡＭ）３０とを有する。通常はこれに加え
て、通信またはネットワークインターフェイス３４（た
とえば、モデムすなわちイーサネット（登録商標）アダ
プタ）と、ハードディスクドライブ３２および可搬記憶
媒体３８を読出す可搬記憶媒体ドライブ３６などの不揮
発性記憶装置とが存在する。その他の雑記憶装置４０、
たとえばフロッピー（登録商標）ディスクドライブ、Ｃ
Ｄ−ＲＯＭドライブ、ジップドライブ、ベルヌーイドラ
イブまたはその他の磁気、光学もしくはその他の記憶媒
体などが含まれてもよい。さまざまな構成要素が１つま
たはそれ以上のバス４２を介してインターフェイスし、
データおよびコマンドを交換する。コンピュータシステ
ム２０は、キー入力装置２４、ポイント／クリック装置
２６、ネットワークインターフェイス３４または他の入
力装置もしくは入力ポートを介してエントリから情報を
受取る。このコンピュータシステム２０は、当該技術分
野で周知のあらゆるタイプ、たとえばメインフレームコ
ンピュータ、ミニコンピュータ、またはマイクロコンピ
ュータなどであってもよく、またネットワークサーバコ
ンピュータ、ネットワーク接続したクライアントコンピ
ュータ、または独立型コンピュータとして使えるもので
あってもよい。さらに、このコンピュータシステム２０
はワークステーション、パーソナルコンピュータ、また
は圧縮特徴ネットワーク端末装置として構成されていて
もよい。
【００１７】別の実施例では、この対話型処理環境１０
は埋込みシステム中で実現される。この埋込みシステム
は、前述のプログラムされたデジタルコンピュータに類
似するデジタル処理装置および周辺機器を含む。さら
に、特定の実現例、たとえば画像の取込などに対し、１
つまたはそれ以上の入力装置または出力装置が存在す
る。
【００１８】ユーザインターフェイス１２およびシェル
環境１４を実現するためのソフトウェアコードは、コン
ピュータの実行可能命令およびコンピュータの読出可能
データを含み、デジタルプロセッサ読出可能記憶媒体、
すなわち埋込みメモリ、ＲＡＭ、ＲＯＭ、ハードディス
ク、光ディスク、フロッピーディスク、光磁気ディス
ク、電気光学ディスク、またはその他の公知もしくは実
現可能な可搬もしくは不可搬プロセッサ読出可能記憶媒
体などに記憶される。同様に、各々のプラグイン１６お
よび対応するＡＰＩ１８は、デジタルプロセッサ実行可
能命令およびプロセッサ読出可能データを含み、プロセ
ッサ読出可能記憶媒体、すなわち埋込みメモリ、ＲＡ
Ｍ、ＲＯＭ、ハードディスク、光ディスク、フロッピー
ディスク、光磁気ディスク、電気光学ディスク、または
その他の公知もしくは実行可能な可搬もしくは不可搬プ
ロセッサ読出可能記憶媒体に記憶される。プラグイン１
６（と対応するＡＰＩ１８）は個々の記憶媒体に別々に
束ねられても、共通の記憶媒体に一緒に束ねられてもよ
い。さらに、プラグイン１６および対応するＡＰＩ１８
は、ユーザインターフェイス１２およびシェル環境１４
と束ねられなくても、１つまたはそれ以上が束ねられて
もよい。さらに、さまざまなソフトウェアプログラムお
よびプラグインは、グローバルコンピュータネットワー
クなどのネットワーク上で電子的に配布または実行され
てもよい。
【００１９】さまざまな電算モデル下で、処理環境１０
を作るソフトウェアプログラムはエンドユーザコンピュ
ータにインストールされるか、または遠隔地からアクセ
スされる。独立型電算モデルについては、実行可能命令
およびデータは独立型コンピュータがアクセス可能な揮
発性または不揮発性メモリに読込まれてもよい。非常駐
コンピュータモデルについては、実行可能命令およびデ
ータはローカルでまたはリモートコンピュータにおいて
処理されてもよく、そのリモートコンピュータはローカ
ルコンピュータに送られる出力と、ローカルコンピュー
タから受取るオペレータ入力とを有する。多くの電算構
成が実現可能であることが当業者に理解されるであろ
う。非常駐電算モデルにおいて、ソフトウェアプログラ
ムはローカルに記憶されてもよく、公的もしくは私的
な、ＬＡＮもしくはＷＡＮ、またはグローバルコンピュ
ータネットワークのサーバコンピュータに記憶されても
よい。実行可能命令はエンドユーザコンピュータ上で動
かされても、サーバコンピュータ上でエンドユーザのデ
ィスプレイ装置上にデータが表示されるようにして動か
されてもよい。
【００２０】［シェル環境およびユーザインターフェイ
ス］シェル環境１４は、オペレータが対話型環境におい
てさまざまなビデオ処理およびエンハンスメントツール
を開発、テストまたは用いることを可能にする。特に、
ビデオオブジェクトセグメンテーション、ビデオオブジ
ェクトトラッキングおよびビデオ符号化（たとえば、圧
縮）に対するプラグインは、好ましい実施例において支
持される。対話型環境１０はシェル１４を伴い、ビデオ
コンテンツ、たとえばＭＰＥＧ−４ビデオコンテンツま
たはその他のビデオフォーマットのコンテンツなどを作
るための有用な環境を提供する。プルダウンメニューま
たはポップアップウィンドウを実現することにより、オ
ペレータはプラグインを選択して１つまたはそれ以上の
ビデオフレームを処理することができる。
【００２１】好ましい実施例に従うと、シェル１４はビ
デオオブジェクトマネージャを含む。プラグインプログ
ラム１６、たとえばセグメンテーションプログラムなど
は、シェル環境１４を介して１組のユーザ入力とともに
ビデオデータのフレームにアクセスする。セグメンテー
ションプラグインプログラムは、ビデオフレーム中のビ
デオオブジェクトを識別する。ビデオオブジェクトデー
タはシェル１４に送られ、そこでデータはビデオオブジ
ェクトマネージャモジュール中に記憶される。このよう
なビデオオブジェクトデータには、同じまたは別のプラ
グイン１６、たとえばトラッキングプログラムなどがア
クセス可能である。トラッキングプログラムは、続いて
起こるビデオフレーム中のビデオオブジェクトを識別す
る。各々のフレーム中のビデオオブジェクトを識別した
データは、ビデオオブジェクトマネージャモジュールへ
送られる。基本的にビデオオブジェクトデータは、ビデ
オオブジェクトが追跡される各々のビデオフレームに対
して抽出される。オペレータがすべてのビデオオブジェ
クト抽出、およびビデオシーケンスの編集またはフィル
タリングを完了させると、エンコーダプラグイン１６が
活性化され、最終的なビデオシーケンスを所望のフォー
マットに符号化することができる。このようなプラグイ
ンアーキテクチャを用いると、セグメンテーションおよ
びトラッキングプラグインはエンコーダプラグインにイ
ンターフェイスされる必要がない。さらに、このような
プラグインはいくつかのビデオファイルフォーマットの
読取を支持したり、ビデオ出力フォーマットを作ったり
する必要はない。シェルはビデオ入力の互換性の問題を
扱うのに対し、ユーザインターフェイスはディスプレイ
フォーマッティングの問題を扱う。エンコーダプラグイ
ンはランタイムビデオシーケンスの作成を扱う。
【００２２】マイクロソフトウィンドウズのオペレーテ
ィングシステム環境においては、プラグイン１６はダイ
ナミックリンクライブラリとしてコンパイルされる。処
理環境１０のランタイムにおいて、シェル１４はプラグ
インプログラムに対する定義済みディレクトリをスキャ
ンする。プラグインプログラムが存在するとき、その名
前がウィンドウまたはユーザ選択メニューに表示される
リストに加えられる。オペレータがプラグイン１６の実
行を選択すると、それに対応するダイナミックリンクラ
イブラリがメモリ中に読込まれ、プロセッサはプラグイ
ンに対する１組の定義済みエントリポイントの１つから
の実行命令を開始する。ビデオシーケンスおよびビデオ
オブジェクトセグメンテーションにアクセスするため、
プラグインは１組のコールバック機能を用いる。プラグ
インは対応するアプリケーションプログラムインターフ
ェイスモジュール１８を介して、シェルプログラム１４
にインターフェイスする。
【００２３】さらに、セグメンテーションプラグインに
支持されるユーザインターフェイス１２のセグメンテー
ションインターフェイス４４部分が存在する。セグメン
テーションインターフェイス４４はセグメンテーション
プラグインを呼出し、オペレータの選択したセグメンテ
ーションコマンドを支援する（たとえば、セグメンテー
ションプラグインの実行、セグメンテーションプラグイ
ンの構成、バウンダリの選択／編集の実行など）。
【００２４】ＡＰＩ１８は典型的に、対応するプラグイ
ンを、リンクされたアクセスを必要とする基準のみに基
づいて特定のデータ構造にアクセスさせる。たとえば、
ＡＰＩはビデオデータのフレームを取って来たり、ビデ
オオブジェクトマネージャからビデオオブジェクトデー
タを回収したり、ビデオオブジェクトデータをビデオオ
ブジェクトマネージャで記憶したりするのに使われる。
プラグインを分離しＡＰＩを介してインターフェイスす
ることにより、プラグインはユーザインターフェイス１
２およびシェル１４を作るときに用いられたのとは異な
るプログラム言語および異なるプログラミング環境にお
いて書込まれることが可能である。１つの実施例では、
ユーザインターフェイス１２およびシェル１４はＣ＋＋
で書込まれている。プラグインは、Ｃプログラム言語な
ど、いずれの言語でも書込まれることができる。
【００２５】好ましい実施例では、各々のプラグイン１
６は別個の処理スレッドにおいて実行される。その結
果、ユーザインターフェイス１２がダイヤログボックス
を表示し、プラグインがそれを用いて進行を表示するこ
とができ、またユーザはそこからプラグインの実行の停
止または一時停止を選択することができる。
【００２６】再度図１を参照すると、ユーザインターフ
ェイス１２はセグメンテーションインターフェイス４４
と、さまざまなディスプレイウィンドウ５４−６２と、
ダイヤログボックス６４と、メニュー６６と、ボタンバ
ー６８とを、このような表示のフォーマッティングおよ
び維持のための支援ソフトウェアコードとともに含む。
好ましい実施例では、ユーザインターフェイスはメイン
ウィンドウによって定義され、そのメインウィンドウ中
でユーザは１つまたはそれ以上の従属ウィンドウを選択
し、各々の従属ウィンドウは所与の時間に並行してアク
ティブであり得る。従属ウィンドウは開閉、移動および
サイズ変更が可能である。
【００２７】好ましい実施例では、ビデオウィンドウ５
４、ズームウィンドウ５６、タイムラインウィンドウ５
８と、１つまたはそれ以上のエンコーダディスプレイウ
ィンドウ６０と、１つまたはそれ以上のデータウィンド
ウ６２とを含むいくつかの従属ウィンドウ５２が存在す
る。ビデオウィンドウ５４はビデオフレームまたはフレ
ームのシーケンスを表示する。フレームのシーケンスを
見る際には、フレームは１つずつ、リアルタイムで、ス
ローモーションで、または早送りで見ることができる。
ポイントおよびクリック、または定義済みキーシーケン
スによってオペレータにアクセス可能な入力制御がそこ
に含まれる。そこには、停止、一時停止、再生、巻戻
し、早送り、コマ送り、およびその他のＶＣＲ様制御
が、ビデオウィンドウ５４におけるビデオ表示を制御す
るために存在する。いくつかの実施例では、ビデオウィ
ンドウ５４に対する倍率変更およびスクローリング制御
も存在する。
【００２８】ズームウィンドウ５６は、ビデオウィンド
ウ５４の一部分の、ビデオウィンドウよりも実質的に大
きな倍率の拡大図を表示する。タイムラインウィンドウ
５８はビデオフレームの増分タイムラインを、０または
それ以上の選択ビデオフレームのサムネイル表示ととも
に含む。タイムラインウィンドウ５８はまた、入力ビデ
オシーケンス１１に対して規定された各々のビデオオブ
ジェクトに対するそれぞれのタイムラインを含む。ビデ
オオブジェクトはオブジェクトの輪郭を示すことにより
規定される。
【００２９】データウィンドウ６２は、オブジェクトタ
イトル、透過マスクの色、符号化ターゲットビットレー
ト、探索範囲、および対応するビデオオブジェクトを規
定しおよび符号化するのに用いるその他のパラメータに
対するユーザ入力欄を含む。
【００３０】符号化の間に、エンコーダウィンドウ６０
の１つが表示される。たとえば、エンコーダ進捗ウィン
ドウは、入力ビデオシーケンス１１内の各々の規定され
たビデオオブジェクトに対する符号化の状況を示す。
【００３１】［ビデオオブジェクトトラッキング］オブ
ジェクトを追跡するためには、第１のステップは、オブ
ジェクトに対応する、用いるべきテンプレートを規定す
ることである。好ましい実施例では、オペレータは入力
ビデオシーケンスをロードし、オブジェクトバウンダリ
に近似する点または線セグメントを選択する。次にさら
に正確にバウンダリを規定するように、ローカルセグメ
ンテーションアルゴリズムが適用される。オペレータは
バウンダリ上の点を調整してバウンダリを洗練し、かつ
洗練されたバウンダリ点を用いてセグメンテーションア
ルゴリズムを再実行して、所望の正確なオブジェクトを
達成し得る。そのようなオブジェクトは別のフレーム内
でオブジェクトの場所を特定するための初期テンプレー
トとなる。
【００３２】好ましい実施例では、所与のフレーム内で
場所を特定されたオブジェクトは、処理されるべき次の
フレーム内でオブジェクトを探索する際の初期テンプレ
ートとなる。そのような次のフレームはビデオシーケン
ス内の続いての画像フレームであっても、ビデオシーケ
ンス内でサンプリングされるべき次のフレームであって
も、または処理されるべき次のフレームである、シーケ
ンス内のもしくはシーケンス外のいずれかの、いかなる
フレームであってもよい。このような好ましい試みに従
うと、初期テンプレートは処理されるべきフレームごと
に常に変化している。これに代わる試みでは、選択され
たオブジェクトは処理されるべきすべてのフレーム内の
オブジェクトの場所を特定するための初期テンプレート
となる。
【００３３】図３を参照すると、階層的なトラッキング
方法のフローチャート７０がこの発明の実施例のために
示される。エントリポイントでは、追跡されるべきオブ
ジェクトはオペレータにより既に選択された。さらに、
オブジェクトバウンダリを正確に示しかつオブジェクト
バウンダリを含むオブジェクトのテンプレートを記憶す
るように、セグメンテーションアルゴリズムが適用され
た。さまざまな公知のセグメンテーションアルゴリズム
（たとえば、動的輪郭モデル）のいずれかがオブジェク
トのテンプレートを識別するのに用いられる。
【００３４】階層的なトラッキング方法のステップ７１
では、複数の画像フレームの中の現時の画像フレームが
処理されて、画像フレームのエッジエネルギ表示を得
る。１つの実施例では、キャニーエッジ検出アルゴリズ
ムが画像のエッジのバイナリの画像表示（たとえば、エ
ッジ上の画素＝１、エッジ上にない画素＝０）を生成す
る。次に距離変換がバイナリ画像に適用されてエネルギ
画像を得る。別の実施例では、エッジエネルギ表示を規
定するウェーブレット分解アルゴリズムが実現される。
カラーの画像フレームの場合は、ウェーブレット分解ア
ルゴリズムが好ましい。キャニーエッジ検出アルゴリズ
ムは、１９８６年の“IEEE Transactionson Pattern An
alysis and Machine Intelligence” ＰＡＭＩ−８
（６）、６７９−６９８頁の、ジョン・キャニー（John
Canny）による「エッジ検出に対する電算的アプロー
チ」（“A Computational Approach to Edge Detectio
n”）に記載されている。ウェーブレット分解アルゴリ
ズムは、１９９７年のＳＰＩＥ第３０７４巻、０２７７
−７８６Ｘに記載のシン（Singh）らによる「エッジ検
出のためのＤａｕｂｅｃｈｉｅｓ、Ｃｏｉｆｌｅｔおよ
びＳｙｍｌｅｔの比較」（“Comparison of Daubechie
s, Coiflet, and Symlet for Edge Detection”）に記
載されている。別のウェーブレット分解アルゴリズム
は、同一の譲受人に譲渡された１９９９年６月１０日出
願の米国特許出願連続番号第０９／３２３，５０１号の
スン（Sun）らによる「イメージオブジェクトの所望の
輪郭をモデリングするための方法および装置、ならびに
フレームのシーケンス内でイメージオブジェクトを追跡
し、かつイメージオブジェクトの所望の輪郭をモデリン
グするための方法（“Video Object Segmentation Usin
g Active Contour Model with GlobalRelaxation”）」
と題された出願に記載されている。
【００３５】ステップ７２では、処理されている現時の
画像フレームに対する初期テンプレートが得られる。上
述のように、初期テンプレートは好ましくは、先行する
フレームで場所を特定されたような最終的なオブジェク
トバウンダリの推定であり、処理される各々のフレーム
ごとに変化する。図４を参照すると、初期テンプレート
８８が画像フレームのエッジエネルギ表示９０に与えら
れる。エッジエネルギ表示９０はテンプレートに対応す
るオブジェクトに対するエッジでのみ示されるが、典型
的には多くのエッジが存在する。トラッキング方法と
は、追跡されることが所望されたオブジェクトに対応す
るエッジを選択することである。
【００３６】好ましい実施例では、テンプレートはパラ
メトリックにまたは陽関数的に定義される。たとえばあ
る実施例では、テンプレートは１組の陽関数表示（ｘ、
ｙ）の座標の対によって定義される。テンプレートはあ
るエネルギメトリックを最小化するように変形される。
一般的には、テンプレートの総エネルギは内部のテンプ
レートの歪みおよび現時の画像フレームからの外部エネ
ルギの和である。ローカルセグメンテーションステップ
に対して以外には、内部エネルギは総エネルギに寄与し
ない。これは、（変形の制約をほとんど有しない）ロー
カルセグメンテーションアルゴリズムにおいて、所与の
組の制約の中のすべての変形が等しく有効であるためで
ある。典型的には、外部エネルギは輪郭Ωのまわりのエ
ネルギ画像の積分として定義される。テンプレートのバ
ウンダリ上の画素の合計により打切りが発生する。
【００３７】
【数１】
【００３８】ステップ７４では、高レベルのテンプレー
ト変形処理が実行され、処理されている現時のフレーム
内のオブジェクトの場所が大まかに特定される。そのよ
うなステップ７４の間に、テンプレートは第１の組の変
形制約を用いて変形される。フレーム内のオブジェクト
バウンダリ９２はテンプレートの変形８８と画像フレー
ムの内容とを比較することにより求められる。好ましい
実施例では、変形は画像フレームのエッジエネルギ表示
９０と比較される。テンプレートの変形は第１の空間範
囲にわたって発生し得る。特に、オブジェクトの場所を
大まかに特定するには大きな空間範囲が望ましい。
【００３９】好ましい実施例では、第１の組の変形制約
は、画像フレーム内で移動され、回転され、または倍率
を再変更され得る剛体としてのオブジェクトを扱う。第
１の空間範囲は画像フレーム全体を含む。特に、テンプ
レートのバウンダリは、オブジェクト上の対応するバウ
ンダリを見つけるために画像フレーム内のどこにでも動
かすことができる。動きのタイプは第１の組の変形制約
（たとえば、移動、回転および倍率変更）により決定さ
れる。特定の実施例では、テンプレートは位置および向
きの離散した組を介して移動または回転される。さら
に、テンプレートは離散した組の倍率決めの変分を介し
て倍率変更される。さまざまな実施例では、大まかな分
析は、移動、回転および倍率変更の順列のいずれか１つ
またはそれ以上を含む。これらの位置、向きおよび倍率
変更の中で最も低いエネルギ点を選択することにより、
適切なローカルのエネルギの最小値が、指示された探索
空間（すなわち第１の空間範囲）内に発見される。テン
プレートのエネルギが指示されたウィンドウサイズ（他
のサイズが用いられてもよいが、たとえば５×５）の中
央の位置で最小になると、探索が終了する。
【００４０】図４Ｂを参照すると、エネルギ表示９０内
の１組のエッジと最も近い一致を得るように回転され、
移動されおよび／または倍率変更されたテンプレート８
８が示される。高レベルのテンプレート変形処理内で何
度も反復されることにより、オブジェクトバウンダリ９
２および場所の大まかな推定が達成される。大まかな推
定が、変形されたテンプレートである。高レベルの変形
処理の完了後のテンプレート８８は、第１の変形された
テンプレートと称される。
【００４１】ステップ７６では、中間レベルの変形処理
が実行されて、処理されている現時のフレーム内のオブ
ジェクトの場所をより近く特定する。そのようなステッ
プ７６の間に、第１の変形されたテンプレート８８は第
２の組の変形制約を用いて変形される。第２の組の変形
制約は第１の組の変形制約よりも緩和されている。フレ
ーム内のオブジェクトバウンダリ９２は、第１の変形さ
れたテンプレートの変形と画像フレームのエネルギ量と
を比較することにより求められる。好ましい実施例で
は、変形は画像フレームのエッジエネルギ表示９０と比
較される。第１の変形されたテンプレートの変形は第２
の空間範囲にわたって発生し得る。第２の空間範囲は第
１の空間範囲よりも狭い。特に、オブジェクトの場所を
より近く特定するのには、高レベル変形処理において用
いられるよりも小さな空間範囲が望ましい。何度も反復
することにより、オブジェクトバウンダリおよび場所の
改良された推定が達成される。改良された推定が、第１
の変形されたテンプレートの最終的な変形である。第１
の変形されたテンプレートは中間レベルの変形処理の間
の変形を経て、本明細書中で第２の変形されたテンプレ
ートと称されるものをもたらす。
【００４２】１つの実施例では、第２の組の変形制約は
変形をアフィン変形に限定する。好ましい実施例では、
グローバルアフィン変換が第１の変形されたテンプレー
トに適用されて、ステップ７６においてさらなる変形を
加える。第２の空間範囲はアフィン変形範囲を限定す
る。図４Ｃを参照すると、第１の変形されたテンプレー
トがグローバルアフィン変換を用いてスキューされ、画
像フレームのエッジエネルギ表示９０内のエッジに最も
近い一致を得る。グローバルアフィン変形処理内で何度
も反復することにより、オブジェクトバウンダリ９２お
よび場所の改良された推定が達成される。
【００４３】グローバルアフィン変形処理においては、
共通のアフィンマトリックスを用いてテンプレートのバ
ウンダリの各々の画素に変換が与えられる。アフィンマ
トリックスは、同じアフィンマトリックス方程式を用い
てバウンダリ上の各々の画素にそれが与えられるという
点においてグローバルである。（ローカルアフィン変形
処理は同じアフィンマトリックス方程式を用いるが、テ
ンプレートのローカルの下位部分に与えられる。）１つ
の実施例では、マトリックス方程式は以下のとおりであ
る。
【００４４】
【数２】
【００４５】式中ｘ′およびｙ′は新たな座標であり、
ｘおよびｙはそれぞれ平均値であるｘ cおよびｙcを取除
かれた座標ｘ0ｙ0（たとえば、ｘ0＝ｘ＋ｘc）である。
‘ａ’マトリックスはその重心（ｘc、ｙc）のまわりに
テンプレートの倍率変更、回転およびずれを定義する。
パラメータｔx、ｔyは付加的な移動を与える。アルゴリ
ズムはこれらのパラメータを決定するのに勾配下降探索
を用いる。勾配下降探索は以下の別個の部分に説明され
る。回転および移動は、別々の探索（すなわち、高レベ
ル変形処理）とグローバルアフィン変形処理との両者の
間に起こり得るが、空間範囲はグローバルアフィン変形
処理についてはより限定される。具体的には、その中で
グローバルアフィンが変形され得るエッジエネルギ画像
内の最小値は、真のエッジを囲むバンドに局在化（loca
lize）される。高レベル変形処理は勾配下降探索が進行
し得るように、テンプレートをそのようなバンド内に位
置づける。
【００４６】いくつかの実施例では、ローカルアフィン
変形ステップ７８はまた、中間レベル変形処理の一部と
して適用される。ローカルアフィン変形処理において
は、テンプレートの下位部分はアフィン変換アルゴリズ
ムを用いて変形される。好ましくは、オブジェクトがオ
ペレータにより最初に規定される際にオペレータがオブ
ジェクトの明確化する部分を選択する。そのような明確
化する部分は初期テンプレートの下位部分である。高レ
ベル変形処理の間に変形が与えられると、明確化する部
分が第１の変形されたテンプレート内に大まかに規定さ
れる。ローカルアフィン変換アルゴリズムを用いてロー
カルで変形されるのはこれらの下位部分である。いくつ
かのオブジェクトはオペレータにより識別された下位部
分を有しないかもしれない。また、いくつかのオブジェ
クトは剛体として分類され得る。そのような場合には、
ローカルアフィン変形ステップ７８は省略される。
【００４７】図４Ｄを参照すると、テンプレート８８は
主要部分９４と下位部分９６とを含む。ローカルアフィ
ン変形処理の間に、１つまたはそれ以上の下位部分が
（テンプレートを破断することなく）他の下位部分とは
独立して変形される。図示された例では、下位部分９６
は一部スキューされている。ローカルアフィン変形処理
内で何度も反復することにより、下位部分９６の近傍の
オブジェクトバウンダリ９２の改良された推定が達成さ
れる。
【００４８】１つの実施例では、ローカルアフィン変形
処理はグローバルアフィン変換処理と同じアルゴリズム
を用いる。ローカルの処理では、アルゴリズムは、テン
プレート全体の代わりにテンプレートの下位部分に与え
られる。多数の下位部分のローカルアフィン変形につい
ては、各々のそのような下位部分に独立してアルゴリズ
ムが与えられる。ある意味では下位部分はテンプレート
として扱われ、同じアフィン変形アルゴリズムを用いて
変形される。
【００４９】ステップ７６でグローバルアフィン変換処
理を何度も反復することにより、かつ任意にステップ７
８でローカルアフィン変換処理を何度も反復することに
より、オブジェクトバウンダリおよび場所の改良された
推定が達成される。改良された推定は、すべての中間レ
ベルの変形が第１の変形されたテンプレートに与えられ
た後の最終的なテンプレートである。具体的には、第１
の変形されたテンプレートは中間レベルの変形処理の間
の変形を経て、本明細書中で第２の変形されたテンプレ
ートと称されるものをもたらす。
【００５０】ステップ８０では、低レベルの変形処理が
実行されて、処理されている現時のフレーム内のオブジ
ェクトの推定される場所およびバウンダリ９２を洗練す
る。そのようなステップ８０の間に、第２の変形された
テンプレートが第３の組の変形制約を用いて変形され
る。第３の組の変形制約は第２の組の変形制約よりも緩
和されている。図４Ｅを参照すると、フレーム内のオブ
ジェクトバウンダリ９２は第２の変形されたテンプレー
ト８８の変形と画像フレームのエネルギ量９０とを比較
することにより探索される。好ましい実施例では、変形
は画像フレームのエッジエネルギ表示９０と比較され
る。
【００５１】第２の変形されたテンプレートの変形は第
３の空間範囲にわたって発生し得る。第３の空間範囲は
第２の空間範囲よりも狭い。特に、オブジェクトの場所
を正確に特定するのには、中間レベルの変形処理で用い
られたものよりも小さな空間範囲が望ましい。何度も反
復することにより、オブジェクトバウンダリおよび場所
の改良された推定が達成される。改良された推定が第２
の変形されたテンプレートの最終的な変形である。第２
の変形されたテンプレートは低レベルの変形処理の間の
変形を経て、本明細書中で第３の変形されたテンプレー
トと称されるものをもたらす。第３の変形されたテンプ
レートは現時の画像フレーム内のオブジェクトバウンダ
リおよび場所の最終的な推定である。いくつかの実施例
では、ステップ８０の低レベルの変形処理は省略され
る。
【００５２】好ましい実施例では、低レベル変形処理は
ローカルセグメンテーション処理である。その結果、テ
ンプレートのバウンダリは、変化された態様で変形され
得る。たとえば、ローカルセグメンテーションアルゴリ
ズムとして動的輪郭モデルが用いられる実施例では、境
界の平滑さおよび連続性に対して求められるものは形状
の変形の制約のみである。したがって、これらの制約
は、アフィン変換の制約および移動、回転、倍率変更の
制約よりも緩和されている。境界の形状は大きく変化し
得るが、変化が起こり得る範囲は、狭い範囲よりもさら
に限定される。これは、低レベルの変形処理がローカル
の範囲での境界を調整してオブジェクトの境界と正確に
一致させることであるためである。より具体的には、テ
ンプレートの境界は、画像フレームのエッジエネルギ表
示の最も近いエッジに対してさらに近くに移動される。
実際には、エッジは画像フレームから厳選されたエッジ
の中から選択されて、オブジェクトバウンダリの推定を
正確に規定する。
【００５３】いくつかの例では、オペレータは追跡され
ているオブジェクトが剛体であることを示してもよい。
その結果、ローカルセグメンテーションが不能化され
る。いくつかの実施例では、オペレータがローカルセグ
メンテーション処理を実行するか否かを選択する。
【００５４】１つの実施例では、ローカルセグメンテー
ション処理は動的輪郭モデルである。
【００５５】別の実施例では、制御点が用いられる、よ
り単純なエッジに基づく方法が実現される。追跡される
べきオブジェクトが最初に識別される際に、制御点がオ
ペレータによりまず選択される。制御点は高レベルおよ
び中間レベルの変形処理の間に移動してもよいが、低レ
ベルの変形処理のこの実施例の間に固定される。制御点
はセグメンテーションアルゴリズムなどの動的プログラ
ミングを用いて接続され、それによって制御点の間の経
路に沿ってエッジエネルギの和が最小化される。実際に
は、エッジ検出アルゴリズムはエッジ検出方式（たとえ
ば、画像コントラストしきい値）を用いて、ある制御点
から別の制御点への曲線を辿るようにこれらの固定され
た制御点を接続する。
【００５６】ステップ８２では、さらに処理すべき画像
フレームがあるかを判断するために画像フレームのシー
ケンスがテストされる。なければ、処理は完了する。処
理すべき画像フレームがさらにあれば、ステップ８４で
第３の変形されたテンプレート（すなわち、現時の画像
フレームに対するオブジェクトバウンダリおよび場所の
最終的な推定)が次のフレームのための初期テンプレー
トとなるように設定される。ステップ８６で、処理され
るべき次の画像フレームが取出される。次にそのような
次のフレーム、すなわち今処理されている現時の画像フ
レームとなっているフレームのために、ステップ７１−
８２が繰返される。
【００５７】本明細書中で説明された階層的試みの利点
は、オブジェクトの境界の形状およびオブジェクトの運
動における増加した可変性が、階層的な組の変形処理を
実行することにより受入れられることにある。各々の下
降していくレベルにおいて、形状の制約は緩くなり、形
状の変化が発生し得る空間的な制約は厳しくなる（すな
わち、狭められ、より制限される）。
【００５８】［勾配下降探索法］図５を参照すると、勾
配下降探索処理のフローチャート１００が示される。ス
テップ１０２では、テンプレート８８は探索のために初
期化される。テンプレートは、グローバルアフィン変形
処理を実行する際は第１の変形されたテンプレートであ
り、ローカルアフィン変形処理を実行する際は第２の変
形されたテンプレートの選択下位部分である。選択下位
部分はアフィン変換が適用されるべきローカル範囲であ
る。
【００５９】各々の所与のフレームＮごとに、各々の画
素の座標（ｘ、ｙ）が以下の方程式に従ってアフィン運
動を経る。
【００６０】
【数３】
【００６１】式中、ｘ′およびｙ′はフレームＮ＋１内
のテンプレートの座標を表わし、要素ａijを備えるマト
リックスは、点（ｘ、ｙ）の倍率変更、回転およびずれ
を定義し、かつｔxおよびｔyは移動を与える。
【００６２】６つのアフィンパラメータ（ａ11、ａ12、
ａ21、ａ22、ｔx、ｔy）はグローバルまたはローカルの
テンプレートに対してパラメータ空間を定義する。アフ
ィン変形は外部エネルギ画像Ｅを用いてテンプレートを
評価することにより、パラメータ空間内の最も急な勾配
下降内で実行される。たとえば、連鎖法則を用いて、以
下の方程式が導出され、この式は一度の反復によりステ
ップサイズｈを用いてａ11を進める。
【００６３】
【数４】
【００６４】式中、Ｅはエネルギであり、ｈaはステッ
プサイズであり、ｎは現時の反復であり、かつｘ、ｙお
よびｘ′、ｙ′はアフィン変換による古い位置および新
たな位置である。以下のような類似の方程式が他のパラ
メータに対して導出される。
【００６５】
【数５】
【００６６】上記の式中、ｘは（グローバルの変形に対
する）輪郭全体または（ローカルの変形に対する）一部
の輪郭に対するｘ座標の列ベクトルを表わし、δＥ／δ
ｘ′（ｎ）は、バウンダリの画素でエネルギ画像の勾配
の水平方向の成分を含む列ベクトルである。エネルギ画
像勾配は中心差分核［−１、０、１］を用いて推定され
る。
【００６７】テンプレートを初期化するためには、平均
値ｘcおよびｙcがテンプレートのベクトルｘ0およびｙ0
から取除かれ、ｘ、ｙに記憶される。さらに、テンプレ
ートの重心（ｘc、ｙc）が記憶される。さらに、パラメ
ータが以下のように設定されて、初期の２×２恒等行列
マトリックスおよびゼロ移動を定義する。ａ11＝ａ22＝
１；ａ12＝ａ21＝０；ｔx＝０；ｔy＝０ 好ましい実施例では、勾配下降探索は２つの段階で行な
われる。第１の段階では、ａijおよび移動パラメータに
対して異なる固定されたステップサイズを用いて固定さ
れた数の反復が行なわれる。１つの実施例では、移動を
確実にするためにｈt／ｈaij＝１５００の比が用いられ
る。この第１の段階では、ステップサイズｈtおよびｈa
がテンプレート内の点の数と反比例するように尺度構成
される。たとえば、以下の式のように定められ、
【００６８】
【数６】
【００６９】式中、Ｎはテンプレート内の点の数であ
る。ステップサイズはエネルギ画像の大きさに対して調
整されるため、いくつかの実施例では経験的テストが行
なわれる。エネルギの勾配はパラメータ空間内でとられ
るステップの方向を決定する。しかしながら、固定され
たステップサイズにより、テンプレートのエネルギが反
復の間に増加または減少することがあり、アルゴリズム
が上昇してより低いエネルギの最小値に到達することが
可能となる。
【００７０】上記の方程式に従って、ステップ１０４で
アフィンパラメータを更新した後、新たなバウンダリ点
でエネルギ値を合計することにより新たな外部エネルギ
が算出される。ステップ１０８では、最小値のエネルギ
Ｅｍｉｎが新たな外部エネルギＥｅｘｔと比較される。
最小値のエネルギが外部エネルギよりも大きければ、ス
テップ１１０で現時のアフィンパラメータの組であるＡ
ｃｕｒｒは、アフィンパラメータの最適な組であるＡｂ
ｅｓｔとなる。また、ステップ１１２では、最小値のエ
ネルギは外部エネルギに組される。処理ステップ１０４
から１１２はｍの反復の間繰返され、ここではｍは指示
された値であり、設計により変化し得る。反復の間に、
最小値のエネルギが外部エネルギを超えなければ、最小
のエネルギの値は更新されず、最適なアフィンパラメー
タの組は変更されない。ステップ１１４では反復の計数
がテストされる。ｍ回の反復が完了されなければ、次に
新たな反復が始まる。ｍ回の反復が完了すれば、最適な
アフィンパラメータの組であるＡｂｅｓｔがステップ１
１６で用いられてテンプレートの境界を調整する。具体
的には、重心の値であるｘｃ、ｙｃに対する最適なアフ
ィンパラメータの組を用いて、現時の画素の値であるｘ
０、ｙ０が更新される。
【００７１】第１の探索段階の間に遭遇する最も低いエ
ネルギを備えたテンプレートを表わすアフィンパラメー
タが、次の段階を初期化するのに用いられる。そのよう
な勾配に導かれた探索方法は、複合パラメトリック面上
で適切なローカルのエネルギの最小値を発見する際に有
効である。
【００７２】第２の段階は最も急な勾配の方向への線探
索を含む。各々の反復の際、
【００７３】
【数７】
【００７４】上記の式の初期のステップサイズである
１．０および初期のベクトルが、線探索によって用いら
れ、式中、
【００７５】
【数８】
【００７６】は、それぞれ４つのａijおよび２つの移動
パラメータに対する過去および現在の反復にわたる最大
の勾配の大きさである。下降の方向が一旦選択される
と、線探索は勾配の方向にとられるべきステップの大き
さであるＫを見つける。典型的には、線探索は０と１の
間の値であるＫを与える。アフィンパラメータは次に以
下の方程式に従って更新される。
【００７７】
【数９】
【００７８】好ましい実施例では、線探索は線最小化機
能を用いる。第２の段階は以下のようなＤＯ ＷＨＩＬ
Ｅループで表わされる。
【００７９】Ｄｏ｛ 新たな勾配方向計算（calculate new gradient directi
on） 線探索実行（execute line search） アフィンパラメータの更新（update affine parameter
s） ｝While E(n+1)-E(n)<0 （すなわち、エネルギが減少
する間） ［価値のあるおよび有利な効果］この発明の利点に従う
と、オブジェクトの正確なバウンダリは、変形するかま
たは急速に動く下位部分を含むオブジェクトに対して追
跡される。多くの種類のオブジェクトの形状および異な
るオブジェクトの変形パターンを追跡する能力はＭＰＥ
Ｇ−４画像処理システムとともに用いるのに特に有利で
ある。
【００８０】この発明の好ましい実施例が例示されかつ
説明されたが、さまざまな変更、修正および均等物が用
いられてもよい。したがって、前述の説明は添付の請求
項によって規定されるこの発明の範囲を制限するものと
解されるべきではない。
【図面の簡単な説明】
【図１】 ビデオフレームのシーケンスの中のビデオオ
ブジェクトを追跡するための対話型処理環境のブロック
図である。
【図２】 図１の対話型処理環境のための例示的なホス
ト電算システムのブロック図である。
【図３】 この発明の実施例に従う、複数の画像フレー
ムの中のオブジェクトを追跡するためのテンプレート
に、変形の階層を適用する方法のフローチャートの図で
ある。
【図４】 所与の画像フレーム内のオブジェクトの場所
を推定するために変形の階層に従って変形されているサ
ンプルテンプレートの図である。
【図５】所与の画像フレーム内のオブジェクトの場所を
推定するためにテンプレートにアフィン変形を適用する
ためのグローバル下降法のフローチャートの図である。
【符号の説明】
２２ ディスプレイ ２６ ポイント／クリック装置 ２８ プロセッサ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ビクラム・チャラナ アメリカ合衆国、98012 ワシントン州、 ボスエル、サーティフォース・ドライブ、 エス・イー、15302 (72)発明者 デイビッド・ヘイノル アメリカ合衆国、98109 ワシントン州、 シアトル、ウォレン・アベニュ・エヌ、 2446 (72)発明者 ヨンミン・キム アメリカ合衆国、98155 ワシントン州、 シアトル、エヌ・イー・ワンハンドレッド アンドエイティナインス・プレイス、4431

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 複数の画像フレームの中のオブジェクト
    （９０）を追跡するための方法（７０）であって、 第１の組の変形制約を用いて初期テンプレート（８８）
    を変更し、かつ複数の画像フレームのうち第１の画像フ
    レームの第１の空間範囲内のオブジェクトのバウンダリ
    を探索して、第１の画像フレーム内のオブジェクトの位
    置を大まかに特定するステップを含み、オブジェクトの
    場所が大まかに特定される際に初期テンプレートは第１
    の変形されたテンプレート（８８）に変更され、さら
    に、 第１の組の変形制約よりも緩和される第２の組の変形制
    約を用いて第１の変形されたテンプレートを変形し、か
    つ第１の画像フレームの第２の空間範囲内のオブジェク
    トのバウンダリを探索して、第１の画像フレーム内のオ
    ブジェクトの場所をより正確に特定するステップを含
    み、第２の空間範囲は第１の空間範囲よりも狭く、第２
    の空間範囲内の探索の間にオブジェクトの場所がより正
    確に特定される際に、第１の変形されたテンプレートは
    第２の変形されたテンプレート（８８）に変形され、さ
    らに、 第２の組の変形制約よりも緩和される第３の組の変形制
    約を用いて第２の変形されたテンプレートを変形し、か
    つ第１の画像フレームの第３の空間範囲内のオブジェク
    トのバウンダリを探索して、第１の画像フレーム内のオ
    ブジェクトの場所を微細に特定するステップをさらに含
    み、第３の空間範囲は第２の空間範囲よりも狭く、第３
    の空間範囲内の探索の間にオブジェクトの場所が微細に
    特定される際に、第２の変形されたテンプレートは第３
    の変形されたテンプレート（８８）に変形される、複数
    の画像フレームの中のオブジェクトを追跡するための方
    法。
  2. 【請求項２】 第３の変形されたテンプレートが複数の
    画像フレームのうち第２の画像フレームを処理するため
    の初期テンプレート（８８）となり、第２の画像フレー
    ム内のオブジェクトの場所を特定するために請求項１に
    記載された各々のステップが繰返される、請求項１に記
    載の方法。
  3. 【請求項３】 第１の組の変形制約を用いて初期テンプ
    レートを変更するステップは、初期テンプレートを移
    動、回転および倍率変更するステップのうちいずれか１
    つまたはそれ以上のステップを含む、請求項１に記載の
    方法。
  4. 【請求項４】 第２の組の変形制約を用いて第１の変形
    されたテンプレートを変形するステップは、第１の変形
    されたテンプレートの下位部分のバウンダリにローカル
    アフィン変換（７８）を適用して下位部分のバウンダリ
    を変更するステップを含む、請求項１に記載の方法。
  5. 【請求項５】 初期テンプレートを変形させるステップ
    に先立って、初期の画像フレーム内のオブジェクトの明
    確化する部分を識別し、オブジェクトの明確化する部分
    に対応する初期テンプレートの下位部分（９６）を規定
    するステップをさらに含む、請求項４に記載の方法。
  6. 【請求項６】 第２の組の変形制約を用いて第１の変形
    されたテンプレートを変形するステップは、第１の変形
    されたテンプレートのバウンダリにアフィン変換（７
    ６）を適用するステップを含む、請求項１に記載の方
    法。
  7. 【請求項７】 アフィン変換（７６）が第１の変形され
    たテンプレートのバウンダリにグローバルに適用され、
    アフィン変換を適用するステップが中間の変形されたテ
    ンプレートを達成し、第２の組の変形制約を用いて第１
    の変形されたテンプレートを変形するステップは、中間
    の変形されたテンプレートの下位部分のバウンダリにロ
    ーカルアフィン変換（７８）を適用して下位部分のバウ
    ンダリを変更するステップをさらに含む、請求項６に記
    載の方法。
  8. 【請求項８】 アフィン変換を適用するステップは、 アフィンパラメータの組を定義しかつ更新するステップ
    （１０４）と、 更新されたアフィンパラメータの組を用いて第１の変形
    されたテンプレートのバウンダリの変形をテストするス
    テップと、 更新されたアフィンパラメータの組を用いてテストされ
    ているバウンダリの変形に対してエネルギ値を導出する
    ステップ（１０６）と、 最小のエネルギ値に対してエネルギ値をテストするステ
    ップ（１０８）と、 最小のエネルギ値がテストされたエネルギ値よりも大き
    い際は、最小のエネルギ値としてのテストされたエネル
    ギ値と、最適な組のアフィンパラメータとしてのアフィ
    ンパラメータの組とを受入れるステップ（１１０、１１
    ２）と、 定義および更新ステップ、テンプレートバウンダリ変形
    テストステップ、導出ステップ、エネルギ値テストステ
    ップ、および受入れステップをある数の反復に対して繰
    返すステップ（１１４）を含み、その繰返すステップの
    結果、前記バウンダリを再規定するのにその後用いられ
    る、１つの最適な組のアフィンパラメータおよび１つの
    最小のエネルギ値が生じる、請求項６に記載の方法。
  9. 【請求項９】 テストすべきバウンダリの変形はグロー
    バルなバウンダリの変形である、請求項８に記載の方
    法。
  10. 【請求項１０】 テストすべきバウンダリの変形は、第
    １の変形されたテンプレートのバウンダリの下位部分の
    ローカルなバウンダリの変形である、請求項８に記載の
    方法。
  11. 【請求項１１】 第３の組の変形制約を用いて第２の変
    形されたテンプレートを変形するステップは、ローカル
    セグメンテーションアルゴリズム（８０）を適用して第
    ３の空間範囲内で第２の変形されたテンプレートのバウ
    ンダリを変形するステップを含む、請求項１に記載の方
    法。
  12. 【請求項１２】 複数の画像フレームの中のオブジェク
    トを追跡するための方法であって、 追跡されるべきオブジェクトを選択するステップと、 選択されたオブジェクトからテンプレート（８８）を規
    定するステップと、 テンプレートよりも小さい、テンプレートの下位部分の
    バウンダリ（９６）を規定するステップと、 下位部分のバウンダリに対してアフィンパラメータの組
    を算出するステップ（１０４）とを含み、アフィンパラ
    メータの組は下位部分のバウンダリの第１の変形に対応
    し、さらに、 下位部分のバウンダリの第１の変形をテストするために
    アフィンパラメータの設定を用いるステップを含み、前
    記用いるステップは、 （ｉ） アフィンパラメータの組を用いて下位部分のバ
    ウンダリの第１の変形に対してエネルギ値を導出するス
    テップ（１０６）と、 （ｉｉ） 最小のエネルギ値に対してエネルギ値をテス
    トするステップ（１０８）と、 （ｉｉｉ） 最小のエネルギ値がテストされたエネルギ
    値よりも大きい際は、最小のエネルギ値としてのテスト
    されたエネルギ値と、最適な組のアフィンパラメータと
    してのアフィンパラメータの組とを受入れるステップ
    （１１０、１１２）とを含み、さらに前記方法は、 複数の画像フレームの処理されるべき所与の画像フレー
    ムに対する下位部分のバウンダリの多数の変形のために
    前記算出するステップと前記用いるステップとを繰返す
    ステップ（１１４）を含み、その繰返すステップの結
    果、下位部分のバウンダリを再規定するのにその後用い
    られる、１つの最適な組のアフィンパラメータおよび１
    つの最小のエネルギ値を生じる、複数の画像フレームの
    中のオブジェクトを追跡するための方法。
  13. 【請求項１３】 算出するステップと、用いるステップ
    と、繰返すステップとを前記複数の画像フレームに対し
    て実行するステップをさらに含み、複数の画像フレーム
    の中の所与の画像フレームに対する再規定された下位部
    分のバウンダリが下位部分のバウンダリとして用いら
    れ、下位部分のバウンダリに対して複数の画像フレーム
    の中の処理されるべき次の画像フレームのためにアフィ
    ンパラメータの組が算出される、請求項１２に記載の方
    法。
  14. 【請求項１４】 繰返すステップの後に、少なくとも再
    規定された下位部分のバウンダリにローカルセグメンテ
    ーションアルゴリズム（８０）を適用して、追跡されて
    いるオブジェクトのバウンダリの場所を推定するステッ
    プをさらに含む、請求項１２に記載の方法。
  15. 【請求項１５】 算出するステップに先立って、追跡さ
    れている選択されたオブジェクトに対応する初期テンプ
    レートを調整して、複数の画像フレームの中の別の画像
    フレーム内の追跡されているオブジェクトの場所を大ま
    かに推定するステップをさらに含み、調整するステップ
    は、下位部分のバウンダリを含む初期テンプレートを移
    動、回転および倍率変更するステップのうちいずれか１
    つまたはそれ以上のステップを含む、請求項１２に記載
    の方法。
JP2001030687A 2000-02-08 2001-02-07 複数の画像フレームの中のオブジェクトをトラッキングするための方法 Withdrawn JP2001273501A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/500403 2000-02-08
US09/500,403 US6574353B1 (en) 2000-02-08 2000-02-08 Video object tracking using a hierarchy of deformable templates

Publications (1)

Publication Number Publication Date
JP2001273501A true JP2001273501A (ja) 2001-10-05

Family

ID=23989255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001030687A Withdrawn JP2001273501A (ja) 2000-02-08 2001-02-07 複数の画像フレームの中のオブジェクトをトラッキングするための方法

Country Status (3)

Country Link
US (1) US6574353B1 (ja)
EP (1) EP1126414A3 (ja)
JP (1) JP2001273501A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067585A (ja) * 2004-08-26 2006-03-09 Seiko Epson Corp デジタル画像におけるキャプションを位置特定及び抽出する方法及び装置
KR100691855B1 (ko) 2005-12-29 2007-03-12 고려대학교 산학협력단 영상정보의 특징 추출장치 및 그 방법
JP2007304852A (ja) * 2006-05-11 2007-11-22 Univ Of Tsukuba 被写体追尾方法及び装置
JP2010517129A (ja) * 2007-01-22 2010-05-20 トタル イメルシオン ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置
JP2011086051A (ja) * 2009-10-14 2011-04-28 Fujitsu Ltd 眼位置認識装置

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829371B1 (en) * 2000-04-29 2004-12-07 Cognex Corporation Auto-setup of a video safety curtain system
US7006255B2 (en) * 2001-03-29 2006-02-28 Sharp Laboratories Of America Adaptive image filtering based on a distance transform
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20030185432A1 (en) * 2002-03-29 2003-10-02 Hong Dezhong Method and system for image registration based on hierarchical object modeling
KR100486709B1 (ko) * 2002-04-17 2005-05-03 삼성전자주식회사 객체기반 대화형 동영상 서비스 시스템 및 그 방법
WO2004021337A1 (en) * 2002-09-02 2004-03-11 Samsung Electronics Co., Ltd. Optical information storage medium and method of and apparatus for recording and/or reproducing information on and/or from the optical information storage medium
ATE454789T1 (de) * 2002-11-12 2010-01-15 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
US7221775B2 (en) * 2002-11-12 2007-05-22 Intellivid Corporation Method and apparatus for computerized image background analysis
US7257237B1 (en) 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
US20040223803A1 (en) * 2003-03-10 2004-11-11 Fahy Cathal L. Cleaning devices convertible between floor and wall treatment configurations
DE10324895A1 (de) * 2003-05-30 2004-12-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
US7286157B2 (en) * 2003-09-11 2007-10-23 Intellivid Corporation Computerized method and apparatus for determining field-of-view relationships among multiple image sensors
US7280673B2 (en) * 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
US7346187B2 (en) * 2003-10-10 2008-03-18 Intellivid Corporation Method of counting objects in a monitored environment and apparatus for the same
WO2005045358A2 (en) * 2003-11-05 2005-05-19 Francos Joseph M Parametric estimation of multi-dimensional homeomorphic transformations
US8275204B1 (en) 2003-11-05 2012-09-25 Shahar Kovalsky Estimation of joint radiometric and geometric image deformations
US7362899B2 (en) * 2004-03-16 2008-04-22 Intel Corporation Methods for estimating the position and shape of lips and for estimating the position of teeth in a sequence of digital images of a human face
US7436981B2 (en) * 2005-01-28 2008-10-14 Euclid Discoveries, Llc Apparatus and method for processing video data
US7508990B2 (en) * 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
US7457435B2 (en) 2004-11-17 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US7457472B2 (en) * 2005-03-31 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
CA2575211C (en) * 2004-07-30 2012-12-11 Euclid Discoveries, Llc Apparatus and method for processing video data
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
AU2005286786B2 (en) * 2004-09-21 2010-02-11 Euclid Discoveries, Llc Apparatus and method for processing video data
US8437502B1 (en) * 2004-09-25 2013-05-07 Cognex Technology And Investment Corporation General pose refinement and tracking tool
US20060245500A1 (en) * 2004-12-15 2006-11-02 David Yonovitz Tunable wavelet target extraction preprocessor system
EP1872345B1 (en) 2005-03-25 2011-03-02 Sensormatic Electronics, LLC Intelligent camera selection and object tracking
US9036028B2 (en) * 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
WO2007138526A2 (en) * 2006-06-01 2007-12-06 Philips Intellectual Property & Standards Gmbh Hierarchical motion estimation
US7671728B2 (en) 2006-06-02 2010-03-02 Sensormatic Electronics, LLC Systems and methods for distributed monitoring of remote sites
US7825792B2 (en) * 2006-06-02 2010-11-02 Sensormatic Electronics Llc Systems and methods for distributed monitoring of remote sites
US20110123067A1 (en) * 2006-06-12 2011-05-26 D & S Consultants, Inc. Method And System for Tracking a Target
CA2675957C (en) * 2007-01-23 2016-02-16 Euclid Discoveries, Llc Object archival systems and methods
EP2106664A2 (en) 2007-01-23 2009-10-07 Euclid Discoveries, LLC Systems and methods for providing personal video services
CA2676219C (en) * 2007-01-23 2017-10-24 Euclid Discoveries, Llc Computer method and apparatus for processing image data
JP5121258B2 (ja) * 2007-03-06 2013-01-16 株式会社東芝 不審行動検知システム及び方法
US8027513B2 (en) * 2007-03-23 2011-09-27 Technion Research And Development Foundation Ltd. Bitmap tracker for visual tracking under very general conditions
US20080303902A1 (en) * 2007-06-09 2008-12-11 Sensomatic Electronics Corporation System and method for integrating video analytics and data analytics/mining
EP2081133B1 (en) 2008-01-18 2010-05-19 MVTec Software GmbH System and method for deformable object recognition
US8320615B2 (en) * 2008-02-27 2012-11-27 Honeywell International Inc. Systems and methods for recognizing a target from a moving platform
TWI366140B (en) * 2008-06-11 2012-06-11 Vatics Inc Method for tracking multiple objects with spatial-color statistical model
JP5469894B2 (ja) 2008-07-05 2014-04-16 株式会社トプコン 測量装置及び自動追尾方法
US8483490B2 (en) 2008-08-28 2013-07-09 International Business Machines Corporation Calibration of video object classification
US8249301B2 (en) * 2008-08-28 2012-08-21 International Business Machines Corporation Video object classification
US8259998B2 (en) * 2008-09-30 2012-09-04 Mazda Motor Corporation Image processing device for vehicle
EP2345256B1 (en) * 2008-10-07 2018-03-14 Euclid Discoveries, LLC Feature-based video compression
US8649555B1 (en) * 2009-02-18 2014-02-11 Lucasfilm Entertainment Company Ltd. Visual tracking framework
CN101852857B (zh) * 2009-03-30 2013-07-17 株式会社拓普康 测量装置和自动跟踪方法
JP5469899B2 (ja) 2009-03-31 2014-04-16 株式会社トプコン 自動追尾方法及び測量装置
JP4798259B2 (ja) * 2009-06-08 2011-10-19 株式会社ニコン 被写体追尾装置、およびカメラ
JP5505164B2 (ja) * 2010-07-23 2014-05-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9390514B2 (en) * 2011-06-09 2016-07-12 The Hong Kong University Of Science And Technology Image based tracking
KR101795603B1 (ko) * 2011-11-17 2017-12-01 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
US8971573B2 (en) * 2012-09-12 2015-03-03 Xerox Corporation Video-tracking for video-based speed enforcement
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
CN105989367B (zh) 2015-02-04 2019-06-28 阿里巴巴集团控股有限公司 目标获取方法及设备
US11240403B2 (en) * 2017-02-24 2022-02-01 Avigilon Corporation Compensation for delay in PTZ camera system
DE102018207128A1 (de) * 2018-05-08 2019-11-14 Adidas Ag Verfahren zum automatischen Platzieren eines ersten Gegenstands auf einem zweiten Gegenstand
CN109993775B (zh) * 2019-04-01 2023-03-21 云南大学 基于特征补偿的单目标跟踪方法
US11004212B1 (en) 2020-01-02 2021-05-11 Hong Kong Applied Science and Technology Research Institute Company Limited Object tracking method and system using iterative template matching

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4906940A (en) 1987-08-24 1990-03-06 Science Applications International Corporation Process and apparatus for the automatic detection and extraction of features in images and displays
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5999651A (en) * 1997-06-06 1999-12-07 Matsushita Electric Industrial Co., Ltd. Apparatus and method for tracking deformable objects

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067585A (ja) * 2004-08-26 2006-03-09 Seiko Epson Corp デジタル画像におけるキャプションを位置特定及び抽出する方法及び装置
JP4626886B2 (ja) * 2004-08-26 2011-02-09 セイコーエプソン株式会社 デジタル画像におけるキャプションを位置特定及び抽出する方法及び装置
KR100691855B1 (ko) 2005-12-29 2007-03-12 고려대학교 산학협력단 영상정보의 특징 추출장치 및 그 방법
JP2007304852A (ja) * 2006-05-11 2007-11-22 Univ Of Tsukuba 被写体追尾方法及び装置
JP2010517129A (ja) * 2007-01-22 2010-05-20 トタル イメルシオン ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置
JP2011086051A (ja) * 2009-10-14 2011-04-28 Fujitsu Ltd 眼位置認識装置

Also Published As

Publication number Publication date
EP1126414A3 (en) 2003-09-17
EP1126414A2 (en) 2001-08-22
US6574353B1 (en) 2003-06-03

Similar Documents

Publication Publication Date Title
JP2001273501A (ja) 複数の画像フレームの中のオブジェクトをトラッキングするための方法
US6912310B1 (en) Video object segmentation using active contour model with directional information
US6731799B1 (en) Object segmentation with background extraction and moving boundary techniques
Fortun et al. Optical flow modeling and computation: A survey
US5930379A (en) Method for detecting human body motion in frames of a video sequence
US6678416B1 (en) Detecting and segmenting local deformation in a tracked video object
US6674925B1 (en) Morphological postprocessing for object tracking and segmentation
Xie et al. On improving eye feature extraction using deformable templates
US6870945B2 (en) Video object tracking by estimating and subtracting background
Dornaika et al. On appearance based face and facial action tracking
KR100421740B1 (ko) 객체 활동 모델링 방법
JP5159818B2 (ja) 画像分割方法
US6937760B2 (en) Interactive frame segmentation with dynamic programming
Hug et al. Model-based initialisation for segmentation
JPH07334690A (ja) 物体の輪郭追跡方法
JP2002074375A (ja) 画像オブジェクトの所望の輪郭を推定するための方法
Gupta et al. CONDENSATION-Based Predictive EigenTracking.
Dowson et al. Metric mixtures for mutual information (M/sup 3/I) tracking
Vallet et al. Variational segmentation framework in prolate spheroidal coordinates for 3D real-time echocardiography
JP3960535B2 (ja) アフィン変形に基づくイメージストリーム内におけるリアルタイムのブロッブ検出およびトラッキングのためのサブサンプリング方法およびコンピュータ実行可能プログラム
Kervrann Learning probabilistic deformation models from image sequences
EP1472646A1 (en) Recovering objects by using shape priors for level set representations
Zhu et al. Visual Interpretation of Hand Gestures with Image Sequence Analysis
Zhu et al. Motion-based segmentation scheme for feature extraction of hand gestures
Yatagawa et al. A Template-Based Completion Framework for Videos with Dynamic Backgrounds

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080513