JP2009509417A - 移動物体境界の抽出 - Google Patents

移動物体境界の抽出 Download PDF

Info

Publication number
JP2009509417A
JP2009509417A JP2008531379A JP2008531379A JP2009509417A JP 2009509417 A JP2009509417 A JP 2009509417A JP 2008531379 A JP2008531379 A JP 2008531379A JP 2008531379 A JP2008531379 A JP 2008531379A JP 2009509417 A JP2009509417 A JP 2009509417A
Authority
JP
Japan
Prior art keywords
term
dynamic model
boundary
prediction error
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008531379A
Other languages
English (en)
Other versions
JP5312942B2 (ja
Inventor
マルコ パニコーニ
ジェイムズ ジェイ キャリッグ
ズーロン ミアオ
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2009509417A publication Critical patent/JP2009509417A/ja
Application granted granted Critical
Publication of JP5312942B2 publication Critical patent/JP5312942B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ビデオ圧縮の技術を提供する。
【解決手段】物体の動きが目標画像と参照画像の間の位置の変化によって表される物体に対する初期動きベクトルを推定する段階、物体が現れて移動する背景エリアに対する初期ベクトルを推定する段階、推定されたベクトルを用いて１回目の繰返しの動的モデル解を求める段階、及び物体の境界を抽出するために動的モデル解の少なくとも１回の次の繰返しを完了する段階を含む、移動物体境界を抽出する方法。
【選択図】図１

Description

本発明は、ビデオ圧縮の分野に関する。
移動物体抽出方法は、ビデオシーケンスにおける移動物体の輪郭を抽出するためにビデオ圧縮技術に従来から用いられている。従来の方法は、多くの場合に輪郭を抽出するためにモデルを明示的に導入する。これらの従来の方法は、輪郭の離散化、及び輪郭が発展する時に長さ及び曲率を制御する難しさのような大きな問題を有する可能性がある。
例えば、予測誤差を低減するために、動きブロックの簡単な分割を実施して複数の移動物体を捕捉することができる。この処理は、大きな予測誤差を有するブロックを動き推定の改善のためのサブブロックに四分木分割することによって達成することができる。一般的に、大きな予測誤差を有するブロックは、移動物体の境界の直線モデルを用いて四分木分割される。
動き分割における他の手法は、オプティカルフロー推定又はパラメトリック（すなわち、アフィン）動きモデルに依存している。これらの手法は、物体境界の近くの遮蔽効果のような問題を有する。分割フィールドにおける及び従って物体境界におけるある程度の滑らかさは、事前確率項を含むＭＡＰ／ベイジアン法を用いて達成することができる。これらの方法は、物体境界及び動きフィールドに対処するために明示的に結合されたいかなるモデルも用いることなく分割フィールドの接続性を制約する。
一部の従来の手法では、移動物体境界を捕捉するために曲率発展モデルが用いられる。しかし、これらの手法は、動き推定を伴わず、物体境界発展のためのモデルにおける時間差演算子のみに依存する。
初期条件から物体を成長させ、かつ予測誤差の低減、境界安定性（すなわち、物体において穴がないこと及び輪郭に対する滑らかさ）、及び画像特徴への結合の間の均衡をもたらす状態に達するように領域競合を実施する移動物体抽出方法に対する必要性が存在する。
移動物体境界を抽出する方法は、物体の動きが目標画像と参照画像の間の位置の変化によって表される物体に対する初期動きベクトルを推定する段階、物体が現れて移動する背景エリアに対する初期ベクトルを推定する段階、推定されたベクトルを用いて１回目の繰返しの動的モデル解を求める段階、及び物体の境界を抽出するために動的モデル解の少なくとも１回の次の繰返しを完了する段階を含む。
本発明は、例示的に示しており、添付図面と共に以下の説明を参照することによってより良く理解することができる。
以下の説明では、本明細書の一部を形成し、本発明を実施することができる特定的な実施形態を具体例によって示す添付図面を参照する。他の実施形態も利用することができ、本発明の範囲から逸脱することなく構造的変更を加えることができることは理解されるものとする。例えば、様々な実施形態を説明するために用いるフィールド、フレーム、又は画像という用語は、一般的にビデオデータに関連して用いられるものと互換的である。
物体抽出方法は、動的モデルを用いて物体の境界を発展させることによってビデオ画像内に表される移動前景物体の輪郭を推定する。動的モデルは、コンパクトかつコヒーレントな構造が出現することを可能にする。一部の実施形態では、動的モデルは、物体境界を抽出するのに制約された又はパラメータ化された境界モデルを必要としないように画像内の各ピクセルに形成された２次元境界フィールドを用いる。動的モデルはまた、物体の局所的な動きフィールドを用いて、物体の非格子的動きを説明する境界に沿った動きベクトルを得る。動的モデルは、境界を画像勾配特徴に結合するために拡散項及びアニーリング項を組み込んでいる。物体抽出方法は、遮蔽によって引き起こされる誤差を最小限に止めるように過去及び未来の仮説試験を実施する。本方法は、物体の境界における物体の動きベクトルが物体のより複雑な局所的動きを処理することを可能にする。本方法は、動き分割又はビデオ符号化用途で用いることができ、目標画像の時間予測を改善するために動きベクトルのサンプリングを発生させる。
背景領域から移動物体境界を抽出する方法が背景から単一の物体の輪郭を抽出する例を図１に示している。１１０では、動的モデルが形成される。１２０では、目標画像の領域内に境界フィールドに対する初期シードを入れる。１２５では、動きベクトルの初期値が判断される。１３０では、時間ステップで動的モデルの状態を進めて境界フィールドを発展させる。１４０では、背景及び移動物体を表す動きベクトルを推定し直す。１５０では、方法は、停止基準に達したか否かを判断する。この判断が真である場合には、方法は１６０で終了する。そうでなければ、方法は１３０に戻る。
境界フィールドに対する動的モデル
２次元境界フィールドＢ（ｘ、ｙ）の動的モデルが形成され、ここで、Ｂは、画像内の位置（ｘ、ｙ）におけるピクセルに関する値である。Ｂの正の値は、対応するピクセルが物体内に存在することを示し、負の値は、ピクセルが背景内に存在することを示している。方法は、Ｂ（ｘ、ｙ）における初期条件で始まり、反復的に境界フィールドを発展させて物体境界のより良好な推定を定める。
一部の実施形態では、方法は、動的モデルを数値的に解き、モデルを時間に対して進めることによって境界フィールドを発展させる。続いて、境界フィールドは、時間の関数Ｂ（ｘ、ｙ、ｔ）として表現され、ここで、初期条件Ｂ0（ｘ、ｙ）は、次式のように初期時間０で始まる。
Figure 2009509417
 初期条件は、物体内の領域において、
Figure 2009509417
 であり、他の場所では、
Figure 2009509417
 であり、２つの状態の間に緩やかな遷移を有する。初期条件はまた、物体境界に関する事前知識が利用可能な場合には、そのような知識によってシードを供給することができる。一部の実施形態では、境界フィールドにおける初期値は、次式になる。
Figure 2009509417
 ここで、（ｘ0、ｙ0）は、シードの中心であり、ａは、シードのサイズを示している。
方法は、境界フィールドＢ（ｘ、ｙ）の勾配∇の周囲にシードを成長させ、ここで、Ｂ（ｘ、ｙ）〜０であり、以下の発展方程式：
Figure 2009509417
 を用いて、以下に従って動的モデルを発展させる。
Figure 2009509417
 ここで、Ｔは複合駆動項、τは、状態を時間ｔからｔ＋τに進めるための時間ステップパラメータである。方法は、収束のような停止基準に達するまで繰り返される。
動的モデルを用いて成長した境界フィールドの例を図２に示している。目標画像をブロック２０５に示している。目標画像２０５内で物体２０２の境界を判断するために、ブロック２１０に示すように目標画像内にシード２１２を入れる。物体２０４の境界を判断するために、ブロック２１０に示すように目標画像内にシード２１４を入れる。ブロック２２０及び２３０に示すように、シード２１２の境界が発展し、白色エリア２２２によって表される物体領域が形成される。同様に、シード２１４の境界が発展し、灰色エリア２２４で表される物体領域が形成される。ブロック２３０に示すように、シード２１４から決定された灰色の全体の物体領域２３４は、大きな部分と連結していない小さな部分、並びにその大きな部分内に背景領域を有する。同様に、白色エリアによって表される全体の物体領域２３２は、一部の非連結部分を有する。以下に解説する安定性駆動項は、非連結領域を制御するために用いられる。ブロック２４０に示すように、物体２０２全体の境界２４２が捕捉される。同様に、物体２０４全体の境界２４４が捕捉されるまでシード２１４の境界が発展する。
式（２）における複合駆動項Ｔは、以下のように予測誤差、安定性、結合、及びテンプレート駆動項のような項の組合せである。
Figure 2009509417
 各重み付け値｛λi｝は、対応する駆動項の相対強度を判断する。過去／未来予測誤差駆動項は、過去及び未来の参照画像処理からの誤差を含む。この駆動項は、以下に解説するように、遮蔽及び露出領域を説明する仮説試験方法中に考慮される。安定性駆動項Ｔstabilityは、抽出される動きレーヤがある程度のコンパクト性を有し、抽出される移動物体境界がある程度の接続性を有するように、Ｂ（ｘ、ｙ）が滑らかさを維持することを保証するために用いられる。結合駆動項Ｔimageーcouplingは、画像内の空間活動に関連する。例えば、物体は、物体境界と画像勾配の間の相関性のような局所空間活動への相関性を有することができる。駆動項Ｔtemplateは、利用可能な場合には、画像内の境界に関する現存知識を考慮する。
式（３）からの駆動項の表現を式（２）からの動的モデルの中に含めることにより、次式が得られる。
Figure 2009509417
過去及び未来予測誤差駆動項
過去及び未来予測誤差駆動項は、何らかのピクセル位置において背景動きベクトルと物体動きベクトルとを用いることの間の予測誤差の差を表している。背景動きベクトルの推定は、ｖb（ｘ、ｙ）で表され、物体動きベクトルは、ｖo（ｘ、ｙ）で表される。この駆動項は、次式で表現される。
Figure 2009509417
 ここで、ε2（ｖo）は、動きベクトルｖo（ｘ、ｙ）が用いられる時の何らかのピクセル位置における予測誤差であり、ε2（ｖb）は、動きベクトルｖb（ｘ、ｙ）が用いられる時のそのピクセル位置における予測誤差である。この項を式（３）の動的モデルに入れると、この項の寄与として次式が得られる。
Figure 2009509417
すなわち、ピクセル位置（ｘ、ｙ）において、物体動きベクトルが用いられる時に予測誤差が小さい場合には（すなわち、ε2（ｖb）−ε2（ｖ0）が正）、時間導関数が正であることからＢ（ｘ、ｙ）は増大し、このピクセルは物体に向って移行し、これは、ピクセル位置が正のＢ（ｘ、ｙ）値を有することとして表現される。同様に、ピクセル位置（ｘ、ｙ）において、背景動きベクトルが用いられる時に予測誤差が小さい場合には（ε2（ｖb）−ε2（ｖ0）が負）、時間導関数が負であることからＢ（ｘ、ｙ）は減少し、このピクセルは、背景に向って移行し、これは、ピクセル位置が負のＢ（ｘ、ｙ）値を有することとして表現される。
予測誤差は、遮蔽が参照画像内に存在する場合に増大する。図３Ａは、過去又は未来のいずれか一方の参照画像のみが用いられる時に境界抽出によって生成される遮蔽の例を示している。ブロック３１０では、目標画像は、過去の参照画像では物体３１５によって覆われているが、目標画像では物体３１５によって覆われていないピクセルである遮蔽領域３１７を有する。過去の参照画像に依存するこの遮蔽領域の結果、移動物体の境界を抽出する時に動的モデルを反復的に解くのに１つの過去の参照フィールドが用いられているので、遮蔽領域３１７の近くで真の物体境界への低い対応性しか持たない移動物体境界が存在する。遮蔽を生成するのを回避するためには、遮蔽領域３１７内のピクセルが未来の参照画像内で物体３１５によって覆われていないので、利用可能である場合は遮蔽領域におけるピクセルを予測するのに未来の参照画像が用いられるべきである。同様に、ブロック３２０では、遮蔽領域３２７は、目標画像内では物体３１５によって覆われていないが未来の参照画像内では物体３１５によって覆われている領域である。その結果は、移動物体の境界を抽出する時に動的モデルを反復的に解くのに１つの未来の参照フィールドのみが用いられる場合に、遮蔽領域３２７の近くで真の物体境界に低い対応性しか持たない移動物体境界である。従って、遮蔽領域３２７内のピクセルを予測するのに、利用可能である場合は過去の参照画像が用いられるべきである。
図３Ａに示す遮蔽領域は、図３Ｂ、３Ｃ、及び３Ｄに示す移動物体境界を抽出する時に過去及び未来の両方の参照画像を用いることによって回避することができる。遮蔽を処理するために、過去及び未来の動き情報が用いられる。動的モードの繰返しにおけるいずれかの時点で、動き推定においてピクセルが過去又は未来のいずれの参照画像を用いるべきかを判断するために、物体の成長状態、並びに物体及び背景の動きが用いられる。図３Ｂに示すように、目標画像３４０内の移動物体の境界を抽出するのに、未来の参照画像３３０及び過去の参照画像３５０が用いられる。図３Ｃに示すように、黒色の正方形によって表している背景領域及び移動物体の境界内のシード３４２を生成するために、ブロック３７０の黒色領域３４１内で動的モデルが初期化される。ブロック３８０に示すように、動的モデルを反復的に解いて移動物体の境界を拡張し、移動物体領域３４４を生成する。移動物体は、物体の動きが目標画像の右側に向って方向付けられていることを示す動きベクトル３４６を有する。従って、遮蔽領域を生成するのを回避するために、動的モデルは、未来の参照画像３３０を用いて、点線３４７の左の領域３８１における動きベクトル及び予測誤差を推定し、過去の参照画像３５０を用いて、点線３４７の右の領域３８２における動きベクトル及び予測誤差を推定する。一部の実施形態では、過去の参照画像又は未来の参照画像のいずれを用いるかの決定は、以下に説明するように、背景及び物体動きベクトルに対して仮説試験を実施することによって各ピクセルにおいて行われる。最終結果は、図３Ｄに物体の周囲を白色線で表している抽出された境界３４９として示しており、この境界は、遮蔽領域なしに生成され、従って、より良好な品質の抽出を有する。
過去の参照フィールドを用いるか又は未来の参照フィールドを用いるかに関するより詳細なピクセル毎の判断は、予測誤差駆動項を次式のように拡張することによって行われる。
Figure 2009509417
 ここで、ｖhypは、ピクセル位置（ｘ、ｙ）での動きベクトルに関する仮説を表している。背景動きベクトルに関する仮説試験は、図４に示すように実施される。物体における動きベクトルは、過去又は未来の参照画像を用いて、ｖo past（ｘ、ｙ）又はｖo future（ｘ、ｙ）のいずれかとして表される。背景における動きベクトルは、過去又は未来の参照画像を用いて、ｖb past（ｘ、ｙ）又はｖo future（ｘ、ｙ）のいずれかとして表される。４１０では、動きベクトルｖb pastが現在の物体の状態及び動きと一致し、ｖb futureが一致しない場合には、４１５においてｖb pastを選択する。そうでなければ、４２０で動きベクトルｖb pastが、現在の物体の状態及び動きと一致せず、ｖb futureが一致する場合には、４２５においてｖb futureを選択する。そうでなければ、両方の動きベクトルが一致する場合には、４３５で以下のように最小予測誤差を有する動きベクトルを選択する。
Figure 2009509417
前景物体動きベクトルに関する仮説試験は、図５に示すように実施される。５０５では、境界フィールドＢ（ｘ、ｙ）に対する値を受信する。５１０では、Ｂ（ｘ、ｙ）≧Ｓであるかを判断する。そうである場合には、５２０で、ｖo hyp＝ｍｉｎv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を選択する。そうでない場合には、５３０で、ｖo hyp＝ｍａｘv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を選択する。従って、ピクセル（ｘ、ｙ）において現在の状態がＢ（ｘ、ｙ）≧Ｓであるような値を有し、すなわち、このピクセルが物体内に存在する見込みが高い場合には、方法は、ｖo hyp＝ｍｉｎv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を用いて、物体動きベクトルに対して、物体の成長に有利に働く小さい予測誤差を選択する。一方、ピクセル（ｘ、ｙ）において現在の状態がＢ（ｘ、ｙ）＜Ｓである値を有し、すなわち、このピクセルが背景内に存在する見込みが高い場合には、方法は、背景の成長に有利に働くように、ｖo hyp＝ｍａｘv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を用いて物体動きベクトルに対して大きな予測誤差を選択する。
この例では、物体と背景がゼロＢ（ｘ、ｙ）値によって分離されるので、パラメータＳは、０に設定される。物体又は背景動きベクトルの仮説選択は、遮蔽をより確実に処理するのに現在の物体状態情報と共に過去及び未来の参照画像情報を用いる。
安定性駆動項
安定性駆動項は、非線形モデルからコンパクトで安定した構造が出現するのを可能にし、この項は次式で表現される。
Figure 2009509417
 ここで、
Figure 2009509417
 は、境界フィールドに関する法線ベクトルであり、次式で定義される。
Figure 2009509417
 これは、Ｂ（ｘ、ｙ）＝定数である曲線に対する法線方向である。この項を式（３）に入れると次式が得られる。
Figure 2009509417
 従って、│∇Ｂ（ｘ、ｙ）│が非ゼロである境界の近くの物体の輪郭が、正の曲率（すなわち、正の領域から外向きの形状）を有する場合には、
Figure 2009509417
 は正であり、Ｂ（ｘ、ｙ）は減少して曲線を直線化する。同様に、│∇Ｂ（ｘ、ｙ）│が非ゼロである境界の近くの物体の輪郭が、負の曲率（すなわち、正の領域から内向きの形状）を有する場合には、
Figure 2009509417
 は負であり、Ｂ（ｘ、ｙ）は、増大して曲線を直線化する。
安定性駆動項は、物体境界トポロジーの曲率の程度を制御する。この項は、輪郭の長さを短縮する拡散項として機能する。図６は、境界フィールドの一部分６１０及び法線ベクトル６２０の例を示している。安定性駆動項は、破線６３０によって示すように境界フィールドの輪郭を直線化する。式（１０）に示すように、小さな正又は負の領域の除去（すなわち、拡散）をより直接的に制御するために式９に明示的な拡散項を追加することができる。
Figure 2009509417
 式（１０）の右辺のラプラシアン項は、境界フィールドを比較的平滑で均質なものとする。
画像結合駆動項
移動物体境界は、何らかの局所空間画像活動との相関性を有することができる。例えば、多くの場合、物体境界は、境界に対して法線方向に強度勾配を有する。この種類の局所空間活動の相関性は、画像結合駆動項を用いてモデルの中に組み込まれる。
Figure 2009509417
 ここで、
Figure 2009509417
 は、境界フィールドに対して法線方向にあり、│∇Ｉ（ｘ、ｙ）│は、画像強度勾配のマグニチュードである。この項を式（３）に入れると、この因子の寄与が次式のように得られる。
Figure 2009509417
 従って、画像勾配が物体境界幅に近い場合には、境界は、画像勾配に沿って整列する。図７は、画像結合駆動項の効果の例を示している。境界曲線７１０の一部分は、強度勾配における局所ピークのような画像構造７２０の近くにある。画像結合駆動項は、曲線７３０及び破線７４０に示すように境界を画像構造へと引きつける。
テンプレート駆動項
テンプレート駆動項は、例えば、前のシーケンスからシーン内の物体境界に関する情報を得るか、又は物体の予想形状に関する事前情報を有する実施形態で用いられる。この情報は、物体境界のためのテンプレートを供給する。物体境界テンプレート駆動因子は、２次元関数：
Figure 2009509417
 の交点によって特徴付けることができる。テンプレート駆動項は、次式で表現される。
Figure 2009509417
すなわち、物体境界の近くのピクセル位置で、境界フィールドＢ（ｘ、ｙ）がテンプレート：
Figure 2009509417
 よりも大きい場合には、Ｂ（ｘ、ｙ）は減少する。同様に、物体境界の近くのピクセル位置で、境界フィールドＢ（ｘ、ｙ）がテンプレート：
Figure 2009509417
 よりも小さい場合には、Ｂ（ｘ、ｙ）は増大する。最終的に、
Figure 2009509417
 であるところで平衡に達する。
動的モデルは、式（４）に従って空間的２次元境界フィールドＢ（ｘ、ｙ）を発展させる。パラメータ｛λ1、λ2λ3｝は、各項の相対重みを左右する。一部の実施形態では、λ3は、物体境界の成長の後期段階でより有効になるように最初に０に設定され、徐々に増大する。多くの場合、物体境界に関する事前知識が利用可能ではないので、λ4は、全方法において０に設定される。この駆動項は、境界フィールドＢ（ｘ、ｙ）及び動きフィールドの関数である。これらの駆動項の非線形の協働効果は、移動物体における境界フィールドの安定した発展及び出現を可能にする。
境界フィールドが、動的モデルにおいて更新される時に、各ピクセル「ｘ」において背景の動きを用いること及び物体の動きを用いることの間の予測誤差は、全ての繰返しにおいて計算すべきである。背景の動きは、通常は非常にロバストで安定しており、従って、単一の背景の動きを全ピクセルで用いることができる。しかし、一部の事例では、物体の動きは、非局所的又は非剛体的動きを伴う場合がある。これらの事例では、一部の実施形態において物体の動きに対してバルク及び局所的／境界の動きベクトルが用いられる。
図８は、物体において出現する境界フィールドの例を示している。時間ｔ1において、目標画像８００内の物体の識別部分を８１０に示しており、目標画像の残りは、背景領域と考えられる。時間ｔ2において、境界フィールドが発展すると、物体の識別部分は、８２０に示すように成長する。境界の動きベクトル８３０が、移動物体の境界に沿って配置され、動きベクトルに関する値が推定される。境界の動きベクトルの値は、現在の時間ｔ2において物体の一部として識別されるピクセルを用いて決定される。すなわち、物体８２０の識別部分の内側のピクセルのみが、境界の動きベクトル８３０を推定するのに用いられる。各境界の動きベクトルは、境界から所定の距離内にある物体の識別部分の内側の領域を用いて推定される。従って、各境界の動きベクトルは、物体の小さな部分の動きを示している。物体におけるバルクの動きベクトルｖbulkは、識別部分からのピクセルを用いて推定され、物体全体の総合的な動きを示している。
一般的に、バルクの動きベクトルｖbulkは、物体内の各ピクセルにおける物体の動きを表するのに用いることができる。物体のいくつかの部分が異なる方向に移動する非剛体的な動きを処理するために、境界に沿ったピクセルでは、このピクセルの近く又はこのピクセルと局所空間相関性を有する境界の動きベクトルを物体の動きを表すのに用いることができる。例えば、物体が人物であった場合には、バルクの動きベクトルは、人物が右に移動するのを示すことができ、人物の手に沿った境界の動きベクトルは、手がバルクの動きベクトルに対して左に移動していることを示すことができる。
一実施形態では、境界抽出方法は、図９に示すように、ビデオデータの画像（又はフレーム、又はフィールド）を符号化するためのビデオ符号化に用いられる。９１０で、符号器は、入力目標画像を受信する。目標画像に関連する復号された画像データを収容する１組の参照画像が、符号化処理中には符号器に対して利用可能であり、同様に、復号処理中には復号器に対して利用可能である。９１５では、移動物体境界を抽出する。９２０では、符号器は、目標画像に関連付けられた動きベクトルの不規則サンプリング又は分布を発生させる。９３０では、サンプリングパターン情報（例えば、パターンを表すビット）を復号器に伝送する。
９４０では、時間予測フィルタ処理を不規則な動きサンプリングパターンに適用する。この適応フィルタ処理は、動きベクトル、不規則なサンプリングパターン、及び参照画像を用いて目標画像の予測を発生させる。９５０では、動きベクトル値を符号化し、復号器に送信する。９６０では、目標画像の実際の目標データから適応フィルタリング処理からの予測誤差を差し引いた残差を発生させる。９７０では、残差を符号化し、９８０において復号器に送信する。
別の実施形態では、動きベクトルの適応サンプリングパターンは、図１０に示すようにビデオデータの画像（又はフレーム、又は画像）を復号するのに用いられる。１０１０では、符号化済み残差を受信する。１０２０では、復号器は、受信した符号化済み残差を復号する。１０３０では、復号器は、サンプリングパターン情報、参照画像、及び動きベクトル値を受信する。続いて１０４０において、復号器は、適応時間フィルタ手法を適用して時間予測を発生させる。１０５０では、復号済み残差を時間予測に加えることによって復号された目標画像を発生させる。
図１１は、適応影響エリアフィルタを用いるシステムの例を示している。デジタルビデオカメラ１１１０は、電子形式で画像を取り込み、圧縮及び符号化処理中に動きベクトル選択法を用いる圧縮デバイス１１２０を用いて画像を処理する。符号化された画像は、電子伝送媒体１１３０を通じてデジタル再生デバイス１１４０に送信される。画像は、復号処理中にフィルタを用いる復号デバイス１１５０によって復号される。カメラ１１１０は、本発明の実施形態を含む様々な画像処理装置（例えば、他の画像取り込みデバイス、画像エディタ、画像処理プロセッサ、パーソナル及び市販のコンピュータプラットフォーム等）を示している。同様に、復号デバイス１１５０は、画像データを復号する様々なデバイスを示している。
本発明を特定のシステム環境における実施形態に関して説明したが、本発明は、特許請求の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において修正を伴って実施することができることを当業者は認識するであろう。
背景領域から移動物体境界を抽出する方法の例を示す図である。 動的モデルによって成長した境界フィールドの例を示す図である。 動的モデルにおいて１つの参照画像を用いた場合に発生する可能性がある遮蔽の例を示す図である。 動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。 動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。 動的モデルにおいて複数の参照画像を用いた場合に遮蔽を回避する例を示す図である。 背景動きフィールドに対して仮説を発生させる方法の例を示す図である。 物体動きフィールドに対して仮説を発生させる例を示す図である。 境界フィールドの一部分及び法線ベクトルの例を示す図である。 画像結合駆動項の効果の例を示す図である。 物体に対して出現する境界フィールドの例を示し、局所境界動きベクトルを示す図である。 移動物体境界を抽出する方法を用いるビデオデータの画像（又はフレーム又はフィールド）を符号化するためのビデオ符号化の例を示す図である。 ビデオデータの画像（又はフレーム、又は画像）を復号する例を示す図である。 移動物体境界を抽出する方法を用いるシステムの例を示す図である。
符号の説明
１１０ 動的モデルが形成される段階
１２５ 動きベクトルの初期値が判断される段階
１３０ 境界フィールドを発展させる段階

Claims (42)

  1. 電子データプロセッサによって実施される方法であって、
    動きが目標画像と参照画像の間の位置の変化によって表される物体に対して初期動きベクトルを推定する段階と、
    前記物体が現れて移動する背景エリアに対して初期ベクトルを推定する段階と、
    前記推定されたベクトルを用いて、１回目の繰返しの動的モデル解を求める段階と、
    前記物体の境界を抽出するために、前記動的モデル解の少なくとも１回の次の繰返しを完了する段階と、
    を含むことを特徴とする方法。
  2. 前記動的モデル解の前記又は各次の繰返しは、時間ステップの繰返しを含むことを特徴とする請求項１に記載の方法。
  3. 前記動的モデルは、予測誤差項、安定性項、画像結合項、及びテンプレート項から成る群からの項を含むことを特徴とする請求項１に記載の方法。
  4. 前記動的モデルは、予測誤差項を含み、
    前記予測誤差項は、前記物体に関連付けられた動きベクトルを用いることによって得られる予測誤差と、前記背景エリアに関連付けられた動きベクトルを用いることによって得られる予測誤差との間の差を含む、
    ことを特徴とする請求項１に記載の方法。
  5. 前記動的モデルは、安定性項を含み、
    前記安定性項は、前記境界の曲率の抽出に関連付けられた曲率項を含み、かつ
    前記安定性項は、前記移動物体の滑らかさ又はコンパクト性の抽出に関連付けられた拡散項を含む、
    ことを特徴とする請求項１に記載の方法。
  6. 前記動的モデルは、画像結合項を含み、
    前記画像結合項は、前記物体境界に対して法線方向の強度勾配と関連付けられ、
    前記強度勾配は、前記物体に近接する前記目標画像の一部分に関連付けられている、
    ことを特徴とする請求項１に記載の方法。
  7. 前記動的モデルは、テンプレート項を含み、
    前記テンプレート項は、前記移動物体境界のためのテンプレートを提供する、
    ことを特徴とする請求項１に記載の方法。
  8. 前記動的モデル解のあらゆる繰返しは、
    前記目標画像内のピクセルが、未来の参照フレームに対して推定遮蔽エリアに近接する場合には、過去の参照フレームが、前記予測誤差を推定するのに用いられ、かつ
    前記目標画像内の前記ピクセルが、前記過去の参照フレームに対して推定遮蔽エリアに近接する場合には、未来の参照フレームが、前記予測誤差を推定するのに用いられる、
    予測誤差推定処理を含む、
    ことを特徴とする請求項１に記載の方法。
  9. 前記予測誤差推定処理は、前記背景動きフィールドに関する仮説試験手順を含み、
    前記仮説試験手順は、
    前記物体の現在の状態との整合性に関して、過去の参照フレームに基づく第１の背景動きフィールドを試験し、
    前記物体の前記現在の状態との整合性に関して、未来の参照フレームに基づく第２の背景動きフィールドを試験し、
    前記試験の結果を用いて前記第１又は前記第２の背景のフィールドのいずれかを選択する、
    ものである、
    ことを特徴とする請求項８に記載の方法。
  10. 前記予測誤差推定処理は、前記物体動きフィールドに関する仮説試験手順を含み、
    前記仮説試験手順は、
    Ｂ（ｘ、ｙ）≧Ｓである場合は、
    ｖo hyp＝ｍｉｎv（ε（ｖo past）、ε（ｖ＝ｖo future））を選択し、
    それ以外の場合は、ｖo hyp＝ｍａｘv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を選択する、
    ものであり、
    ｖo past/futureは、過去又は未来の参照フィールドに基づく前記物体に関する動きベクトルを含み、εは、前記予測誤差を含み、ｖo hypは、該動きベクトルに関する仮説を含み、Ｓは、閾値を含み、Ｂ（ｘ、ｙ）は、ピクセル（ｘ、ｙ）での境界フィールド状態を含む、
    ことを特徴とする請求項８に記載の方法。
  11. 前記動的モデルは、
    Ｂ（ｘ、ｙ、ｔ＋τ）＝Ｂ（ｘ、ｙ、ｔ）＋τＴ│∇Ｂ（ｘ、ｙ、ｔ）│
    を含み、
    Ｂ（ｘ、ｙ、ｔ）は、全てのピクセル（ｘ、ｙ）に対して時間ｔにおける物体又は背景の状態を定める時間ｔにおけるピクセル（ｘ、ｙ）での前記境界フィールドの状態を含み、方程式は、該境界フィールドの勾配を含み、Ｔは、複数の境界特徴からの影響を組み合わせる複合駆動項を含み、τは、時間ｔからｔ＋τに状態を進める時間ステップパラメータを含む、
    ことを特徴とする請求項１に記載の方法。
  12. Ｔは、
    Ｔ＝λ1Ｔpast/futurep redictionーerror＋λ2Ｔstability＋λ3Ｔimageーcoupling＋λ4Ｔtemplate
    を含み、
    λ1、λ2、λ3、λ4は、重み付け係数を含み、Ｔpast/future predictionーerrorは、予測誤差項を含み、Ｔstabilityは、安定性項を含み、Ｔimageーcouplingは、画像結合項を含み、Ｔtemplateは、テンプレート項を含む、
    ことを特徴とする請求項１１に記載の方法。
  13. 前記動的モデル解の特定数の繰返しを完了した後の前記物体に対して第２の動きベクトルを推定する段階と、
    前記動的モデル解の前記特定数の繰返しを完了した後の前記背景エリアに対して第２の動きベクトルを推定する段階と、
    を更に含むことを特徴とする請求項１に記載の方法。
  14. 前記物体に対して及び前記背景エリアに対して前記第２の動きベクトルを推定する段階は、
    前記物体の移動を表すバルク動きベクトルと局所境界動きベクトルとを推定する段階と、
    前記推定された局所境界動きベクトルを用いて、非剛体的動きを有する前記物体内の領域に近接するピクセルに対して前記動的モデルにおける前記予測誤差項を計算する段階と、
    を含む、
    ことを特徴とする請求項１３に記載の方法。
  15. 処理システムによって実行された時に該システムに、
    動きが目標画像と参照画像の間の位置の変化によって表される物体に対して初期動きベクトルを推定する段階と、
    前記物体が現れて移動する背景エリアに対して初期ベクトルを推定する段階と、
    前記推定されたベクトルを用いて、１回目の繰返しの動的モデル解を求める段階と、
    前記物体の境界を抽出するために、前記動的モデル解の少なくとも１回の次の繰返しを完了する段階と、
    を含む方法を実施させる命令のプログラムを記憶するコンピュータ可読媒体。
  16. 前記動的モデル解の前記又は各次の繰返しは、時間ステップの繰返しを含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
  17. 前記動的モデルは、予測誤差項、安定性項、画像結合項、及びテンプレート項から成る群からの項を含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
  18. 前記動的モデルは、予測誤差項を含み、
    前記予測誤差項は、前記物体に関連付けられた動きベクトルを用いることによって得られる予測誤差と、前記背景エリアに関連付けられた動きベクトルを用いることによって得られる予測誤差との間の差を含む、
    ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
  19. 前記動的モデルは、安定性項を含み、
    前記安定性項は、前記境界の曲率の抽出に関連付けられた曲率項を含み、かつ
    前記安定性項は、前記移動物体の滑らかさ又はコンパクト性の抽出に関連付けられた拡散項を含む、
    ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
  20. 前記動的モデルは、画像結合項を含み、
    前記画像結合項は、前記物体境界に対して法線方向の強度勾配と関連付けられ、
    前記強度勾配は、前記物体に近接する前記目標画像の一部分に関連付けられている、
    ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
  21. 前記動的モデルは、テンプレート項を含み、
    前記テンプレート項は、前記移動物体境界のためのテンプレートを提供する、
    ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
  22. 前記動的モデル解のあらゆる繰返しは、
    前記目標画像内のピクセルが、未来の参照フレームに対して推定遮蔽エリアに近接する場合には、過去の参照フレームが、前記予測誤差を推定するのに用いられ、かつ
    前記目標画像内の前記ピクセルが、前記過去の参照フレームに対して推定遮蔽エリアに近接する場合には、未来の参照フレームが、前記予測誤差を推定するのに用いられる、
    予測誤差推定処理を含む、
    ことを特徴とする請求項１５に記載のコンピュータ可読媒体。
  23. 前記予測誤差推定処理は、前記背景動きフィールドに関する仮説試験手順を含み、
    前記仮説試験手順は、
    前記物体の現在の状態との整合性に関して、参照フレームに基づく第１の背景動きフィールドを試験し、
    前記物体の前記現在の状態との整合性に関して、未来の参照フレームに基づく第２の背景動きフィールドを試験し、
    前記試験の結果を用いて前記第１又は前記第２の背景のフィールドのいずれかを選択する、
    ものである、
    ことを特徴とする請求項２２に記載のコンピュータ可読媒体。
  24. 前記予測誤差推定処理は、前記物体動きフィールドに関する仮説試験手順を含み、
    前記仮説試験手順は、
    Ｂ（ｘ、ｙ）≧Ｓである場合は、
    ｖo hyp＝ｍｉｎv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を選択し、
    それ以外の場合は、ｖo hyp＝ｍａｘv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を選択する、
    ものであり、
    ｖo past/futureは、過去又は未来の参照フィールドに基づく前記物体に関する動きベクトルを含み、εは、前記予測誤差を含み、ｖo hypは、該動きベクトルに関する仮説を含み、Ｓは、閾値を含み、Ｂ（ｘ、ｙ）は、ピクセル（ｘ、ｙ）での境界フィールド状態を含む、
    ことを特徴とする請求項２２に記載のコンピュータ可読媒体。
  25. 前記動的モデルは、
    Ｂ（ｘ、ｙ、ｔ＋τ）＝Ｂ（ｘ、ｙ、ｔ）＋τＴ│∇Ｂ（ｘ、ｙ、ｔ）│
    を含み、
    Ｂ（ｘ、ｙ、ｔ）は、時間ｔにおけるピクセル（ｘ、ｙ）での前記境界フィールドの状態を含み、▽は、該境界フィールドの勾配を含み、Ｔは、複数の境界特徴からの影響を組み合わせる複合駆動項を含み、τは、時間ｔからｔ＋τに状態を進める時間ステップパラメータを含む、
    ことを特徴とする請求項２２に記載のコンピュータ可読媒体。
  26. Ｔは、
    Ｔ＝λ1Ｔpast/futurep redictionーerror＋λ2Ｔstability＋λ3Ｔimageーcoupling＋λ4Ｔtemplate
    を含み、
    λ1、λ2、λ3、λ4は、重み付け係数を含み、Ｔpast/future predictionーerrorは、予測誤差項を含み、Ｔstabilityは、安定性項を含み、Ｔimageーcouplingは、画像結合項を含み、Ｔtemplateは、テンプレート項を含む、
    ことを特徴とする請求項２５に記載のコンピュータ可読媒体。
  27. 前記動的モデル解の特定数の繰返しを完了した後の前記物体に対して第２の動きベクトルを推定する段階と、
    前記動的モデル解の前記特定数の繰返しを完了した後の前記背景エリアに対して第２の動きベクトルを推定する段階と、
    を更に含むことを特徴とする請求項１５に記載のコンピュータ可読媒体。
  28. 前記物体に対して及び前記背景エリアに対して前記第２の動きベクトルを推定する段階は、
    前記物体の移動を表すバルク動きベクトルと局所境界動きベクトルとを推定する段階と、
    前記推定された局所境界動きベクトルを用いて、非剛体的動きを有する前記物体内の領域に近接するピクセルに対して前記動的モデルにおける前記予測誤差項を計算する段階と、
    を含む、
    ことを特徴とする請求項２７に記載のコンピュータ可読媒体。
  29. 動きが目標画像と参照画像の間の位置の変化によって表される物体に対して初期の動きベクトルを推定し、該物体が現れて移動する背景エリアに対して初期ベクトルを推定し、該推定されたベクトルを用いて１回目の繰返しの動的モデル解を求め、かつ該物体の境界を抽出するために該動的モデル解の少なくとも１回の次の繰返しを完了するマイクロプロセッサ、
    を含むことを特徴とする装置。
  30. 前記動的モデル解の前記又は各次の繰返しは、時間ステップの繰返しを含むことを特徴とする請求項２９に記載の装置。
  31. 前記動的モデルは、予測誤差項、安定性項、画像結合項、及びテンプレート項から成る群からの項を含むことを特徴とする請求項２９に記載の方法。
  32. 前記動的モデルは、予測誤差項を含み、
    前記予測誤差項は、前記物体に関連付けられた動きベクトルを用いることによって得られる予測誤差と、前記背景エリアに関連付けられた動きベクトルを用いることによって得られる予測誤差との間の差を含む、
    ことを特徴とする請求項２９に記載の装置。
  33. 前記動的モデルは、安定性項を含み、
    前記安定性項は、前記境界の曲率の抽出に関連付けられた曲率項を含み、かつ
    前記安定性項は、前記移動物体の滑らかさ又はコンパクト性の抽出に関連付けられた拡散項を含む、
    ことを特徴とする請求項２９に記載の装置。
  34. 前記動的モデルは、画像結合項を含み、
    前記画像結合項は、前記物体境界に対して法線方向の強度勾配と関連付けられ、
    前記強度勾配は、前記物体に近接する前記目標画像の一部分に関連付けられている、
    ことを特徴とする請求項２９に記載の装置。
  35. 前記動的モデルは、テンプレート項を含み、
    前記テンプレート項は、前記移動物体境界のためのテンプレートを提供する、
    ことを特徴とする請求項２９に記載の装置。
  36. 前記マイクロプロセッサは、
    前記目標画像内のピクセルが、未来の参照フレームに対して推定遮蔽エリアに近接する場合には、過去の参照フレームが、前記予測誤差を推定するのに用いられ、かつ
    前記目標画像内の前記ピクセルが、前記過去の参照フレームに対して推定遮蔽エリアに近接する場合には、未来の参照フレームが、前記予測誤差を推定するのに用いられる、
    予測誤差推定処理を用いて前記動的モデル解のあらゆる繰返しを実施する、
    ことを特徴とする請求項２９に記載の装置。
  37. 前記予測誤差推定処理は、前記背景動きフィールドに関する仮説試験手順を含み、
    前記仮説試験手順は、
    前記物体の現在の状態との整合性に関して、過去の参照フレームに基づく第１の背景動きフィールドを試験し、
    前記物体の前記現在の状態との整合性に関して、未来の参照フレームに基づく第２の背景動きフィールドを試験し、
    前記試験の結果を用いて前記第１又は前記第２の背景のフィールドのいずれかを選択する、
    ものである、
    ことを特徴とする請求項３６に記載の装置。
  38. 前記予測誤差推定処理は、前記物体動きフィールドに関する仮説試験手順を含み、
    前記仮説試験手順は、
    Ｂ（ｘ、ｙ）≧Ｓである場合は、
    ｖo hyp＝ｍｉｎv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を選択し、
    それ以外の場合は、ｖo hyp＝ｍａｘv（ε（ｖ＝ｖo past）、ε（ｖ＝ｖo future））を選択する、
    ものであり、
    ｖo past/futureは、過去又は未来の参照フィールドに基づく前記物体に関する動きベクトルを含み、εは、前記予測誤差を含み、ｖo hypは、該動きベクトルに関する仮説を含み、Ｓは、閾値を含み、Ｂ（ｘ、ｙ）は、ピクセル（ｘ、ｙ）での境界フィールド状態を含む、
    ことを特徴とする請求項３６に記載の装置。
  39. 前記動的モデルは、
    Ｂ（ｘ、ｙ、ｔ＋τ）＝Ｂ（ｘ、ｙ、ｔ）＋τＴ│∇Ｂ（ｘ、ｙ、ｔ）│
    を含み、
    Ｂ（ｘ、ｙ、ｔ）は、時間ｔにおけるピクセル（ｘ、ｙ）での前記境界フィールドの状態を含み、▽は、該境界フィールドの勾配を含み、Ｔは、複数の境界特徴からの影響を組み合わせる複合駆動項を含み、τは、時間ｔからｔ＋τに状態を進める時間ステップパラメータを含む、
    ことを特徴とする請求項２９に記載の装置。
  40. Ｔは、
    Ｔ＝λ1Ｔpast/futurep redictionーerror＋λ2Ｔstability＋λ3Ｔimageーcoupling＋λ4Ｔtemplate
    を含み、
    λ1、λ2、λ3、λ4は、重み付け係数を含み、Ｔpast/future predictionーerrorは、予測誤差項を含み、Ｔstabilityは、安定性項を含み、Ｔimageーcouplingは、画像結合項を含み、Ｔtemplateは、テンプレート項を含む、
    ことを特徴とする請求項２９に記載の装置。
  41. 前記マイクロプロセッサは、前記動的モデル解の特定数の繰返しを完了した後に前記物体に対して第２の動きベクトルを推定し、かつ該動的モデル解の該特定数の繰返しを完了した後に前記背景エリアに対して第２の動きベクトルを推定することを特徴とする請求項２９に記載の装置。
  42. 前記マイクロプロセッサは、前記物体の移動を表すバルク動きベクトルと局所境界動きベクトルとを推定し、かつ該推定された局所境界動きベクトルを用いて非剛体的動きを有する該物体内の領域に近接するピクセルに対して前記動的モデルにおける前記予測誤差項を計算することにより、該物体に対して及び前記背景エリアに対して前記第２の動きベクトルを推定することを特徴とする請求項４１に記載の装置。
JP2008531379A 2005-09-16 2006-09-14 移動物体境界の抽出 Expired - Fee Related JP5312942B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/229,285 US7596243B2 (en) 2005-09-16 2005-09-16 Extracting a moving object boundary
US11/229,285 2005-09-16
PCT/US2006/036121 WO2007035538A2 (en) 2005-09-16 2006-09-14 Extracting a moving object boundary

Publications (2)

Publication Number Publication Date
JP2009509417A true JP2009509417A (ja) 2009-03-05
JP5312942B2 JP5312942B2 (ja) 2013-10-09

Family

ID=37884183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008531379A Expired - Fee Related JP5312942B2 (ja) 2005-09-16 2006-09-14 移動物体境界の抽出

Country Status (6)

Country Link
US (1) US7596243B2 (ja)
EP (1) EP1946244A4 (ja)
JP (1) JP5312942B2 (ja)
KR (1) KR101396618B1 (ja)
CN (1) CN101283364B (ja)
WO (1) WO2007035538A2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026606A1 (en) * 1999-03-11 2011-02-03 Thomson Licensing System and method for enhancing the visibility of an object in a digital picture
RU2225035C1 (ru) * 2003-04-21 2004-02-27 Общество с ограниченной ответственностью "Р.Т.С.-Сервис" Способ кодирования координат перемещающегося на экране вычислительного устройства видеоизображения, устройство для декодирования визуального объекта, закодированного этим способом, и система, предназначенная для визуализации активного видео с помощью этого устройства
JP5406182B2 (ja) * 2007-06-26 2014-02-05 コーニンクレッカ フィリップス エヌ ヴェ ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号
US20090060373A1 (en) * 2007-08-24 2009-03-05 General Electric Company Methods and computer readable medium for displaying a restored image
US20100103323A1 (en) * 2008-10-24 2010-04-29 Ati Technologies Ulc Method, apparatus and software for determining motion vectors
US8300949B2 (en) 2010-05-18 2012-10-30 Sharp Laboratories Of America, Inc. Edge detection technique having improved feature visibility
JP2012151576A (ja) * 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JPWO2012128242A1 (ja) * 2011-03-18 2014-07-24 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9158971B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
AU2014216000A1 (en) 2014-08-22 2016-03-10 Canon Kabushiki Kaisha A non-uniform curve sampling method for object tracking
WO2016076449A1 (en) * 2014-11-11 2016-05-19 Movon Corporation Method and system for detecting an approaching obstacle based on image recognition
CN105678326B (zh) * 2015-12-31 2019-12-10 华南理工大学 一种基于曲率的二维目标轮廓的编码方法
EP3469793A1 (en) * 2016-06-24 2019-04-17 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
CN108242059B (zh) * 2016-12-26 2021-03-12 深圳怡化电脑股份有限公司 图像边界查找方法和装置
US10643336B2 (en) 2018-03-06 2020-05-05 Sony Corporation Image processing apparatus and method for object boundary stabilization in an image of a sequence of images
CN108537234A (zh) * 2018-03-22 2018-09-14 南京邮电大学 基于字典学习的规律背景和矩形目标图像的定界方法
CN110443266B (zh) * 2018-05-04 2022-06-24 上海商汤智能科技有限公司 对象预测方法及装置、电子设备和存储介质
US10964033B2 (en) * 2018-08-07 2021-03-30 Qualcomm Incorporated Decoupled motion models for object tracking
US11030774B2 (en) * 2019-03-19 2021-06-08 Ford Global Technologies, Llc Vehicle object tracking

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172841A (ja) * 1998-11-30 2000-06-23 Mitsubishi Electric Inf Technol Center America Inc 画像からの情景の推定方法
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0309669B1 (de) 1987-09-30 1992-12-30 Siemens Aktiengesellschaft Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
US5690934A (en) * 1987-12-31 1997-11-25 Tanox Biosystems, Inc. Peptides relating to the extracellular membrane-bound segment of human alpha chain
US5047850A (en) 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US5872866A (en) 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
GB9519923D0 (en) 1995-09-29 1995-11-29 Philips Electronics Nv Motion estimation for predictive image coding
WO1997040628A1 (en) 1996-04-19 1997-10-30 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
DE19648016A1 (de) 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
US6775326B2 (en) 1997-02-13 2004-08-10 Mitsubishi Denki Kabushiki Kaisha Moving image estimating system
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
US6259802B1 (en) * 1997-06-30 2001-07-10 Siemens Corporate Research, Inc. Object tracking technique using polyline contours
US6178205B1 (en) 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
JP2000308064A (ja) 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
JP3753578B2 (ja) 1999-12-07 2006-03-08 Ｎｅｃエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
JP2003530789A (ja) 2000-04-11 2003-10-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化及び復号方法
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
US6782054B2 (en) 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
CN100452668C (zh) 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
US7068722B2 (en) 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172841A (ja) * 1998-11-30 2000-06-23 Mitsubishi Electric Inf Technol Center America Inc 画像からの情景の推定方法
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6013024524; Ａｂｄｏｌ-Ｒｅｚａ　Ｍａｎｓｏｕｒｉ　ａｎｄ　Ｊａｎｕｓｚ　ｋｏｎｒａｄ: 'Ｍｕｌｔｉｐｌｅ　Ｍｏｔｉｏｎ　Ｓｅｇｍｅｎｔａｔｉｏｎ　Ｗｉｔｈ　Ｌｅｖｅｌ　Ｓｅｔｓ' ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ Ｖｏｌ．１２，　Ｎｏ．２, 200302, ｐ．２０１-２２０, ＩＥＥＥ *

Also Published As

Publication number Publication date
EP1946244A4 (en) 2012-09-19
KR101396618B1 (ko) 2014-05-21
WO2007035538A2 (en) 2007-03-29
EP1946244A2 (en) 2008-07-23
CN101283364B (zh) 2013-07-10
CN101283364A (zh) 2008-10-08
WO2007035538A8 (en) 2008-02-21
JP5312942B2 (ja) 2013-10-09
WO2007035538A3 (en) 2007-12-13
KR20080063770A (ko) 2008-07-07
US20070065025A1 (en) 2007-03-22
US7596243B2 (en) 2009-09-29

Similar Documents

Publication Publication Date Title
JP5312942B2 (ja) 移動物体境界の抽出
EP1639829B1 (en) Optical flow estimation method
JP3679426B2 (ja) 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5832115A (en) Ternary image templates for improved semantic compression
KR100583902B1 (ko) 이미지세그멘테이션
KR100609249B1 (ko) 영상 오브젝트 트랙킹 방법과 대응 시스
Jacobson et al. A novel approach to FRUC using discriminant saliency and frame segmentation
KR100937882B1 (ko) 영상들의 시리즈들에서의 세그먼트들을 결정하는 분할 유닛 및 방법과 영상 처리 장치
US20030053711A1 (en) Reducing blocking and ringing artifacts in low-bit-rate coding
CN107371022B (zh) 应用于hevc医学影像无损编码的帧间编码单元快速划分方法
JPH03253190A (ja) 動画像のハイブリッド符号化方法及びその装置
JPH0799660A (ja) 動き補償予測装置
CN116664450A (zh) 基于扩散模型的图像增强方法、装置、设备及存储介质
CN109587491A (zh) 一种帧内预测方法、装置及存储介质
JP5676610B2 (ja) 画像シーケンスの関心領域に基づくアーティファクト低減のためのシステム及び方法
JP2002522836A (ja) 静止画像生成方法および装置
Du et al. Perceptually optimized generative adversarial network for single image dehazing
CN111527518B (zh) 基于超射线表示的使用来处理光场视频的方法
CN116091364B (zh) 图像模糊处理方法、装置、电子设备和存储介质
JP2980810B2 (ja) 動きベクトル探索方法と装置
Boltz et al. A joint motion computation and segmentation algorithm for video coding
CN113438488B (zh) 低码率视频优化编码方法和装置、设备及存储介质
Koppel et al. Fully automatic inpainting method for complex image content
Fu et al. Fast global motion estimation based on local motion segmentation
Ashwini et al. An efficient single image dehazing algorithm based on patch-wise transmission map estimation using Whale Optimization Algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120402

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120629

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130703

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees