JP2004522340A - 動き整合のための局所的制約 - Google Patents
動き整合のための局所的制約 Download PDFInfo
- Publication number
- JP2004522340A JP2004522340A JP2002570539A JP2002570539A JP2004522340A JP 2004522340 A JP2004522340 A JP 2004522340A JP 2002570539 A JP2002570539 A JP 2002570539A JP 2002570539 A JP2002570539 A JP 2002570539A JP 2004522340 A JP2004522340 A JP 2004522340A
- Authority
- JP
- Japan
- Prior art keywords
- region
- error map
- error
- motion
- neighboring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【0001】
本発明は、一般に画像処理に関する。より詳細には、ビデオ処理における動き整合に関する。
【背景技術】
【0002】
本願は、2001年3月7日に出願された、"Motion Matching Using Local Segment Motion Constraints"と題する米国仮特許出願第60/274,079号を基礎として優先権主張するものであり、それの開示内容を本明細書に参照により組み込むものとする。一つのビデオフレームからターゲット(目標)とするビデオフレームへの画像セグメントの動き又は変位を推定できることが望ましい。本明細書の全体を通して、「セグメント」という用語は、対象物、ブロック又は対象物の部分的なサブセットを表すために使用される。そのような動きの推定により、ビデオデータの一時的な冗長性の低減によるかなりのフレーム間圧縮が可能となる。動きの推定は又、所与のセグメントがターゲットとするビデオフレームの特定の位置に「整合」されるという点で、しばしば動き整合(motion matching)と呼ばれる。
【0003】
動き整合は、典型的には、一つのディジタル画像において捕捉されたシーン内の対象物を識別し、別の画像においてその同じ対象物を識別し、一つの画像から別の画像への位置の変化を記録することを含む。例えば、処理されるビデオシーケンスがサッカーの試合である場合、処理は、サッカーボールなどの対象物の動きを検知するのに使用されることがある。本明細書で説明する整合プロセスは、シーンの中の実際の対象物に限定されるのではなく、画像の所定のブロック(またはタイル張り)又はモザイク、あるいは対象物の部分にまで及ぶということに留意されたい。例えば、いくつかのそれぞれ異なる色のべた一色(solid color)部分を有するビーチボールのビデオシーケンスは、それぞれの異なる着色部分が別々の対象物として処理されることによって処理される場合がある。
【0004】
必ずというわけではないが、整合は、画像セグメントがビデオシーケンスのフレーム内で移動する際にビデオシーケンスの画像セグメントを「追跡」するよう意図されている場合が多々ある。そのため、ディジタル信号パターン整合は、ビデオ圧縮、医用描写法(medical imaging)及び対象物追跡などの様々な用途に使用することができる。例えば、ディジタル画像プロセッサは、最初の(第1の)画像フレームのセグメントの位置を記録してそのセグメントを抽出し、それを次の(第2の)画像フレームに整合させ、その第2のフレーム中で探索した対応する(整合する)セグメントの位置を記録し、それら位置間の差分を動きの標識として用いることよって、セグメントがビデオシーケンスの一つの画像フレームから次の画像フレームへとどのように動いたかを決定することが可能である。N次元のシーケンスの二つのフレーム間における動きは、しばしば、N次元ベクトルとして記述される。従って、ビデオシーケンスが、二次元画像のシーケンスの場合、セグメントSの動きは、二次元ベクトルμ=(Δx、Δy)で表すことができ、ここでΔxは、水平方向におけるセグメントの相対変位であり、Δyは、垂直方向におけるセグメントの相対変位である。典型的には、変位の測定単位はピクセルである。
【特許文献1】国際特許出願明細書 WO 00/77735 A1
【発明の開示】
【発明が解決しようとする課題】
【0005】
動き整合には問題が多く、効率良く行うことは困難である。動き整合ルーチンに生じることの多い問題の一つは、誤った整合の発生である。誤った整合は、照明効果、シャープネス、あるいはフレーム間の局所的な対象物の形状といったものにおける変化を含む様々な要因を有する場合がある。別の問題は、あいまいな整合である。あいまいな整合は、多数の変位ベクトルが、変位したセグメント(又は対象物又はブロック)と背景にあるピクセルとの間で同じ又は類似する整合を生じるときに発生し得る。しかしながら、類似する選択物のうちの一つだけが、標準的なオブザーバ(観察者)の視点から所望される又は「物理的」変位である。又、いくつかの動き整合技法は、特定の特性を有する画像フレームに対して十分機能するが、別の特性を有する画像フレームに対しては良好に機能しない場合がある。
【課題を解決するための手段】
【0006】
元のビデオフレーム(ソースビデオフレーム)からターゲットとするビデオフレーム(ターゲットビデオフレーム)への画像領域(「中心」領域)の動きを推定するための方法及び装置を開示する。動き推定(動き予測)は、「中心領域」の推定(予測)される動きが、近傍領域の推定(予測)される動きにより影響を受けるという点で局所的に制約を受ける。有利なことに、これは、誤り整合やあいまい整合といった動き整合に共通する問題を低減する。1実施態様では、局所的に制約された動きの推定は、中心領域のエラーマップを、近傍領域のエラーマップを用いてバイアスすることによって実行される。
【実施例】
【0007】
以下で説明するように、本発明による1実施態様では、(a)セグメントを(任意に選択した画像領域ではなく)整合させる画像領域として使用し、及び、(b) セグメントの動きを、その近傍セグメントの動きに整合させるようバイアスする(変位または偏倚させる)ことによってあいまい整合の問題に対処する。バイアスは、緩衝装置(ショックアブソーバー)が近傍の結合されたアイテムの変位を制約する際に、セグメントの変位を効果的に制約する。セグメントの使用は必須のものではないが、任意に選択された画像領域を使用する場合よりも良好な結果をもたらす傾向がある。
【0008】
図1は、本発明の1実施態様による、動き整合のための局所的制約を実行する方法のフローチャートである。図示の方法100には、8つのステップ(102、104、106、108、110、112、114及び116)が含まれる。
【0009】
第1のステップ102では、動き整合を実行するセグメントを取得する。このセグメントを、本明細書では「中心」セグメントと記載する。セグメントは、既知の画像セグメント化技法によってソース画像(元画像)から得ることができる。そのような技法の一例(ディジタル画像セグメント化の参考例)が、「Method and Apparatus for Digital Image Segmentation」と題する国際公開WO 00/77735 A1(公開日2000年12月21日)に開示されている。中心セグメント(中央セグメント)を示す仮想的な例を図2に図示し、以下で説明する。
【0010】
第2のステップ104において、通常、矩形領域をなすように配置されるx変位とy変位の組合せにおける中心セグメントについての統計的測度又は誤差関数が計算される。これらの計算の結果をエラーマップと呼ぶ。誤差関数の典型的な形式は、絶対差分又はL1エラーの合計である。エラーマップのその他のバリエーションには、誤差測度として、様々なLp基準値(またはLpノルム)(pは2、1/2又は任意の正の実数)及び、任意の他の集合統計スカラー関数(aggregate statistical scalar function)が含まれる。エラーマップは、中心セグメントに対する整合が発見されるかもしれないターゲット画像中の可能性のある位置を表す。この場合も、エラーマップは、中心セグメントを許容可能な整合領域内のターゲット画像の各位置(サーチウィンドウ内の各候補動きベクトル)まで移動させ、対応ピクセル値の減算し、及び差分の絶対値の合計をとることによって作成される。得られるエラーマップは、各点における可能性のある整合の品質を示す。一般には、値が低い(すなわち小さい)程、いずれの所与の点においても整合はより良好になる。中心セグメントに対するエラーマップの計算については、図3及び図4を参照して以下でより詳細に説明する。
【0011】
第3のステップ106では、近傍にあるセグメント(近傍セグメント)を取得する。これら近傍セグメントは、中心セグメントのエッジに合致するエッジについて(すなわち、合致するエッジがあるか否かについて)、他のセグメントをテストすることにより、またはその他の適切な処理により取得することができる。図2の仮想的な例は、中心セグメントの周囲の近傍セグメントを示している。
【0012】
第4のステップ108では、近傍セグメントの各々についてエラーマップが計算される。上述したように、エラーマップは、ターゲットとする画像(ターゲット画像)内の各点における整合の可能性(または確率)を示す。近傍セグメントのエラーマップは、ソース画像からターゲット画像への中心セグメントの変位の探索をバイアスする(または変位を探索するためにバイアスする)のに使用されることになる。近傍セグメントについてのエラーマップの計算については、図5及び図6を参照して以下で詳細に説明する。近傍セグメントのエラーマップの計算は、複数のセグメントが画像内で実際に処理される場合に、所与の近傍セグメントをそれ自体の中心セグメントとして処理するときに、中心セグメントエラーマップとして直接使用可能であることに留意されたい。
【0013】
第5のステップ110では、近傍セグメントのエラーマップについての重み係数又は結合係数が決定される。ソース画像中の各近傍セグメントは、ある重みで中心セグメントの動き整合をバイアスすることが想定されている。重みは、以下の特性(但し、それらの特性に限定されない)を含むさまざまな特性に基づくものとすることができる。
【0014】
(i) 例えば、より大きな相対的動きがより小さい重みを生ずる場合の、中心セグメントと各近傍セグメントとの間の相対変位ベクトル(相対的動き)。中心セグメントの動きとさほど似ていない動きを有する近傍セグメントは、中心セグメントの動き整合を決定するのにさほど影響がないと予想されるため、この特性を利用することは理にかなっている。1実施態様では、相対的動きを、バイアスされない中心セグメントと近傍セグメントについて、エラー基準値(またはエラーノルム)を最小にする(エラーマップから最も可能性の高い変位ベクトルを決定する)ことによって計算することができる。別の実施態様では、相対的な移動は、セグメントについて既知の情報の一部として与えられる。
【0015】
(ii) ソース画像の中心セグメントに対する近接度。固定幅の環状形部、又は他の適切な形状部が、中心セグメントの周囲で決定される。各近傍セグメントは、環状形部のいくらかの部分と重複する。環状形部の重みは、セグメントが重複した環状形の部分(または割合)である。中心セグメントについての動き整合に対する影響がより大きいと予想されるため、重複が大きいほど、近傍セグメントに対する重み付けはより大きくなるであろう。
【0016】
(iii) ソース画像における色の類似性。中心セグメントについての動き整合に対する影響がより大きいと予想されるため、近傍セグメントの色が中心セグメントのものに近いほど、近傍セグメントに対する重み付けはより大きくなるであろう。
【0017】
(iv) 第1の画像における各近傍セグメントに対する中心セグメントのサイズ(寸法)。近傍セグメントと比較して中心セグメントが大きいほど、中心セグメントについての動き整合に対する影響はより小さいと予想されるため、近傍セグメントが及ぼす影響は小さくなる。
【0018】
セグメントの変位のバイアスは、1つ又は複数の上記重み付け因子の関数とすることができる。1実施態様では、各セグメント"i"の重み因子"wi"は、以下の式に示すように、相対変位(相対的な動き)の重み(wmotion)、環状形部の重み(wannulus)、及び色重み(wcolor)の積である。
【0019】
wi=wmotion*wannulus*wcolor
【0020】
第6のステップ112では、近傍セグメントの複合重み付きエラーマップを作成することができる。複合重み付きエラーマップは、各近傍セグメントについての複合重み付きエラーマップの合計とすることができる。合計は、全重みで除すことにより正規化することができる。そのような計算は以下の式で表される(この場合、エラーマップは、Lpで示されるが、他のタイプのエラーマップも可能である。Lp( neighbors )は近傍セグメントのエラーマップを表す)。
【0021】
Lp( neighbors )=wiLpi/wi
【0022】
第7のステップ114では、中心セグメントについてのエラーマップを、複合重み付きエラーマップを用いて、両方のマップを点ごとに加算することによりバイアスする。これにより、中心セグメントに対するバイアスされたエラーマップが作成される。複合重み付きエラーマップは、周囲の近傍セグメントが中心セグメントの動き推定に与える制約的な影響を表す。ビデオフレームシーケンスからの2つのフレームとなるソース画像及びターゲット画像を考慮すると、周囲の近傍セグメントの相対的動きは、中心セグメントの相対的動きを安定化させるのに本質的に役立つ。即ち、適切な場合には、中心セグメントの動きが、その近傍部とより良好に整合し、不規則な差分のある相対的動きが処理によって低減される。
【0023】
第8のステップ116では、中心セグメントについてのバイアスされたエラーマップを最小化にする。これにより、中心セグメントについての推定される動きベクトルが決定される。前のステップ114で中心セグメントのエラーに加算された近傍セグメントの複合エラーは、中心セグメントのエラーマップの最小の点または低い(小さい)点を増強又は強化するという効果を有する。従って、中心セグメントのバイアスされたエラーの小さい点は、より良好に画定され、且つ、中心セグメントのバイアスされないエラーに比べてあいまいさが少ない。中心セグメントについての最良の整合が、バイアスされたエラーマップが最小化になる場合に生じ、それは、(そうでない場合には、誤った、またはあいまいな整合が生じることになる)画像領域内の所望の又は「物理的な(または実際の)」セグメントの動きを特により良好に見積もるものとなる。
【0024】
図2は、ソースフレーム(元となるフレーム)中の「中心」セグメントと近傍セグメントの仮想的な例を示す図である。この例では、図示の中心セグメント202は、3つの近傍セグメント204、206及び208に囲まれている。種々のセグメントの境界を画定するセグメントのエッジは、種々の既知のセグメント化技法によって決定することができる。これらの境界は、例えば、色値におけるシャープ(急激な)遷移に対応付けることができる。
【0025】
図3は、中心セグメントについての候補となる動きベクトルの例を示す図である。動きベクトルは、変位ベクトルと呼ばれることもある。候補となるベクトル(候補ベクトル)の2つの例であるAとBを図示する。第1の候補ベクトルAは、中心セグメントの、ソースフレームにおけるその位置(202で示す)から、ターゲットフレーム(目標となるフレーム)のある位置(302Aで示す)への変位を表す。第2の候補ベクトルBは、中心セグメントの、ソースフレームにおけるその位置(202で示す)から、ターゲットフレームの別の位置(302Bで示す)への変位を表す。ベクトルAとBは、候補動きベクトルの単なる2つの例に過ぎない。
【0026】
図4は、動き整合のためのサーチウィンドウ内の中心セグメントについての候補動きベクトルの例を示す図である。この図では、ソースフレームの中心セグメントの位置は、ピクセル位置x=0、y=0(0、0)における"O"で示される。(ソースフレームとターゲットフレームの間で、中心セグメントの動きがない場合、候補動きベクトルは、Oに留まるゼロベクトルになる)。第1の候補動きベクトルAは、この図においてOからAに向かうものとして示され、Aは、相対ピクセル位置(3、-4)である。第2の候補動きベクトルBは、この図においてOからBに向かうものとして示され、Bは、相対ピクセル位置(-3、-8)である。この例では、サーチウィンドウは図中に示す矩形(即ち、右上の角が(11、7)で、左下の角が(-11、-7)で画定された矩形)とすることができる。中心セグメントについてのエラーマップを、中心セグメントをサーチウィンドウ内の各候補変位ベクトルだけ移動し、中心セグメントのソースピクセルと背景(または下方)にあるターゲットピクセルとの間の絶対差分の和(SAD)を計算することによって作成することができる。
【0027】
図5は、近傍セグメントについての候補動きベクトルの例を示す図である。ここで、図2の第2の近傍セグメント206を例示の目的で使用する。2つの候補ベクトルの例B及びCについて説明する。第1の候補ベクトルBは、ソースフレームにおける位置(206で示す)から、ターゲットフレームのある位置(502Bで示す)への中心セグメントの変位を表す。第2の候補ベクトルCは、ソースフレームにおける位置(206で示す)から、ターゲットフレームの別の位置(502Cで示す)への中心セグメントの変位を表す。ベクトルBとCは、候補動きベクトルの単なる2つの例に過ぎない。
【0028】
図6は、動き整合のためのサーチウィンドウ内の近傍セグメントについての候補動きベクトルの例を示す方眼図である。図4の場合のように、ソースフレームの近傍セグメントの位置206は、ピクセル位置x=0、y=0(0、0)における"O"で示される(ソースフレームとターゲットフレームの間で、近傍セグメントの移動がない場合、候補移動ベクトルは、Oに留まるゼロベクトルである)。第1の候補移動ベクトルBは、この図においてOからBに向かうものとして示され、Bは、相対ピクセル位置(-3、-8)である。第2の候補移動ベクトルCは、この図においてOからCに向かうものとして示され、Cは、相対ピクセル位置(9、-1)である。この例においても、サーチウィンドウを図中に示す矩形とすることができる。近傍セグメント206についてのエラーマップを、近傍セグメント206をサーチウィンドウ内の各候補変位ベクトルだけ移動し、近傍セグメント206のソースピクセルと背景(または下方)にあるターゲットピクセルとの間の絶対差分の和(SAD)を計算することによって作成することができる。もちろん、このプロセスは、各近傍セグメント(それらのうちの1つだけでなく)に適用することができる。
【0029】
図7は、本発明の1実施態様による、例示的な中心セグメントの周囲の環状形部を示す図である。1例として図示した中心セグメント702は、環状形部704で取り囲まれている。1実施態様では、環状形部704は、中心セグメント702のサイズ(寸法)の測定(または測度または尺度)によって決定される厚さを有することができる。例えば、中心セグメント702のサイズがより大きい場合、環状形部704の厚さをそれに対応してより厚くすることができる。図示の実施態様では、環状形部704内のピクセルと近傍セグメント内のピクセルとの間における重複(オーバーラップ)は、重み付けに対する近接寄与度を決定する。
【0030】
図8は、本発明の1実施態様による、例示的な中心セグメントの周囲の膨らまされた境界ボックスを示す図である。中心セグメント702の周りの境界ボックス802が示されている。境界ボックス802は、膨らまされた境界(膨張境界)ボックス804を作成するために、図で示す「ふくらみ(膨張)」距離だけ拡張させられる。図示の実施態様では、膨張境界ボックス804内の任意のピクセルと近傍セグメント内のピクセルとの間の重複は、重み付けに対する近接寄与度を決定する。別の実施態様では、膨張境界ボックス804の内側のピクセル及び境界ボックス802の外側のピクセルのみを重複の計算に使用するようにするために、境界ボックス802内のピクセルは数えない。この代替実施態様は、図7を参照して説明した環状形の実施態様に類似している。
【0031】
変位決定(ビデオシーケンスの場合の動き整合)のためのシステム又は方法は上記の教示内容を変更したものとすることも可能である。
【0032】
例えば、上述のものに類似する緩衝装置のルーチンを、改良点としてのみ使用することもできる。プロセッサが「制約されない(または制約のない)」動きベクトルを与えられると、緩衝装置ルーチンを、小さな周囲領域内の動きベクトルを改善(または細分化)するよう制限することができる。即ち、中心セグメントのバイアスされたエラーマップから中心セグメントについての局所的に制約された動きベクトルを直接見つける代わりに、先ず、制約されない動きベクトルを、近傍セグメントからバイアスすることなく、中心セグメントのエラーマップから見つける。次に、制約されない動きベクトルを、制約されない動きベクトルに近いが、今度は近傍セグメントによってバイアスされた動きベクトルについて、中心セグメントのエラーマップを検査することによってさらに改善(または細分化)する。近傍セグメントのエラーマップは、制約されない動きベクトルを中心とするより小さい動き範囲についての計算しか必要ではないため、これについての計算量は少ない。
【0033】
別の例では、環状形部又はその他の形状部のサイズは中心セグメントのサイズに基づく。さらに別の例では、環状形部は、円形形状ではない形状で置き換えることができる。さらに別の例では、重み付けの領域(範囲)は、膨らまされた境界(膨張境界)ボックスとすることができる。また、さらに別の例では、境界ボックスは、セグメントのサイズとともに変わる。
【0034】
他の例では、近傍部のエラーマップは、最初に複合近傍エラーを作成する代わりに、中心セグメントのバイアスされていないエラーと直接組み合わされる。即ち、上述の実施態様では、各近傍部iについてのエラーマップを、重みwiで重み付けして、複合エラーマップ(以下にLcompositeと示す)を作成する。
【0035】
【数1】
【0036】
次に、これを、重みWでバイアスされていないLp_centerに加えて、以下のバイアスされたエラーマップ(バイアスエラーマップ)(Lfinal)を作成する。
【0037】
【数2】
【0038】
全体を書き出すと、
【0039】
【数3】
となる。
【0040】
これは、近傍エラーマップをバイアスされていないエラーマップ(非バイアスエラーマップ)に直接組み合わせる代替実施態様とは異なる。この実施態様では、バイアスエラーマップは、以下で与えられる。
【0041】
【数4】
【0042】
さらに別の例は、中心セグメントを取り巻く最も近くにある近傍セグメントに加え、より離れたところにある近傍セグメントを含む。
【0043】
上記説明では、本発明の実施態様を完全に理解できるようにするために多数の特定の細部が提供されている。しかしながら、例示した本発明の実施態様についての上述の説明は、開示した形態そのものに本発明の限定したり、それ以外のものを排他することを意図するものではない。当業者には、本発明を上述したの特定の細部のうちの1つ以上を用いることなく実施したり、または、その他の方法、コンポーネント等を用いて実施できるということが理解されよう。本発明の局面を不明瞭にするのを避けるため、周知の構造又は動作を詳細に図示または説明していない場合もある。本発明の特定の実施態様や実施例は、例示のために本明細書及び図面に開示されたものであり、等価な様々な変更が本発明の範囲内で可能であることは、当業者には理解されるであろう。
【0044】
そのような変更を、上述の詳細な説明を考慮して本発明に対して行うことができる。特許請求の範囲で使用する用語を、本明細書、図面及び特許請求の範囲に開示した特定の実施態様に本発明を限定するものとして解釈するべきではない。むしろ、本発明の範囲は、特許請求の範囲によって画定されるべきであって、それは、確立されたクレーム解釈の原則に従って解釈されるべきである。
【図面の簡単な説明】
【0045】
【図1】本発明の1実施態様による、局所的制約を伴う動き整合を実施するための方法のフローチャートである。
【図2】ソースフレームにおける「中心」セグメントと近傍セグメントの仮想的な例を示す図である。
【図3】中心セグメントについての候補動きベクトルの例を示す図である。
【図4】動き整合のためのサーチウィンドウ内の中心セグメントについての候補動きベクトルの例を示すグラフである。
【図5】近傍セグメントについての候補動きベクトルの例を示す図である。
【図6】動き整合のためのサーチウィンドウ内の近傍セグメントについての候補動きベクトルの例を示すグラフである。
【図7】本発明の1実施態様による、例示的な中心セグメントの周囲の環状形部を示す図である。
【図8】本発明の1実施態様による、例示的な中心セグメントの周囲の膨張境界ボックスを示す図である。
Claims (23)
- 元のビデオフレームからターゲットのビデオフレームへの第1の領域の動きを推定する方法であって、
第1の領域についてのエラーマップを計算するステップと、
前記第1の領域の周囲の近傍領域についての複数のエラーマップを計算するステップと、
前記近傍領域についてのエラーマップを用いて前記第1の領域についてのエラーマップをバイアスするステップと、
前記バイアスされたエラーマップを用いて前記第1の領域についての推定される動きを決定するステップ
を含む、方法。 - 前記近傍領域が、前記元のビデオフレームにおける前記第1の領域に近接する、請求項1に記載の方法。
- 前記エラーマップが、絶対差分和またはL1エラーを用いて計算される、請求項1に記載の方法。
- 前記エラーマップが、Lpノルム(pは正の実数)を用いて計算される、請求項1に記載の方法。
- 前記エラーマップが、エラー測度として任意の集合統計スカラー関数を用いて計算される、請求項1に記載の方法。
- 前記バイアスするステップを実施する前に、前記近傍領域についてのエラーマップを互いに対して重み付けるステップをさらに含む、請求項1に記載の方法。
- 前記重み付けされた近傍領域についてのエラーマップから複合重み付けエラーマップを計算するステップと、
前記第1の領域についてのエラーマップをバイアスする際に、前記複合重み付けエラーマップを用いるステップ
をさらに含む、請求項6に記載の方法。 - 前記近傍領域のそれぞれと前記第1の領域の間における相対的な動きが前記重み付けに寄与する、請求項7に記載の方法。
- 前記近傍領域のそれぞれの、前記第1の領域に対する近接度が、前記重み付けに寄与する、請求項7に記載の方法。
- 前記近接度が、前記近傍領域と、前記第1の領域を取り囲む環状領域との間の重複量を含む、請求項9に記載の方法。
- 前記近接度が、前記近傍領域と、前記第1の領域を取り囲む膨張境界ボックスとの間の重複量を含む、請求項9に記載の方法。
- 前記近傍領域のそれぞれと前記第1の領域の間の色の類似性が前記重み付けに寄与する、請求項7に記載の方法。
- 前記近傍領域のそれぞれと前記第1の領域の間の相対サイズが前記重み付けに寄与する、請求項7に記載の方法。
- 前記重み付けが複数の寄与因子の積を含み、前記複数の寄与因子は、相対的な動き測度、近接度測度及び色類似性測度を含む、請求項7に記載の方法。
- 前記第1の領域と前記近傍領域とが、画像セグメント化プロセスによって得られたセグメントから構成される、請求項1に記載の方法。
- 前記第1の領域と前記近傍領域とが任意形状の領域から構成される、請求項1に記載の方法。
- 前記ソースフレームと前記ターゲットフレームとが、同じグループのピクチャ(GOP)からのビデオフレームから構成される、請求項1に記載の方法。
- 前記推定される動きを、第1の領域についての前記バイアスされたエラーマップにおける局所的な最小量を見い出すことによって決定するステップをさらに含む、請求項1に記載の方法。
- 許容可能な推定値を求めるために、前記局所的な最小量が閾値を下回ることが必要である、請求項18に記載の方法。
- 元のビデオフレームからターゲットであるビデオフレームへの第1の領域の動きを推定するための装置であって、
第1の領域についてのエラーマップを計算するための手段と、
前記第1の領域周囲の近傍領域についての複数のエラーマップを計算するための手段と、
前記近傍領域についてのエラーマップを用いて前記第1の領域についてのエラーマップをバイアスするための手段と、
前記バイアスされたエラーマップを用いて前記第1の領域についての推定される動きを求めるための手段
を備える、装置。 - 前記装置がエンコーダーを備える、請求項20に記載の装置。
- 前記装置が、前記エンコーダーからのビデオ情報を受信するように構成されたデコーダーを備え、前記デコーダーは、前記第1の領域についてのエラーマップを計算するための前記手段、前記第1の領域周囲の近傍領域についての複数のエラーマップを計算するための前記手段、前記近傍領域についてのエラーマップを用いて前記第1の領域についてのエラーマップをバイアスするための前記手段、及び、前記バイアスされたエラーマップを用いて前記第1の領域についての推定される動きを求めるための前記手段を備えることからなる、請求項21に記載の装置。
- 元のビデオフレームからターゲットであるビデオフレームへの第1の領域の動きを推定する方法であって、
第1の領域についてのバイアスされていないエラーマップを計算するステップと、
前記バイアスされていないエラーマップを用いて、前記第1の領域についての制約されない推定される動きを求めるステップと、
前記第1の領域周囲の複数の近傍領域についての制約されない推定される動きの近傍におけるエラー値を計算するステップと、
前記計算されたエラー値を用いて、前記第1の領域について局所的に制約された推定される動きを決定するために前記制約されない推定される動きを調整するステップ
を含む、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US27407901P | 2001-03-07 | 2001-03-07 | |
PCT/US2002/007221 WO2002071758A2 (en) | 2001-03-07 | 2002-03-07 | Local constraints for motion estimation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004522340A true JP2004522340A (ja) | 2004-07-22 |
JP4121376B2 JP4121376B2 (ja) | 2008-07-23 |
Family
ID=23046670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002570539A Expired - Fee Related JP4121376B2 (ja) | 2001-03-07 | 2002-03-07 | 動き整合のための局所的制約 |
Country Status (7)
Country | Link |
---|---|
US (3) | US6985527B2 (ja) |
EP (1) | EP1366627A2 (ja) |
JP (1) | JP4121376B2 (ja) |
KR (1) | KR20040035593A (ja) |
AU (1) | AU2002250278A1 (ja) |
TW (1) | TWI241536B (ja) |
WO (1) | WO2002071758A2 (ja) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1774924B (zh) * | 2003-01-23 | 2010-09-29 | 汤姆森许可贸易公司 | 防止在视频序列中误差传播的方法和设备 |
US8824553B2 (en) | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
US7453940B2 (en) * | 2003-07-15 | 2008-11-18 | Lsi Corporation | High quality, low memory bandwidth motion estimation processor |
KR100754219B1 (ko) * | 2005-07-21 | 2007-09-03 | 삼성전자주식회사 | 비디오 시퀀스로부터의 잡음 분산(표준 편차)을 추정하기위한 확장된 방법및 시스템 |
JP2007200014A (ja) * | 2006-01-26 | 2007-08-09 | Ricoh Co Ltd | 情報処理装置、情報処理方法、情報処理プログラム及び記録媒体 |
WO2008112072A2 (en) * | 2007-03-09 | 2008-09-18 | Dolby Laboratories Licensing Corporation | Multi-frame motion extrapolation from a compressed video source |
US8385404B2 (en) | 2008-09-11 | 2013-02-26 | Google Inc. | System and method for video encoding using constructed reference frame |
US8326075B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video encoding using adaptive loop filter |
US8325796B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
FR2945698B1 (fr) * | 2009-05-18 | 2017-12-22 | Canon Kk | Procede et dispositif de codage d'une sequence video |
FR2948522B1 (fr) * | 2009-07-21 | 2011-07-29 | Canon Kk | Procede et dispositif d'estimation d'un vecteur de mouvement |
US9307251B2 (en) * | 2009-08-19 | 2016-04-05 | Sharp Laboratories Of America, Inc. | Methods and systems for determining data-adaptive weights for motion estimation in a video sequence |
US9172967B2 (en) | 2010-10-05 | 2015-10-27 | Google Technology Holdings LLC | Coding and decoding utilizing adaptive context model selection with zigzag scan |
US8938001B1 (en) | 2011-04-05 | 2015-01-20 | Google Inc. | Apparatus and method for coding using combinations |
US9154799B2 (en) | 2011-04-07 | 2015-10-06 | Google Inc. | Encoding and decoding motion via image segmentation |
US8638854B1 (en) | 2011-04-07 | 2014-01-28 | Google Inc. | Apparatus and method for creating an alternate reference frame for video compression using maximal differences |
US8780971B1 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method of encoding using selectable loop filters |
US8780996B2 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method for encoding and decoding video data |
US8781004B1 (en) | 2011-04-07 | 2014-07-15 | Google Inc. | System and method for encoding video using variable loop filter |
US8891616B1 (en) | 2011-07-27 | 2014-11-18 | Google Inc. | Method and apparatus for entropy encoding based on encoding cost |
US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
US9262670B2 (en) | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
US9131073B1 (en) | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
US11039138B1 (en) | 2012-03-08 | 2021-06-15 | Google Llc | Adaptive coding of prediction modes using probability distributions |
WO2013162980A2 (en) | 2012-04-23 | 2013-10-31 | Google Inc. | Managing multi-reference picture buffers for video data coding |
US9609341B1 (en) | 2012-04-23 | 2017-03-28 | Google Inc. | Video data encoding and decoding using reference picture lists |
US9014266B1 (en) | 2012-06-05 | 2015-04-21 | Google Inc. | Decimated sliding windows for multi-reference prediction in video coding |
US8819525B1 (en) | 2012-06-14 | 2014-08-26 | Google Inc. | Error concealment guided robustness |
US9774856B1 (en) | 2012-07-02 | 2017-09-26 | Google Inc. | Adaptive stochastic entropy coding |
US9344729B1 (en) | 2012-07-11 | 2016-05-17 | Google Inc. | Selective prediction signal filtering |
US9509998B1 (en) | 2013-04-04 | 2016-11-29 | Google Inc. | Conditional predictive multi-symbol run-length coding |
US9756331B1 (en) | 2013-06-17 | 2017-09-05 | Google Inc. | Advance coded reference prediction |
US9392288B2 (en) | 2013-10-17 | 2016-07-12 | Google Inc. | Video coding using scatter-based scan tables |
US9179151B2 (en) | 2013-10-18 | 2015-11-03 | Google Inc. | Spatial proximity context entropy coding |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2266023B (en) | 1992-03-31 | 1995-09-06 | Sony Broadcast & Communication | Motion dependent video signal processing |
JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
US5608458A (en) * | 1994-10-13 | 1997-03-04 | Lucent Technologies Inc. | Method and apparatus for a region-based approach to coding a sequence of video images |
US6542547B1 (en) * | 1995-05-30 | 2003-04-01 | Texas Instruments Incorporated | Efficient heuristic based motion estimation method for video compression |
JP2616746B2 (ja) * | 1995-06-12 | 1997-06-04 | 日本電気株式会社 | 磁気ディスク装置 |
US5812787A (en) * | 1995-06-30 | 1998-09-22 | Intel Corporation | Video coding scheme with foreground/background separation |
US6049362A (en) * | 1996-02-14 | 2000-04-11 | International Business Machines Corporation | Dual prime motion estimation system and method |
US5876342A (en) * | 1997-06-30 | 1999-03-02 | Siemens Medical Systems, Inc. | System and method for 3-D ultrasound imaging and motion estimation |
JP3481430B2 (ja) * | 1997-09-11 | 2003-12-22 | 富士通株式会社 | 移動体追跡装置 |
US6807231B1 (en) * | 1997-09-12 | 2004-10-19 | 8×8, Inc. | Multi-hypothesis motion-compensated video image predictor |
JP3352931B2 (ja) * | 1997-12-26 | 2002-12-03 | 沖電気工業株式会社 | 動きベクトル検出装置 |
KR100275694B1 (ko) * | 1998-03-02 | 2000-12-15 | 윤덕용 | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 |
EP0951181A1 (en) * | 1998-04-14 | 1999-10-20 | THOMSON multimedia | Method for detecting static areas in a sequence of video pictures |
US6130912A (en) * | 1998-06-09 | 2000-10-10 | Sony Electronics, Inc. | Hierarchical motion estimation process and system using block-matching and integral projection |
US6418166B1 (en) * | 1998-11-30 | 2002-07-09 | Microsoft Corporation | Motion estimation and block matching pattern |
US6266443B1 (en) * | 1998-12-22 | 2001-07-24 | Mitsubishi Electric Research Laboratories, Inc. | Object boundary detection using a constrained viterbi search |
US6643387B1 (en) * | 1999-01-28 | 2003-11-04 | Sarnoff Corporation | Apparatus and method for context-based indexing and retrieval of image sequences |
KR100698334B1 (ko) | 1999-06-11 | 2007-03-23 | 알테라 코포레이션 | 디지털 이미지 세그먼테이션 방법 및 장치 |
WO2001010135A1 (en) * | 1999-07-29 | 2001-02-08 | Mitsubishi Denki Kabushiki Kaisha | Moving vector detecting method |
US6690728B1 (en) * | 1999-12-28 | 2004-02-10 | Sony Corporation | Methods and apparatus for motion estimation in compressed domain |
US7447337B2 (en) * | 2004-10-25 | 2008-11-04 | Hewlett-Packard Development Company, L.P. | Video content understanding through real time video motion analysis |
GB2480224B (en) * | 2010-01-29 | 2014-08-20 | Canon Kk | Decoding a sequence of digital images with error concealment |
-
2002
- 2002-03-07 AU AU2002250278A patent/AU2002250278A1/en not_active Abandoned
- 2002-03-07 KR KR1020037011749A patent/KR20040035593A/ko unknown
- 2002-03-07 WO PCT/US2002/007221 patent/WO2002071758A2/en not_active Application Discontinuation
- 2002-03-07 EP EP02719179A patent/EP1366627A2/en not_active Withdrawn
- 2002-03-07 JP JP2002570539A patent/JP4121376B2/ja not_active Expired - Fee Related
- 2002-03-07 US US10/093,072 patent/US6985527B2/en not_active Expired - Fee Related
- 2002-03-07 TW TW091104268A patent/TWI241536B/zh not_active IP Right Cessation
-
2005
- 2005-08-26 US US11/213,334 patent/US7899118B2/en not_active Expired - Fee Related
-
2011
- 2011-02-28 US US13/036,347 patent/US9667991B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2002071758A2 (en) | 2002-09-12 |
EP1366627A2 (en) | 2003-12-03 |
US20110150096A1 (en) | 2011-06-23 |
AU2002250278A1 (en) | 2002-09-19 |
US20060034373A1 (en) | 2006-02-16 |
WO2002071758A3 (en) | 2003-02-27 |
US9667991B2 (en) | 2017-05-30 |
JP4121376B2 (ja) | 2008-07-23 |
US7899118B2 (en) | 2011-03-01 |
US6985527B2 (en) | 2006-01-10 |
KR20040035593A (ko) | 2004-04-29 |
TWI241536B (en) | 2005-10-11 |
US20020159524A1 (en) | 2002-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4121376B2 (ja) | 動き整合のための局所的制約 | |
US6380986B1 (en) | Motion vector search method and apparatus | |
US7783118B2 (en) | Method and apparatus for determining motion in images | |
KR100869497B1 (ko) | 계층적 움직임 추정방법 및 이를 적용한 초음파 영상장치 | |
JP4991101B2 (ja) | 一時的動きベクトルフィルタリング | |
KR20040028911A (ko) | 비디오 프레임간 움직임 추정용 방법 및 장치 | |
KR100628491B1 (ko) | 보간화상 작성방법과 장치 및 이를 이용한 화상 표시시스템 | |
JP2002523985A (ja) | 画像信号における問題領域位置決め | |
US20060251171A1 (en) | Image coding device and image coding method | |
JP4880198B2 (ja) | 画像のシーケンスにおける主要な動きを推定する方法 | |
JP2011060282A (ja) | 動き領域の非線形スムージングを用いた動き検出方法およびシステム | |
JP2005309746A (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
US20050195324A1 (en) | Method of converting frame rate of video signal based on motion compensation | |
JP4626158B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP2005513929A6 (ja) | 画像のシーケンスにおける主要な動きを推定する方法 | |
US8675080B2 (en) | Motion estimation in imaging systems | |
US20090167958A1 (en) | System and method of motion vector estimation using content associativity | |
JPH089379A (ja) | 動きベクトル検出方法 | |
JP2001250118A (ja) | 動画像内の移動物体検出追跡装置 | |
JP4622265B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにプログラム | |
JP2004533073A (ja) | 特徴点選択 | |
JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
JP2005252360A (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
JP2743763B2 (ja) | 動画像の動き推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060913 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061004 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20061023 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071128 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071206 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080428 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |