JP2004501582A - 動き推定を実施する方法 - Google Patents

動き推定を実施する方法 Download PDF

Info

Publication number
JP2004501582A
JP2004501582A JP2002504157A JP2002504157A JP2004501582A JP 2004501582 A JP2004501582 A JP 2004501582A JP 2002504157 A JP2002504157 A JP 2002504157A JP 2002504157 A JP2002504157 A JP 2002504157A JP 2004501582 A JP2004501582 A JP 2004501582A
Authority
JP
Japan
Prior art keywords
motion vector
component
pixel
window
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002504157A
Other languages
English (en)
Other versions
JP2004501582A5 (ja
JP4914555B2 (ja
Inventor
キム,ヒュン
アチャーヤ,ティンク
ツァイ,ピン−シン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2004501582A publication Critical patent/JP2004501582A/ja
Publication of JP2004501582A5 publication Critical patent/JP2004501582A5/ja
Application granted granted Critical
Publication of JP4914555B2 publication Critical patent/JP4914555B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape

Abstract

手短に言えば、本発明の一実施形態に従って、以下を含むビデオ・コーディング用の動き推定を実施するための方法である。中間動きベクトル構成要素は、動きベクトルを含む近傍の一組のマクロブロックから決定される。最も近い一致を生み出すピクセル位置を見つけるために、決定された中間動きベクトル構成要素を適用することに関連付けられたピクセル位置を中心とする所定サイズのウィンドウがサーチされる。この特定の実施形態以外の、本発明に従った他の多くの実施形態についても開示される。

Description

【0001】
(背景)
本発明は、動き推定の実施に関し、より具体的に言えば低ビット・レート・ビデオ・コーディングなどのビデオ・コーディング用の動き推定の実施に関する。
【0002】
よく知られているように、動き推定はビデオ符号化の一般的な態様または構成要素である。ビデオ・コーディングを実施する技法は多種多様であり、その中には規格に関するものとそうでないものがある。一般的な規格には、ITU−T「Video coding for low bit−rate communications」ITU−T Recommendation H.263の1995年11月付けバージョン1および1998年1月付けバージョン2、「Generic Coding of Moving Pictures and Associated Audio Information:Video」ISO/IEC 13818−2:International Standard 1995年、ならびに「Coding of audio−visual Objects−Part 2:Visual Amendment 1;Visual extensions」ISO/IEC 14496−2:2000年1月6日付け草案が含まれ、以下ではそれぞれ、H.263、H.263+、MPEG−2、およびMPEG−4と呼ぶ。これらは、復号化/圧縮解除規格の例である。典型的には、これらの規格またはこれらの規格に関する仕様は、動き推定に関するものを含んで使用可能な圧縮方法に関するガイダンスをほとんど、あるいはまったく提供するものではない。
【0003】
動き推定は、ビデオ・フレームにおいて時間的な冗長を除去するために使用されるものであって、その結果、フレームの伝送に使用される通信チャネルの帯域幅をより効率的に使用することができる。動き推定は、典型的にはブロックサーチ技法を使用して達成される。本来サーチ・ウインドウ内ですべてのピクセル位置がサーチされる「フル・モーション」サーチ方法は典型的には計算上非常に複雑であり、リアルタイム・アプリケーションでは時折禁止される場合がある。マクロブロックが使用されているフルサーチ動き推定では、32×32ウィンドウに対するサーチ・ポイントの数は1,024である。
【0004】
この計算上の複雑さを減らすために、これまで様々な方法が提案されてきた。一般的な方法は、対数サーチに基づくかまたは対数サーチと呼ばれる。この方法では、サーチ・ウィンドウ内のあらゆるサーチ・ポイントまたはピクセル位置をサーチする代わりに、サーチ・ウインドウのサイズの4分の1の距離ずつ離れた9つの初期ポイントがチェックまたはサーチされる。絶対差和(sun of absolute differences:SAD)の最低値または他の誤差測定の平均平方誤差(MSE)のような他の誤差測定の9つからの最低値であるこれらの9つから、サーチ・ポイントまたはピクセル位置を見つけた後、サーチ・ポイント間の距離を半分に減らすことによって、そのポイントを中心とする別の8つのポイントでサーチが続行される。これが、2つのサーチ・ポイント間の距離が1ピクセルになるまで続行される。フル・モーション・サーチではサーチ・ポイントが1,024であるのに対して、この方法では33個のサーチ・ポイントから結果が生成される。サーチ・ポイントの追加によって追加の計算が生じることに留意されたい。
【0005】
対数サーチはサーチ・ポイントの数を減らすものである一方、欠点もある。たとえば、この動き推定方法によって生成されるイメージは、一般に、フル・モーション・サーチに比べて品質が低下する。さらに、33個のサーチ・ポイントを有するこの方法は、依然としてリアルタイム・アプリケーションには好適でない。したがって、イメージ品質に関して対数サーチ方法に匹敵するかもしくはこれよりも優れており、計算が複雑でない方法が求められている。
【0006】
本発明の主題は、本明細書の結論部分に具体的に指摘されており、特許請求の範囲に明確に示されている。ただし、本発明は、オペレーションの編成および方法、ならびにその目的、特徴、および利点のどちらについても、以下の詳細な説明を参照しながら添付の図面と共に読むことによって、最も良く理解することができる。
【0007】
(詳細な説明)
以下の詳細な説明では、本発明を完全に理解するために多数の特有の詳細について説明する。ただし、当分野の技術者であれば、本発明がこれらの特有の詳細なしで実施できることを理解されよう。その他の場合には、よく知られた方法、手順、構成要素、および回路は、本発明を不明瞭なものにしないように詳細に説明していない。
【0008】
前述のように、動き推定はビデオ符号化で使用される。MPEG−2およびMPEG−4ならびに他のビデオ規格は、動き推定がビデオ符号化に適用されている例である。ただしこれらの方法は典型的には、特に動き推定に関連して使用する圧縮技法を用いていない。公知のように、通常は動き推定が、ビデオ・フレームを伝送する場合に、たとえばある位置から別の位置へビデオ・フレームを伝送するのに使用可能な限定された帯域幅をより効率良く使用できるようにするために、時間的な冗長を除去するのに使用される。もちろん、ビデオのコーディングおよびデコーディングは記憶装置などの他の状況でも使用されるものであって、本発明がこれらの技法の特定の適用範囲に限定されることはない。
【0009】
動き推定の一技法は、フル・モーション・サーチと呼ばれる。ただしこの方法は計算上複雑であり、典型的にはリアルタイム・アプリケーションへの使用は禁止されている。フルサーチ動き推定の場合、マクロブロックと共に使用される32×32ウィンドウでのサーチ・ポイント数は1,024である。マクロブロックという用語はよく知られ、よく理解されているので詳細には説明しないが、典型的にはアレイが16×16サイズのスクエア・アレイの輝度ピクセルとそれぞれ8×8サイズの2つの対応するスクエア・アレイの彩度ピクセルとを含むビデオ・フレームの一部を表すのに対して、この情況では輝度アレイは表すが彩度アレイは表していない。典型的には彩度に関する動きベクトルが輝度アレイに関する動きベクトルから導出されるものであることから、これはこの特有の実施形態に適用される規約であるが、もちろん本発明はこの点で範囲が限定されるものではない。
【0010】
計算上の複雑さを減らすために、これまでいくつかの技法が提案されてきた。上記で述べたように、一般的な方法は対数サーチに基づくものである。この方法では、前述のように、サーチ・ウインドウ内のすべてのサーチ・ポイントをサーチする代わりに、相互にサーチ・ウインドウ・サイズの4分の1ずつ離れた初期ポイントがサーチされる。絶対差和(SAD)の最低値または何らかの他の測定を与える9つのポイントのうち1つのポイントまたはピクセル位置を見つけた後、この方法は、サーチ・ポイント間の距離を半分に減らすことによって、そのポイントを中心とする8つの追加ポイントを考慮またはチェックする。この方法は、2つのサーチ・ポイント間の距離が1ピクセルになるまで続行される。その結果、フル・モーション・サーチでは1,024個であるのに対して、33個のサーチ・ポイントがチェックされる。上記で述べたように、この方法はフル・モーション・サーチに比べれば複雑ではないが、依然として一部のリアルタイム・アプリケーションには好適でないだけでなく、ビデオ・イメージまたはフレームの品質低下を招く場合もある。
【0011】
これに対して、本発明に従って動き推定を実施する方法の一実施形態は、たとえば対数サーチ方法と比較した場合、計算上の複雑さを減らし、生成されるイメージの品質および結果的に生じる圧縮効率の両方に関して圧縮性能を向上させるものである。この特定の実施態様では、通信チャネルの送信側で、たとえば動き推定の実施方法に以下のことが含まれる。中間動きベクトル構成要素は、動きベクトルを含む近傍の一組のマクロブロックから決定される。もちろん、この特定実施形態はマクロブロックを使用しているが、本発明はこの点に関して範囲が限定されるものではない。たとえば、マクロブロック以外のフレームの他の部分を使用することができる。ただしこの実施形態では、よく知られており便利であることからマクロブロックが使用されているが、本発明は、本発明に従った実施形態が適用されている特定数のピクセルあるいは特定の形状または配置構成のピクセルに限定されるものではない。
【0012】
次に、決定された中間動きベクトル構成要素に関連付けられたピクセル位置を中心とした所定のサイズおよび形状のウィンドウがサーチされる。より具体的に言えば、ピクセル位置を生成するために中間動きベクトル構成要素がマクロブロックに適用される。この特定実施形態の場合は、そのピクセル位置はサーチ・ウインドウの中心である。所定のサイズおよび形状のウィンドウのサーチに加えて、その構成要素すべてについてゼロ値を有する動きベクトルに関連付けられたピクセル位置も、サーチまたはチェックされる。したがって、ウィンドウのピクセル位置およびゼロ動きベクトルに関連付けられたピクセル位置がチェックまたはサーチされ、それらのうちどちらのピクセル位置が、この技法が適用される特定マクロブロックに最も近い一致を発生させるかを判定する。
【0013】
もちろん、上記で述べてきたように、本発明の範囲は特定の実施形態に限定されるものではなく、多くの変形形態が可能である。たとえば、代替実施形態では、ゼロ値の動きベクトルをサーチから省略することができる。同様に、ピクセル位置をサーチする際に、特定のマクロブロックとチェックまたはサーチされるピクセル位置を中心としたマクロブロックとの絶対差和(SAD)を適用することによって、最も近い一致を判定することができるが、本発明の範囲はこの点で限定されるものではない。ただし、別法として、最低平均平方誤差(least mean square error:MSE)方法を使用するか、または誤差または差を測定するためのいくつかの他の可能な方法のうち任意の1つを使用することができる。同様に、この特定実施形態の中間動きベクトル構成要素は、図1に示されるようにこの実施形態では具体的には3つの近傍の一組のマクロブロックから決定される。さらに同様に、本発明の範囲は、近傍のマクロブロックに関する任意の特定の方法に限定されるものではなく、使用される近傍の一組のマクロブロックを特徴付けるいくつかの方法のうち任意の1つが可能である。たとえば、これより少ないまたは多いマクロブロックを使用することができる。同様に代替実施形態では、必ずしも連続マクロブロックまたは順次マクロブロックを使用しなくてもよい。
【0014】
さらにこの特定の実施形態では、本発明の範囲はこの点に関しても限定されるものではないが、最も近い一致を判定するために、上記で述べたように明るさピクセル信号値が使用される。ただし、明るさピクセル信号値が使用可能でない場合は、代替例の1つとして、最も大量の明るさ信号情報を含むフレームの構成要素を使用することができる。同様に、別法として明るさを使用しなくてもよく、代わりに彩度信号値または彩度構成要素が優勢を占める信号値を使用することができる。ここでも、本発明の範囲は特定の方法に限定されるものではない。たとえば、フレームが赤緑青(RGB)色空間フォーマットで提供される場合、典型的には緑のピクセル信号値が使用されるが、ここでも本発明の範囲はこの点に関して限定されるものではない。
【0015】
本発明の範囲は、この点に関して限定されるものではないが、MPEG−4およびH.263では、フレーム間コーディングが使用されるときに動きベクトルが符号化および伝送される。圧縮されたビデオ・データ・ストリームは、伝送されるときに典型的には、動き推定によって生成された動きベクトル用の符号ならびに誤差フレーム用の符号を含む。こうした状況では、この特定の実施形態で、動きベクトルMVを2つの構成要素(MVx,MVy)で表すことが可能であり、ここでMVxおよびMVyはそれぞれ水平方向および垂直方向の構成要素である。典型的には、動きベクトルは図3を参照しながら以下のように算出することができる。
【数1】
Figure 2004501582
上式では、
(x,y)    現在のマクロブロックの左上隅の座標
C[x,y]    現在のマクロブロック輝度サンプル
R[x,y]    再構築された以前のフレーム輝度サンプル
S         サーチ領域:{(x,y):−16 ≦x,y<16}
(MVx,MVy) 結果的に上記の最低和を生じさせる動きベクトル
である。
【0016】
この特定の実施形態では、動きベクトル・コーディングに使用されるビット数を減らすために、この実施形態での水平および垂直の動きベクトル構成要素が、3つのマクロブロックの空間近傍を使用することによって差分的に符号化される。図1に示されるように、それぞれのマクロブロックは動きベクトルを有する。この近傍の信号情報が、本実施形態ではすでに伝送されていることにも留意されたい。次にこの実施形態では、これら3つの動きベクトルが、現在符号化されることになっている動きベクトルの差分コーディング用の候補予測子である。もちろん、上記で述べたように、本発明の範囲は3つの以前のマクロブロック、より具体的に言えば3つの以前のマクロブロックからの動きベクトルを使用することに限定されるものではないことに留意されたい。いくつかの以前のマクロブロックのうち任意の1つを使用することが可能であり、この特定の実施形態について上記で述べたように、マクロブロックは連続している必要はない。
【0017】
この実施形態では、動きベクトル・コーディングは水平構成要素と垂直構成要素について別々に実施される。この実施形態では、それぞれの構成要素について、構成要素の3つの候補の中間値が次のように算出される。
Px=Median(MV1x,MV2x,MV3x)
Py=Median(MV1y,MV2y,MV3y)
たとえば、MV1が(−2,3)に等しく、MV2が(2,5)に等しく、MV3が(−1,8)に等しい場合、ここでPxおよびPyと指定された中間動きベクトル構成要素はそれぞれ−1および5である。以下の等式で示される。
MVDx=MVx−Px
MVDy=MVy−Py
【0018】
この方法の一形態は、典型的には、近傍のマクロブロック間に動きベクトルに関する空間相関関係が存在することの観測である。したがって、効率的なサーチ方法には、Px,Pyを中心とするより小さなサーチ・ウインドウを使用することを含むことができる。さらにここでは、それぞれのベクトル構成要素について別々に中間値を算出することによって、追加情報の機会が存在する。特に、中間動きベクトル構成要素が同じマクロブロックから生じるものである場合、これは、動きベクトル・フィールドが比較的「平滑」であること、すなわちこの情況では、空間的に比較的近傍に配置された動きベクトル間に比較的変化が少ないことを示すことができる。したがって、この実施形態では、サーチ・ウインドウはPx,Pyを中心とする9つのポイントに限定される。ただし別法として、ここではそれぞれ水平および垂直の中間動きベクトル構成要素が異なるマクロブロックから生じる場合、これは動きフィールドがより複雑であるかもしれず、したがってサーチ・ウインドウは、ここでもPx,Pyを中心とするが25個のポイントに増加する。さらにこの実施形態では、両方の構成要素についてゼロ動きベクトルもサーチされるが、上記で述べたように、本発明の範囲はこの点に関して限定されるものではない。ゼロ動きベクトルを使用する理由は、SADなどの誤差に関して許容可能な一致を提供する場合に、帯域幅を保持するからであり、これは状況によっては特に望ましい。上記で述べたように、この特定の実施形態では絶対差和(SAD)が使用されるが、本発明の範囲はこの点に関して限定されるものではない。
【0019】
本発明に従ったこの特定の技法または実施形態は、擬似コードを使用して次のように特徴付けることができる。
If(Px=MV1x) then i=1
else if Px=MV2x then i=2
else i=3
If(Py=MV1y) then j=1
else if (Py=MV2y)then j=2
else j=3
if(i==j)then
(Px,Py)を中心とする3×3サーチ・ウインドウを使用して動き推定を適用
else
(Px,Py)を中心とする5×5サーチ・ウインドウを使用して動き推定を適用
endif
【0020】
図2は、この特定の実施形態の有効性をフル・モーション・サーチおよび対数サーチと比較した場合の表である。フルサーチでは、上記で述べたようにサーチ・ポイント数が1,024であるため、サーチ領域は(−16,15)である。同様に上記で述べたように、対数サーチは33のサーチ・ポイントを含む。本実施形態の特定の場合、サーチ・ポイントの数は、もちろん部分的にビデオ・シーケンスに依存する。本実施形態が適用された特定セットのシーケンスでは、時間の69%でより小さなサーチ・ウインドウが適用されたため、サーチ・ポイント数は26と10の重み付け平均となり、この例では15のサーチ・ポイントとなる。これらの結果は、134フレームに対する4分の1共通中間フォーマット(QCIF)サイズのイメージでイメージ・シーケンスを使用することによって取得された。ここで適用されたフレーム・レートは毎秒10フレームである。
【0021】
図2の表の結果は、本発明に従ってこの実施形態について動き推定が実施されると、複雑さが減ることを示している。典型的には動き推定はビデオ符号化の計算負担のかなりの部分を含むため、これは望ましい結果である。この特定の実施形態のサーチ・ポイント数はフルサーチに使用されるサーチ・ポイント数のわずか1.5%であり、かなりの計算負担が軽減される。同様にこの特定実施形態では、信号対雑音比の劣化は約0.45デシベルから0.65デシベルのみであるが、ビット・レートの減少はフルサーチに比べて4.5%より多くなる。同様に表に示されるように、この特定の実施形態で取得されるピーク信号対雑音比(PSNR)値は、対数サーチで取得されるそれよりも複雑でなく「ビット予算」が少ないので良い。
【0022】
上記の考察で述べたように、本発明に従ったこの実施形態には、最新技術の方法を介した動き推定および符号化についていくつかの利点がある。上記で述べたように、これらの利点には計算負担の削減、圧縮比率の向上、動きベクトル・コーディングのビット数削減、および対数サーチと比較したピーク信号対雑音比の向上が含まれる。さらに、本発明の範囲はこの点に関して限定されるものではないが、この特定の実施形態はかなりの低ビット・レート・コーディング用のMPEG−4とH.263の両方に準拠している。同様にこの実施形態は、所望に応じて、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施可能である。
【0023】
本発明に従った他の実施形態は以下の擬似コードで示され、以下の式でRxおよびRyは次のように算出される。
Rx=MAX(MV1x,MV2x,MV3x)−MIN(MV1x,MV2x,MV3x)
Ry=MAX(MV1y,MV2y,MV3y)−MIN(MV1y,MV2y,MV3y)
If(Px=MV1x) then i=1
else if Px=MV2x then i=2
else i=3
If(Py=MV1y) then j=1
else if (Py=MV2y)then j=2
else j=3
if(i==j){
(Px,Py)を中心とする、x_arm=3およびy_arm=3であるx_arm × y_armサーチ・ウインドウを使用して、動き推定を適用


else{
x_arm=5およびy_arm=5を設定;
if(Rx<=3) x_arm=3を設定;
if(Ry<=3) y_arm=3を設定;

この特定の実施形態は、以前の実施形態よりも計算上の複雑さまたは負担が少ないという利点を提供するが、結果的にイメージ品質に関して犠牲を払う可能性がある。この実施形態は、中間値が計算され、動きベクトル・フィールドに関するプロパティを決定または推論するのに使用される点で、上記で述べた実施形態と同様である。上記と同様に、両方の座標の中間値が同じマクロブロックから生じる場合は、この実施形態では、サーチは9ポイントに限定される。ただし、座標の中間値が異なるマクロブロックから生じる場合は、サーチするポイント数は増加する場合または増加しない場合がある。この環境では単に25ポイント・ウィンドウをサーチするのではなく、上記の実施形態の場合と同様に、異なる方向の領域が算出され、その情報を使用してサーチ・ウインドウに関する決定がなされる。
【0024】
領域値RxおよびRyは、動きベクトル・フィールドがこれらの方向にどのように変化するかを示すものである。したがって、変化が比較的大きい場合はこの方向に大きい方のウィンドウがサーチされるが、変化が比較的小さい場合はその方向に小さい方のウィンドウがサーチされる。これにより以前の実施形態に比べて複雑さが減少するが、これは場合によっては、前者の実施形態には25ポイントサーチが使用されてきたが、後者の実施形態に9ポイントまたは15ポイントサーチが使用されることになるためである。
【0025】
この特定実施形態の適用範囲は、図4の例で具体的に示されている。動きベクトルは(4,2)、(9,3)、および(5,4)である。したがって前述の実施形態が適用される場合は、(5,3)を中心とする3×5の矩形がサーチされる。
【0026】
同様に、図5は前述の実施形態が評価されたシーケンスにこの実施形態を適用した結果を示す表である。図5は、この実施形態の結果とフルサーチ、対数サーチ、および前述の実施形態の結果とを比較した図である。
【0027】
もちろん、上記で述べたように、本発明の範囲は特定の実施形態または実施に限定されるものではないことを理解されよう。たとえば、本発明に従った方法の一例として、前述の方法は、ハードウェア、ソフトウェア、ファームウェア、および/またはそれらの任意の組合せで実施することができる。ここでも本発明の範囲を限定しない単なる例として意図された一例には、前述の内容を実施する集積回路チップなどのハードウェアを含むイメージャを含むことができる。あるいは、前述の内容を実施することのできるソフトウェアを含むイメージャを、コンピューティング・プラットフォームに結合することができる。同様に、たとえばデスクトップ・パーソナル・コンピュータに結合されたデジタル・カメラは一実施形態を実施することができる。さらにハードウェアおよびソフトウェアでのこれらの実施は、もちろん、前述の内容から逸脱し依然として本発明の範囲内であることができる。
【0028】
少なくとも部分的にたとえば前述の実施形態などのソフトウェアで実施される実施形態の場合、こうしたソフトウェアは、たとえばランダム・アクセス・メモリ、CD ROM、フロッピィ・ディスク、またはハード・ドライブなどの命令が格納されるような記憶媒体上に常駐することが可能であり、PCまたは他のコンピューティング・デバイスなどのコンピューティング・プラットフォームなどによって実施されると、システムが動き推定を生じさせる命令を実行することができる。同様に、こうしたソフトウェアは、たとえばフラッシュ・メモリまたはEEPROMなどのファームウェアにも常駐が可能である。
【0029】
以上、本明細書では本発明の一定の特徴について図示および説明してきたが、当分野の技術者であれば、多くの修正、置換、変更、および等価の内容が実施されるであろう。したがって、添付の特許請求の範囲は、本発明の真の精神の範囲内にあるこうしたすべての修正および変更をカバーすることが意図されるものであることを理解されよう。
【図面の簡単な説明】
【図1】本発明に従った動きベクトル予測に関する技法の一実施形態で使用するための、マクロブロックに関連付けられた動きベクトルを示す概略図である。
【図2】本発明に従った一実施形態を動き推定に適用したシミュレーション結果を示す表である。
【図3】整数ピクセル動き推定の一実施形態を示す概略図である。
【図4】本発明に従った一実施形態を、動きベクトルを含む例に適用することを示す図である。
【図5】本発明に従った他の実施形態を動き推定に適用したシミュレーション結果を示す表である。

Claims (37)

  1. ビデオ・コーディング用の動き推定を実施する方法であって、
    動きベクトルを含む近傍の一組のマクロブロックから中間動きベクトル構成要素を決定することと、
    最も近い一致を生み出すピクセル位置を見つけるために、決定された中間動きベクトル構成要素を適用することに関連付けられたピクセル位置を中心とする、所定のサイズのウィンドウをサーチすることを含む方法。
  2. サーチに、ゼロ値の構成要素を有する動きベクトルに関連付けられたピクセル位置のサーチが含まれる請求項1に記載の方法。
  3. 動きベクトル推定がビデオ・フレームの所定の部分に適用される請求項2に記載の方法。
  4. ビデオ・フレームの所定の部分が特定のマクロブロックを含み、
    さらに、
    少なくとも一部は、中間動きベクトル構成要素と、潜在的なピクセル位置から最も近い一致を生み出すピクセル位置との差に基づいて、特定のマクロブロックに対して動きベクトルをコーディングすることを含む請求項3に記載の方法。
  5. 中間動きベクトル構成要素が水平の動きベクトル構成要素と垂直の動きベクトル構成要素を含む請求項2に記載の方法。
  6. 近傍の一組のマクロブロックが以前にコーディングされた3つのマクロブロックを含む請求項2に記載の方法。
  7. 以前にコーディングされた3つのマクロブロックが、直前にコーディングされた3つのマクロブロックを含む請求項6に記載の方法。
  8. 最も近い一致を生み出すピクセル位置が、潜在的なピクセル位置のそれぞれのピクセル位置に絶対差和を適用することによって決定される請求項2に記載の方法。
  9. 最も近い一致が輝度ピクセル信号値の最も近い一致を含む請求項8に記載の方法。
  10. 最も近い一致を生み出すピクセル位置が、潜在的なピクセル位置のそれぞれのピクセル位置に平均平方誤差(MSE)を適用することによって決定される請求項2に記載の方法。
  11. 中間動きベクトル構成要素が、それぞれ他方の構成要素とは無関係に近傍の一組のマクロブロックから決定される請求項1に記載の方法。
  12. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の異なるマクロブロックから生じる場合、ウィンドウが5ピクセル×5ピクセルのウィンドウを含む請求項11に記載の方法。
  13. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の異なるマクロブロックから生じる場合、動きベクトル構成要素の領域が算出される請求項11に記載の方法。
  14. 特定構成要素の領域が所定の値に等しいかまたはこれよりも下である場合、サーチされるウィンドウはその特定構成要素方向に3ピクセル長さ、そうでない方向に5ピクセル長さである請求項13に記載の方法。
  15. 所定の値が3ピクセルである請求項14に記載の方法。
  16. 特定構成要素の領域が所定の値よりも下である場合、サーチされるウィンドウはその特定構成要素方向に所定の整数値X、およびそうでない方向に所定の整数値Yであって、YがXよりも大きい請求項13に記載の方法。
  17. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の同じマクロブロックから生じる場合、ウィンドウが3ピクセル×3ピクセルのウィンドウを含む請求項11に記載の方法。
  18. 記憶させる記憶媒体と、コンピューティング・プラットフォームによって実行可能な命令とを含む製品であって、前記命令が、前記プラットフォームによって実行された場合、結果的に
    動きベクトルを含む近傍の一組のマクロブロックから中間動きベクトル構成要素を決定することと、
    最も近い一致を生み出すピクセル位置を見つけるために決定された中間動きベクトル構成要素を適用することに関連付けられたピクセル位置を中心とする所定サイズのウィンドウをサーチすることを実施する製品。
  19. サーチに、ゼロ値の構成要素を有する動きベクトルに関連付けられたピクセル位置のサーチが含まれる請求項18に記載の製品。
  20. 命令が、実行されると結果的に少なくとも一部は潜在的なピクセル位置から最も近い一致を生み出すピクセル位置に基づいて推定される特定マクロブロック用の動きベクトルを生じさせ、
    さらに、
    少なくとも一部は、中間動きベクトル構成要素と、潜在的なピクセル位置から最も近い一致を生み出すピクセル位置との差に基づいて、特定のマクロブロック用に動きベクトルをコーディングする請求項19に記載の製品。
  21. 最も近い一致を生み出すピクセル位置が、潜在的なピクセル位置のそれぞれのピクセル位置に絶対差和を適用することによって決定される請求項20に記載の製品。
  22. 最も近い一致が輝度ピクセル信号値の最も近い一致を含む請求項21に記載の製品。
  23. 中間動きベクトル構成要素がそれぞれ他方の構成要素とは無関係に近傍の一組のマクロブロックから決定される請求項18に記載の製品。
  24. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の異なるマクロブロックから生じる場合、ウィンドウが5ピクセル×5ピクセルのウィンドウを含む請求項23に記載の製品。
  25. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の異なるマクロブロックから生じる場合、動きベクトル構成要素の領域が算出される請求項23に記載の製品。
  26. 特定構成要素の領域が所定の値に等しいかまたはこれよりも下である場合、サーチされるウィンドウはその特定構成要素方向に3ピクセル長さ、そうでない方向に5ピクセル長さである請求項25に記載の製品。
  27. 特定構成要素の領域が所定の値よりも下である場合、サーチされるウィンドウはその特定構成要素方向に所定の整数値Xピクセル、およびそうでない方向に所定の整数値Yピクセルであって、YがXよりも大きい請求項25に記載の製品。
  28. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の同じマクロブロックから生じる場合、ウィンドウが3ピクセル×3ピクセルのウィンドウを含む請求項23に記載の製品。
  29. 動き推定を実施するためのシステムであって、
    コンピューティング・プラットフォームを含み、
    前記コンピューティング・プラットフォームが、動きベクトルを含む近傍の一組のマクロブロックから中間動きベクトル構成要素を生み出すように適合され、さらに動き推定を生み出すために中間動きベクトル構成要素に関連付けられたピクセル位置を中心とする所定のサイズのウィンドウをサーチするように適合されたシステム。
  30. さらに前記プラットフォームが、ゼロ値の構成要素を有する動きベクトルに関連付けられたピクセル位置をサーチするように適合された請求項29に記載のシステム。
  31. さらに前記プラットフォームが、少なくとも一部は、中間動きベクトル構成要素と推定された動きベクトルとの差に基づいて特定マクロブロック用の動きベクトルをコーディングするように適合された請求項30に記載のシステム。
  32. 前記プラットフォームが、それぞれの中間動きベクトル構成要素を、他方の構成要素とは無関係に近傍の一組のマクロブロックから決定するように適合された請求項31に記載のシステム。
  33. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の異なるマクロブロックから生じる場合、前記プラットフォームが5ピクセル×5ピクセルのサイズのウィンドウをサーチするように適合された請求項32に記載のシステム。
  34. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の異なるマクロブロックから生じる場合、前記プラットフォームが動きベクトル構成要素の領域を算出するように適合された請求項32に記載のシステム。
  35. 特定構成要素の領域が所定の値に等しいかまたはこれよりも下である場合、前記プラットフォームが、その特定構成要素方向に3ピクセル長さ、そうでない方向に5ピクセル長さのウィンドウをサーチするように適合された請求項34に記載のシステム。
  36. 特定構成要素の領域が所定の値よりも下である場合、前記プラットフォームが、その特定構成要素方向に所定の整数値Xピクセル、およびそうでない方向に所定の整数値Yピクセルのサイズを有するウィンドウをサーチするように適合され、YがXよりも大きい請求項34に記載のシステム。
  37. 中間動きベクトル構成要素がそれぞれ近傍の一組のマクロブロック内の同じマクロブロックから生じる場合、前記プラットフォームが3ピクセル×3ピクセルのサイズを有するウィンドウをサーチするように適合された請求項32に記載のシステム。
JP2002504157A 2000-06-16 2001-06-01 動き推定を実施する方法 Expired - Fee Related JP4914555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US59612700A 2000-06-16 2000-06-16
US09/596,127 2000-06-16
PCT/US2001/018009 WO2001099437A2 (en) 2000-06-16 2001-06-01 Method of performing motion estimation

Publications (3)

Publication Number Publication Date
JP2004501582A true JP2004501582A (ja) 2004-01-15
JP2004501582A5 JP2004501582A5 (ja) 2008-07-24
JP4914555B2 JP4914555B2 (ja) 2012-04-11

Family

ID=24386080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002504157A Expired - Fee Related JP4914555B2 (ja) 2000-06-16 2001-06-01 動き推定を実施する方法

Country Status (8)

Country Link
EP (1) EP1295483B1 (ja)
JP (1) JP4914555B2 (ja)
KR (1) KR100549543B1 (ja)
AT (1) ATE476829T1 (ja)
AU (1) AU2001265349A1 (ja)
DE (1) DE60142739D1 (ja)
TW (1) TW550953B (ja)
WO (1) WO2001099437A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008523724A (ja) * 2004-12-08 2008-07-03 クゥアルコム・インコーポレイテッド 動画像符号化のための動き推定技術
US8761259B2 (en) 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
JP2018014064A (ja) * 2016-07-19 2018-01-25 Gft株式会社 室内用自走式ロボットの位置測定システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100455119B1 (ko) * 2002-01-26 2004-11-06 엘지전자 주식회사 움직임 벡터 영역의 적응적 결정 방법
NO318167B1 (no) * 2002-11-27 2005-02-14 Tandberg Telecom As Vektorprediksjon
US7400680B2 (en) * 2003-09-30 2008-07-15 Intel Corporation Rectangular-shape motion search
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04150284A (ja) * 1990-10-09 1992-05-22 Olympus Optical Co Ltd 動ベクトル検出方法およびその装置
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JP2000138935A (ja) * 1998-10-29 2000-05-16 Fujitsu Ltd 動きベクトル符号化装置および復号装置
WO2000033580A1 (en) * 1998-11-30 2000-06-08 Microsoft Corporation Improved motion estimation and block matching pattern

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06209466A (ja) * 1992-10-07 1994-07-26 Canon Inc 動ベクトル検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04150284A (ja) * 1990-10-09 1992-05-22 Olympus Optical Co Ltd 動ベクトル検出方法およびその装置
JPH05328333A (ja) * 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
JP2000138935A (ja) * 1998-10-29 2000-05-16 Fujitsu Ltd 動きベクトル符号化装置および復号装置
WO2000033580A1 (en) * 1998-11-30 2000-06-08 Microsoft Corporation Improved motion estimation and block matching pattern

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008523724A (ja) * 2004-12-08 2008-07-03 クゥアルコム・インコーポレイテッド 動画像符号化のための動き推定技術
US8761259B2 (en) 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
JP2018014064A (ja) * 2016-07-19 2018-01-25 Gft株式会社 室内用自走式ロボットの位置測定システム

Also Published As

Publication number Publication date
EP1295483B1 (en) 2010-08-04
KR20030065314A (ko) 2003-08-06
DE60142739D1 (de) 2010-09-16
WO2001099437A2 (en) 2001-12-27
EP1295483A2 (en) 2003-03-26
WO2001099437A3 (en) 2002-08-08
JP4914555B2 (ja) 2012-04-11
ATE476829T1 (de) 2010-08-15
TW550953B (en) 2003-09-01
AU2001265349A1 (en) 2002-01-02
KR100549543B1 (ko) 2006-02-03

Similar Documents

Publication Publication Date Title
US11856220B2 (en) Reducing computational complexity when video encoding uses bi-predictively encoded frames
CN108012155B (zh) 预拼接图像的视频编码方法、视频解码方法和相关的装置
JP5044568B2 (ja) 予測誘導間引き探索を使用する動き推定
KR100906298B1 (ko) 모션 벡터 추정을 위한 방법 및 장치
KR100772576B1 (ko) 비디오 정보를 부호화 및 복호화하기 위한 방법, 움직임보상 비디오 부호기 및 대응하는 복호기
US7965774B2 (en) Method for visual signal extrapolation or interpolation
KR100301833B1 (ko) 오류은폐방법
US20100284467A1 (en) Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
US20100201870A1 (en) System and method for frame interpolation for a compressed video bitstream
US8964843B2 (en) Image processing method, image processing apparatus and computer readable storage medium
US20030112873A1 (en) Motion estimation for video compression systems
CN110312130B (zh) 基于三角模式的帧间预测、视频编码方法及设备
US7702168B2 (en) Motion estimation or P-type images using direct mode prediction
US6996175B1 (en) Motion vector estimation
JP4914555B2 (ja) 動き推定を実施する方法
US20100272182A1 (en) Image flow knowledge assisted latency-free in-loop temporal filter
Pradhan et al. Survey on block matching algorithms for motion estimation
JP2001346208A (ja) 画像信号復号化装置および方法
JP2001520838A (ja) デジタル画像の符号化方法および符号化装置
EP4280602A1 (en) Motion vector (mv) constraints and transform constraints in video encoding
Cekic et al. New frame rate up-conversion based on foreground/background segmentation
Seiler et al. Motion compensated frequency selective extrapolation for error concealment in video coding
JPH08228351A (ja) 動画像の動き補償予測符号化方法
JP2002521944A (ja) デジタル画像が被る動きを求める方法および装置
Wong et al. Correcting Flicker in Color Motion Pictures

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110404

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110411

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110506

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110513

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110606

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees