JP2009509405A - ビデオシーケンスにおける可変形状動き推定 - Google Patents

ビデオシーケンスにおける可変形状動き推定 Download PDF

Info

Publication number
JP2009509405A
JP2009509405A JP2008531166A JP2008531166A JP2009509405A JP 2009509405 A JP2009509405 A JP 2009509405A JP 2008531166 A JP2008531166 A JP 2008531166A JP 2008531166 A JP2008531166 A JP 2008531166A JP 2009509405 A JP2009509405 A JP 2009509405A
Authority
JP
Japan
Prior art keywords
combination
value
block
acceptable
combinations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008531166A
Other languages
English (en)
Other versions
JP5043849B2 (ja
Inventor
ズーロン ミアオ
ジェイムズ ジェイ キャリッグ
マルコ パニコーニ
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2009509405A publication Critical patent/JP2009509405A/ja
Application granted granted Critical
Publication of JP5043849B2 publication Critical patent/JP5043849B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

ターゲット画像内に可変形状ブロックを生成する方法は、ターゲットブロックの初期パターンを生成する段階、ターゲットブロックの許容可能な組合せを特定する段階、各許容可能な組合せに対して組合せ値を計算する段階、組合せ値を使用して許容可能な組合せの1つを選択する段階、及び選択された許容可能な組合せを実行して可変形状ブロックを生成する段階を含む。
【選択図】図2

Description

本発明は、ビデオ圧縮の分野に関する。
ビデオシーケンスに対する高圧縮利得は、画像(フレーム)間の時間的冗長性を除去することによって達成することができる。例えば、画像を符号化するために、符号化される画像の時間予測が、前に符号化された画像に基づいて生成される。時間予測は、実際の画像と比較されて予測誤差が求められ、この予測誤差は符号化される。予測は、広く使用されている(例えば、MPEG規格)ブロックベースの動き推定及び補償方法を使用して行うことができる。
動き補償及び推定方法は、1つ又はそれよりも多くの参照画像内の参照ブロックを検出してターゲット画像内の対応するターゲットブロックの位置を予測するために使用され、これにより、通常は予測誤差及び動きベクトルである、ターゲットブロックの予測残差のみを符号化すればよい。これらの方法は、ブロックマッチングを実行して、ターゲット画像内の対応するターゲットブロックに最も類似している参照画像内の画素の参照ブロックを特定する。
図1は、例示的な動きベクトル、参照ブロック、及びターゲットブロックの概略図である。ターゲット画像120は、参照画像110からの情報を使用して符号化されることになる。参照ブロック115は、ターゲット画像120内のターゲットブロック125に最も近くマッチングする参照画像110内のブロックとして特定される。参照ブロックが特定された後、動きベクトル130(単に例示的目的で矢印で示す)が生成されて、参照ブロック115の位置に対するターゲットブロック125の位置を特定する。動きベクトル130は、参照ブロック115とターゲットブロック125の間の関係を表す2つの要素、すなわち、水平変位及び垂直変位を有する。例えば、例示的に3×3の画素群である参照ブロック115は、位置(i’,j’)にあり、ターゲットブロック125は、位置(i,j)にある。2つのブロック間の距離が、動きベクトル(i’−i,j’−j)である。
動きベクトルの値は、参照ブロックと共にビデオ圧縮に使用され、ターゲットブロックに対する予測値を生成する。例えば、ターゲットブロックSが、動きベクトル及び対応する参照ブロックに関連するものである場合、ターゲットブロック内の各画素は、次式で予測される。
Figure 2009509405
ここで、
Figure 2009509405
は、画素座標(x,y)に位置するターゲットブロック内の予測画素値であり、tは、ターゲット画像の時間指数であり、v(x+mx,y+my,k)は、参照ブロック内の画素値(kで指数付けされる)であり、[mx,my]は、ターゲットブロック内の予測される画素の位置に対する参照ブロック内の画素のオフセットを表す動きベクトルである。
ターゲット画像全体を予測するために、典型的な方法は、ターゲット画像をいくつかの重なり合わないターゲットブロックに分割する。次に、動き推定が各ターゲットブロックに対して実行され、その対応する参照ブロック及び動きベクトルを求める。一般的に、動き推定処理によって生成されるターゲット及び参照ブロックは、各ターゲット画素及び参照画素間に1対1のマッピングが存在するように、同じ形状(shape)を有し、かつ同量の画素を含む。
ターゲットブロックを生成する方法の一例は、ターゲット画像を固定の画素量(すなわち、16×16画素)を有するターゲットブロックに分割するMPEGに見ることができる。より高度なビデオコーデックは、ターゲットブロックの形状及び大きさを(いくつかの制限を伴って)可変とすることを可能にする。例えば、MPEG/AVCは、ブロックの大きさを4×4から16×16画素まで変化させることを可能にする。
一般的に、従来のブロック生成方法は、固定サイズのターゲットブロック及び参照ブロックの規則的パターンを生成する場合は良好に機能する。一方、動き推定方法は、ターゲットブロック及び参照ブロックが可変の形状及び大きさを有する場合により良い予測性能を有する。しかしながら、大きさ及び形状が変化するターゲットブロックの効率的なパターンを生成することは、従来のブロック生成方法の能力を超えている。動き推定方法によって使用される、ターゲット画像内に可変形状ブロックを効率的に生成する方法に対する必要性がある。
ターゲット画像内に可変形状ブロックを生成する方法は、ターゲットブロックの初期パターンを生成する段階、ターゲットブロックの許容可能な組合せを特定する段階、各許容可能な組合せに対して組合せ値を計算する段階、組合せ値を使用して許容可能な組合せの1つを選択する段階、及び選択された許容可能な組合せを実行して可変形状ブロックを生成する段階を含む。
本発明は、例示のために示されており、添付図面と共に以下の説明を参照することによってより良く理解されるであろう。
以下の説明においては、説明の一部を形成し、かつ本発明を実施することができる特定的な実施形態を例示的に示す添付図面を参照する。本発明の範囲を逸脱することなく他の実施形態を利用することができ、構造的変更を行うことができることは理解されるものとする。例えば、当業者は、様々な実施形態を説明するために使用される用語である画像は、ビデオデータに関連して使用される用語であるフィールド、フレーム、又はピクチャと一般的に互換的であることを理解するであろう。
方法は、動き推定に使用するために可変形状ターゲットブロックのパターンを生成する。本方法は、ターゲット画像及び参照画像を受け取り、ターゲット画像を様々な形状(shape)及び大きさのターゲットブロックに分割し、各可変形状ターゲットブロックに対して動きベクトルを生成する。一実施形態では、本方法は、反復的かつ適応的に小さなブロックを組み合わせてより大きなブロックにすることにより可変形状ブロックを生成する。
本方法は、例えば、各々が2×2画素を含むターゲットブロックの規則的パターンのような、ターゲットブロックの任意の初期パターンから開始することができる。本方法は、より大きなブロックを形成することができる小さなブロックの許容可能な組合せを特定する。各許容可能な組合せに対して、そのコスト及び利益を反映する値が求められる。組合せのコストとは、予測誤差の増加であり、その利益は、より大きなブロックについて削減された動きベクトルの数である。受入れ可能な値を有する許容可能な組合せが特定された後、関連する小さなブロックが組み合わせられて大きなブロックを形成し、この大きなブロックに対する新しい動きベクトルが求められる。本方法は、所定の停止点に達するまで繰り返すことができる。例えば、一実施形態では、本方法は、ターゲット画像内のブロック数が所定の数未満になるまで継続される。
可変形状ブロックを生成する方法の実施例を図2に示す。210において、ターゲットブロックに対する許容可能な形状が定められる。一般的に、本方法は、任意の形状を有するブロックの初期パターンで開始することができ、任意のブロックの組合せを実行して、任意の形状のブロックの出力パターンを生成する。本方法により生成される形状が多けほど、動き推定の性能は良くなる。しかしながら、本方法の実行の複雑さは、形状数の増加に伴い増加する。合理的な複雑さの程度で本方法を実行するために、いくつかの実施形態では、所定の許容可能な形状の数及び所定の許容可能な組合せの数を使用する。
本実施例では、複雑性を低減するために簡単な形状、例えば矩形ブロックのセットが210において定められ、それによって過度の数の計算を実行することなく、より小さな形状を組み合わせてより大きな形状にすることができる。2×2画素のブロック302、2×4のブロック304、及び4×4のブロック306を含む、210において定められる許容可能な形状の例を図3Aに示す。
215において、より大きなブロックへのより小さなブロックの許容可能な組合せが定められる。許容可能な組合せのいくつかの例示的定義は、(1)互いに接続される現在の(existing)(より小さい)形状のみが、組み合わせられ、単一のより大きな形状にすることができる、(2)このより大きな形状は、現在の所定の形状である、及び(3)このより大きな形状は、ターゲット画像内の許容可能な位置に位置することを含む。これらの定義は、全ピクチャ内の許容可能な組合せの数を大幅に削減し、従って、可変形状ブロックを生成することの複雑性を減少する。この定義は、許容可能な組合せの数が、動き推定を適切に実行するほど十分に大きく、かつ可変形状ブロックを生成することの複雑性を管理可能な程度まで低減するほど十分に小さくなるように、システムによって設定又はユーザによって選択することができる。
より大きなブロックへのより小さいブロックの許容可能な組合せの例を図3B、3C、及び3Dに示す。図3Bでは、2×2画素のブロックが、別の2×2画素のブロックと組み合わせられて、より大きな2×4画素のブロックを形成することが許される。図3Cでは、4つの2×2画素のブロックが組み合わせられて、より大きな4×4画素のブロックとなることが許される。図3Dでは、2つの2×2画素のブロックと1つの2×4画素のブロックとが組み合わせられて、より大きな4×4画素のブロックとなることが許される。
許容可能な組合せの定義は又、組合せに対する許容可能な位置を含むことができる。例えば、2×4形状を有するブロックは、ブロック内の選択された画素が、2の倍数であるy座標又は4の倍数であるx座標(例えば、y=0、2、4...、又はx=0、4、8...)に位置する場合、特定の位置において許される。組み合わせられたブロックに対する許容可能位置及び禁止位置の例を図4に示す。より大きなブロック410へのより小さなブロックの組合せは、より大きなブロックの位置が、x座標が4であり、これが2の倍数であるので、許容可能である。一方、ブロック420を形成する組合せは、420のx座標が9であり、これは2の倍数ではないので禁止される。
別の例として、選択された画素が、2の倍数であるx座標及びy座標(例えば、y=0、2、4、8...及びx=0、2、4、8...)に位置する場合、ユーザは、4×4ブロックを生成することを許すことができる。図4では、ブロック430は、選択された画素が2のx座標及び2のy座標を有するので、生成されることが許される。ブロック440は、そのy座標が2の倍数であるが、そのx座標が9であるので禁止される。これらの所定の許容可能な配置の例によって示されるように、2×4又は4×4ブロックを生成するために全ての2×2ブロックを組み合わせることができるということではない。許容可能な位置の数は、動き推定性能と計算の複雑性の均衡をとる。
220において、全ターゲット画像に対するターゲットブロックの初期パターンが生成される。本実施例では、初期パターンは、210で定められる許容可能な形状を使用して生成される。生成される初期パターンは、固定サイズの小ブロック(例えば、2×2ブロック)の規則的パターンとすることができる。初期パターンが生成された後、動きベクトルが、225において各ターゲットブロックに対して求められる。動きベクトルを検出するために、多くの既存アルゴリズムを使用することができる(例えば、MPEGにおいて)。このブロックの初期の数Nblock及び初期の動きベクトルの数Nmvが記録される。
230において、動き推定が、動きベクトル使用して各ブロックに対して実行され、ターゲットブロックの予測及び関連する予測誤差を生成する。235において、予測誤差を使用して、ターゲットブロックの動き補償された予測の歪DSを計算する。歪は、ターゲットブロックの予測性能の尺度である。様々な関数を使用して歪を求めることができる。一例は、画素予測誤差の2乗の和:
Figure 2009509405
であり、ここで、x、y∈Sは、ターゲットブロックS内の全ての画素を示し、vx、yは、ターゲットピクチャ内の元の画素値であり、
Figure 2009509405
は、ターゲット画素の予測値である。予測値は、参照画像内の画素を特定する動きベクトルを使用して求められる。
歪関数の別の例は、予測誤差の絶対値の和:
Figure 2009509405
である。これらの関数のいずれか又は別の関数は、ターゲットブロックの歪を測定するためにユーザによって選択することができる。
240において、許容可能な組合せの定義を使用して、ターゲット画像内の既存ブロックの許容可能な組合せを特定する。任意の許容可能な組合せから形成することができるであろうより大きなブロックの各々の動きベクトルも又求められる。当業者に公知の動き推定方法を使用して、動きベクトルを求めることができる。
245において、組合せ値が、各許容可能な組合せに対して求められる。許容可能な組合せが実行された場合、その結果、歪は増加するが、動きベクトル数は減少する。従って、歪は、より小さいブロックを組み合わせてより大きなブロックにすることにより増加するが、より小さなブロックに対してもはや必要でない動きベクトルが、動き推定方法による使用に対して利用可能になる。これは、予測ターゲット画像の歪の全体的低減をもたらすことができるであろう。許容可能な組合せが実行されるべきか否かを判断するために、組合せを実行するコストが、利益に対して比較考量される。このコスト対利益は、増加する歪と動きベクトルの削減数との関数として表すことができる。利益に対して組合せのコストを比較考量するための関数の例は、その比である
Figure 2009509405

であり、ここで、Mは、組合せ値である。組合せ値は、ターゲット画像の特定領域内のブロックの複数の許容可能な組合せを比較するために使用される。
歪の増加は、許容可能な組合せにおけるより小さなブロックの全歪を、得られたより大きなブロックの歪から差し引くことにより計算され、歪差分ΔDを求める。より小さな形状の全歪D0は、許容可能な組合せにおけるより小さな形状の予測歪DSの合計である。より小さな各形状の歪は、式(2)又は式(3)のような歪関数を使用して計算される。より小さなブロックの全歪は、
Figure 2009509405
であり、ここで、S∈SLは、許容可能な組合せにおける全てのより小さなブロックを表す。組合せ後の歪D1は、より小さなブロックを組み合わせることにより生成されたより大きなブロックの歪である。一般的に、より大きなブロックに対する歪の量は、より小さなブロックの歪の量よりも大きい。組合せによって生じる増加する歪は、
Figure 2009509405
である。
組合せから生じる動きベクトルの数の減少ΔRは、組合せによって生成されたより大きなブロック内の動きベクトルの数R1を、組合せ以前に存在したより小さなブロック内の動きベクトルの数R0から差し引くことによって求められる。(単一の参照画像が使用される場合、各ブロック内の動きベクトルの数は1である)。組合せから生じる動きベクトルの量の減少は、
Figure 2009509405
である。歪の増加ΔD及び動きベクトルの減少ΔRを計算した後、組合せ値は、式(4)を使用して求められる。
250において、組合せ値を使用して、実行される許容可能な組合せを選択する。一実施形態では、特定の許容可能な組合せに対する組合せ値は、ターゲット画像の特定領域内の他の許容可能な組合せの値と比較される。次に、最小の組合せ値を有する許容可能な組合せが選択される。
255において、選択された組合せが実行される。選択された組合せのより小さなブロックは、より大きなブロックで置換される。更に、より小さなブロックの動きベクトルは、より大きなブロックに関連する動きベクトルで置換される。
260において、方法は、別の組合せを実行するか否かを判断する。別の組合せを実行するか否かを判断するために使用することができる機能の例は、固定停止機能及び適応停止機能を含む。
固定停止機能は、ターゲット画像内のブロック数が、閾値数Thblockに等しいか又はそれ未満となった後に本方法を停止させる。例えば、720×480(720垂直ライン及び480水平ライン)の大きさの画像に対して、ユーザは、ターゲット画像に対するブロックの最大数を1350、すなわち、Thblock=1350になるように設定することができる。形状の閾値数は、エンコーダによって設定するか、又は入力パラメータとしてユーザが指定することができる。これに代えて、固定停止機能は、ターゲット画像内の動きベクトルの数が、閾値数Thmvに等しいか又はそれ未満となった後に方法を停止させる。(単一の参照画像を使用してターゲット画像を予測する場合、ターゲット形状の数は、ターゲット画像内の動きベクトルの数に等しい(Thblock=Thmv))。各反復(iteration)後に、形状の残数(Nblock)又は動きベクトルの数(Nmv)が記録される。エンコーダがNblock≦Thblock(又は、Nmv≦Thmv)を検出した時に、エンコーダは、本方法を停止する。
別の停止機能は、閾値Thstopを使用して、別の組合せを実行する利益が無視できるほど小さい場合に方法を停止させる。例えば、現在の選択された許容可能な組合せの組合せ値が閾値Thstopを超える場合、本方法は停止する。このようにして、ターゲットピクチャ内の形状及び動きベクトルの数をターゲット画像の内容に適応させることができる。これは、ビデオストリーム内の画像が大量の時間変動を有する場合に有用である。
別の組合せが、実行される場合、265において、ターゲットピクチャの形状パターンは、最新の組合せを反映するように更新される。更に、形状の数及び動きベクトルの数に対する値Nblock及びNmvは、組合せによって生じた変化を反映するように更新される。次に、本方法は、240に戻る。
これ以上の組合せが実行されない場合、方法は、270で終了する。
図2の方法のいくつかの計算をより簡単な機能で置換する可変形状ブロックを生成する方法の別の例を図5に示す。例えば、図2に例示する方法の各反復中に、組合せ値は、全ての許容可能な組合せに対して計算される。しかしながら、特定の反復における多くの許容可能な組合せは、それ以前の反復中に存在するので、これらの組合せ値は、以前の反復中に計算されている。現在の反復に対して実行される計算量は、以前に計算された値を再利用することにより削減することができる。
図5の方法は、動き推定のための可変形状を生成する場合にそれ以前に計算された比を再利用し、本方法の現在の反復中に発生するあらゆる値に対する変化を更新して記録する。510において、本方法は、最初の反復中に許容可能な組合せに対するMの値を計算し、例えば電子メモリデバイスのようなコンピュータ可読媒体に多次元配列で値を記憶する。配列内では、Mの値は、Ml,x,yとして添字付けされる。添字で使用されるl、x、及びyの定義は、表1で与えられる。
(表1)
Figure 2009509405
図2の方法の複雑性は、特定の許容可能な組合せの組合せ値を、いくつかの他の値に代えて閾値と比較し、その組合せを実行するか否かを判断することによって更に低減することができる。例えば、図2の方法では、M=ΔD|ΔRの最小値を有する組合せが選択される。しかしながら、最小値を特定するには、その方法が全ての許容可能な組合せを走査することを必要とする。全ての組合せを走査する代わりに、図5の方法は、520において特定の許容可能な組合せに対する組合せ値を所定の閾値Thmergeと比較する。M<Thmergeの場合、この組合せが直ちに選択されて実行され、他の許容可能な組合せは、この反復中は無視される。組合せ値が閾値未満でない場合には、配列内の次の組合せ値が閾値と比較される。(閾値Thmergeは、上述の閾値Thstopとは異なるものである)。
530において、本方法は、別の組合せを実行するか否かを判断する。実行しない場合、処理は、550で終了する。実行する場合、この組合せに影響を受けるMl,x,yの値が540において更新され、処理は520に戻る。その結果、最初の反復の後、配列内のMの値の一部分のみが再計算され、Mの値の残りは、変更されないままである。これにより、複雑性が低減され、本方法の処理時間が低減される。
可変形状ブロック生成方法が実行された後に、可変形状ブロックのパターン、並びに可変形状ブロックに対する動きベクトルを再構成するための情報が、再構成のためにデコーダに送信される。可変形状ブロックのパターン及び動きベクトルは、デコーダによって使用され、ターゲット画像に対する動き補償が実行される。
可変形状ブロックのパターンを生成する方法は、動き推定及び動き補償が実行されるあらゆるビデオ圧縮又はあらゆる他の用途に適用することができる。本方法は、ビデオ圧縮における動き予測に関する他の方法と独立に又は一所に機能することができる。図6は、可変形状ブロック生成方法を使用するシステムの例を示す。デジタルビデオカメラ610は、電子形式で画像を捕捉し、圧縮及び符号化処理中に可変形状ブロック生成方法を実施する圧縮デバイス620を使用して画像を処理する。符号化された画像は、電子伝送媒体630を通じてデジタル再生デバイス640に送信される。画像は、復号処理中に本方法を用いる復号デバイス650によって復号される。
本発明を特定のシステム環境における例示的な実施形態に関して説明したが、本発明は、添付の特許請求の範囲の精神及び範囲内の他の異なるハードウエア及びソフトウエア環境において様々な方法で実施することができることを当業者は認識するであろう。
例示的な動きベクトル、参照ブロック、及びターゲットブロックの概略図である。 動き推定のための可変形状ブロックを生成する方法の例を示す図である 動き推定のための可変形状ブロックを生成する方法によって使用される許容可能な形状及び形状の組合せの例を示す図である。 動き推定のための可変形状ブロックを生成する方法によって使用される許容可能な形状及び形状の組合せの例を示す図である。 動き推定のための可変形状ブロックを生成する方法によって使用される許容可能な形状及び形状の組合せの例を示す図である。 動き推定のための可変形状ブロックを生成する方法によって使用される許容可能な形状及び形状の組合せの例を示す図である。 動き推定のための可変形状ブロックを生成する方法によって使用されるブロックの許容可能な組合せに対する許容可能な位置の例を示す図である。 動き推定のための可変形状ブロックを生成する方法の別の例を示す図である。 可変形状ブロック生成方法を使用するシステムの例を示す図である。

Claims (21)

  1. 電子データ処理装置によって実行される方法であって、
    ターゲットブロックの初期パターンを生成する段階と、
    ターゲットブロックの許容可能な組合せを特定する段階と、
    各許容可能な組合せに対して組合せ値を計算する段階と、
    前記組合せ値を使用して前記許容可能な組合せの1つを選択する段階と、
    前記選択された許容可能な組合せを実行して可変形状ブロックを生成する段階と、
    を含むことを特徴とする方法。
  2. 組合せ規則のセットを使用して前記許容可能な組合せを定義する段階を更に含むことを特徴とする請求項1に記載の方法。
  3. 前記組合せ値は、M=ΔD|ΔRを使用して計算され、ここでΔDは、前記組合せによる歪の増加であり、ΔRは、該組合せによる動きベクトルの減少であり、Mは、該組合せ値であることを特徴とする請求項1に記載の方法。
  4. 前記組合せ値を使用する段階は、最小値を有する許容可能な組合せを特定する段階を含むことを特徴とする請求項1に記載の方法。
  5. 前記組合せ値を使用する段階は、閾値未満の許容可能な組合せを特定する段階を含むことを特徴とする請求項1に記載の方法。
  6. 可変形状ブロックの数が閾値未満になるまで前記方法を繰り返す段階を更に含むことを特徴とする請求項1に記載の方法。
  7. 選択された許容可能な組合せの組合せ値が閾値未満になるまで前記方法を繰り返す段階を更に含むことを特徴とする請求項1に記載の方法。
  8. ターゲットブロックの初期パターンを生成する生成器と、
    ターゲットブロックの許容可能な組合せを特定する特定器と、
    各許容可能な組合せに対して組合せ値を計算する計算器と、
    前記組合せ値を使用して前記許容可能な組合せの1つを選択する選択器と、
    前記選択された許容可能な組合せを実行して可変形状ブロックを生成するブロック生成器と、
    を含むことを特徴とする装置。
  9. 組合せ規則のセットを使用して前記許容可能な組合せを使用する定義器を更に含むことを特徴とする請求項8に記載の装置。
  10. 前記組合せ値は、M=ΔD|ΔRを使用して計算され、ここでΔDは、前記組合せによる歪の増加であり、ΔRは、該組合せによる動きベクトルの減少であり、Mは、該組合せ値であることを特徴とする請求項8に記載の装置。
  11. 前記組合せ値の使用には、最小値を有する許容可能な組合せを特定するための手段を含むことを特徴とする請求項8に記載の装置。
  12. 前記選択器は、閾値未満の許容可能な組合せを特定することを特徴とする請求項8に記載の装置。
  13. 可変形状ブロックの数が閾値未満になるまで前記方法を繰り返す反復器を更に含むことを特徴とする請求項8に記載の装置。
  14. 選択された許容可能な組合せの組合せ値が閾値未満になるまで前記方法を繰り返す反復器を更に含むことを特徴とする請求項8に記載の装置。
  15. ターゲットブロックの初期パターンを生成する段階と、
    ターゲットブロックの許容可能な組合せを特定する段階と、
    各許容可能な組合せに対して組合せ値を計算する段階と、
    前記組合せ値を使用して前記許容可能な組合せの1つを選択する段階と、
    前記選択された許容可能な組合せを実行して可変形状ブロックを生成する段階と、
    を含む方法を、処理システムによって実行される時に、該システムに実行させる命令のプログラムを記憶するコンピュータ可読媒体。
  16. 組合せ規則のセットを使用して前記許容可能な組合せを定義する段階を更に含むことを特徴とする請求項15に記載のコンピュータ可読媒体。
  17. 前記組合せ値は、M=ΔD|ΔRを使用して計算され、ここでΔDは、前記組合せによる歪の増加であり、ΔRは、該組合せによる動きベクトルの減少であり、Mは、該組合せ値であることを特徴とする請求項15に記載のコンピュータ可読媒体。
  18. 前記組合せ値を使用する段階は、最小値を有する許容可能な組合せを特定する段階を含むことを特徴とする請求項15に記載のコンピュータ可読媒体。
  19. 前記組合せ値を使用する段階は、閾値未満の許容可能な組合せを特定する段階を含むことを特徴とする請求項15に記載のコンピュータ可読媒体。
  20. 可変形状ブロックの数が閾値未満になるまで前記方法を繰り返す段階を更に含むことを特徴とする請求項15に記載のコンピュータ可読媒体。
  21. 選択された許容可能な組合せの組合せ値が閾値未満になるまで前記方法を繰り返す段階を更に含むことを特徴とする請求項15に記載のコンピュータ可読媒体。
JP2008531166A 2005-09-16 2006-09-01 ビデオシーケンスにおける可変形状動き推定 Expired - Fee Related JP5043849B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/229,387 US7885335B2 (en) 2005-09-16 2005-09-16 Variable shape motion estimation in video sequence
US11/229,387 2005-09-16
PCT/US2006/034386 WO2007035236A2 (en) 2005-09-16 2006-09-01 Variable shape motion estimation in video sequence

Publications (2)

Publication Number Publication Date
JP2009509405A true JP2009509405A (ja) 2009-03-05
JP5043849B2 JP5043849B2 (ja) 2012-10-10

Family

ID=37884055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008531166A Expired - Fee Related JP5043849B2 (ja) 2005-09-16 2006-09-01 ビデオシーケンスにおける可変形状動き推定

Country Status (6)

Country Link
US (1) US7885335B2 (ja)
EP (1) EP1925095A4 (ja)
JP (1) JP5043849B2 (ja)
KR (1) KR101362545B1 (ja)
CN (1) CN101268623B (ja)
WO (1) WO2007035236A2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
US20090168871A1 (en) * 2007-12-31 2009-07-02 Ning Lu Video motion estimation
CN102547103A (zh) * 2010-12-28 2012-07-04 华晶科技股份有限公司 电子装置、影像拍摄装置及其方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164305A (ja) * 1997-04-24 1999-06-18 Mitsubishi Electric Corp 動画像符号化方法、動画像符号化装置および動画像復号装置
JP2005012439A (ja) * 2003-06-18 2005-01-13 Nippon Hoso Kyokai <Nhk> 符号化装置、符号化方法および符号化プログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3877105D1 (ja) * 1987-09-30 1993-02-11 Siemens Ag, 8000 Muenchen, De
US5690934A (en) * 1987-12-31 1997-11-25 Tanox Biosystems, Inc. Peptides relating to the extracellular membrane-bound segment of human alpha chain
US5047850A (en) * 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US5872866A (en) 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
WO1997017797A2 (en) * 1995-10-25 1997-05-15 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
JP3790804B2 (ja) * 1996-04-19 2006-06-28 ノキア コーポレイション 動きに基づく分割及び合併を用いたビデオ・エンコーダ及びデコーダ
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) * 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化/復号化方法及び装置
DE19648016A1 (de) * 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
WO1998036576A1 (en) * 1997-02-13 1998-08-20 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) * 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP2000308064A (ja) * 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) * 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Necエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) * 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
WO2001078402A1 (en) 2000-04-11 2001-10-18 Koninklijke Philips Electronics N.V. Video encoding and decoding method
AU2002228884A1 (en) 2000-11-03 2002-05-15 Compression Science Video data compression system
US6782054B2 (en) * 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
MXPA05000335A (es) * 2002-07-09 2005-03-31 Nokia Corp Metodo y sistema para seleccionar tipo de filtro de interpolacion en codificacion de video.
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7471724B2 (en) * 2003-06-23 2008-12-30 Vichip Corp. Limited Method and apparatus for adaptive multiple-dimensional signal sequences encoding/decoding
KR20050045746A (ko) * 2003-11-12 2005-05-17 삼성전자주식회사 계층 구조의 가변 블록 크기를 이용한 움직임 추정 방법및 장치
US6872866B1 (en) * 2003-12-15 2005-03-29 Uop Llc Liquid phase process for C8 alkylaromatic isomerization
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164305A (ja) * 1997-04-24 1999-06-18 Mitsubishi Electric Corp 動画像符号化方法、動画像符号化装置および動画像復号装置
JP2005012439A (ja) * 2003-06-18 2005-01-13 Nippon Hoso Kyokai <Nhk> 符号化装置、符号化方法および符号化プログラム

Also Published As

Publication number Publication date
KR20080053935A (ko) 2008-06-16
US7885335B2 (en) 2011-02-08
JP5043849B2 (ja) 2012-10-10
KR101362545B1 (ko) 2014-02-14
CN101268623A (zh) 2008-09-17
EP1925095A4 (en) 2010-04-28
WO2007035236A3 (en) 2007-08-02
WO2007035236A2 (en) 2007-03-29
CN101268623B (zh) 2013-05-22
EP1925095A2 (en) 2008-05-28
US20070064810A1 (en) 2007-03-22

Similar Documents

Publication Publication Date Title
US11546627B2 (en) Moving picture decoding method and moving picture encoding method
JP5284471B2 (ja) ディジタル化された一連の画像を符号化する方法
CN101584215B (zh) 综合空时预测
JP2008507190A (ja) 動き補償方法
AU2008245952B2 (en) Image compression and decompression using the pixon method
KR20150123810A (ko) 이미지 동적 범위 변환 오퍼레이터를 선택하는 방법 및 디바이스
EP2362655B1 (en) Motion-vector estimation
CN111050169B (zh) 图像编码中量化参数的生成方法、装置及终端
JP4709074B2 (ja) 動画像符号化方法,装置,そのプログラムおよびそのプログラムを記録した記録媒体
JP5043849B2 (ja) ビデオシーケンスにおける可変形状動き推定
TWI510050B (zh) 量化控制裝置及方法,以及量化控制程式
JP2007110409A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
Türkan et al. Locally linear embedding based texture synthesis for image prediction and error concealment
CN110876082B (zh) 一种视频帧的复杂度的确定方法及装置
JP2013017128A (ja) イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
JP2002523987A (ja) ディジタル画像の符号化方法および符号化装置ならびにディジタル画像の復号方法および復号装置
US20140029669A1 (en) Method and device for encoding video
JP2001520838A (ja) デジタル画像の符号化方法および符号化装置
CN112911307B (zh) 4k、8k、16k超高清视频编码运动估计优化方法和装置、设备及存储介质
JP5108828B2 (ja) 画像符号化装置
WO2006084419A1 (en) Method for reducing bit rate requirements for encoding multimedia data
JP4785769B2 (ja) 符号化装置及び符号化プログラム
JP2004289790A (ja) マクロブロックのひずみの程度によりビデオ・コード化を行うためのシステムおよび方法
JP2013183345A (ja) 映像符号化装置及び映像符号化方法
JP2007116206A (ja) 画像評価方法、画像評価装置、画像符号化方法及び画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111107

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees