JP2006521740A - 動きベクトル決定方法 - Google Patents

動きベクトル決定方法 Download PDF

Info

Publication number
JP2006521740A
JP2006521740A JP2006506694A JP2006506694A JP2006521740A JP 2006521740 A JP2006521740 A JP 2006521740A JP 2006506694 A JP2006506694 A JP 2006506694A JP 2006506694 A JP2006506694 A JP 2006506694A JP 2006521740 A JP2006521740 A JP 2006521740A
Authority
JP
Japan
Prior art keywords
block
motion vector
pixels
group
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006506694A
Other languages
English (en)
Inventor
ハーン,ヘラルト デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006521740A publication Critical patent/JP2006521740A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一連の画像から取られる画像のブロック又はオブジェクトの画像データから動きベクトルを決定する方法では、画素のブロックB(X)又はオブジェクトは、2つ以上のグループ(G、G)に分割(33)され、ブロックB(X)又はオブジェクトにおいて、動きベクトル(D、D)はブロックB(X)に割り当てられ、ブロックにおけるそれぞれのグループ(G、G)の画素に適用される。

Description

本発明は、一連の画像から取られる画像のブロック又はオブジェクトの画像データから動きベクトルを決定する方法に係る。本発明は更に、一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定する決定器を有するディスプレイ装置と、一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定するソフトウェアコード部分を有するコンピュータプログラムプロダクトに係る。
画像データからの動きベクトルの決定は、広い範囲の画像処理適用において必要とされる。MPEG又はH.261といったビデオコーディングのフレームワークにおいて、動きベクトルは、1つの画像から別の画像への動き(即ち、オブジェクトの移動)を決定する動きベクトルによって表される。例えば、動きベクトルの決定は、動き補償予測符号化に使用することができる。画像における1つの像(ピクチャ)は、通常、その先行像の移動したコピーに非常に類似するので、決定された動きベクトルデータを、実際の画像とその予測との差分に関する情報と共に、画素又はDCT領域において符号化することは、符号化信号における時間冗長を大幅に低減することを可能にする。
動きベクトルの推定についての更なる例は、画像セグメント(オブジェクト)に対し動きモデルを推定する方法を有し、この方法では、動きベクトルの成分は、動きモデルのパラメータを有する。
画像データから動きベクトルを推定又は決定するための到達水準の技術は、通常、なんらかの種類のブロックマッチングアルゴリズム(BMA)を用い、このアルゴリズムでは、画像は、固定又は可変サイズのブロックに分解される。同様に、画像は、ブロックではなくその支配的なオブジェクトに分解されることも可能であり(オブジェクトセグメント化)、従って、以下の説明は、ブロックではなくオブジェクトについても同様に言える。現在の画像の各ブロックに対し、前の画像における類似したブロックがサーチされる。ここでは、類似性尺度が用いられて現在のブロックに最も類似する前のブロックが識別される。最大の類似性が決定された前の画像のブロックに関連付けられる動きベクトルが、現在のブロックの画素に関連付けられる得簿記ベクトルを表す。尚、類似性尺度を計算する際に、比較される2つのブロックの全ての画素が評価される必要はない。例えば、ブロックは、空間的にサブサンプリングされることが可能であり、それにより、両方のブロックの各k番目の画素のみが、類似性尺度の評価のために考慮に入れられる。
一般的に、ブロックマッチング動き推定器が、通常は、候補ベクトルセットからマッチング基準を最小限にするベクトルを選択することによって画像の画素の各ブロックについて移動ベクトルを計算するために用いられる。このベクトルが、画像の関連のブロックの動きベクトルとなる。本発明の概念では、「動き」とは、任意のタイプの移動であって、例えば、実際の動き(例えば、表示画像において動く1つ以上のオブジェクト)と、更に、画像のズームイン又はズームアウト(画像が大きくなったり小さくなったりする)、即ち、カメラ動作も包含する。カメラ動作の場合、画像全体が、カメラのフレームにおいて動く。本発明の概念では、動きベクトルは、任意の方法の結果もたらされるブロック又はオブジェクトに対する動き又は移動データの任意の推定を有し、この方法では、そのデータが既知である多数の画像に基づいて、1つ以上の更なる画像が構成される。この動きベクトルは、この更なる画像におけるブロック又はオブジェクトの位置又は他のパラメータを予測するよう推定される。このような方法の1つの例は、例えば、ビデオフォーマット変換であって、この方法では、例えば、像補間及び/又はインタレース解除を用いて、1つのビデオフォーマット(フォーマットA、ソースフォーマット)におけるビデオデータから、別のビデオフォーマット(フォーマットB、ターゲットフォーマット)におけるビデオデータが得られる。このような方法では、ベクトルは、1つの既知のビデオフォーマット(ソースフォーマット)における既知のデータに基づいたブロック又はオブジェクトに対し、別のビデオフォーマット(ターゲットフォーマット)におけるそのブロック又はオブジェクトのデータを推定するために用いることが可能である。尚、像補間を用いて新しい画像が既知の画像から構成される(ピクチャ補間)が、インタレース解除を用いると、既知の画像は変更されないが走査線上のデータの分布が変更される。そのようなビデオ変換方法においてブロックに割り当てられたベクトルを使用することは、計算を単純化し、そして、例えば、データの圧縮を可能にする。更なる例は、立体ビデオ用のいわゆる「視差推定」であり、ここでは、2つの立体視野を表す2つの画像に基づいて、局所的深度が推定される。このような実施例では、ベクトルは、ブロック又はオブジェクトに帰属されることが可能であり、これらのベクトルは、既知の画像に基づいて、例えば、補間又はインタレース解除された画像、又は、立体画像ペアにおける3D効果による僅かにずれた画像といった更なる画像におけるそのブロックの位置又は他のパラメータを予測することを可能にする。
本発明のこれらの更なる可能な適用にも関わらず、本発明は、特に、「伝統的な」動きベクトル、即ち、続きの画像(又は一連の続きの画像)を構成するために多数の先行画像に基づいてブロック又はオブジェクトに対する動きベクトルの予測に有用である。
ブロック動きベクトルの使用は、一般的に有用な方策ではあるが、例えば、オブジェクトの境界の周りに又はオブジェクトがサブタイトルに重なる時にアーチファクトが現れる場合がある。
更に、ブロックマッチングアルゴリズムにおける重要なパラメータは、ブロックのサイズである。このパラメータは、推定されるベクトル場の分解能と画像におけるノイズ及び周期構造に対する推定器の感度の両方を決定する。結果として、最適なブロックサイズは、妥協である。小さいブロックサイズは、ノイズの多い動きベクトルと周期構造に対する高い感度をもたらす一方で、大きいブロックサイズは、不十分なベクトル分解能をもたらす。不十分なベクトル分解能は、オブジェクト境界が粗くしか近似することのできないベクトル場をもたらし、結果として、これらの動きベクトルを使用する適用においてブロッキングアーチファクトをもたらしてしまう。
本発明は、冒頭段落に記載したタイプの改善された方法及び装置並びにコンピュータプログラムプロダクトを提供することを目的とする。
このために、本発明の方法は、ブロック又はオブジェクトに対して、画素は、該画素の情報との分割基準の比較に応じて2つ以上のグループに分割され、ブロック又はオブジェクトにおける各グループに対して、動きベクトルが決定され、それぞれの動きベクトルは、ブロックに割り当てられ、ブロックにおけるそれぞれのグループの画素に適用されることを特徴とする。
本発明の概念では、グループ又はブロックは、グループにおける画素の情報と分割基準との比較に基づいて2つ以上のグループに分割される。その結果、画素のグループとブロックとの関係、即ち、どの画素がブロックにおけるどのグループに属するのかということが、比較から分かる。即ち、その関係は、例えば、ブロックが多数の等しい部分に分割される場合のように固定されないことが分かる。ブロックが多数の等しい部分に分割されるということは、単に、ブロックサイズが減少され、即ち、より小さいブロックが使用されることを意味する。本発明の概念では、ブロックは、分割基準と画素の情報との比較に基づいてグループに分割される。
本発明の方法は、より良好なベクトル分解能を達成しつつも、より大きいブロックサイズが使用されることを可能にする。実験においてアーチファクトが低減されたことも示されている。
分離基準は、画素の情報内容に関係のない単純な基準であり得る。そのような単純な基準の例は、固定閾値輝度である。例えば、各ブロックを、最大輝度値の特定のパーセンテージ(例えば50パーセント)より下の輝度値を有する画素を有する第1のグループと、閾値より上の輝度値を有する画素を有する第2のグループの2つのグループに分割する。
しかし、分割基準は、ブロックにおける画素の情報内容に基づくことが好適である。そのような基準の例は、例えば、平均輝度又は平均色点の周りの色点領域である基準で、ブロックを2つ以上のグループに分割することである。このような分割基準は、より良好な結果をもたらすので好適である。というのは、その輝度レベルに関係なく全ての領域に1つ以上のベクトルを割り当てる可能性をもたらすからである。
好適な実施例では、ブロック又はオブジェクトは、4以下、好適には2つに分割される。本発明の最も広い概念では、ブロック又はオブジェクトは任意のグループ数に分割されてもよいが、小さいグループ数、4以下、及び好適には2つが好適である。多くの場合において、4つのグループより大きい数のグループ、更には、2つより大きい数のグループへの更なる分割は、ほんの僅かな改善か、又は、更にはよりノイズの多いベクトル推定をもたらし得るだけで、一方で方法を複雑にしてしまう。
好適な実施例では、分割基準は、ブロックにおける画素に対する平均輝度値である。これは、有用且つ単純な基準であることが証明されている。これは、平均輝度値、即ち、全ての輝度値と画素数の合計の商か、又は、メジアン輝度値、即ち、50パーセントの画素がその値より高い輝度値を有しまた50パーセントの画素がその輝度値以下の輝度値を有する輝度値であり得る。
好適な実施例では、比較が、ブロックを構成するグループに対し動きベクトルを推定した後、動きベクトル間で行われ、多数のグループの動きベクトル間の差分が、閾値未満である場合、平均動きベクトルが計算され、その多数のグループに帰属される。グループへの分割は、改善された方法を供給する。しかし、ブロックが多数のグループに分割される場合、同時にブロックは実際には1つのオブジェクトしか有さない場合(従って、1つの動きベクトルが適当なベクトルである)、ブロックを2つ以上のグループに分割することは、計算された動きベクトル間の差分は小さくなる。動きベクトルの計算は、通常、近似であり、また、有限数の画素について行われ、従って、許容誤差がある。計算された動きベクトル間の差分が閾値(例えば、動きベクトルの計算における許容誤差)より下である場合、その差分は、近似又は計算の不正確さが原因と考えられる。そのような場合、関連のグループに同じ動きベクトルを割り当て、見つけられた動きベクトルの平均を選択することが有用である。
本発明のこれらの及び他の面は、以下に記載する実施例から明らかでありまた実施例を参照しながら説明する。
図面は、縮尺は取られていない。一般的に、同一の構成要素は、図面中同じ参照番号によって示す。
図1A乃至1Cは、画像の又は画像内の様々な動き又は移動を非常に概略的に示す。
図1Aは、背景に対してオブジェクト(非常に単純化された鳥の像)が動く一連の画像が示す。一連の画像のうちの最初の2つの画像から動きベクトル(真ん中の画像における矢印)を定めることができ、この動きベクトルは、次の画像におけるオブジェクト(鳥)の位置を予測するために使用することが可能である。
図1Bは、カメラが鳥にズームインする動作を示す。ここでも一連の画像のうちの最初の2つの画像(又は、より一般的には、多数の先行画像)を用いて、各ブロック又はオブジェクトに対して、動きベクトル(より一般的には、移動ベクトルと呼ばれる)が、一連の画像における次の画像上でのそのオブジェクト又はブロックの位置を予測するよう割り当てられることが可能である。画像のブロック又はオブジェクトに対し、先行画像における情報に基づいて計算される動きベクトルが割当てられ、それにより、一連の画像における次の画像(この方法が、例えば、補間に用いられる場合は、多数の「中間」画像)におけるそのブロック又はオブジェクトの位置の予測がなされる。
図1Cは、カメラ動作を示し、カメラは画像に対して動く。ここでも一連の画像の最初の2つの画像(又は、より一般的には多数の先行画像)を用いて、各ブロック又はオブジェクトに対して、動きベクトル(より一般的には、移動ベクトルと呼ばれる)が、一連の画像における次の画像上でのそのオブジェクト又はブロックの位置を予測するよう割り当てられることが可能である。当然ながら、この場合では、このことは、新しい部分ではなく次のショットにおいて再度出現する画像の部分についても言えることである。水平線をざっと見渡すといった単純なカメラ動作についても、ブロック又はオブジェクトに対するベクトルは、例えば、カメラに対するそのオブジェクトの位置、例えば、オブジェクトは画像の前景又は背景にあるかといったことに依存して様々なオブジェクトに対して異なる場合もあることを述べておく。更に、オブジェクトは、カメラ位置が変更するに従って(カメラに対してオブジェクトの様々な部分が異なって位置付けられるので)変形する場合もある。
従って、本発明の概念では、「動きベクトル」は、例えば、単純な平行移動T(例えば、図1Aを参照するに、ベクトルの単純な加算が十分である)、回転R(回転行列を用いた行列乗算が十分である)、拡大(例えば、図1Bを参照するに、行列乗算)、若しくは変形(より複雑な行列が必要となる)、又はそのような平行移動、回転、拡大、及び/又は変形の任意の組み合わせといったようにオブジェクト又はブロックの任意の変換を予測するパラメータセットを示すとして広く解釈されるべきである。予測は、先行画像において入手可能な情報に基づいて後続画像におけるオブジェクト又はブロックの位置を予測するために用いることが可能である。
一般的に、ブロックマッチング動き推定器(BMA)が、画像における各画素ブロックに対する動きベクトルを、通常は、そのベクトルを、マッチング基準を最小限にする候補ベクトルセットから選択することによって計算するために使用される。このベクトルが、画像の関連のブロックに対する動きベクトルとなる。
米国特許第5,072,293号は、そのようなBMAを開示し、ここでは、3D近傍からの予測が、動きベクトル推定のための候補ベクトルとして使用される。候補動きベクトルのセットは、動きベクトルの空間(2D)予測及び時間(1D)予測の両方を有し、その最良のものが、各ブロックに対して再帰的に決定される。この技術は、現在の画像nにおけるブロックについての候補動きベクトルのセットにおける少なくとも1つの候補動きベクトルは、現在の画像n(空間予測)又は先行画像n−1(時間予測)における他のブロックの既に決定された動きベクトルに依存する点で再帰的である。
図2は、星の背景に対する回転する車輪を示す。星は固定位置を有するが、車輪は回転する。
(ブロックマッチング、又は任意の他のタイプの)動き推定器では、前の(又は次の、或いは両方の)画像のずれた部分を、現在の画像の固定部分とマッチングさせようとする。本発明を説明するために使用する例では、推定器は、例えば、マッチング基準として合計絶対差(Summed Absolute Difference SAD)を使用する。即ち、
Figure 2006521740
ただし、
Figure 2006521740
は、テスト下の候補ベクトルであり、ベクトル
Figure 2006521740
は、ブロック
Figure 2006521740
の位置を示し、
Figure 2006521740
は、輝度信号であり、nは、ピクチャ又は場の番号である。出力に結果としてもたらされる動きベクトル−1ブロック当たりに1ベクトル−は、最小のSAD値を与える候補ベクトルである。上述の動き推定器の品質は、候補ベクトルが生成される方法によって大きく決定される。本発明の開示では、この選択に関しては問わない。(適用に依存する)良好な結果は、フルサーチ、3段階サーチ、一度に一回のサーチ、又は3D再帰的サーチのブロックマッチャーを用いて実現することが可能である。更に可能なのは、いわゆる階層的動き推定器方法であり、この方法では、従来通りに最初は、比較的大きいブロック(例えば、32×32画素)に対して動きベクトルが推定され、その後にその大きいブロックは、小さいブロック(例えば16×16画素の4つのブロック)に切断され、大きいブロックの動きベクトルは、次の階層レベルに転送される、即ち、大きいブロックの動きベクトルは、小さいブロックに対する動きベクトルの計算のための開始点として使用される。本発明の方法は、階層的動き推定器方法に用いることが可能であり、2つの(又は、分割基準に依存してより多くの)動きベクトルが、次の階層レベルに転送される。
任意のそのようなブロックマッチング(又は任意のマッチング)アルゴリズムにおける重要なパラメータは、ブロックのサイズである。このパラメータは、推定されるベクトル場の分解能と、画像におけるノイズ及び周期構造に対する推定器の感度の両方を決定する。従って、最適なブロックサイズは妥協である。小さいブロックサイズは、ノイズの多い動きベクトルと周期構造に対する高い感度をもたらすが、大きいブロックは、不十分なベクトル分解能をもたらす。不十分なベクトル分解能は、オブジェクトの境界が粗くしか近似することのできないベクトル場をもたらし、結果として、これらの動きベクトルを使用する適用においてブロッキングアーチファクトをもたらす。
例えば、図2における点線の矩形によって概略的に示すように相対的に大きいブロック又はオブジェクトサイズが選択される場合、結果として得られる動きベクトルは、的はずれとなる。動きベクトルの計算(回転行列であり得る)が、車輪の真の回転の付近である場合、動きベクトルは、星に対しては間違っており、動きベクトルがゼロ付近であると分かる場合(星に対しては正しい)、予測される動きベクトルは、車輪に対して的はずれとなる。任意の平均値は、車輪及び星の両方に対して的はずれである。例えば、図2の下部分に概略的に示すより小さいブロックサイズを用いることによって、図の大部分について問題は低減されるが、予測動きベクトルに対する精度が低減する。それにも関わらず、例えば、矩形21により示す小さいブロックサイズについても、同じ問題が発生する。本発明は、これらの問題を解決する又は少なくとも低減することを目指す。
このために、マッチング基準が変更され、その変更されたマッチング基準に基づいて、1ブロック当たり1つ以上のベクトルが割り当てられる。
本発明の方法は、1ブロック又はオブジェクトに対し、画素は、画素の情報との分割基準の比較に応じて2つ以上のグループに分割され、そのブロック又はオブジェクトにおける各グループに対して動きベクトルが決定され、そして、それぞれの動きベクトルはブロックに割り当てられ、ブロックにおける各グループの画素に適用されることを特徴とする。基本的な見識は、1ブロック又はオブジェクトにおいて、動きベクトルのための最良の予測が異なる画素のグループがある場合、分割基準に画素の情報を比較することによって画素の情報に基づいてグループ間で分割を行うことが可能であり、その後、各グループに対し動きベクトルが決定され、それぞれの動きベクトルは各グループ内の画素に割り当てられる。
本発明を説明するために、本発明による1つの例示的な動き推定器を説明する。ここでは各ブロックは、2つの画素グループに分割され、推定器は、両方のグループに動きベクトル、即ち、1ブロック当たり2つのベクトルを割り当てる。
ブロック
Figure 2006521740
における画素の平均画素値は、以下の通りに定義し得る。即ち、
Figure 2006521740
ただし、Nは、ブロック
Figure 2006521740
における画素数である。ブロック
Figure 2006521740
は、この例では、例えば、オブジェクト、又は、例えば、n及びmが4乃至32の間であり、例えば、16×16であるサイズn×mの矩形における画素である。
次に、2つの画素グループ
Figure 2006521740
を定義し、これらは、共にブロック
Figure 2006521740
を形成する。即ち、
Figure 2006521740
即ち、平均輝度値より大きい輝度値を有するブロック
Figure 2006521740
における画素と、
Figure 2006521740
即ち、平均輝度値以下の輝度値を有する画素である。
提案する推定器では、次に、各グループ
Figure 2006521740
に対し、動きベクトルDがグループGにおける画素に対するSADを最小限にする候補ベクトルであるよう動きベクトルD及びDが計算される。即ち、
Figure 2006521740
また、動きベクトルDは、グループGにおける画素に対するSADを最小限にする候補ベクトルである。即ち、
Figure 2006521740
動きベクトルD及びDは共に、ベクトル場が、画像における各ブロックに対し2つの動きベクトルを結果的に生じるようブロック
Figure 2006521740
に割り当てられる。より正確には、ブロックにおける平均輝度より大きい輝度値を有する画素については、動きベクトルDを適用し、その他の画素については、動きベクトルDを適用する。所与の例では、例えば、平均輝度値が、分割基準として使用される。そのような平均輝度値に基づいた2つのグループへの単純な分割でさえも、2つのグループを形成し、1つのグループは、星といった輝度の低い画素を主に有し、もう1つのグループは、車輪に関連付けられる画素を主に有する。従って、2つの予測される動きベクトルは、車輪及び星の正しい値に近く、様々なグループに割り当てられて、より良好な結果を与える。1つの違う分割基準は、メジアン輝度値であり得、これも良好な結果をもたらし得る。
メジアン輝度値の使用は、グループは常に50パーセントの画素、従って、統計的に相対的に大きい数の画素を有するという利点を有する。ブロックをより多くのグループに分割することは全く可能であり、これらのグループは、等しいサイズである必要はない。この例では、例えば、0.5平均輝度値より小さい輝度値を有する1つのグループ、0.5乃至1.5平均輝度値の画素のための1つのグループ、1.5平均輝度値より高い輝度値のための1つのグループである3つのグループへの分割が、特定の条件下で良好な結果を与え得る。
図3は、本発明の例示的な方法の様々な段階をフローチャートによって示す。第1の段階31では、ブロックB(X)における画素の輝度値に関する情報が得られる。この後に段階32が続き、段階32では、例えば、平均画素値である分割基準が決定される。又は、分割基準が既知である場合には、例えば、平均輝度値である分割基準の値が計算される。この後に段階33が続き、段階33では、ブロックB(X)におけるグループが決定される。即ち、分割基準に対して画素の情報を比較することによってどの画素がどのグループに属するのか計算される。例えば、ここでの例では、画素の輝度値と平均輝度値との差の符号に基づいて1つのグループ又はもう1つのグループに画素が属するかを決定する。この後に段階34が続き、段階34では、各グループ(ここでの例では、2つのグループ)に対し、動きベクトルが決定される。動きベクトルの決定には、任意の周知の決定方法を本発明において用い得る。(適用に依存する)良好な結果は、フルサーチ、3段階サーチ、一度に一回のサーチ、又は3D再帰的サーチのブロックマッチャーを用いて達成可能である。動きベクトルが決定される段階の後に任意選択的に段階35が続く。段階35では、動きベクトル間の差分が閾値と比較され、その差分が閾値未満の場合、平均動きベクトルが両方のグループに用いられる。最後に、段階36において、ベクトル場が、2つの動きベクトルを生じるよう動きベクトルをブロックB(X)に割当て、画素にベクトル場のうちの1つを適用する(DをグループGに、DをグループGに)。
本発明は更に、一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定する決定器を有するディスプレイ装置に係り、この装置は、決定器は、画素のブロック又はオブジェクトを、画素の情報との分割基準の比較に応じて2つ以上のグループに分割する分割器を有し、決定器は次に、ブロック又はオブジェクトにおける各グループに対し動きベクトルを決定し、決定器は、それぞれの動きベクトルを、ブロックにおけるそれぞれのグループの画素への適用のためにブロックに割当てする割当て器を有することを特徴とする。
本発明は更に、その最大限の意味における、並びに任意の実施例、特に好適な実施例における本発明の方法に従って一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定するソフトウェアコード部分を有するコンピュータプログラムプロダクトに係る。
本発明の概念では、「決定器」、「分割器」、「割当て器」は広義に理解されるべきであり、また、例えば、任意のハードウェア部品(例えば、決定器、分割器、割当て器)、上述したような決定、分割、及び割当てを行うよう設計される任意の回路又は下位回路、並びに、決定、分割、割当てを行うよう設計又はプログラムされる任意のソフトウェア部品(コンピュータプログラム又はサブプログラム、又はコンピュータプログラムのセット、又はプログラムコード)、並びに、以下に与える例示的な実施例に制限されることなく単独又は組み合わせで作動するハードウェア部品及びソフトウェア部分の任意の組み合わせを有するものである。
当業者は、本発明は、上記に示す及び説明したものに制限されるものではないことを理解するものとする。本発明は、各新規の特徴と、その特徴の各組み合わせにある。請求項における参照番号は、その保護範囲を制限するものではない。「有する」及びその活用形の使用は、請求項に記載する素子以外の素子の存在を排除するものではない。単数形で示す素子の使用は、その素子が複数存在することを排除するものではない。
本発明は、特定の実施例に関して説明した。この実施例は本発明を例示するものであって制限すると解釈すべきではない。本発明は、ハードウェア、ファームウェア、又はソフトウェア、或いは、それらの組み合わせにおいて実施されてもよい。他の実施例も以下の請求項の範囲内である。
A乃至Cは、動き又は移動の様々なタイプを示す様々な一連の画像を示す図である。 背景に対する回転車輪を示す図である。 本発明の例示的な方法における様々な段階をフローチャートによって示す図である。

Claims (9)

  1. 一連の画像から取られる画像のブロック又はオブジェクトの画像データから動きベクトルを決定する方法であって、
    ブロック又はオブジェクトに対して、画素は、該画素の情報との分割基準の比較に応じて2つ以上のグループに分割され、
    前記ブロック又は前記オブジェクトにおける各グループに対して、動きベクトルが決定され、
    それぞれの動きベクトルは、前記ブロックに割り当てられ、前記ブロックにおけるそれぞれのグループの前記画素に適用されることを特徴とする方法。
  2. 1ブロック当たりのグループ数は、4以下であることを特徴とする請求項1記載の方法。
  3. 1ブロック当たりのグループ数は、2であることを特徴とする請求項1記載の方法。
  4. 前記分割基準は、前記ブロックにおける前記画素の前記情報の内容に基づいて決定されることを特徴とする請求項1記載の方法。
  5. 前記分割基準は、前記グループにおける前記画素の平均輝度値であることを特徴とする請求項4記載の方法。
  6. 前記分割基準は、前記グループにおける前記画素のメジアン輝度値であることを特徴とする請求項4記載の方法。
  7. 様々なグループに対して決定される動きベクトル間の差分が閾値と比較され、
    前記差分が前記閾値より小さい場合は、それぞれの動きベクトルは、前記動きベクトルの組み合わせによって取って代わられることを特徴とする請求項1記載の方法。
  8. 一連の画像から取られる画像のブロック又はオブジェクトに対し動きベクトルを決定する決定器を有するディスプレイ装置であって、
    前記決定器は、画素のブロック又はオブジェクトを、該画素の情報との分割基準の比較に応じて2つ以上のグループに分割する分割器を有し、
    前記決定器は次に、前記ブロック又は前記オブジェクトにおける各グループに対し動きベクトルを決定し、
    前記決定器は、前記ブロックにおけるそれぞれのグループの前記画素への適用のためにそれぞれの動きベクトルを前記ブロックに割当てする割当て器を有することを特徴とするディスプレイ装置。
  9. コンピュータ上で実行された場合に請求項1の段階を実行するソフトウェアコード部分を有する、デジタルコンピュータの内部メモリ内に直接ロード可能なコンピュータプログラム。
JP2006506694A 2003-03-14 2004-03-11 動きベクトル決定方法 Pending JP2006521740A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03100649 2003-03-14
PCT/IB2004/050233 WO2004082294A1 (en) 2003-03-14 2004-03-11 Method for motion vector determination

Publications (1)

Publication Number Publication Date
JP2006521740A true JP2006521740A (ja) 2006-09-21

Family

ID=32981927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006506694A Pending JP2006521740A (ja) 2003-03-14 2004-03-11 動きベクトル決定方法

Country Status (5)

Country Link
EP (1) EP1606952A1 (ja)
JP (1) JP2006521740A (ja)
KR (1) KR20050108397A (ja)
CN (1) CN1762160A (ja)
WO (1) WO2004082294A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012129791A (ja) * 2010-12-15 2012-07-05 Hitachi Kokusai Electric Inc 画像符号化装置
JP2016092804A (ja) * 2014-11-11 2016-05-23 日本電信電話株式会社 動画像符号化装置、動画像復号装置及びコンピュータプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0500174D0 (en) 2005-01-06 2005-02-16 Kokaram Anil Method for estimating motion and occlusion
CN102215417A (zh) * 2011-05-04 2011-10-12 山东大学 一种基于块匹配建立数学模型的视差预测方法
US9510018B2 (en) 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
KR101939628B1 (ko) 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
CN104427345B (zh) * 2013-09-11 2019-01-08 华为技术有限公司 运动矢量的获取方法、获取装置、视频编解码器及其方法
US10554965B2 (en) 2014-08-18 2020-02-04 Google Llc Motion-compensated partitioning
US10397600B1 (en) 2016-01-29 2019-08-27 Google Llc Dynamic reference motion vector coding mode
US10462457B2 (en) 2016-01-29 2019-10-29 Google Llc Dynamic reference motion vector coding mode

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69423166T2 (de) * 1993-09-08 2000-07-06 Thomson Consumer Electronics Verfahren und Vorrichtung zur Bewegungsauswertung mit Blockübereinstimmung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012129791A (ja) * 2010-12-15 2012-07-05 Hitachi Kokusai Electric Inc 画像符号化装置
JP2016092804A (ja) * 2014-11-11 2016-05-23 日本電信電話株式会社 動画像符号化装置、動画像復号装置及びコンピュータプログラム

Also Published As

Publication number Publication date
EP1606952A1 (en) 2005-12-21
CN1762160A (zh) 2006-04-19
KR20050108397A (ko) 2005-11-16
WO2004082294A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
US11539976B2 (en) Motion estimation using collocated blocks
JP4242656B2 (ja) 動きベクトル予測方法及び動きベクトル予測装置
KR100870278B1 (ko) 보간 프레임 작성 장치
KR100582856B1 (ko) 움직임 추정 및 움직임 보상된 보간법
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
EP1549047B1 (en) Robust camera pan vector estimation using iterative center of mass
JP2005287048A (ja) 画像境界における動きベクトル検出の改良
KR101217627B1 (ko) 블록 기반의 움직임 추정 방법 및 장치
US20050180506A1 (en) Unit for and method of estimating a current motion vector
US20060098886A1 (en) Efficient predictive image parameter estimation
JP2006516062A (ja) ディジタル画像の奥行き順序付けを行う方法及び装置
US20080144716A1 (en) Method For Motion Vector Determination
JP2006521740A (ja) 動きベクトル決定方法
JP2001520781A (ja) 動き又はデプス推定
US7881500B2 (en) Motion estimation with video mode detection
KR100969420B1 (ko) 프레임 레이트 변환 방법
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JP2004533073A (ja) 特徴点選択
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP4250598B2 (ja) 動き補償型ip変換処理装置及び動き補償型ip変換処理方法
US9497482B2 (en) Methods for comparing a target block to a reference window for motion estimation during video encoding
KR970003099B1 (ko) 커버/언커버된 영역을 고려한 이동벡터 추정장치
KR20060012634A (ko) 에지 오리엔테이션 추정
JP2009232163A (ja) 補間フレーム作成装置、補間フレーム作成方法及び補間フレーム作成プログラム