JP2002542737A - 動きの推定 - Google Patents
動きの推定Info
- Publication number
- JP2002542737A JP2002542737A JP2000613195A JP2000613195A JP2002542737A JP 2002542737 A JP2002542737 A JP 2002542737A JP 2000613195 A JP2000613195 A JP 2000613195A JP 2000613195 A JP2000613195 A JP 2000613195A JP 2002542737 A JP2002542737 A JP 2002542737A
- Authority
- JP
- Japan
- Prior art keywords
- sum
- pixel
- horizontal
- pixel array
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Abstract
(57)【要約】
現在符号化されるピクチャ中の第１のピクセルアレイと参照ピクチャの探索領域中の複数の第２のピクセルアレイの間で最適なマッチを決定する方法であって、第１及び第２のピクチャアレイは、夫々複数の行及び列の個々のピクセル値を有する。この方法は、ディジタルビデオエンコーダの動き推定探索エンジンにおいて実施されるべきよう設計され、第１のピクセルアレイの行の個々のピクセル値を表わす一組の水平方向の和（Ｓ１Ｈ乃至Ｓ１６Ｈ）及び第１ピクセルアレイの列の個々のピクセル値を表わす一組の垂直方向の和（Ｓ１Ｖ乃至Ｓ１ ６Ｖ）から構成される第１のピクセルアレイ（Ｍ１）の第１の直交和サインを発生する段階と、第２のピクセルアレイの行の個々のピクセル値の和を表わす一組の水平方向の和（Ｓ１Ｈ乃至Ｓ１６Ｈ）及び第２のピクセルアレイの列の個々のピクセル値の和を表わす一組の垂直方向の和（Ｓ１Ｖ乃至Ｓ１６Ｖ）から構成され、複数の第２のピクセルアレイの少なくとも選択されたピクセルアレイに対して発生される複数の第２の直交和サインを発生する段階とを有する。
Description
【０００１】 一般的に、ＭＰＥＧビデオデータストリームの符号化は、幾つかの段階を必要
とする。これらの段階のうちの第１の段階は、各ピクチャをマクロブロックに区
分化することから成る。次に、理論上は、ＭＰＥＧビデオデータストリーム中の
各「ノンイントラ」ピクチャの各マクロブロックは、アンカーピクチャにおける
最新のマクロブロックの対応する場所の特定の垂直方向及び水平方向の探索範囲
内中の全ての可能な１６×１６のピクセルアレイと比較される。この理論的な「
フルサーチアルゴリズム」（即ち、最適なマッチのために探索領域中の全ての可
能なブロックを探索すること）は、常に最適なマッチを発生させるが、必要とな
る大量の計算、例えば、ブロック寸法がＮ×Ｎ、及び、探索領域が（Ｎ＋２Ｗ）
×（Ｎ＋２Ｗ）に対してひずみ関数ＭＡＥは、各ブロックに対して（２Ｗ＋１） ２ 回計算されなくてはならず、これは、大量計算であるため、現実的な適用法で
は殆ど使用されない。むしろ、はるかに早く且つはるかに少ない計算で実行され
得る様々なより実用的な動き推定アルゴリズムの比較を可能にするための基準又
はベンチマークとしてだけ使用される。これらより実用的な動き推定アルゴリズ
ムは、一般的に「高速探索アルゴリズム」と称される。
とする。これらの段階のうちの第１の段階は、各ピクチャをマクロブロックに区
分化することから成る。次に、理論上は、ＭＰＥＧビデオデータストリーム中の
各「ノンイントラ」ピクチャの各マクロブロックは、アンカーピクチャにおける
最新のマクロブロックの対応する場所の特定の垂直方向及び水平方向の探索範囲
内中の全ての可能な１６×１６のピクセルアレイと比較される。この理論的な「
フルサーチアルゴリズム」（即ち、最適なマッチのために探索領域中の全ての可
能なブロックを探索すること）は、常に最適なマッチを発生させるが、必要とな
る大量の計算、例えば、ブロック寸法がＮ×Ｎ、及び、探索領域が（Ｎ＋２Ｗ）
×（Ｎ＋２Ｗ）に対してひずみ関数ＭＡＥは、各ブロックに対して（２Ｗ＋１） ２ 回計算されなくてはならず、これは、大量計算であるため、現実的な適用法で
は殆ど使用されない。むしろ、はるかに早く且つはるかに少ない計算で実行され
得る様々なより実用的な動き推定アルゴリズムの比較を可能にするための基準又
はベンチマークとしてだけ使用される。これらより実用的な動き推定アルゴリズ
ムは、一般的に「高速探索アルゴリズム」と称される。
【０００２】 所与の予測モードに対する前述の探索又は「動き推定」手順は、結果として（
特定のマッチング基準に従って）特定の探索範囲内のアンカーピクチャ中の最も
近傍にあるマッチングマクロブロックの位置に対応する動ベクトルを生じさせる
。一旦予測モード及び動ベクトルが決定されると、最も近傍にあるマクロブロッ
クのピクセル値は、最新のマクロブロックの対応するピクセルから減算され、結
果として生じる差ピクセルの１６×１６アレイは、８×８「ブロック」に変換さ
れ、これらブロックには夫々離散コサイン変換（ＤＣＴ）が実施され、この結果
となる変換係数は、ＭＰＥＧビットストリームを生成するために夫々量子化され
、（予測タイプ、動ベクトル、及び、マクロブロックに関係する他の情報のよう
に）ハフマン符号化される。アンカーピクチャ中で充分なマクロブロックマッチ
が検出されない場合、又は、最新のピクチャがイントラ、即ち、「Ｉ−」ピクチ
ャである場合、上記手順は、最新のマクロブロックの実際のピクセルに対して実
施され（即ち、全ての他のピクチャ中のピクセルに対して差がなく）、マクロブ
ロックは、「イントラ」マクロブロックとして明示される。
特定のマッチング基準に従って）特定の探索範囲内のアンカーピクチャ中の最も
近傍にあるマッチングマクロブロックの位置に対応する動ベクトルを生じさせる
。一旦予測モード及び動ベクトルが決定されると、最も近傍にあるマクロブロッ
クのピクセル値は、最新のマクロブロックの対応するピクセルから減算され、結
果として生じる差ピクセルの１６×１６アレイは、８×８「ブロック」に変換さ
れ、これらブロックには夫々離散コサイン変換（ＤＣＴ）が実施され、この結果
となる変換係数は、ＭＰＥＧビットストリームを生成するために夫々量子化され
、（予測タイプ、動ベクトル、及び、マクロブロックに関係する他の情報のよう
に）ハフマン符号化される。アンカーピクチャ中で充分なマクロブロックマッチ
が検出されない場合、又は、最新のピクチャがイントラ、即ち、「Ｉ−」ピクチ
ャである場合、上記手順は、最新のマクロブロックの実際のピクセルに対して実
施され（即ち、全ての他のピクチャ中のピクセルに対して差がなく）、マクロブ
ロックは、「イントラ」マクロブロックとして明示される。
【０００３】 ＭＰＥＧ−２予測モードに対して、動き推定の基本的な技法は、最新のマクロ
ブロックをアンカーピクチャ中の所与の１６×１６ピクセルアレイと比較し、特
定のメトリックに従ってマッチの質を推定し、この手順を探索範囲内にある全て
の同様の１６×１６ピクセルアレイに対して繰り返すことから成る。この探索を
実施するハードウェア又はソフトウェア装置は、通常「探索エンジン」と称され
、マッチの質を決定するために幾つかの周知の基準が存在する。これら最も周知
の基準の中でも、マッチするアンカーピクチャのマクロブロックに対応するピク
セルがあるマクロブロック中の２５６ピクセル夫々の差の絶対値の和からメトリ
ックが成るMinimum Absolute Error（ＭＡＥ）と、上記ピクセル差の二乗の和
からメトリックが成るMinimum Square Error（ＭＳＥ）とである。夫々の場合
において、対応する和の最小値を有するマッチが特定の探索範囲内の最適なマッ
チとして選択され、従って、最新のマクロブロックに対するその水平方向及び垂
直方向の位置は、動ベクトルを構成する。にもかからわず結果として生じる最小
和が大きい場合、適切なマッチが最新のマクロブロックに対して存在せず、イン
トラマクロブロックとして符号化される。本発明の目的のため、上記２つの基準
のいずれか、又は、全ての他の適切な基準が使用され得る。
ブロックをアンカーピクチャ中の所与の１６×１６ピクセルアレイと比較し、特
定のメトリックに従ってマッチの質を推定し、この手順を探索範囲内にある全て
の同様の１６×１６ピクセルアレイに対して繰り返すことから成る。この探索を
実施するハードウェア又はソフトウェア装置は、通常「探索エンジン」と称され
、マッチの質を決定するために幾つかの周知の基準が存在する。これら最も周知
の基準の中でも、マッチするアンカーピクチャのマクロブロックに対応するピク
セルがあるマクロブロック中の２５６ピクセル夫々の差の絶対値の和からメトリ
ックが成るMinimum Absolute Error（ＭＡＥ）と、上記ピクセル差の二乗の和
からメトリックが成るMinimum Square Error（ＭＳＥ）とである。夫々の場合
において、対応する和の最小値を有するマッチが特定の探索範囲内の最適なマッ
チとして選択され、従って、最新のマクロブロックに対するその水平方向及び垂
直方向の位置は、動ベクトルを構成する。にもかからわず結果として生じる最小
和が大きい場合、適切なマッチが最新のマクロブロックに対して存在せず、イン
トラマクロブロックとして符号化される。本発明の目的のため、上記２つの基準
のいずれか、又は、全ての他の適切な基準が使用され得る。
【０００４】 様々な高速探索アルゴリズムは、探索領域内の動ベクトル候補の所定のサブセ
ットにおいてだけひずみ関数（例えば、ＭＡＥ関数）を評価し、それによって、
計算の努力を全体的に減少させる。これらのアルゴリズムは、ひずみ関数が最適
なマッチ予測の方向に単調に減少するといった仮定に基づく。この仮定は、必ず
しも常に真実ではないが、より少ない計算で最適下限の動ベクトルを見つけ得る
。
ットにおいてだけひずみ関数（例えば、ＭＡＥ関数）を評価し、それによって、
計算の努力を全体的に減少させる。これらのアルゴリズムは、ひずみ関数が最適
なマッチ予測の方向に単調に減少するといった仮定に基づく。この仮定は、必ず
しも常に真実ではないが、より少ない計算で最適下限の動ベクトルを見つけ得る
。
【０００５】 動き推定に対して最も一般に使用されるアプローチは、通常に幾つかの処理段
階分割されるハイブリッド方式である。第１に、画像は、ピクセル平均化によっ
て間引きされ得る。次に、より少数のピクセルに対して動作される高速探索アル
ゴリズムが実施され、最適マッチに近い結果を生じる。次に、得られた動ベクト
ルの回りのより小さい探索領域における高速探索アルゴリズムが実施されｒ。（
ＭＰＥＧ−２のように）半ピクセルベクトルが要求される場合、別の段階又は制
限されたフルサーチと組み合わさって半ピクセル探索が実施される。
階分割されるハイブリッド方式である。第１に、画像は、ピクセル平均化によっ
て間引きされ得る。次に、より少数のピクセルに対して動作される高速探索アル
ゴリズムが実施され、最適マッチに近い結果を生じる。次に、得られた動ベクト
ルの回りのより小さい探索領域における高速探索アルゴリズムが実施されｒ。（
ＭＰＥＧ−２のように）半ピクセルベクトルが要求される場合、別の段階又は制
限されたフルサーチと組み合わさって半ピクセル探索が実施される。
【０００６】 動き推定に対するハイブリッド方式において実現され得る大きい節約でも、Ｍ
ＡＥを計算する各反復に対して大量の計算がまだ実施されなくてはならない。動
きブロック寸法が１６×１６であるＭＰＥＧ−２ＨＤＴＶのような要求の厳しい
適用法において望ましい全てのブロックオフセットに対して各クロックサイクル
毎にひずみ関数が計算されなくてはならないことを仮定して、ひずみ関数計算の
ユニット（ＤＦＣＵ）は、ＭＡＥを発生させるために８（８−ビット輝度データ
が動き推定のために使用される）から始まってビット幅を増加させるより幾つか
の簡単な回路から成る。この回路の数は、２５６の減算回路と、２５６の絶対値
計算回路と、ビット幅を増加させる２５５の加算回路との和に等しい、即ち、８
から始まってビット幅を増加させるのに１ＤＦＣＵ当たり、合計で７５７回路で
ある。
ＡＥを計算する各反復に対して大量の計算がまだ実施されなくてはならない。動
きブロック寸法が１６×１６であるＭＰＥＧ−２ＨＤＴＶのような要求の厳しい
適用法において望ましい全てのブロックオフセットに対して各クロックサイクル
毎にひずみ関数が計算されなくてはならないことを仮定して、ひずみ関数計算の
ユニット（ＤＦＣＵ）は、ＭＡＥを発生させるために８（８−ビット輝度データ
が動き推定のために使用される）から始まってビット幅を増加させるより幾つか
の簡単な回路から成る。この回路の数は、２５６の減算回路と、２５６の絶対値
計算回路と、ビット幅を増加させる２５５の加算回路との和に等しい、即ち、８
から始まってビット幅を増加させるのに１ＤＦＣＵ当たり、合計で７５７回路で
ある。
【０００７】 ピクチャ解像度に依存して、これら非常に複雑なユニっ路の数は、実質的なシ
ステムに対して要求される。ハードウェアを再使用するためにＤＦＣＵ内でより
少数の回路を使用することが可能であるが、実質的に処理時間を増加させ、ＨＤ
ＴＶのような要求の厳しい適用法において受け入れられ得ない。この場合、ＤＦ
ＣＵの数は、高められた平行処理によって補償するために単に増加されなくては
ならない。
ステムに対して要求される。ハードウェアを再使用するためにＤＦＣＵ内でより
少数の回路を使用することが可能であるが、実質的に処理時間を増加させ、ＨＤ
ＴＶのような要求の厳しい適用法において受け入れられ得ない。この場合、ＤＦ
ＣＵの数は、高められた平行処理によって補償するために単に増加されなくては
ならない。
【０００８】 動き推定（粗い探索）に対するハイブリッド方式における第１の段階は、適度
に正確なマッチを発生させるために最大の探索領域を覆わなくてはならないため
、ハードウェアの利用に関して通常、最も要求の厳しい段階である。
に正確なマッチを発生させるために最大の探索領域を覆わなくてはならないため
、ハードウェアの利用に関して通常、最も要求の厳しい段階である。
【０００９】 上記及び前述に基づいて、技術では動き推定が実施され得る速度を高め、動き
推定又は動き推定を実施するのに要求されるＤＦＣＵハードウェアの量及び複雑
性を減少し、適度な費用で著しいピクチャの質の改善を提供する動き推定のため
の方法の必要性がある。独立項に記載される本発明は、技術においてこの必要性
を満たす。
推定又は動き推定を実施するのに要求されるＤＦＣＵハードウェアの量及び複雑
性を減少し、適度な費用で著しいピクチャの質の改善を提供する動き推定のため
の方法の必要性がある。独立項に記載される本発明は、技術においてこの必要性
を満たす。
【００１０】 全体的にみると、本発明の方法は、最新のマクロブロック及び探索領域におい
て並べておかれたピクセルの個々の輝度値を比較する代わりに独自のマクロブロ
ックサインを比較することで最適マッチを探索する。この方法は、全ての高速探
索アルゴリズムが基づく仮定と同じ仮定に基づき、即ち、ひずみ尺度は、最適マ
ッチ予測の方向において単調に減少される。
て並べておかれたピクセルの個々の輝度値を比較する代わりに独自のマクロブロ
ックサインを比較することで最適マッチを探索する。この方法は、全ての高速探
索アルゴリズムが基づく仮定と同じ仮定に基づき、即ち、ひずみ尺度は、最適マ
ッチ予測の方向において単調に減少される。
【００１１】 本発明は、現在符号化されるピクチャにおける第１のピクセルアレイと参照ピ
クチャの探索領域における複数の第２のピクセルアレイの間で最適なマッチを決
定する方法を含み、第１及び第２のピクセルアレイは、夫々複数の行及び列の個
々のピクセル値を含む。この方法は、ディジタルビデオエンコーダの動き推定探
索エンジンにおいて実施されるよう設計され、第１のピクセルアレイの行の個々
のピクセル値の和を表わす一組の水平方向の和及び第１のピクセルアレイの列の
個々のピクセル値の和を表わす一組の垂直方向の和から構成される、第１のピク
セルアレイの第１の直交和サインを発生する段階と、第２のピクセルアレイの行
の個々のピクセル値の和を表わす一組の水平方向の和及び第２のピクセルアレイ
の列の個々のピクセル値の和を表わす一組の垂直方向の和から構成され、複数の
第２のピクセルアレイの少なくとも選択されたピクセルアレイに対して発生され
る複数の第２の直交和サインを発生する段階と、第１のピクセルアレイと第２の
ピクセルの間で最適なマッチを決定するために第１の直交和サインと第２の直交
和サインを比較する段階とを有する。説明する実施例では、第１及び第２のピク
セルアレイは、ＭＰＥＧ規格、例えば、ＭＰＥＧ−２規格によって定義される構
造を有する間引きされた又は間引きされていないマクロブロックである。
クチャの探索領域における複数の第２のピクセルアレイの間で最適なマッチを決
定する方法を含み、第１及び第２のピクセルアレイは、夫々複数の行及び列の個
々のピクセル値を含む。この方法は、ディジタルビデオエンコーダの動き推定探
索エンジンにおいて実施されるよう設計され、第１のピクセルアレイの行の個々
のピクセル値の和を表わす一組の水平方向の和及び第１のピクセルアレイの列の
個々のピクセル値の和を表わす一組の垂直方向の和から構成される、第１のピク
セルアレイの第１の直交和サインを発生する段階と、第２のピクセルアレイの行
の個々のピクセル値の和を表わす一組の水平方向の和及び第２のピクセルアレイ
の列の個々のピクセル値の和を表わす一組の垂直方向の和から構成され、複数の
第２のピクセルアレイの少なくとも選択されたピクセルアレイに対して発生され
る複数の第２の直交和サインを発生する段階と、第１のピクセルアレイと第２の
ピクセルの間で最適なマッチを決定するために第１の直交和サインと第２の直交
和サインを比較する段階とを有する。説明する実施例では、第１及び第２のピク
セルアレイは、ＭＰＥＧ規格、例えば、ＭＰＥＧ−２規格によって定義される構
造を有する間引きされた又は間引きされていないマクロブロックである。
【００１２】 本発明は、例えば、ディジタルビデオエンコーダの動き推定探索エンジンのよ
うな本発明の方法を実行する装置も含む。
うな本発明の方法を実行する装置も含む。
【００１３】 好ましい実施例では、本発明の方法及び装置は、計算の要求を大きく減少させ
、直交和を発生させるために局部メモリ中に記憶し前に計算された（利用可能な
）和を広範囲に再使用することで動き推定探索を著しく加速し、それによって、
動き推定探索エンジンのハードウェア要求を著しく減少する。更に、局部メモリ
は、現在利用できる技術で必要なようにシフトレジスタのマトリクスとして実行
されることに対して有利には、ＲＡＭ、例えば、ＤＲＡＭ又はＳＲＡＭでもよい
。しかしながら、これは、本発明の新しく現在好ましい特徴を構成するが、以下
により明らかになるように最も広義には、その一つの面において、この特徴は本
発明の重要な特徴の一つでもそれ自体が重要な特徴でもない。
、直交和を発生させるために局部メモリ中に記憶し前に計算された（利用可能な
）和を広範囲に再使用することで動き推定探索を著しく加速し、それによって、
動き推定探索エンジンのハードウェア要求を著しく減少する。更に、局部メモリ
は、現在利用できる技術で必要なようにシフトレジスタのマトリクスとして実行
されることに対して有利には、ＲＡＭ、例えば、ＤＲＡＭ又はＳＲＡＭでもよい
。しかしながら、これは、本発明の新しく現在好ましい特徴を構成するが、以下
により明らかになるように最も広義には、その一つの面において、この特徴は本
発明の重要な特徴の一つでもそれ自体が重要な特徴でもない。
【００１４】 本発明の上記及び他の目的、特徴、及び、利点は、添付図面と共に以下の詳細
な説明から容易に理解される。
な説明から容易に理解される。
【００１５】 全体的に、本発明の動き推定方法は、一般的に次の段階から成る。第１に、最
新のマクロブロックのコンテンツ独自の模様又は「サイン」を表わす一組の直交
和を発生させるために、その最新のマクロブロックの各行及び列の個々のピクセ
ル値が加算される。次に、そのマクロブロックの結果として生じる直交和サイン
は、基準又はアンカーピクチャの指定された探索領域中の各マクロブロック寸法
のピクセルアレイの対応する直交和サインと比較され、指定されたマッチング基
準又は探索メトリック、例えば、Minimum Absolute Error（MAE）ひずみ関数
に従って最適マッチのために探索が成される。異なるコンテンツを有するマクロ
ブロックが同じサインを有するといったことが統計的に起りそうもないため、誤
ったマッチの可能性は低い。更に、直交和がライン（行）又は列当たりの平均輝
度の大きさを表わすため、探索領域内におけるマクロブロックオリジンからの小
ステップなインクリメントは、帯域幅制限されたフィルタ処理されたビデオに対
して大きさにおける大きいジャンプを発生することができない。このため、直交
和の組をマッチさせることに基づいて計算されるひずみ尺度は、最適マッチ予測
の方向並びに従来技術の探索方法において単調に減少されるといえる。
新のマクロブロックのコンテンツ独自の模様又は「サイン」を表わす一組の直交
和を発生させるために、その最新のマクロブロックの各行及び列の個々のピクセ
ル値が加算される。次に、そのマクロブロックの結果として生じる直交和サイン
は、基準又はアンカーピクチャの指定された探索領域中の各マクロブロック寸法
のピクセルアレイの対応する直交和サインと比較され、指定されたマッチング基
準又は探索メトリック、例えば、Minimum Absolute Error（MAE）ひずみ関数
に従って最適マッチのために探索が成される。異なるコンテンツを有するマクロ
ブロックが同じサインを有するといったことが統計的に起りそうもないため、誤
ったマッチの可能性は低い。更に、直交和がライン（行）又は列当たりの平均輝
度の大きさを表わすため、探索領域内におけるマクロブロックオリジンからの小
ステップなインクリメントは、帯域幅制限されたフィルタ処理されたビデオに対
して大きさにおける大きいジャンプを発生することができない。このため、直交
和の組をマッチさせることに基づいて計算されるひずみ尺度は、最適マッチ予測
の方向並びに従来技術の探索方法において単調に減少されるといえる。
【００１６】 図１Ａ及び図１Ｂを参照して本発明の動き推定方法の特定の例を説明する。よ
り特定的には、図１Ａを参照するに、間引きされていない１６×１６のマクロブ
ロックＭ１の各行（１Ｈ乃至１６Ｈ）及び各列（１Ｖ乃至１６Ｖ）に対する個々
のピクセル（輝度）値が加算され、それにより、ひとまとめにして間引きされて
いない１６×１６のマクロブロックＭ１の直交和サインを構成する直交和Ｓ１Ｈ 乃至Ｓ１６Ｈ（水平方向の和）及びＳ１Ｖ乃至Ｓ１６Ｖ（垂直方向の和）の組を
発生させる。図１Ｂを参照するに、８×８のマクロブロックＭ１’の各行（１Ｈ
乃至８Ｈ）及び各列（１Ｖ乃至８Ｖ）に対する個々のピクセル（輝度）値が加算
され、それにより、ひとまとめにして、８×８のマクロブロックＭ１’の直交和
サインを構成する直交和Ｓ１Ｈ乃至Ｓ８Ｈ（水平方向の和）及びＳ１Ｖ乃至Ｓ８ Ｖ （垂直方向の和）の組を発生させる。８×８のマクロブロックＭ１’は、夫々
水平方向及び垂直方向に２：１に間引きされたクロブロックＭ１を構成する。
り特定的には、図１Ａを参照するに、間引きされていない１６×１６のマクロブ
ロックＭ１の各行（１Ｈ乃至１６Ｈ）及び各列（１Ｖ乃至１６Ｖ）に対する個々
のピクセル（輝度）値が加算され、それにより、ひとまとめにして間引きされて
いない１６×１６のマクロブロックＭ１の直交和サインを構成する直交和Ｓ１Ｈ 乃至Ｓ１６Ｈ（水平方向の和）及びＳ１Ｖ乃至Ｓ１６Ｖ（垂直方向の和）の組を
発生させる。図１Ｂを参照するに、８×８のマクロブロックＭ１’の各行（１Ｈ
乃至８Ｈ）及び各列（１Ｖ乃至８Ｖ）に対する個々のピクセル（輝度）値が加算
され、それにより、ひとまとめにして、８×８のマクロブロックＭ１’の直交和
サインを構成する直交和Ｓ１Ｈ乃至Ｓ８Ｈ（水平方向の和）及びＳ１Ｖ乃至Ｓ８ Ｖ （垂直方向の和）の組を発生させる。８×８のマクロブロックＭ１’は、夫々
水平方向及び垂直方向に２：１に間引きされたクロブロックＭ１を構成する。
【００１７】 図２を参照するに、本発明の動き推定方法は、次のように実施される。より特
定的には、最適マッチ推定手順は、基準又はアンカーピクチャ（探索領域マクロ
ブロックＳＡＭ）の特定された探索領域中の各マクロブロックの直交和サインと
最新の符号化マクロブロック（ＣＭ）の直交和サインを比較（マッチ推定ＭＥ）
し、次に特定のマッチング基準（探索メトリック）、例えば、ＭＡＥ，ＭＳＥ、
又は全ての他の適切なメトリックに従って最新のマクロブロックの直交和の組と
最高の相関度を有する基準（探索領域）マクロブロックを最適マッチ（ＢＭ）と
して選択する。図２の下半分は、直交和の組のメンバの大きさＭを示す。
定的には、最適マッチ推定手順は、基準又はアンカーピクチャ（探索領域マクロ
ブロックＳＡＭ）の特定された探索領域中の各マクロブロックの直交和サインと
最新の符号化マクロブロック（ＣＭ）の直交和サインを比較（マッチ推定ＭＥ）
し、次に特定のマッチング基準（探索メトリック）、例えば、ＭＡＥ，ＭＳＥ、
又は全ての他の適切なメトリックに従って最新のマクロブロックの直交和の組と
最高の相関度を有する基準（探索領域）マクロブロックを最適マッチ（ＢＭ）と
して選択する。図２の下半分は、直交和の組のメンバの大きさＭを示す。
【００１８】 ひずみ関数計算のユニット（ＤＦＣＵ）が非常に複雑なことにより、動き推定
探索は、通常少なくとも始めは、間引きされたビデオ（即ち、間引きされたマク
ロブロック）上で実施される。例えば、図１Ａに示す間引きされていないマクロ
ブロックに対して直交和の組を生成する場合、１６×１６のマクロブロックの直
交和サインを表わす和の数は、３２（２×１６）であり、図１Ｂに示す２：１に
間引きされたマクロブロックに対して直交和の組を生成する場合、８×８のマク
ロブロックの直交和サインを表わす和の数は、１６（２×８）に減少される。２
Ｎ数に対するひずみ関数を評価することは、Ｎ２数に対してひずみ関数が評価さ
れることを要求する既存の技法に対してＤＦＣＵ計算の要求を実質的に減少させ
る。例えば、図１Ａに示す間引きされていない１６×１６のマクロブロックの場
合、ひずみ関数は、８倍少ない数（２５６／３２）に対して評価され、図１Ｂに
示す間引きされた８×８のマクロブロックの場合、ひずみ関数は、４倍小さい数
（６４／１６）に対して評価されなくてはならない。
探索は、通常少なくとも始めは、間引きされたビデオ（即ち、間引きされたマク
ロブロック）上で実施される。例えば、図１Ａに示す間引きされていないマクロ
ブロックに対して直交和の組を生成する場合、１６×１６のマクロブロックの直
交和サインを表わす和の数は、３２（２×１６）であり、図１Ｂに示す２：１に
間引きされたマクロブロックに対して直交和の組を生成する場合、８×８のマク
ロブロックの直交和サインを表わす和の数は、１６（２×８）に減少される。２
Ｎ数に対するひずみ関数を評価することは、Ｎ２数に対してひずみ関数が評価さ
れることを要求する既存の技法に対してＤＦＣＵ計算の要求を実質的に減少させ
る。例えば、図１Ａに示す間引きされていない１６×１６のマクロブロックの場
合、ひずみ関数は、８倍少ない数（２５６／３２）に対して評価され、図１Ｂに
示す間引きされた８×８のマクロブロックの場合、ひずみ関数は、４倍小さい数
（６４／１６）に対して評価されなくてはならない。
【００１９】 上述の通り、ＤＦＣＵ計算の複雑性は、動き推定回路（探索エンジン）の費用
における主な要因である。しかしながら、本発明の動き推定方法がＤＦＣＵの費
用及び複雑性において目覚しい減少を提供するため、動き推定探索のために間引
きされていない又は低レベルの間引きされたビデオから始めることが明らかに実
質的となり、それによって動き推定探索の正確さ、及び、最終的にピクチャの質
を改善させる。これに関連して、本発明の動き推定方法は、動き推定の段の数を
実質的に減少させることを可能にするだけでなく、全ての排除された間引き段に
対して要求される特別なビデオフィルタ処理回路の排除を可能にする。このよう
なハードウェアの節約によって探索処理は、間引きされていないビデオから潜在
的に始められ得、手頃な費用で質を大きく改善させる。
における主な要因である。しかしながら、本発明の動き推定方法がＤＦＣＵの費
用及び複雑性において目覚しい減少を提供するため、動き推定探索のために間引
きされていない又は低レベルの間引きされたビデオから始めることが明らかに実
質的となり、それによって動き推定探索の正確さ、及び、最終的にピクチャの質
を改善させる。これに関連して、本発明の動き推定方法は、動き推定の段の数を
実質的に減少させることを可能にするだけでなく、全ての排除された間引き段に
対して要求される特別なビデオフィルタ処理回路の排除を可能にする。このよう
なハードウェアの節約によって探索処理は、間引きされていないビデオから潜在
的に始められ得、手頃な費用で質を大きく改善させる。
【００２０】 本発明の動き推定方法によって実現される別の利点は、非常に高められた動作
速度である。従来から、並べておかれた輝度の大きさを比較するために複数の段
の論理が要求され、単一のクロックサイクルで結果を得る可能性を略除外する。
このため、システムクロック周波数が実質的に減少されるかシステムがかなりの
論理リソースを利用してパイプライン処理されるかのいずれかが成されなくては
ならない。本発明の動き推定方法は、単一のクロックサイクルにおいて容易に実
現される直交和の同時計算、及び、これに後続する目覚しく減少されたＭＡＥ計
算を可能にする。
速度である。従来から、並べておかれた輝度の大きさを比較するために複数の段
の論理が要求され、単一のクロックサイクルで結果を得る可能性を略除外する。
このため、システムクロック周波数が実質的に減少されるかシステムがかなりの
論理リソースを利用してパイプライン処理されるかのいずれかが成されなくては
ならない。本発明の動き推定方法は、単一のクロックサイクルにおいて容易に実
現される直交和の同時計算、及び、これに後続する目覚しく減少されたＭＡＥ計
算を可能にする。
【００２１】 これらの利点に加えて、本発明は、異なるメモリにおいて生じるデータに実施
される計算間のクロスコミュニケーションを大幅に減少させる。これは、幾つか
のハードウェアアーキテクチャにおいて非常に有益となり得る、動き推定より前
に中間結果（直交和）を事前計算及び記憶することを可能にする。
される計算間のクロスコミュニケーションを大幅に減少させる。これは、幾つか
のハードウェアアーキテクチャにおいて非常に有益となり得る、動き推定より前
に中間結果（直交和）を事前計算及び記憶することを可能にする。
【００２２】 図３を参照して本発明の好ましい実施の基本的な原理を説明する。より特定的
には、水平方向（直交）和（ＯＳＯＬＤ）が水平方向探索の先行する反復中に予
め計算された先行する８ピクセル幅のマクロブロックに関して右に１ピクセルだ
け移動された８ピクセル幅のマクロブロックに対して水平方向（直交）和（ＯＳ ＮＥＷ ）を計算するために、以下の式（１）
には、水平方向（直交）和（ＯＳＯＬＤ）が水平方向探索の先行する反復中に予
め計算された先行する８ピクセル幅のマクロブロックに関して右に１ピクセルだ
け移動された８ピクセル幅のマクロブロックに対して水平方向（直交）和（ＯＳ ＮＥＷ ）を計算するために、以下の式（１）
【００２３】
【数３】 が使用され、このとき、ａ００は、先行するマクロブロックの水平方向オリジン
であるピクセルのピクセル値、ａｎｏは、「新しい」マクロブロック、即ち、先
行するマクロブロックに関して右に１ピクセルだけ移動されたマクロブロックの
水平方向オリジンであるピクセルのピクセル値である。
であるピクセルのピクセル値、ａｎｏは、「新しい」マクロブロック、即ち、先
行するマクロブロックに関して右に１ピクセルだけ移動されたマクロブロックの
水平方向オリジンであるピクセルのピクセル値である。
【００２４】 例えば、先行するマクロブロックの水平方向オリジンがａｎ−１とラベル付け
されるピクセルと推定すると、右に１ピクセルだけ移動されたマクロブロックの
水平方向ポリジンは、ａｎとラベル付けされるピクセルとなり、このとき、式（
１）によってＯＳＮＥＷ＝ＯＳＯＬＤ−ａｎ−１＋ａｎ＋７である。
されるピクセルと推定すると、右に１ピクセルだけ移動されたマクロブロックの
水平方向ポリジンは、ａｎとラベル付けされるピクセルとなり、このとき、式（
１）によってＯＳＮＥＷ＝ＯＳＯＬＤ−ａｎ−１＋ａｎ＋７である。
【００２５】 つまり、右に１ピクセルだけ移動されたことによりピクセルａｎ＋７が先行す
るマクロブロック中に含まれず新しいマクロブロック中に含まれる唯一のピクセ
ルであるため、ａｎ＋７の値は、ＯＳＮＥＷを計算するのに予め計算された直交
和ＯＳＯＬＤに加算されなくてはならず、更に、右に１ピクセルだけ移動される
ことにより、ピクセルａｎ−１が新しいマクロブロック中に含まれず先行するマ
クロブロック中に含まれる唯一のピクセルであるため、ａｎ−１の値は、ＯＳＮ ＥＷ を計算するのに予め計算された直交和ＯＳＯＬＤから減算されなくてはなら
ない。
るマクロブロック中に含まれず新しいマクロブロック中に含まれる唯一のピクセ
ルであるため、ａｎ＋７の値は、ＯＳＮＥＷを計算するのに予め計算された直交
和ＯＳＯＬＤに加算されなくてはならず、更に、右に１ピクセルだけ移動される
ことにより、ピクセルａｎ−１が新しいマクロブロック中に含まれず先行するマ
クロブロック中に含まれる唯一のピクセルであるため、ａｎ−１の値は、ＯＳＮ ＥＷ を計算するのに予め計算された直交和ＯＳＯＬＤから減算されなくてはなら
ない。
【００２６】 同様にして、水平方向探索が右に追加的に１ピクセルだけ移動されて進むと、
先行するマクロブロックの水平方向オリジンは、ａｎとラベル付けされるピクセ
ルとなり、それによって、右に１ピクセルだけ移動された「新しい」マクロブロ
ックの水平方向オリジンは、ａｎ＋１とラベル付けされるピクセルとなり、この
とき、式（１）によって、ＯＳＮＥＷ＝ＯＳＯＬＤ−ａｎ−１＋ａｎ＋７である
。
先行するマクロブロックの水平方向オリジンは、ａｎとラベル付けされるピクセ
ルとなり、それによって、右に１ピクセルだけ移動された「新しい」マクロブロ
ックの水平方向オリジンは、ａｎ＋１とラベル付けされるピクセルとなり、この
とき、式（１）によって、ＯＳＮＥＷ＝ＯＳＯＬＤ−ａｎ−１＋ａｎ＋７である
。
【００２７】 つまり、右に１ピクセルだけ移動されたことによりピクセルａｎ＋７が先行す
るマクロブロック中に含まれず新しいマクロブロック中に含まれる唯一のピクセ
ルであるため、ａｎ＋７の値は、ＯＳＮＥＷを計算するのに予め計算された直交
和ＯＳＯＬＤに加算されなくてはならず、更に、右に１ピクセルだけ移動される
ことにより、ピクセルａｎ−１が新しいマクロブロック中に含まれず先行するマ
クロブロック中に含まれる唯一のピクセルであるため、ａｎ−１の値は、ＯＳＮ ＥＷ を計算するのに予め計算された直交和ＯＳＯＬＤから減算されなくてはなら
ない。
るマクロブロック中に含まれず新しいマクロブロック中に含まれる唯一のピクセ
ルであるため、ａｎ＋７の値は、ＯＳＮＥＷを計算するのに予め計算された直交
和ＯＳＯＬＤに加算されなくてはならず、更に、右に１ピクセルだけ移動される
ことにより、ピクセルａｎ−１が新しいマクロブロック中に含まれず先行するマ
クロブロック中に含まれる唯一のピクセルであるため、ａｎ−１の値は、ＯＳＮ ＥＷ を計算するのに予め計算された直交和ＯＳＯＬＤから減算されなくてはなら
ない。
【００２８】 直交和ＯＳＮＥＷの値を更新するこの手順は、水平方向探索中、参照ピクチャ
の探索領域内の水平方向探索範囲の限界に到達するまで各追加の１ピクセル移動
に対して繰り返され、限界に到達した時点で探索領域のその行に対する水平方向
探索が完了される。
の探索領域内の水平方向探索範囲の限界に到達するまで各追加の１ピクセル移動
に対して繰り返され、限界に到達した時点で探索領域のその行に対する水平方向
探索が完了される。
【００２９】 図４を参照するに、本発明の実施例を構成する直交和発生器２０のブロック図
が示される。最初に、本発明は、８×４のマクロブロックの例を使用して説明さ
れるが、本発明は、特定の寸法又は構造のマクロブロック又はピクエルアレイに
制限されないことが認識されるべきである。本発明の動き推定方法は、図２に示
す直交和発生器２０と共に説明され、本発明の方法を実施する他のハードウェア
が関連する技術における当業者に容易に理解され、従って、最も広義には、本発
明によって包含される。
が示される。最初に、本発明は、８×４のマクロブロックの例を使用して説明さ
れるが、本発明は、特定の寸法又は構造のマクロブロック又はピクエルアレイに
制限されないことが認識されるべきである。本発明の動き推定方法は、図２に示
す直交和発生器２０と共に説明され、本発明の方法を実施する他のハードウェア
が関連する技術における当業者に容易に理解され、従って、最も広義には、本発
明によって包含される。
【００３０】 第１に、現在符号化されているマクロブロック（「符号化マクロブロック」）
の完全な直交和サインは、そのマクロブロックの行の個々のピクセル（輝度）値
の和を表わす一組の水平方向の和、及び、そのマクロブロックの列の個々のピク
セル値の和を表わす一組の垂直方向の和を計算することによって図１Ａ、図１Ｂ
、及び、図２を参照して上述する方法で計算される。
の完全な直交和サインは、そのマクロブロックの行の個々のピクセル（輝度）値
の和を表わす一組の水平方向の和、及び、そのマクロブロックの列の個々のピク
セル値の和を表わす一組の垂直方向の和を計算することによって図１Ａ、図１Ｂ
、及び、図２を参照して上述する方法で計算される。
【００３１】 第２に、初期設定手順は、参照ピクチャ（アンカー）メモリ（図示せず）に記
憶される参照ピクチャの特定された探索領域中の特定のオリジンを有するマクロ
ブロック寸法の最初の参照ピクセルアレイ（マクロブロック）を局部メモリ２２
（例えば、ＤＲＡＭ、ＳＲＡＭ、又は、シフト・レジスタ・マトリクス）にロー
ド／書き込むことで実行される。アンカーメモリは、その出力が常に垂直方向に
隣接されるようにして構成されることが好ましい。例えば、アンカーメモリの出
力がライン（行）１、２、３、及び、４からピクセルを生成する場合、下へ１ピ
クセルだけ垂直方向に移動することは、アンカーメモリにライン（行）２，３、
４、及び、５からピクセルを生成させる。これは、例えば、未公表の国際出願第
ＰＣＴ／ＩＢ９９／００９８６中に開示する方法を使用して寸法を増加させるこ
となくアンカーメモリを適当に区分化することでによって実現され得、この出願
の開示は、本出願で参照として組込まれる。
憶される参照ピクチャの特定された探索領域中の特定のオリジンを有するマクロ
ブロック寸法の最初の参照ピクセルアレイ（マクロブロック）を局部メモリ２２
（例えば、ＤＲＡＭ、ＳＲＡＭ、又は、シフト・レジスタ・マトリクス）にロー
ド／書き込むことで実行される。アンカーメモリは、その出力が常に垂直方向に
隣接されるようにして構成されることが好ましい。例えば、アンカーメモリの出
力がライン（行）１、２、３、及び、４からピクセルを生成する場合、下へ１ピ
クセルだけ垂直方向に移動することは、アンカーメモリにライン（行）２，３、
４、及び、５からピクセルを生成させる。これは、例えば、未公表の国際出願第
ＰＣＴ／ＩＢ９９／００９８６中に開示する方法を使用して寸法を増加させるこ
となくアンカーメモリを適当に区分化することでによって実現され得、この出願
の開示は、本出願で参照として組込まれる。
【００３２】 初期設定手順の間、最初のマクロブロック寸法の参照ピクセルアレイに対する
水平方向の和の完全な組は、夫々が局部メモリ２２の対応するデータ出力に結合
される減算（−）入力を有する一組の平行な水平方向和変更回路２５中に累積さ
れ、（好ましくは）同時に、最初の参照ピクセルアレイの各列に対する垂直方向
の和が４つの入力垂直方向和加算回路２７によって生成され、従って計算される
垂直方向の和は、シフトレジスタ２９中に順次にロードされる。
水平方向の和の完全な組は、夫々が局部メモリ２２の対応するデータ出力に結合
される減算（−）入力を有する一組の平行な水平方向和変更回路２５中に累積さ
れ、（好ましくは）同時に、最初の参照ピクセルアレイの各列に対する垂直方向
の和が４つの入力垂直方向和加算回路２７によって生成され、従って計算される
垂直方向の和は、シフトレジスタ２９中に順次にロードされる。
【００３３】 この初期化手順が完了した後、本発明の動き推定探索方法は、次の通りに動作
する。より特定的には、動き推定探索が参照ピクチャの特定の探索領域を水平方
向にピクセルずつ進むと（以降「水平方向探索」と称する）、結果として生じる
参照ピクセルアレイは、最初の参照ピクセルアレイに関して右に１ピクセルだけ
相応して移動される。
する。より特定的には、動き推定探索が参照ピクチャの特定の探索領域を水平方
向にピクセルずつ進むと（以降「水平方向探索」と称する）、結果として生じる
参照ピクセルアレイは、最初の参照ピクセルアレイに関して右に１ピクセルだけ
相応して移動される。
【００３４】 探索領域内において各１ピクセル移動の後、局部メモリ２２のｉ番目の列の各
行に記憶されるピクセル値は、局部メモリ２２から読み出され対応する水平方向
和変更回路２５の減算入力に与えられ、参照ピクチャの探索領域の（Ｎ＋ｉ）番
目に対応するピクセル値が読み出されたピクセル値を置換するために局部メモリ
２２のｉ番目の列の対応する行中に書き込まれ、このとき、ｉ＝１乃至Ｎであり
、Ｎは、最初の参照ピクセルアレイの水平方向の大きさ（即ち、符号化マクロブ
ロックの水平方向の大きさ）である。好ましくは、Ｎに達した後、メモリをアド
レス指定する目的のためにｉが１のカウントに巻き戻され、再びＮに達するまで
１ずつインクリメントされ、このサイクルは、（最初の参照ピクセルアレイの水
平方向のオリジンから測定されるように）水平方向探索範囲の限界に到達し従っ
て水平方向探索が完了されるまで繰り返される。これに関連して、モジュロ−８
アドレスカウンタ（図示せず）又は他の適切なメカニズムがこの機能を実施する
のに利用され得る。
行に記憶されるピクセル値は、局部メモリ２２から読み出され対応する水平方向
和変更回路２５の減算入力に与えられ、参照ピクチャの探索領域の（Ｎ＋ｉ）番
目に対応するピクセル値が読み出されたピクセル値を置換するために局部メモリ
２２のｉ番目の列の対応する行中に書き込まれ、このとき、ｉ＝１乃至Ｎであり
、Ｎは、最初の参照ピクセルアレイの水平方向の大きさ（即ち、符号化マクロブ
ロックの水平方向の大きさ）である。好ましくは、Ｎに達した後、メモリをアド
レス指定する目的のためにｉが１のカウントに巻き戻され、再びＮに達するまで
１ずつインクリメントされ、このサイクルは、（最初の参照ピクセルアレイの水
平方向のオリジンから測定されるように）水平方向探索範囲の限界に到達し従っ
て水平方向探索が完了されるまで繰り返される。これに関連して、モジュロ−８
アドレスカウンタ（図示せず）又は他の適切なメカニズムがこの機能を実施する
のに利用され得る。
【００３５】 参照ピクチャの探索領域の（Ｎ＋ｉ）番目に対応するピクセル値（以降単に「
新しいピクセル値」と称する）も同時に対応する水平方向和変更回路２５の加算
（＋）入力及び垂直方向和加算回路２７の対応する入力に与えられる。例によっ
て、局部メモリ２２がＤＲＡＭである場合、上述のメモリからの読み出し及びメ
モリへの書き込み動作は、読み出し変更書き込み動作を介して単一のメモリクロ
ックサイクル中に実施され得る。
新しいピクセル値」と称する）も同時に対応する水平方向和変更回路２５の加算
（＋）入力及び垂直方向和加算回路２７の対応する入力に与えられる。例によっ
て、局部メモリ２２がＤＲＡＭである場合、上述のメモリからの読み出し及びメ
モリへの書き込み動作は、読み出し変更書き込み動作を介して単一のメモリクロ
ックサイクル中に実施され得る。
【００３６】 読み出されたピクセル値及び新しいピクセル値を受信すると各水平方向和変更
回路２５は、その加算入力で受信した新しいピクセル値を前に累積された水平方
向の和に加算し、その減算入力で受信した読み出されたピクセル値を前の累積さ
れた水平方向の和から減算し、結果として生じる和を「新しい」水平方向の和と
して出力する。つまり、水平方向和変更回路２５の出力で生成される一組の水平
方向の和は、先行する反復の参照ピクセルアレイから１ピクセルだけ移動された
「新しい」参照ピクセルアレイに対する一組の水平方向の和を構成する。
回路２５は、その加算入力で受信した新しいピクセル値を前に累積された水平方
向の和に加算し、その減算入力で受信した読み出されたピクセル値を前の累積さ
れた水平方向の和から減算し、結果として生じる和を「新しい」水平方向の和と
して出力する。つまり、水平方向和変更回路２５の出力で生成される一組の水平
方向の和は、先行する反復の参照ピクセルアレイから１ピクセルだけ移動された
「新しい」参照ピクセルアレイに対する一組の水平方向の和を構成する。
【００３７】 更に、各１ピクセル移動の後、シフトレジスタ２９は、右に一ワードだけ水平
方向にシフトされ、その最後の段で記憶される垂直方向の和は廃棄され、残りの
垂直方向の和は、右に１段だけシフトされる。新しいピクセル値を受信すると、
右にシフトされた前の垂直方向の和を置換するために、垂直方向和加算回路２７
は、その出力において（Ｎワードシフトレジスタである）シフトレジスタ２９の
最初の段中にロードされた「新しい垂直方向の和」を生成する。シフトレジスタ
２９の出力において現われる結果として生じる一組の垂直方向の和は、先行する
反復の参照ピクセルアレイから１ピクセルだけ移動された「新しい」参照ピクセ
ルアレイに対する一組の垂直方向の和を構成する。
方向にシフトされ、その最後の段で記憶される垂直方向の和は廃棄され、残りの
垂直方向の和は、右に１段だけシフトされる。新しいピクセル値を受信すると、
右にシフトされた前の垂直方向の和を置換するために、垂直方向和加算回路２７
は、その出力において（Ｎワードシフトレジスタである）シフトレジスタ２９の
最初の段中にロードされた「新しい垂直方向の和」を生成する。シフトレジスタ
２９の出力において現われる結果として生じる一組の垂直方向の和は、先行する
反復の参照ピクセルアレイから１ピクセルだけ移動された「新しい」参照ピクセ
ルアレイに対する一組の垂直方向の和を構成する。
【００３８】 上述の手順は、参照ピクチャの探索領域の水平方向探索中、各１ピクセル移動
の後に水平方向探索が完了するまで繰り返される。
の後に水平方向探索が完了するまで繰り返される。
【００３９】 図５を参照して本発明の実施例による水平方向探索の例のためのメモリからの
読み出し／書き込み動作の順序を説明する。円は、活性アドレスを示す一方で四
角は、不活性アドレスを示す。頭に（＋）が付けられた列は、ＲＡＭ入力（ピク
セル番号）を示す一方で頭に（−）が付けられた列は、ＲＡＭ出力（ピクセル番
号）を示す。より特定的には、探索される参照ピクチャの探索範囲の各行に対す
る最初の８つ（８）の水平方向に隣接するピクセル１乃至８が局部メモリ２２の
４つの対応する行（部分）に記憶され、同時に、対応する水平方向和変更回路２
５中に累積される。この時点では、水平方向和変更回路２５による水平方向の和
の出力が最初の参照ピクセルアレイ（マクロブロック）に対する有効な水平方向
の和である。次に、各単一ピクセル移動に対して、参照ピクチャの探索範囲の水
平方向探索が進むにつれてアドレスカウンタは、終端カウント（８）に到達した
た後カウントを繰り返してピクセルｉにポイントするために１だけインクリメン
トされ、このときｉ＝１乃至８であり、それによって局部メモリ２２中の最新の
アドレス指定された場所から局部メモリ２２の各行に対する古いピクセル値を読
み出させ、対応する水平方向和変更回路２５の減算（−）入力に与え、局部メモ
リ２２の各行に対する新しいピクセル値を局部メモリ２２中の最新のアドレス指
定された場所に書き込むと同時に対応する水平方向和変更回路２５の加算（＋）
入力及び４つの入力の垂直方向和加算回路２７の対応する入力に与える。従って
、各単一ピクセル移動の後、更新された水平方向の和の完全な組は、水平方向和
変更回路２５によって出力され更新された垂直方向の和の完全な組は、シフトレ
ジスタ２９によって出力される。
読み出し／書き込み動作の順序を説明する。円は、活性アドレスを示す一方で四
角は、不活性アドレスを示す。頭に（＋）が付けられた列は、ＲＡＭ入力（ピク
セル番号）を示す一方で頭に（−）が付けられた列は、ＲＡＭ出力（ピクセル番
号）を示す。より特定的には、探索される参照ピクチャの探索範囲の各行に対す
る最初の８つ（８）の水平方向に隣接するピクセル１乃至８が局部メモリ２２の
４つの対応する行（部分）に記憶され、同時に、対応する水平方向和変更回路２
５中に累積される。この時点では、水平方向和変更回路２５による水平方向の和
の出力が最初の参照ピクセルアレイ（マクロブロック）に対する有効な水平方向
の和である。次に、各単一ピクセル移動に対して、参照ピクチャの探索範囲の水
平方向探索が進むにつれてアドレスカウンタは、終端カウント（８）に到達した
た後カウントを繰り返してピクセルｉにポイントするために１だけインクリメン
トされ、このときｉ＝１乃至８であり、それによって局部メモリ２２中の最新の
アドレス指定された場所から局部メモリ２２の各行に対する古いピクセル値を読
み出させ、対応する水平方向和変更回路２５の減算（−）入力に与え、局部メモ
リ２２の各行に対する新しいピクセル値を局部メモリ２２中の最新のアドレス指
定された場所に書き込むと同時に対応する水平方向和変更回路２５の加算（＋）
入力及び４つの入力の垂直方向和加算回路２７の対応する入力に与える。従って
、各単一ピクセル移動の後、更新された水平方向の和の完全な組は、水平方向和
変更回路２５によって出力され更新された垂直方向の和の完全な組は、シフトレ
ジスタ２９によって出力される。
【００４０】 例えば、図５から略図的に分かるように、最初の８つのピクセルが局部メモリ
２２の適当な行中に書き込まれた後、参照ピクセルアレイは、右に１ピクセルだ
け移動され、ピクセル番号１が局部メモリ２２から読み出されピクセル番号９に
よって置換され、次に、参照ピクセルアレイは、右に１ピクセルだけ移動され、
ピクセル番号２が局部メモリ２２から読み出されピクセル番号１０によって置換
され、次に、参照ピクセルアレイは、右に１ピクセルだけ移動され、ピクセル番
号３が局部メモリ２２から読み出されピクセル番号１１によって置換され、次に
、参照ピクセルアレイは、右に１ピクセルだけ移動され、ピクセル番号４が局部
メモリ２２から読み出されピクセル番号１２によって置換され、次に、参照ピク
セルアレイは、右に１ピクセルだけ移動され、ピクセル番号５が局部メモリ２２
から読み出されピクセル番号１３によって置換され、次に、参照ピクセルアレイ
は、右に１ピクセルだけ移動され、ピクセル番号６が局部メモリ２２から読み出
されピクセル番号１４によって置換され、次に、参照ピクセルアレイは、右に１
ピクセルだけ移動され、ピクセル番号７が局部メモリ２２から読み出されピクセ
ル番号１５によって置換され、次に、参照ピクセルアレイは、右に１ピクセルだ
け移動され、ピクセル番号８が局部メモリ２２から読み出されピクセル番号１６
によって置換され、次に、参照ピクセルアレイは、右に１ピクセルだけ移動され
、ピクセル番号９が局部メモリ２２から読み出されピクセル番号１７によって置
換され、次に、参照ピクセルアレイは、右に１ピクセルだけ移動され、ピクセル
番号１０が局部メモリ２２から読み出されピクセル番号１８によって置換され、
最後に、参照ピクセルアレイは、右に１ピクセルだけ移動され、ピクセル番号１
１が局部メモリ２２から読み出されピクセル番号１９によって置換される等であ
る。
２２の適当な行中に書き込まれた後、参照ピクセルアレイは、右に１ピクセルだ
け移動され、ピクセル番号１が局部メモリ２２から読み出されピクセル番号９に
よって置換され、次に、参照ピクセルアレイは、右に１ピクセルだけ移動され、
ピクセル番号２が局部メモリ２２から読み出されピクセル番号１０によって置換
され、次に、参照ピクセルアレイは、右に１ピクセルだけ移動され、ピクセル番
号３が局部メモリ２２から読み出されピクセル番号１１によって置換され、次に
、参照ピクセルアレイは、右に１ピクセルだけ移動され、ピクセル番号４が局部
メモリ２２から読み出されピクセル番号１２によって置換され、次に、参照ピク
セルアレイは、右に１ピクセルだけ移動され、ピクセル番号５が局部メモリ２２
から読み出されピクセル番号１３によって置換され、次に、参照ピクセルアレイ
は、右に１ピクセルだけ移動され、ピクセル番号６が局部メモリ２２から読み出
されピクセル番号１４によって置換され、次に、参照ピクセルアレイは、右に１
ピクセルだけ移動され、ピクセル番号７が局部メモリ２２から読み出されピクセ
ル番号１５によって置換され、次に、参照ピクセルアレイは、右に１ピクセルだ
け移動され、ピクセル番号８が局部メモリ２２から読み出されピクセル番号１６
によって置換され、次に、参照ピクセルアレイは、右に１ピクセルだけ移動され
、ピクセル番号９が局部メモリ２２から読み出されピクセル番号１７によって置
換され、次に、参照ピクセルアレイは、右に１ピクセルだけ移動され、ピクセル
番号１０が局部メモリ２２から読み出されピクセル番号１８によって置換され、
最後に、参照ピクセルアレイは、右に１ピクセルだけ移動され、ピクセル番号１
１が局部メモリ２２から読み出されピクセル番号１９によって置換される等であ
る。
【００４１】 図６を参照して本発明の実施の例を構成するフィールドに基づく動き推定探索
エンジン４０のブロック図を示す。同図からも分かるように、探索エンジン４０
は、（図２に示すような）フィールド１の直交和発生器２０ａ及び（図２に示す
ような）平行なフィールド２の直交和発生器２０ｂを含む。フィールド１の直交
和発生器２０ａは、水平方向探索動作中にフィールド１の参照ピクセルアレイの
各１ピクセル移動の際に、４つの新しいピクセルをフィールド１のアンカーメモ
リ４５から平行線４４をわたって受信し、フィールド２の直交和発生器２０ｂは
、水平方向探索動作中にフィールド２の参照ピクセルアレイの各１ピクセル移動
の際に、４つの新しいピクセルをフィールド２のアンカーメモリ４７から平行線
４６をわたって受信する。フィールド１の直交和発生器５０ａは、最新の符号化
されているフィールド１のマクロブロック（即ち、符号化マクロブロック）のピ
クセルをフィールド１の符号化ピクチャメモリ５２から受信し、フィールド２の
直交和発生器５０ｂは、フィールド２の符号化マクロブロックのピクセルをフィ
ールド２の符号化ピクチャメモリ５４から受信する。フィールド１の直交和発生
器５０ａは、その出力においてフィールド１の符号化マクロブロックの直交和サ
インを表わす（水平方向及び垂直方向夫々の）直交和の完全な組を生成し、フィ
ールド２の直交和発生器５０ｂは、その出力においてフィールド２の符号化マク
ロブロックの直交和サインを表わす直交和の完全な組を生成する。
エンジン４０のブロック図を示す。同図からも分かるように、探索エンジン４０
は、（図２に示すような）フィールド１の直交和発生器２０ａ及び（図２に示す
ような）平行なフィールド２の直交和発生器２０ｂを含む。フィールド１の直交
和発生器２０ａは、水平方向探索動作中にフィールド１の参照ピクセルアレイの
各１ピクセル移動の際に、４つの新しいピクセルをフィールド１のアンカーメモ
リ４５から平行線４４をわたって受信し、フィールド２の直交和発生器２０ｂは
、水平方向探索動作中にフィールド２の参照ピクセルアレイの各１ピクセル移動
の際に、４つの新しいピクセルをフィールド２のアンカーメモリ４７から平行線
４６をわたって受信する。フィールド１の直交和発生器５０ａは、最新の符号化
されているフィールド１のマクロブロック（即ち、符号化マクロブロック）のピ
クセルをフィールド１の符号化ピクチャメモリ５２から受信し、フィールド２の
直交和発生器５０ｂは、フィールド２の符号化マクロブロックのピクセルをフィ
ールド２の符号化ピクチャメモリ５４から受信する。フィールド１の直交和発生
器５０ａは、その出力においてフィールド１の符号化マクロブロックの直交和サ
インを表わす（水平方向及び垂直方向夫々の）直交和の完全な組を生成し、フィ
ールド２の直交和発生器５０ｂは、その出力においてフィールド２の符号化マク
ロブロックの直交和サインを表わす直交和の完全な組を生成する。
【００４２】 図６を続いて参照するに、探索エンジン４０は、フィールド１の最適マッチ推
定器６０を含み、この最適マッチ推定器６０は、その一組の入力において最新の
参照ピクセルアレイの直交和サイン、他方の組の入力においてフィールド１の符
号化マクロブロックの直交和サインを受信し、指定された探索メトリック（例え
ば、ＭＡＥ）に従ってフィールド１のアンカーメモリ４５の特定の探索領域から
の参照ピクセルアレイのうちどれが符号化マクロブロックに対して最適マッチを
構成するかを決定し、その結果を「フィールド１の動ベクトル」として出力する
。同様にして、探索エンジン４０は、更に、フィールド１最適マッチ推定器６２
を含み、この最適マッチ推定器６２は、一組の入力において最新の参照ピクセル
アレイの直交和サイン、他方の組の入力においてフィールド２の符号化マクロブ
ロックの直交和サインを受信し、指定された探索メトリック（例えば、ＭＡＥ）
に従ってフィールド２のアンカーメモリ４７の特定の探索範囲からの参照ピクセ
ルアレイのうちどれが符号化マクロブロックに対して最適マッチを構成するかを
決定し、その結果を「フィールド２の動ベクトル」として出力する。探索エンジ
ンＲＡＭが夫々のフィールドにおいて同一の方法で制御されるため、より効率的
な設計の実施のためにこれら探索エンジンＲＡＭは、夫々のフィールドに対する
データを記憶するのに組み合わされ得ることが容易に理解されるべきである。
定器６０を含み、この最適マッチ推定器６０は、その一組の入力において最新の
参照ピクセルアレイの直交和サイン、他方の組の入力においてフィールド１の符
号化マクロブロックの直交和サインを受信し、指定された探索メトリック（例え
ば、ＭＡＥ）に従ってフィールド１のアンカーメモリ４５の特定の探索領域から
の参照ピクセルアレイのうちどれが符号化マクロブロックに対して最適マッチを
構成するかを決定し、その結果を「フィールド１の動ベクトル」として出力する
。同様にして、探索エンジン４０は、更に、フィールド１最適マッチ推定器６２
を含み、この最適マッチ推定器６２は、一組の入力において最新の参照ピクセル
アレイの直交和サイン、他方の組の入力においてフィールド２の符号化マクロブ
ロックの直交和サインを受信し、指定された探索メトリック（例えば、ＭＡＥ）
に従ってフィールド２のアンカーメモリ４７の特定の探索範囲からの参照ピクセ
ルアレイのうちどれが符号化マクロブロックに対して最適マッチを構成するかを
決定し、その結果を「フィールド２の動ベクトル」として出力する。探索エンジ
ンＲＡＭが夫々のフィールドにおいて同一の方法で制御されるため、より効率的
な設計の実施のためにこれら探索エンジンＲＡＭは、夫々のフィールドに対する
データを記憶するのに組み合わされ得ることが容易に理解されるべきである。
【００４３】 前に述べたように、ＤＦＣＵ計算の複雑性は、動き推定回路（探索エンジン）
の費用における主な要因である。しかしながら、本発明の動き推定方法がＤＦＣ
Ｕの費用及び複雑性において目覚しい減少を提供するため、動き推定探索のため
に間引きされていない又は低レベルの間引きされたビデオから始めることが明ら
かに実質的となり、それによって動き推定探索の正確さ、及び、最終的にピクチ
ャの質を目覚しく改善させる。これに関連して、本発明の動き推定方法は、動き
推定の段の数を実質的に減少させることを可能にするだけでなく、全ての排除さ
れた間引き段に対して要求される特別なビデオフィルタ処理回路の排除を可能に
する。このようなハードウェアの節約によって探索処理は、間引きされていない
ビデオから潜在的に始められ得、手頃な費用で質を大きく改善させる。
の費用における主な要因である。しかしながら、本発明の動き推定方法がＤＦＣ
Ｕの費用及び複雑性において目覚しい減少を提供するため、動き推定探索のため
に間引きされていない又は低レベルの間引きされたビデオから始めることが明ら
かに実質的となり、それによって動き推定探索の正確さ、及び、最終的にピクチ
ャの質を目覚しく改善させる。これに関連して、本発明の動き推定方法は、動き
推定の段の数を実質的に減少させることを可能にするだけでなく、全ての排除さ
れた間引き段に対して要求される特別なビデオフィルタ処理回路の排除を可能に
する。このようなハードウェアの節約によって探索処理は、間引きされていない
ビデオから潜在的に始められ得、手頃な費用で質を大きく改善させる。
【００４４】 本発明の動き推定方法によって実現される別の利点は、非常に高められた動作
速度である。従来から、並べておかれた輝度の大きさを比較するために複数の段
の論理が要求され、単一のクロックサイクルで結果を得る可能性を略除外する。
このため、システムクロック周波数が実質的に減少されるかシステムがかなりの
論理リソースを利用してパイプライン処理されるかのいずれかが成されなくては
ならない。
速度である。従来から、並べておかれた輝度の大きさを比較するために複数の段
の論理が要求され、単一のクロックサイクルで結果を得る可能性を略除外する。
このため、システムクロック周波数が実質的に減少されるかシステムがかなりの
論理リソースを利用してパイプライン処理されるかのいずれかが成されなくては
ならない。
【００４５】 これらの利点に加えて、本発明の好ましい実施例は、上述の直交和ブロックマ
ッチングを使用して動き推定方法を大きく加速させる。更に、本発明は、現在利
用できる技法に対して （１）直交和計算における実質的なハードウェアの減少。新しい（更新された）
直交和を生成するために、利用可能な和を用いてアンカーピクチャにおけるマク
ロブロックの移動で直交和が更新されるため、著しく少なくされた計算のハード
ウェアを要求するより小さい計算の努力を可能にさせ、 （２）直交和を生成するための加算回路の長い連鎖が排除され、それによって動
作速度を実質的に加速させ、 （３）本発明は、現在利用できる技法によって要求されるように、探索データを
記憶するのに大型のレジスタマトリクスを使用する代わりに探索データを記憶す
るのにＲＡＭの使用を可能にし、これは、全てのエンジンのメモリの出力が比較
のために直ぐに利用できるようにされることを要求し、それによって実質的な費
用削減を提供させ、 （４）本発明による動き推定探索エンジンは、その新奇なアーキテクチャのため
、中でもより広い内部バスの幅によりシステムの性能を高めるために新生の埋め
込まれたメモリ技術を使用して単一のシリコン装置中に組込まれた論理及びメモ
リで実施され得るといった３つの顕著な利点を実現する。
ッチングを使用して動き推定方法を大きく加速させる。更に、本発明は、現在利
用できる技法に対して （１）直交和計算における実質的なハードウェアの減少。新しい（更新された）
直交和を生成するために、利用可能な和を用いてアンカーピクチャにおけるマク
ロブロックの移動で直交和が更新されるため、著しく少なくされた計算のハード
ウェアを要求するより小さい計算の努力を可能にさせ、 （２）直交和を生成するための加算回路の長い連鎖が排除され、それによって動
作速度を実質的に加速させ、 （３）本発明は、現在利用できる技法によって要求されるように、探索データを
記憶するのに大型のレジスタマトリクスを使用する代わりに探索データを記憶す
るのにＲＡＭの使用を可能にし、これは、全てのエンジンのメモリの出力が比較
のために直ぐに利用できるようにされることを要求し、それによって実質的な費
用削減を提供させ、 （４）本発明による動き推定探索エンジンは、その新奇なアーキテクチャのため
、中でもより広い内部バスの幅によりシステムの性能を高めるために新生の埋め
込まれたメモリ技術を使用して単一のシリコン装置中に組込まれた論理及びメモ
リで実施され得るといった３つの顕著な利点を実現する。
【００４６】 本発明の好ましい実施例は、次のように要約され得る。ＲＡＭに基づく探索エ
ンジンは、動き推定探索中に参照ピクセルアレイの水平方向の行中に含まれるＮ
ピクセルの値の和を表わす水平方向の和を更新し、この動き推定探索中、動き推
定探索の複数の反復夫々の間に参照ピクセルアレイは、水平方向探索方向に１ピ
クセルだけ移動される。ＲＡＭに基づく探索エンジンは、水平方向の和を生成す
るために参照ピクセルアレイの全ての移動の前に参照ピクセルアレイの水平方向
の行中に含まれるＮピクセルの値を累積し、新しい水平方向の和を
ンジンは、動き推定探索中に参照ピクセルアレイの水平方向の行中に含まれるＮ
ピクセルの値の和を表わす水平方向の和を更新し、この動き推定探索中、動き推
定探索の複数の反復夫々の間に参照ピクセルアレイは、水平方向探索方向に１ピ
クセルだけ移動される。ＲＡＭに基づく探索エンジンは、水平方向の和を生成す
るために参照ピクセルアレイの全ての移動の前に参照ピクセルアレイの水平方向
の行中に含まれるＮピクセルの値を累積し、新しい水平方向の和を
【００４７】
【数４】 を使用して計算することで水平方向の和を更新する水平方向和変更回路を含み、
このとき、ＯＳＮＥＷは、参照ピクセルアレイを水平方向に１ピクセルだけ最後
に移動した後の新しい水平方向の和であり、ＯＳＯＬＤは、参照ピクセルアレイ
を水平方向に１ピクセルだけ最後に移動する前の水平方向の和であり、ａ００は
、参照ピクセルアレイを水平方向に１ピクセルだけ最後に移動する前の参照ピク
セルアレイの水平方向のオリジンであるピクセルのピクセル値であり、ａｎｏは
、参照ピクセルアレイを水平方向に１ピクセルだけ最後に移動した結果参照ピク
セルアレイがその前の位置に関して右に１ピクセルだけ移動した後の参照ピクセ
ルアレイの水平方向のオリジンであるピクセルのピクセル値である。
このとき、ＯＳＮＥＷは、参照ピクセルアレイを水平方向に１ピクセルだけ最後
に移動した後の新しい水平方向の和であり、ＯＳＯＬＤは、参照ピクセルアレイ
を水平方向に１ピクセルだけ最後に移動する前の水平方向の和であり、ａ００は
、参照ピクセルアレイを水平方向に１ピクセルだけ最後に移動する前の参照ピク
セルアレイの水平方向のオリジンであるピクセルのピクセル値であり、ａｎｏは
、参照ピクセルアレイを水平方向に１ピクセルだけ最後に移動した結果参照ピク
セルアレイがその前の位置に関して右に１ピクセルだけ移動した後の参照ピクセ
ルアレイの水平方向のオリジンであるピクセルのピクセル値である。
【００４８】 本発明の好ましい実施例は、上記で詳細に説明されたが、関連する技術におけ
る当業者に明らかとなる本出願で示す基本的な発明の概念の多数の変化及び／又
は変更態様は、添付クレームにおいて限定したように本発明の範囲内であること
が明らかに理解されるべきである。例えば、本発明は、ディジタルビデオエンコ
ーダに適用可能として説明されるが、本発明は、全ての特定の適用法に制限され
ず例えば、本発明は、テレビジョンセット又は他のピクチャ表示システムの要求
を受け入れるのに受信されたピクチャをエンコードする必要があるときテレビジ
ョンセット又は他のピクチャ表示システムのデコーダ部分に使用され得ることが
明らかに理解されるべきである。クレームにおいて、括弧内の全ての参照記号は
、クレームを制限するものではない。「含む、有する」といった用語は、クレー
ムに記載する以外の素子又は段階の存在を排除するものではない。素子は単数形
で表わされているが、同じ素子が複数個存在することを除外するものではない。
本発明は、複数の別個の素子を有するハードウェアを手段として、及び、適切に
プログラムされたコンピュータを手段として実行され得る。幾つかの手段を列挙
する装置クレームでは、これらの手段の幾つかは、ハードウェアの一つの同じア
イテムによって具体化され得る。
る当業者に明らかとなる本出願で示す基本的な発明の概念の多数の変化及び／又
は変更態様は、添付クレームにおいて限定したように本発明の範囲内であること
が明らかに理解されるべきである。例えば、本発明は、ディジタルビデオエンコ
ーダに適用可能として説明されるが、本発明は、全ての特定の適用法に制限され
ず例えば、本発明は、テレビジョンセット又は他のピクチャ表示システムの要求
を受け入れるのに受信されたピクチャをエンコードする必要があるときテレビジ
ョンセット又は他のピクチャ表示システムのデコーダ部分に使用され得ることが
明らかに理解されるべきである。クレームにおいて、括弧内の全ての参照記号は
、クレームを制限するものではない。「含む、有する」といった用語は、クレー
ムに記載する以外の素子又は段階の存在を排除するものではない。素子は単数形
で表わされているが、同じ素子が複数個存在することを除外するものではない。
本発明は、複数の別個の素子を有するハードウェアを手段として、及び、適切に
プログラムされたコンピュータを手段として実行され得る。幾つかの手段を列挙
する装置クレームでは、これらの手段の幾つかは、ハードウェアの一つの同じア
イテムによって具体化され得る。
【図１Ａ】 間引きされていない１６×１６マクロブロックに対する３２−直交和サインを
例示する図である。
例示する図である。
【図１Ｂ】 ２：１に間引きされた１６×１６マクロブロックを表わす８×８マクロブロッ
クに対する１６−直交和サインを例示する図である。
クに対する１６−直交和サインを例示する図である。
【図２】 本発明の好ましい実施例による最適マッチ推定を示すフローチャート及びグラ
フの組み合わせを示す図である。
フの組み合わせを示す図である。
【図３】 水平方向の動き推定探索中の直交和の更新の関係において本発明の好ましい実
行の基本的な方法論を示す図である。
行の基本的な方法論を示す図である。
【図４】 本発明の実施例を構成する直交和発生器のブロック図である。
【図５】 本発明の方法論を使用して、例示する水平方向の動き推定探索におけるＲＡＭ
動作のシーケンスを示す図である。
動作のシーケンスを示す図である。
【図６】 本発明の実施例を構成する動き推定探索エンジンのブロック図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＣＮ，ＪＰ，Ｋ Ｒ (72)発明者 ゴルンスタイン，ヴィクター オランダ国，5656 アーアー アインドー フェン， プロフ・ホルストラーン ６ Ｆターム(参考） 5C059 KK19 MA00 MA23 MC11 MC38 ME02 NN03 NN28 PP04 PP26 SS03 UA02 UA33
Claims (14)
- 【請求項１】 複数の行及び列の個々のピクセル値を有する第１のピクセル
アレイと複数の行及び列の個々のピクセル値を有する第２のピクセルアレイを比
較する方法であって、 第１の組の水平方向の和を発生させるために上記第１のピクセルアレイの上記
個々のピクセル値のうち上記各行の上記個々のピクセル値を加算する段階と、 第１の組の垂直方向の和を発生させるために上記第１のピクセルアレイの上記
個々のピクセル値のうち上記各列の上記個々のピクセル値を加算する段階と、 第２の組の水平方向の和を発生させるために上記第２のピクセルアレイの上記
個々のピクセル値のうち上記各行の上記個々のピクセル値を加算する段階と、 第２の組の垂直方向の和を発生させるために上記第２のピクセルアレイの上記
個々のピクセル値のうち上記各列の上記個々のピクセル値を加算する段階と、 上記第１の組の水平方向の和及び上記第１の組の垂直方向の和から構成される
第１の直交和と、上記第２の組の水平方向の和及び上記第２の組の垂直方向の和
から構成される第２の直交和を比較する段階とを有する方法。 - 【請求項２】 上記第１のピクセルアレイは、現在符号化されるピクチャの
間引きされていないマクロブロックを有し、上記第２のピクセルアレイは、参照
ピクチャの探索領域において間引きされていないマクロブロックを有する請求項
１記載の方法。 - 【請求項３】 上記第１のピクセルアレイは、現在符号化されるピクチャの
間引きされたマクロブロックを有し、上記第２のピクセルアレイは、参照ピクチ
ャの探索領域において間引きされたマクロブロックを有する請求項１記載の方法
。 - 【請求項４】 上記第１の加算段階は、動き推定探索中に参照ピクセルアレ
イの水平方向の行中に含まれるＮのピクセルの値の和を表わす水平方向の和を更
新する段階を有し、 上記更新段階は、上記水平方向の和を計算する段階と、 上記参照ピクセルアレイを水平方向に１ピクセルだけ移動する段階と、 新しい水平方向の和を発生させるために新しいピクセル値を前に計算された水
平方向の和に加算し上記移動段階の後に上記参照ピクセルアレイの水平方向の行
中にもはや含まれない古いピクセル値を上記前に計算された水平方向の和から減
算することで上記水平方向の和を更新する段階とを有する請求項１記載の方法。 - 【請求項５】 上記水平方向の探索領域の限界に到達するまで上記移動段階
及び上記更新段階を繰り返す段階を更に含む請求項４記載の方法。 - 【請求項６】 上記計算段階は、上記移動段階を実施する前に上記参照ピク
セルアレイの上記水平方向の行中に含まれる上記Ｎのピクセルの値を累積する水
平方向和変更回路を使用して実施され、 上記水平方向の和を更新する段階は 【数１】 を用いて上記新しい水平方向の和を計算するために上記水平方向和変更回路を使
用して実施され、このときＯＳＮＥＷは上記新しい水平方向の和であり、ＯＳＯ ＬＤ は上記移動段階の最後の反復の前の上記水平方向の和であり、上記ａ００は
上記移動段階の上記最後の反復の前の上記参照ピクセルアレイの水平方向のオリ
ジンであるピクセルのピクセル値であり、ａｎｏは上記移動段階の上記最後の反
復の結果として上記参照ピクセルアレイの前の位置に対して上記参照ピクセルが
右に１ピクセルだけ移動した後の上記参照ピクセルの水平方向のオリジンである
ピクセルのピクセル値である請求項４記載の方法。 - 【請求項７】 参照ピクチャの指定された探索領域の水平方向に動き推定探
索の各反復に対して参照ピクセルアレイの各Ｎ行に対して水平方向の和を発生さ
せると同時に上記参照ピクセルアレイの各Ｍ列に対して垂直方向の和を発生させ
る段階を有し、更に、 （ａ）Ｍの個々のピクセル値をメモリの各Ｎ行中に記憶しＮの個々のピクセル
値を上記メモリの各Ｍ列中に記憶することで上記参照ピクセルアレイの最初の位
置に対応する最初のピクセル値を記憶する段階と、 （ｂ）上記参照ピクセルアレイの上記最初の位置の上記各Ｎ行に対して上記水
平方向の和を計算し上記各計算された水平方向の和を記憶する段階と、 （ｃ）上記参照ピクセルアレイの上記最初の位置の上記各Ｍ列に対して上記垂
直方向の和を計算し上記各計算された垂直方向の和を記憶する段階と、 （ｄ）上記参照ピクセルアレイを上記水平方向に１ピクセルだけ移動する段階
と、 （ｅ）上記移動段階に応答して ｉ）上記水平方向に１ピクセルだけ移動した後、上記参照ピクセルアレイ
の最後の列に対応する上記参照ピクセルアレイの上記Ｎ行夫々に対してＮの新し
いピクセル値を提供し、 ｉｉ）新しい垂直方向の和を発生させるために上記Ｎの新しいピクセル値
を加算し、上記新しい垂直方向の和をシフトレジスタに与え、水平方向の上記動
き推定探索の前に記憶された垂直方向の和を１ワードだけシフトし、それによっ
て第１の記憶された垂直方向の和が廃棄され上記新しい垂直方向の和が最後に記
憶された垂直方向の和の前の記憶場所に記憶され、 ｉｉｉ）上記シフトレジスタから一組のＭの新しい垂直方向の和を出力し
、 ｉｖ）一組のＮの新しい水平方向の和を発生させるために上記各Ｎ行に対
して対応する上記Ｎのピクセル値を前に計算された水平方向の和に加算し、上記
各Ｎ行に対して上記水平方向に１ピクセルだけ移動した後上記参照ピクセルアレ
イの上記Ｍ列にもはや含まれない対応する古いピクセル値を上記前に計算された
水平方向の和から減算することで上記各水平方向の和を更新し、 ｖ）上記一組のＮの新しい水平方向の和を出力する請求項１記載の方法。 - 【請求項８】 上記段階（ｂ）は、上記メモリの上記Ｎ行のうち関連する行
に対応する上記Ｎの水平方向和変更回路を使用して実施され、上記水平方向和変
更回路は、夫々上記メモリの上記対応する行中に記憶される上記Ｍの個々のピク
セル値の値を累積する請求項７記載の方法。 - 【請求項９】 現在符号化されるピクチャ中の第１のピクセルアレイと参照
ピクチャの探索領域における複数の第２のピクセルアレイの間で最適なマッチを
決定する方法であって、 上記第１のピクセルアレイ及び上記第２のピクセルアレイは、夫々複数の行及
び列の個々のピクセル値を有し、 上記第１のピクセルアレイの上記行の個々の上記ピクセル値の和を表わす一組
の水平方向の和及び上記第１のピクセルアレイの上記列の上記個々のピクセル値
の和を表わす一組の垂直方向の和から構成される、上記第１のピクセルアレイの
第１の直交和サインを提供する段階と、 上記第２のピクセルアレイの上記行の上記個々のピクセル値の和を表わす一組
の水平方向の和及び上記第２のピクセルアレイの上記列の上記個々のピクセル値
の和を表わす一組の垂直方向の和から構成され、上記複数の第２のピクセルアレ
イの少なくとも選択されたピクセルアレイに対して発生される複数の第２の直交
和サインを提供する段階と、 第１のピクセルアレイと第２のピクセルの間で最適なマッチを決定するために
第１の直交和サインと第２の直交和サインを比較する段階とを有する方法。 - 【請求項１０】 現在符号化されるピクチャ中の第１のピクセルアレイと参
照ピクチャの探索領域における複数の第２のピクセルアレイの間で最適なマッチ
を決定する動き推定装置であって、動き推定探索エンジンは、 上記第１のピクセルアレイ及び上記第２のピクセルアレイは、夫々複数の行及
び列の個々のピクセル値を有し、 上記第１のピクセルアレイの上記行の上記個々のピクセル値の和を表わす一組
の水平方向の和及び上記第１のピクセルアレイの上記列の上記個々のピクセル値
の和を表わす一組の垂直方向の和から構成される、上記第１のピクセルアレイの
第１の直交和サインと、上記第２のピクセルアレイの上記行の上記個々のピクセ
ル値の和を表わす一組の水平方向の和及び上記第２のピクセルアレイの上記列の
上記個々のピクセル値の和を表わす一組の垂直方向の和から構成され、上記複数
の第２のピクセルアレイの少なくとも選択されたピクセルアレイに対して発生さ
れる複数の第２の直交和サインとを提供する手段と、 上記第１のピクセルアレイと上記第２のピクセルアレイの間で最適なマッチを
決定するために上記第１の直交和サインを上記各第２の直交和サインと比較する
手段とを有する装置。 - 【請求項１１】 上記第１のピクセルアレイ及び上記第２のピクセルアレイ
は、夫々ＭＰＥＧ規格によって定義される構造を有するマクロブロックである請
求項１０記載の動き推定装置。 - 【請求項１２】 動き推定探索中に参照ピクセルアレイの水平方向の行中に
含まれるＮのピクセルの値の和を表わす水平方向の和を更新する回路有し、 上記回路は、上記水平方向の和を計算する手段と、 上記参照ピクセルアレイを水平方向に１ピクセルだけ移動する手段と、 新しい水平方向の和を発生させるために新しいピクセル値を前に計算された水
平方向の和に加算し上記移動段階の後に上記参照ピクセルアレイの水平方向の行
中にもはや含まれない古いピクセル値を上記前に計算された水平方向の和から減
算することで水平方向の和を更新する手段とを有する請求項１０記載の装置。 - 【請求項１３】 参照ピクチャの指定された探索領域の水平方向の動き推定
探索の各反復に対して参照ピクセルアレイの各Ｎ行に対して水平方向の和を発生
させると同時に上記参照ピクセルアレイの各Ｍ列に対して垂直方向の和を発生さ
せる回路を有し、更に、上記回路は、 Ｍの個々のピクセル値をメモリの各Ｎ行中に記憶しＮの個々のピクセル値を上
記メモリの各Ｍ列中に記憶することで上記参照ピクセルアレイの最初の位置に対
応する最初のピクセル値を記憶する手段と、 上記参照ピクセルアレイの上記最初の位置の上記各Ｎ行に対して上記水平方向
の和を計算し上記各計算された水平方向の和を記憶する手段と、 上記参照ピクセルアレイの上記最初の位置の上記各Ｍ列に対して上記垂直方向
の和を計算する手段と、 上記計算された垂直方向の和を記憶するシフトレジスタと、 上記参照ピクセルアレイを上記水平方向に１ピクセルだけ移動する手段と、 （ｅ）上記移動手段に応答して ｉ）上記水平方向に１ピクセルだけ移動した後、上記参照ピクセルアレイ
の最後の列に対応する上記参照ピクセルアレイの上記Ｎ行夫々に対してＮの新し
いピクセル値を提供する手段、 ｉｉ）新しい垂直方向の和を発生させるために上記Ｎの新しいピクセル値
を加算し、上記新しい垂直方向の和を上記シフトレジスタに与え、水平方向の上
記動き推定探索の前に記憶された垂直方向の和を１ワードだけシフトし、それに
よって第１の記憶された垂直方向の和が廃棄され上記新しい垂直方向の和が最後
に記憶された垂直方向の和の前の記憶場所に記憶される手段、 ｉｉｉ）上記シフトレジスタから一組のＭの新しい垂直方向の和を出力す
る手段、 ｉｖ）一組のＮの新しい水平方向の和を発生させるために上記各Ｎ行に対
して対応する上記Ｎのピクセル値を前に計算された水平方向の和に加算し、上記
各Ｎ行に対して上記水平方向に１ピクセルだけ移動した後上記参照ピクセルアレ
イの上記Ｍ列にもはや含まれない対応する古いピクセル値を上記前に計算された
水平方向の和から減算することで上記各水平方向の和を更新する手段、及び、 ｖ）上記一組のＮの新しい水平方向の和を出力する手段を含む請求項１０
記載の装置。 - 【請求項１４】 複数の動き推定探索の各反復中、参照ピクセルが上記水平
方向である探索方向に１ピクセルだけ移動される間の上記動き推定探索の間に上
記参照ピクセルアレイの上記水平方向の行中に含まれるＮのピクセルの値の和を
表わす水平方向の和を更新する回路を有し、 上記回路は、上記水平方向の和を発生させるために上記参照ピクセルアレイの
全ての移動前に上記参照ピクセルアレイの上記水平方向の行中に含まれる上記Ｎ
のピクセルの値を累積し、 【数２】 を用いて上記新しい水平方向の和を計算することで上記水平方向の和を更新する
水平方向和変更回路を含み、このとき、ＯＳＮＥＷは上記参照ピクセルアレイが
上記水平方向に１ピクセルだけ最後に移動した後の新しい水平方向の和であり、
ＯＳＯＬＤは上記参照ピクセルが水平方向に１ピクセルだけ最後に移動する前の
水平方向の和であり、上記ａ００は上記参照ピクセルアレイが水平方向に１ピク
セルだけ最後に移動する前の上記参照ピクセルアレイの水平方向のオリジンであ
るピクセルのピクセル値であり、ａｎｏは上記参照ピクセルアレイが水平方向に
１ピクセルだけ最後に移動した結果として上記参照ピクセルアレイの前の位置に
対して上記参照ピクセルが右に１ピクセルだけ移動した後の上記参照ピクセルの
水平方向のオリジンであるピクセルのピクセル値である請求項１０記載の装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/287,161 | 1999-04-06 | ||
| US09/287,165 US6360015B1 (en) | 1999-04-06 | 1999-04-06 | RAM-based search engine for orthogonal-sum block match motion estimation system |
| US09/287,165 | 1999-04-06 | ||
| US09/287,161 US6480629B1 (en) | 1999-04-06 | 1999-04-06 | Motion estimation method using orthogonal-sum block matching |
| PCT/EP2000/002583 WO2000064182A1 (en) | 1999-04-06 | 2000-03-21 | Motion estimation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002542737A true JP2002542737A (ja) | 2002-12-10 |
Family
ID=26964301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000613195A Pending JP2002542737A (ja) | 1999-04-06 | 2000-03-21 | 動きの推定 |
Country Status (5)
| Country | Link |
|---|---|
| EP (1) | EP1086591A1 (ja) |
| JP (1) | JP2002542737A (ja) |
| KR (1) | KR20010052624A (ja) |
| CN (1) | CN1201589C (ja) |
| WO (1) | WO2000064182A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030103567A1 (en) * | 2001-12-03 | 2003-06-05 | Riemens Abraham Karel | Motion compensation and/or estimation |
| EP2320659B1 (en) * | 2002-08-08 | 2014-10-01 | Panasonic Intellectual Property Corporation of America | Moving picture encoding method and decoding method |
| CN100340116C (zh) * | 2005-01-21 | 2007-09-26 | 浙江大学 | 一种复杂度可分级的运动估计方法 |
| CN100393136C (zh) * | 2005-06-13 | 2008-06-04 | 北京北大方正电子有限公司 | 一种活动图像序列运动向量的搜索方法 |
| FR2972828A1 (fr) * | 2011-03-18 | 2012-09-21 | Norbert Beyrard | Procede de compression d'une image numerique par projections |
| US8829409B2 (en) * | 2012-10-10 | 2014-09-09 | Thermo Fisher Scientific Inc. | Ultra-high speed imaging array with orthogonal readout architecture |
-
2000
- 2000-03-21 CN CNB008010404A patent/CN1201589C/zh not_active Expired - Fee Related
- 2000-03-21 EP EP00920556A patent/EP1086591A1/en not_active Withdrawn
- 2000-03-21 JP JP2000613195A patent/JP2002542737A/ja active Pending
- 2000-03-21 KR KR1020007013845A patent/KR20010052624A/ko not_active Application Discontinuation
- 2000-03-21 WO PCT/EP2000/002583 patent/WO2000064182A1/en not_active Application Discontinuation
Also Published As
| Publication number | Publication date |
|---|---|
| CN1201589C (zh) | 2005-05-11 |
| WO2000064182A1 (en) | 2000-10-26 |
| EP1086591A1 (en) | 2001-03-28 |
| CN1314052A (zh) | 2001-09-19 |
| KR20010052624A (ko) | 2001-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8218635B2 (en) | Systolic-array based systems and methods for performing block matching in motion compensation | |
| KR100659704B1 (ko) | 비디오 이미지 데이터의 제 1 및 제 2 프레임 사이의 움직임 벡터를 얻기 위한 방법, 장치, 및 시스템, 및 컴퓨터-판독가능 매체 | |
| US8345764B2 (en) | Motion estimation device having motion estimation processing elements with adder tree arrays | |
| US5682209A (en) | Motion estimation using limited-time early exit with prequalification matrices and a predicted search center | |
| CA2079434A1 (en) | Motion vector estimation, motion picture encoding and storage | |
| US20050276330A1 (en) | Method and apparatus for sub-pixel motion estimation which reduces bit precision | |
| US20060098735A1 (en) | Apparatus for motion estimation using a two-dimensional processing element array and method therefor | |
| KR20010052630A (ko) | 동작 추정 | |
| TW502535B (en) | Methods and apparatus for motion estimation in compressed domain | |
| US20050013367A1 (en) | Low complexity block size decision for variable block size motion estimation | |
| US6360015B1 (en) | RAM-based search engine for orthogonal-sum block match motion estimation system | |
| JPH09233477A (ja) | 動きベクトル生成方法 | |
| US20080205793A1 (en) | Generating Image Data | |
| Chatterjee et al. | Power efficient motion estimation algorithm and architecture based on pixel truncation | |
| JP2002542737A (ja) | 動きの推定 | |
| US6160850A (en) | Motion estimator employing a three-step hierachical search block-matching algorithm | |
| Ho et al. | A high performance hardware architecture for multi-frame hierarchical motion estimation | |
| US6931066B2 (en) | Motion vector selection based on a preferred point | |
| Ramachandran et al. | FPGA implementation of a novel, fast motion estimation algorithm for real-time video compression | |
| US20100220786A1 (en) | Method and apparatus for multiple reference picture motion estimation | |
| JP4178562B2 (ja) | 動きベクトル検出装置および方法 | |
| KR100292355B1 (ko) | 영상시스템의움직임추정방법및장치 | |
| KR100359091B1 (ko) | 움직임추정장치 | |
| KR100205146B1 (ko) | 디지탈 비데오 인코더 시스템에서 움직임 예측 방법 | |
| KR0183155B1 (ko) | 동영상 압축부호화시 움직임 보상을 위한 시작 및 끝주소 발생회로 |