JP2003524933A - 動き評価 - Google Patents

Abstract

(57)【要約】 第１の画素配列及び第２の画素配列の各画素配列は複数Ｒ行と複数Ｃ列の個別の画素値を含み、第１のピクチャの第１の画素配列と、基準ピクチャの探索領域内の複数の第２の画素配列との間で最良の組み合わせ相手を判定する方法（２０）が提供される。この方法は、上記第１の画素配列の上記行の上記個別の画素値の合計を表す水平和の集合と、上記第１の画素配列の上記列の上記個別の画素値の合計を表す垂直和の第１の集合とを含む上記第１の画素配列の第１の完全直交和特徴情報を供与する手順（２２）と、Ｍ＜ＲかつＮ＜Ｃであり、各部分直交和は、上記第２の画素配列の各画素配列の複数Ｍ行の個別の画素値の合計を表す部分水平和の集合と、上記第２の画素配列の各画素配列の複数Ｎ列の個別の画素値の合計を表す部分垂直和の集合とを含み、上記複数の第２の画素配列の中のそれぞれの画素配列に対する複数の部分直交和特徴情報を供与する手順（２２）と、上記複数の部分徳行和特徴情報を用いて、上記複数の第２の画素配列のそれぞれの画素配列に対する複数の第２の完全直交和特徴情報を同時的に計算する手順（２５）と、上記第１の画素配列と上記第２の画素配列の間で最良の組み合わせ相手を判定するため、上記第１の完全直交和特徴情報を上記第２の完全直交和特徴情報と比較する手順（２７，２９，３１，３３）とを有する。

Description

【発明の詳細な説明】

【０００１】 ［発明の背景］ 本発明は、現在利用可能な技術よりも簡単、高速かつ低価格である効率的な動
き評価方法に関する。

【０００２】 一般的に、ＭＰＥＧビデオデータストリームの符号化のためには、多数の手順
が必要とされる。これらの手順の中の第１の手順は、各ピクチャをマクロブロッ
クに分割することである。次に、理論的に、ＭＰＥＧビデオデータストリーム内
の「非イントラ」ピクチャ毎の各マクロブロックが、別のピクチャにおける現在
マクロブロックの対応した位置の指定された水平及び垂直探索領域内に存在する
実現可能な全ての１６×１６型の画素配列と比較される。この理論的な「全探索
アルゴリズム」（すなわち、探索領域内のすべての起こり得るブロック全体の中
から最良の組み合わせ相手である最良マッチを探索すること）は、常に最良の組
み合わせ相手を与えるが、実世界のアプリケーションでは殆ど使用されない。そ
の理由は、非常に多量の計算が必要とされるからであり、たとえば、Ｎ×Ｎのブ
ロックサイズ及び（Ｎ＋２Ｗ）×（Ｎ＋２ｗ）の探索領域に対し、歪み関数ＭＡ
Ｅはブロック毎に（２ｗ＋１）²回計算される必要がある。さらに、全探索アル
ゴリズムは、より高速で、かつ、より計算量の少ない他の実際的な動き評価アル
ゴリズムの比較を行うため、基準若しくはベンチマークとしてのみ使用される。
これらのより実際的な動き評価アルゴリズムは、一般的に、「高速探索アルゴリ
ズム」と呼ばれる。

【０００３】 上記の探索若しくは「動き評価」手続きは、ある種の予測モードの場合、指定
された探索領域の範囲内のアンカーピクチャにおける（指定されたマッチング規
準に従って）最接近マッチングマクロブロックの動きベクトルを生成する。予測
モード及び動きベクトルが判定されると、最接近マッチングマクロブロックの画
素値は、現在マクロブロックの対応した画素から減算され、得られた差画素の１
６×１６型配列は８×８型ブロックに変換され、ブロック毎に離散コサイン変換
（ＤＣＴ）が行われ、それにより得られた係数は、個別に量子化され、ＭＰＥＧ
ビットストリームを生成するため（そのマクロブロックに関連した予測タイプ、
動きベクトル、及び、その他の情報のままで）ハフマン符号化される。アンカー
ピクチャ内で適切なマクロブロック組み合わせ相手が検出されない場合、或いは
、現在ピクチャがイントラピクチャ、すなわち、Ｉ−ピクチャである場合、上記
の手続きは、現在マクロブロックの実際の画素に関して行われ（すなわち、他の
ピクチャの画素に関する差分が行われない）、このマクロブロックは、「イント
ラ」マクロブロックと呼ばれる。

【０００４】 全てのＭＰＥＧ−２予測モードに対し、動き評価の基本的な技術は、現在マク
ロブロックをアンカーピクチャ内の所与の１６×１６型画像アレイと比較し、指
定された規準に従って組み合わせの品質を評価し、探索範囲内に存在する１６×
１６型画素配列毎にこの手続きを繰り返す。この探索を行うハードウエア若しく
はソフトウエア機構は、一般的に、探索エンジンと呼ばれ、組み合わせの品質を
判定する多数の周知の規準が存在する。特に、最も良く知られた規準は、マクロ
ブロック内の２５６画素と、組み合わせ相手のアンカーピクチャマクロブロック
内の対応した画素の画素毎の差の絶対値の和が測定規準となる最小絶対値誤差（
ＭＡＥ）、並びに、上記画素毎の差の平方の和が測定規準となる最小自乗誤差（
ＭＳＥ）である。いずれの規準の場合でも、対応した和の最小値をとる組み合わ
せ相手が、指定された探索範囲内で最良の組み合わせ相手として選択され、その
マクロブロックの現在マクロブロックに対する相対的な水平位置及び垂直位置が
動きベクトルを構成する。得られた最小和が未だ非常に大きいと考えられる場合
、現在マクロブロックに対する適当な組み合わせ相手は存在しないので、現在マ
クロブロックは、イントラマクロブロックとして符号化される。本発明の目的の
ため、上記の二つの規準のうちいずれか一方、或いは、他の適当な規準が使用さ
れる。

【０００５】 多数の高速探索アルゴリズムは、探索領域内の候補動きベクトル位置（ロケー
ション）の所定の部分集合だけで歪み関数（たとえば、ＭＡＥ関数）を評価する
ので、全体的な計算量が削減される。これらのアルゴリズムは、歪み測度が最良
組み合わせ相手予測の方向で単調減少することを前提としている。たとえ、この
前提が常に真であるとは限らないとしても、このアルゴリズムは、非常に少ない
計算量で準最適動きベクトルを検出することができる。

【０００６】 動き評価のために最も一般的に使用される方法は、幾つかの処理手順に概ね分
割される混成方式である。第一に、画像は画素平均化によって削減（間引き）さ
れる。次に、少数個の画素に関して動作する高速探索アルゴリズムが実行され、
最良組み合わせ相手の近傍に結果を生ずる。次に、獲得された動きベクトルの周
辺の狭い領域で全探索アルゴリズムが実行される。（ＭＰＥＧ−２の場合のよう
に）半画素ベクトルが必要とされる場合、半画素探索が別の手順で行われ、或い
は、半画素探索が制限付きの全探索と結合される。

【０００７】 動き評価のための混成方式において、著しい節約が達成され得るとしても、依
然として、ＭＡＥを計算する反復毎に膨大な計算を実行する必要がある。動きブ
ロックサイズが１６×１６であるＭＰＥＧ−２ ＨＤＴＶのような要求の厳しい
アプリケーションで望まれるように、歪み関数を全てのブロックオフセットに対
しクロックサイクル毎に計算しなければならないと仮定すると、歪み関数計算ユ
ニット（ＤＦＵＣ）は、ＭＡＥを生成するため、（８ビット輝度データが動き評
価のため使用される）８ビットから始めてビット数が増加する多数のより簡単な
回路により構成される。この回路の数は、２５６個の減算回路と、２５６個の絶
対値計算回路と、増加するビット幅の２５５個の加算回路の合計に一致し、ＤＦ
ＣＵ一つあたりに、８ビットからビット数が増加する全部で７５７個の回路が設
けられる。

【０００８】 ピクチャ解像度に依存して、多数のかなり複雑な回路が実際のシステムで必要
とされる。ＤＦＣＵ内で使用される回路の数を削減して、そのハードウエアを再
利用することが可能であるが、これにより実質的に処理時間が増加し、ＨＤＴＶ
のような要求の厳しいアプリケーションでは許容できなくなる。この場合、並列
処理によって補うため、ＤＦＣＵの個数が増加される。

【０００９】 動き評価のための混成方式のおける第１の手順（粗い探索）は、合理的に正確
な組み合わせ相手を見つけるため、できるだけ広い探索領域をカバーする必要が
あるので、一般的にハードウエア使用量の点で最も要求が厳しい手順である。

【００１０】 前述の通り、動き評価が実行される速度が高められ、動き評価を実行するため
必要とされる動き評価又はＤＦＣＵハードウエアの量及び複雑さが著しく軽減さ
れ、合理的な費用でピクチャ品質を著しく改良する評価方法が必要である。1999
年４月6日に出願され、名称が"Motion Estimation Method Using Orthogonal-Su
m Bloc Matching"である本願発明者による米国特許出願番号09,287161（書類番
号PHA23.652）に開示された動き評価方法は、最良組み合わせ相手を識別するた
めに比較されるべき非常に少量のデータを生成し、現在マクロブロック及び探索
領域に配列された画素の個別の輝度値を比較するのではなく、固有のマクロブロ
ック特徴情報を比較することによって最良組み合わせ相手を探索することによっ
て、動き評価探索エンジンハードウエア必要量を実質的に削減する。しかし、そ
こに提案された新規の方法は、動き評価探索手続きの速度を高める課題を直接的
には取り扱っていない。

【００１１】 ［発明の概要］ 本発明の目的は、改良された動き評価技術を提供することである。このため、
本発明は、独立請求項に記載された方法及び動き評価探索エンジンを提供する。

【００１２】 本発明の一面による方法及び装置は、１回の試行で多数の高品質動き評価探索
結果を生成するため、基準ピクチャの探索領域内でマクロブロックに対し計算さ
れる直交和を大量に再利用することによって、この課題を直接的に取り扱う。

【００１３】 本発明は、第１の画素配列及び第２の画素配列の中の各画素配列がＲ行Ｃ列の
形の個別の画素値を含む場合に、第１のピクチャ内の第１の画素配列と、基準ピ
クチャの探索領域内の複数の第２の画素配列との間で最良の組み合わせ相手を判
定する方法を達成する。

【００１４】 本発明の上記並びにその他の目的、特徴及び効果は、添付図面と併せて以下の
詳細な説明から容易に理解されるであろう。

【００１５】 ［発明の詳細な説明］ 概略的に説明すると、本発明の動き評価方法は以下の手順を含む。

【００１６】 第一に、現在符号化中のマクロブロックの完全直交和特徴情報が、参考のため
ここに引用された米国特許出願第09/287161号明細書に開示された方法に従って
、上記マクロブロックの行の個別の画素値の和を表す水平和の集合と、上記マク
ロブロックの列の個別の画素値の和を表す第１の垂直和の集合とを計算すること
によって計算される。

【００１７】 第二に、基準ピクチャの探索領域内に含まれる複数の基準画素配列の中の基準
画素配列毎に、Ｍ＜ＲかつＮ＜Ｃと表されるとき、各部分直交和特徴情報が上記
基準画素配列の中の対応した基準画素配列の複数行であるＭ行の個別の画素値の
和を表す部分水平和の集合と、上記基準画素配列の中の対応した画素配列の複数
列であるＮ列の個別の画素値の和を表す部分垂直和の集合とにより構成されてい
る複数の部分直交和特徴情報が計算される。

【００１８】 第三に、上記複数の基準画素配列の中の対応した基準画素配列に対する完全直
交和特徴情報又は部分直交和特徴情報が複数の部分直交和特徴情報を用いて計算
される。最後に、現在符号化中のマクロブロックの完全直交和特徴情報が、上記
マクロブロックと上記基準画像配列の間で最良の組み合わせ相手方を判定するた
め、上記基準画素配列の各完全直交和特徴情報と比較される。

【００１９】 現時点で好ましい一実施例によれば、Ｎ＝Ｃ−１かつＭ＝Ｒ−１であり、部分
水平和の集合は、全ての基準画素配列を包含する（Ｃ＋１）×（Ｒ＋１）型画素
配列のＮ列Ｒ＋１行に含まれる個別の画素値の和を表し、部分垂直和の集合は、
（Ｃ＋１）×（Ｒ＋１）型画素配列のＭ行Ｃ＋１列に含まれる個別の画素値の和
を表す。Ｒ＋１行とＣ＋１列は、併せて、全ての基準画素配列を包含する（Ｃ＋
１）×（Ｒ＋１）型画素配列を形成し、Ｍ行Ｎ列は、（Ｃ＋１）×（Ｒ＋１）型
画素配列の中心に位置合わせされる。ＣはＲと一致しても一致しなくてもよく、
ＭはＮと一致しても一致しなくてもよいことが認められる。

【００２０】 比較手順は、所定の最良マッチ探索規準、たとえば、最小絶対値誤差（ＭＡＥ
）探索規準を用いて行われるが、本発明は、このような規準或いはその他の規準
を使用する特定の実施形態に制限されるものではない。

【００２１】 好ましくは、現在符号化中のマクロブロック及び各基準画素配列は、たとえば
、ＭＰＥＧ−２標準のようなＭＰＥＧ標準によって規定された構造を有する削減
されたマクロブロック若しくは削減されていないマクロブロックを形成する。ま
た、以下で詳述されるように、本発明の動き評価方法は、好ましくは、ディジタ
ルビデオ復号器、たとえば、ＭＰＥＧ−２方式ディジタルビデオ復号器の動き評
価探索エンジンに実装される。

【００２２】 好ましくは、かつ、有利的には、複数の部分直交和特徴情報を供与する手順は
、最初に、各部分水平和及び各部分垂直和を計算し、次に、計算された部分水平
和及び部分垂直和を動き評価探索エンジンのメモリに格納することによって実行
され、複数の第２の完全直交和特徴情報を計算する手順は、第２の画素配列毎に
、適宜にＭ行の上側又は下側の（Ｃ＋１）×（Ｒ＋１）型画素配列の選択された
行からの画素値を各部分垂直和に加算することによって完全垂直和の集合を計算
し、第２の画素配列毎に、適宜にＮ列の左側又は右側の（Ｃ＋１）×（Ｒ＋１）
型画素配列の選択された列からの画素値を各部分水平和に加算することによって
完全水平和の集合を計算することにより実行される。好ましくは、かつ、有利的
には、両方の計算用サブ手順が並列的に行われる。

【００２３】 図１、２Ａ〜２Ｅ、及び、３Ａ〜３Ｄを参照して、本発明の動き評価方法の一
実施例を説明する。最初に、本発明は、８×８型マクロブロックの状況に基づい
て説明されているが、本発明は、勿論、特定のブロックサイズ又はブロック構造
に限定されるものではない点を指摘する。８×８型マクロブロックの状況は、本
発明の原理を簡単に説明する目的のためだけに使用されている。

【００２４】 図１をより詳細に参照すると、基準ピクチャの指定された探索領域に配置され
た９×９型画素配列の一般的な構造が示されている。９×９型画素配列は、Ｃ１
からＣ９までの９列と、Ｒ１からＲ９までの９行とを有する。以下で詳述される
ように、図２Ａに示された構造及び画素番号付けコンフィギュレーションを有す
る４個の別々の基準８×８型画素配列（若しくは、基準ブロック）は、９×９型
画素配列内に収容（又は包含）され、各基準８×８型画素配列は、図１において
マークＸが付けられたボックスによって示されるように、９×９型画素配列の画
素座標Ｒ１−Ｃ１、Ｒ１−Ｃ２、Ｒ２−Ｃ１及びＲ２−Ｃ２に原点を有する、図
２Ｂには、原点がＲ１−Ｃ１である基準８×８型画素配列が示され、図２Ｃには
、原点がＲ１−Ｃ２である基準８×８画素配列が示され、図２Ｄには、原点がＲ
２−Ｃ１である基準８×８画素配列が示され、図２Ｅには、原点がＲ２−Ｃ２で
ある基準８×８画素配列が示されている。

【００２５】 以下で完全に説明するように、本発明の一実施例の動き評価方法によれば、上
記４個の別々の各基準８×８型画素配列の完全直交和特徴情報は、先に計算され
、メモリに記憶された部分水平和及び部分垂直和を用いて並列的に計算され、次
に、これらの４個の基準８×８型画素配列の４個の直交和特徴情報は、これらの
４個の基準８×８型画素配列の中で現在符号化中のマクロブロックと最良の組み
合わせとなる基準８×８型画素配列を、たとえば、最小絶対値誤差（ＭＡＥ）の
ような所定の探索規準に従って判定するため、現在符号化中のマクロブロックの
完全直交和特徴情報と並列的に比較される。勿論、本発明は、特定の数の基準画
素配列に限定されず、たとえば、４個未満若しくは４個よりも多い基準画素配列
の直交和特徴情報を並列的に計算し、本発明の原理に従って、現在符号化中の マクロブロックの直交和特徴情報と並列的に比較し、これにより、単一パス（試
行）で多数の動き評価を同時に行うことが可能である。

【００２６】 図３Ａ乃至３Ｄを参照するに、部分水平和ＳＨ１−ＳＨ９の集合（図３Ａ）と
、部分垂直和ＳＶ１−ＳＶ９の集合（図３Ｂ）が１回計算され、次に、好ましく
は、動き評価探索エンジン内のメモリに記憶される。部分水平和ＳＨ１−ＳＨ９
は、図１に示された９×９型画素配列の行Ｒ１からＲ９までの９行に配置された
中間のＣ２からＣ８までの７列の個別の画素（輝度）値の和を表す。部分垂直和
ＳＶ１−ＳＶ９は、図１に示された９×９型画素配列の列Ｃ１からＣ９までの９
列に配置された中間のＲ２からＲ８までの７行の個別の画素（輝度）値の和を表
す。容易にわかるように、部分水平和ＳＨ１−ＳＨ８は、図２Ｂ及び２Ｃにそれ
ぞれ示されているように、原点がＲ１−Ｃ１にある基準８×８型画素配列と、原
点がＲ１−Ｃ２にある基準８×８型画素配列の二つの基準８×８型画素配列に共
通であり、部分水平和ＳＨ２−ＳＨ９は、図２Ｄ及び２Ｅにそれぞれ示されてい
るように、原点がＲ２−Ｃ１にある基準８×８型画素配列と、原点がＲ２−Ｃ２
にある基準８×８型画素配列の二つの基準８×８型画素配列に共通であり、部分
垂直和ＳＶ１−ＳＶ８は、図２Ｂ及び２Ｄにそれぞれ示されているように、原点
がＲ１−Ｃ１にある基準８×８型画素配列と、原点がＲ２−Ｃ１にある基準８×
８型画素配列の二つの基準８×８型画素配列に共通であり、部分垂直和ＳＶ２−
ＳＶ９は、図２Ｃ及び２Ｅにそれぞれ示されているように、原点がＲ１−Ｃ２に
ある基準８×８型画素配列と、原点がＲ２−Ｃ２にある基準８×８型画素配列の
二つの基準８×８型画素配列に共通である。

【００２７】 次に、図３Ｃに概略的に示されるように、４個の別々の基準８×８型画素配列
の各行に対する完全水平和は、適宜に部分水平和ＳＨ１−ＳＨ９の左側又は右側
にある画素値を部分水平和ＳＨ１−ＳＨ９に加算することによって容易に計算さ
れ、図３Ｄに概略的に示されるように、４個の別々の基準８×８型画素配列の各
列に対する完全垂直和は、適宜に部分垂直和ＳＶ１−ＳＶ９の上側又は下側にあ
る画素値を部分垂直和ＳＶ１−ＳＶ９に加算することによって容易に計算される
。

【００２８】 ４個の別々の基準８×８画素配列毎に獲得された完全水平和及び完全垂直和（
すなわち、これらの基準８×８画素配列の合成直交和特徴情報）は、４個の基準
画素配列の中で最良組み合わせ相手方を与える基準画素配列を判定するため、現
在符号化中のマクロブロックの直交和特徴情報と並列的に比較される。最良組み
合わせ相手方を与えることが判明した基準画素配列は、動き評価探索エンジンに
おける更なる処理のため選択される。かくして、本発明の一実施例によれば、４
個の基準画素配列毎の完全直交和特徴情報は、これらの基準画素配列に共通した
部分水平和及び部分垂直和を大量に再利用することによって、最小の計算量で同
時に計算され、かつ、１回の試行（パス）で、現在符号化中のマクロブロックの
最良組み合わせ相手となる一つの基準画素配列を判定し、更なる処理のため選択
することが可能である。

【００２９】 図４を参照するに、本発明の動き評価方法の一実施例を実現する動き評価探索
エンジン２０のブロック図が示されている。同図からわかるように、探索エンジ
ン２０は、部分水平和ＳＨ１−ＳＨ９及び部分垂直和ＳＶ１−ＳＶ９を計算し、
記憶する計算論理及びメモリ２２を含む。部分水平和ＳＨ１−ＳＨ９及び部分垂
直和ＳＶ１−ＳＶ９は、出力として得られ、座標Ｒ１Ｃ１−Ｒ９Ｃ１、Ｒ１Ｃ２
−Ｒ１Ｃ８、Ｒ９Ｃ２−Ｒ９Ｃ８及びＲ１Ｃ９−Ｒ９Ｃ９に配置された個別の画
素値は、二つの別々の出力に与えられる。現在符号化中のマクロブロック（符号
化マクロブロック）と比較されるべき４個の基準画素配列毎に、完全水平和の集
合及び完全垂直和の集合を生成するため、個別の画素値Ｒ１Ｃ１−Ｒ９Ｃ１、Ｒ
１Ｃ２−Ｒ１Ｃ８、Ｒ９Ｃ２−Ｒ９Ｃ８及びＲ１Ｃ９−Ｒ９Ｃ９の中の適当な画
素値を、部分水平和ＳＨ１−ＳＨ９及び部分垂直和ＳＶ１−ＳＶ９の中の適当な
部分和に加算する複数の加算器２５が設けられる。

【００３０】 実際上、図２Ｂに示された（原点がＲ１−Ｃ１である）基準画素配列に対する
完全水平和は、Ｒ１Ｃ１＋ＳＨ１、Ｒ２Ｃ１＋ＳＨ２、Ｒ３Ｃ１＋ＳＨ３、Ｒ４
Ｃ１＋ＳＨ４、Ｒ５Ｃ１＋ＳＨ５、Ｒ６Ｃ１＋ＳＨ６、Ｒ７Ｃ１＋ＳＨ７及びＲ
８Ｃ１＋ＳＨ８である。これらの完全水平和は、図４において、"HSUMS LFT1"の
ように名前が付けられている。同様に、図２Ｂに示された基準画素配列に対する
完全垂直和は、Ｒ１Ｃ１＋ＳＶ１、Ｒ１Ｃ２＋ＳＶ２、Ｒ１Ｃ３＋ＳＶ３、Ｒ１
Ｃ４＋ＳＶ４、Ｒ１Ｃ５＋ＳＶ５、Ｒ１Ｃ６＋ＳＶ６、Ｒ１Ｃ７＋ＳＶ７及びＲ
１Ｃ８＋ＳＶ８である。これらの完全垂直和は、図４において、"VSUMS UP1"の
ように名前が付けられている。他の３個の基準画素配列に対する完全水平和及び
完全垂直和は同様に計算される。

【００３１】 特に、図２Ｃに示された（原点がＲ１−Ｃ２である）基準画素配列に対する完
全水平和は、Ｒ１Ｃ９＋ＳＨ１、Ｒ２Ｃ９＋ＳＨ２、Ｒ３Ｃ９＋ＳＨ３、Ｒ４Ｃ
９＋ＳＨ４、Ｒ５Ｃ９＋ＳＨ５、Ｒ６Ｃ９＋ＳＨ６、Ｒ７Ｃ９＋ＳＨ７及びＲ８
Ｃ９＋ＳＨ８である。これらの完全水平和は、図４において、"HSUMS RGHT1"の
ように名前が付けられている。同様に、図２Ｃに示された基準画素配列に対する
完全垂直和は、Ｒ１Ｃ２＋ＳＶ２、Ｒ１Ｃ３＋ＳＶ３、Ｒ１Ｃ４＋ＳＶ４、Ｒ１
Ｃ５＋ＳＶ５、Ｒ１Ｃ６＋ＳＶ６、Ｒ１Ｃ７＋ＳＶ７、Ｒ１Ｃ８＋ＳＶ８及びＲ
１Ｃ９＋ＳＶ９である。これらの完全垂直和は、図４において、"VSUMS UP2"の
ように名前が付けられている。

【００３２】 図２Ｄに示された（原点がＲ２−Ｃ１である）基準画素配列に対する完全水平
和は、Ｒ２Ｃ１＋ＳＨ２、Ｒ３Ｃ１＋ＳＨ３、Ｒ４Ｃ１＋ＳＨ４、Ｒ５Ｃ１＋Ｓ
Ｈ５、Ｒ６Ｃ１＋ＳＨ６、Ｒ７Ｃ１＋ＳＨ７、Ｒ８Ｃ１＋ＳＨ８及びＲ９Ｃ１＋
ＳＨ９である。これらの完全水平和は、図４において、"HSUMS LFT2"のように名
前が付けられている。同様に、図２Ｄに示された基準画素配列に対する完全垂直
和は、Ｒ９Ｃ１＋ＳＶ１、Ｒ９Ｃ２＋ＳＶ２、Ｒ９Ｃ３＋ＳＶ３、Ｒ９Ｃ４＋Ｓ
Ｖ４、Ｒ９Ｃ５＋ＳＶ５、Ｒ９Ｃ６＋ＳＶ６、Ｒ９Ｃ７＋ＳＶ７及びＲ９Ｃ８＋
ＳＶ８である。これらの完全垂直和は、図４において、"VSUMS DWN1"のように名
前が付けられている。

【００３３】 図２Ｅに示された（原点がＲ２−Ｃ２である）基準画素配列に対する完全水平
和は、Ｒ２Ｃ９＋ＳＨ２、Ｒ３Ｃ９＋ＳＨ３、Ｒ４Ｃ９＋ＳＨ４、Ｒ５Ｃ９＋Ｓ
Ｈ５、Ｒ６Ｃ９＋ＳＨ６、Ｒ７Ｃ９＋ＳＨ７、Ｒ８Ｃ９＋ＳＨ８及びＲ９Ｃ９＋
ＳＨ９である。これらの完全水平和は、図４において、"HSUMS RGHT2"のように
名前が付けられている。同様に、図２Ｅに示された基準画素配列に対する完全垂
直和は、Ｒ９Ｃ２＋ＳＶ２、Ｒ９Ｃ３＋ＳＶ３、Ｒ９Ｃ４＋ＳＶ４、Ｒ９Ｃ５＋
ＳＶ５、Ｒ９Ｃ６＋ＳＶ６、Ｒ９Ｃ７＋ＳＶ７、Ｒ９Ｃ８＋ＳＶ８及びＲ９Ｃ９
＋ＳＶ９である。これらの完全垂直和は、図４において、"VSUMS DWN2"のように
名前が付けられている。

【００３４】 図４を更に参照するに、Ｒ１−Ｃ１に原点がある基準画素配列の直交和（すな
わち、直交和特徴情報）を形成する"HSUMS LFT1"及び"VSUMS UP1"は、入力とし
て、第１のＭＡＥ計算回路（Compute MAE1）２７に供給され、この第１のＭＡＥ
計算回路２７は、別の入力で、現在符号化中のマクロブロック（すなわち、符号
化マクロブック）の対応した直交和（すなわち、直交和特徴情報）"OSUMS COS M
ACROBL"を受ける。Ｒ１−Ｃ２に原点がある基準画素配列の直交和（すなわち、
直交和特徴情報）を形成する"HSUMS RGHT1"及び"VSUMS UP2"は、入力として、第
２のＭＡＥ計算回路（Compute MAE2）２９に供給され、この第２のＭＡＥ計算回
路２９は、別の入力で、符号化マクロブックの対応した直交和（すなわち、直交
和特徴情報）を受ける。Ｒ２−Ｃ１に原点がある基準画素配列の直交和（すなわ
ち、直交和特徴情報）を形成する"HSUMS LFT2"及び"VSUMS DWN1"は、入力として
、第３のＭＡＥ計算回路（Compute MAE3）３１に供給され、この第３のＭＡＥ計
算回路３１は、別の入力で、符号化マクロブックの対応した直交和（すなわち、
直交和特徴情報）を受ける。Ｒ２−Ｃ２に原点がある基準画素配列の直交和（す
なわち、直交和特徴情報）を形成する"HSUMS RGHT1"及び"VSUMS DWN2"は、入力
として、第４のＭＡＥ計算回路（Compute MAE4）３３に供給され、この第４のＭ
ＡＥ計算回路３３は、別の入力で、符号化マクロブックの対応した直交和（すな
わち、直交和特徴情報）を受ける。

【００３５】 図４を更に参照するに、ＭＡＥ計算回路２７、２９、３１及び３３は、対応し
た基準画素配列の直交和特徴情報を、符号化マクロブロックの直交和特徴情報と
比較し、次に、対応したＭＡＥ（及び／又は、適当な歪み関数／探索規準）を計
算する。これらのＭＡＥ計算回路２７、２９、３１及び３３は、並列に配置され
ているので、それぞれのＭＡＥを同時に計算するよう動作する。最後に、セレク
タ回路３５("Select Best Out Of Four")は、ＭＡＥ計算回路２７、２９、３１
及び３３によって出力されたＭＡＥ（ＭＡＥ１−ＭＡＥ４）を受け取り、最も小
さいＭＡＥを最良ＭＡＥとして選択し、動き評価プロセスで更に使用するためそ
の結果を出力する。

【００３６】 かくして、単一の試行（パス）で、本発明の一実施例の動き評価探索エンジン
２０は、アンカー（基準）ピクチャ内の４個のマクロブロック位置（基準画素配
列）の直交和を符号化マクロブロックの直交和と同時に比較し、４個の基準画素
配列の中で、指定された探索規準（本例の場合には、ＭＡＥ）に従って、最良の
組み合わせ相手となる基準画素配列を判定する。勿論、既に説明した通り、本発
明は、特定の数の基準画素配列には限定されず、たとえば、５個以上又は４個未
満の基準画素配列の直交和特徴情報を同時に計算し、本発明の原理にしたがって
、現在符号化中のマクロブロックの直交和特徴情報と並列的に比較してもよく、
これにより、単一のパス（試行）で多数の動き評価が並列的に行われる。さらに
、本発明の方法論によれば、メモリは、動き評価探索プロセスの始めに、部分直
交和が１回だけ書き込みをされ、部分直交和はメモリに記憶されるので、動き評
価探索エンジンが上述の方法で水平方向及び垂直方向に探索するとき、部分直交
和は大量に再利用される。

【００３７】 上述の通り、ＤＦＣＵの計算的複雑さは、動き評価回路（探索エンジン）のコ
ストにおける主な因子である。しかし、本発明の動き評価方法は、ＤＦＣＵのコ
スト及び複雑さに関してかかる著しい緩和をもたらすので、動き評価探索のため
、間引きされていないビデオ又は低レベルの間引きしかされていないビデオから
始めることが非常に実際的になり、動き評価探索の精度、したがって、最終的に
画質が著しく改良される。この点に関連して、本発明の動き評価方法は、動き評
価の段数を実質的に削減するだけではなく、取り除かれた全ての間引き段に必要
とされた特殊なビデオフィルタリング回路を除去することができる。本発明の探
索プロセスは、このようにハードウエアが節約されると共に、間引き去れていな
いビデオから始めて妥当なコストで品質を改良することができる。

【００３８】 本発明の動き評価方法によって実現される更なる利点は、演算速度が著しく高
められることである。通常、配列された輝度の大きさを比較するため、多段の論
理が必要とされ、実際上、単一クロックサイクルで結果を獲得できる可能性はな
い。この理由のため、システムクロック周波数を実質的に低下させるか、或いは
、システムは、実質的な論理リソースを利用してパイプライン化されなければな
らない。この本発明の動き評価方法は、多数の直交和の同時的／並列的な計算を
単一クロックサイクルで容易に実現することができ、基準ピクチャの探索領域に
おける複数（たとえば、４個）の基準画素配列に対応した複数（たとえば、４個
）のＭＡＥの同時的／並列的計算によって、ＭＡＥ計算時間が大幅に低減される
。

【００３９】 これらの利点の他に、本発明は、前述の参考文献：米国特許出願第09/287161
号に開示された直交和ブロックマッチングを用いて動き評価方法を著しく加速す
る。

【００４０】 さらに、本発明は、現在利用可能な技術に対し以下の三つの重要な利点を有す
る。

【００４１】 第一に、直交和計算においてハードウエアを共用することによって実質的にハ
ードウエアが削減される。

【００４２】 第二に、探索の単一過程における多数Ｘ個（たとえば、４個）のマクロブロッ
ク位置は、高度に共用化されたハードウエアを用いて同時評価される。達成され
るＸ倍の加速化は、ビデオ間引きのように探索品質を劣化させない。

【００４３】 第三に、全探索動き評価アルゴリズムが本発明の動き評価方法及び装置を用い
て実現される。

【００４４】 上述の通り、本発明の好ましい実施例を詳細に説明したが、ここで教示された
基本的な新規概念の多数の変形及び／又は変更は、特許請求の範囲に記載された
発明の範囲を逸脱することなく、当業者によって容易に行われ得る事項である。

【００４５】 請求項の記載中、括弧付きで示された参照番号は、請求項に記載された事項を
制限するものとみなされるべきではない。「含む、有する」のような用語は、請
求項に列挙された要素若しくは手順以外の要素若しくは手順の存在を排除するも
のではない。本発明は、幾つかの別々の要素を含むハードウエア、並びに、適当
にプログラムされたコンピュータを用いて実現することができる。幾つかの手段
を列挙する装置発明の請求項において、一部の手段は、全く同一のハードウエア
品によって実施可能である。手段が相互に異なる従属請求項だけに記載されてい
ることは、これらの手段の組み合わせによって効果が得られないことを示すもの
ではない。

【００４６】 概略的に説明すると、第１の画素配列及び第２の画素配列の各画素配列は複数
Ｒ行と複数Ｃ列の個別の画素値を含み、第１のピクチャの第１の画素配列と、基
準ピクチャの探索領域内の複数の第２の画素配列との間で最良の組み合わせ相手
を判定する方法（２０）が提供される。この方法は、 上記第１の画素配列の上記行の上記個別の画素値の合計を表す水平和の集合と
、上記第１の画素配列の上記列の上記個別の画素値の合計を表す垂直和の第１の
集合とを含む上記第１の画素配列の第１の完全直交和特徴情報を供与する手順（
２２）と、 Ｍ＜ＲかつＮ＜Ｃであり、各部分直交和は、上記第２の画素配列の各画素配列
の複数Ｍ行の個別の画素値の合計を表す部分水平和の集合と、上記第２の画素配
列の各画素配列の複数Ｎ列の個別の画素値の合計を表す部分垂直和の集合とを含
み、上記複数の第２の画素配列の中のそれぞれの画素配列に対する複数の部分直
交和特徴情報を供与する手順（２２）と、 上記複数の部分徳行和特徴情報を用いて、上記複数の第２の画素配列のそれぞ
れの画素配列に対する複数の第２の完全直交和特徴情報を同時的に計算する手順
（２５）と、 上記第１の画素配列と上記第２の画素配列の間で最良の組み合わせ相手を判定
するため、上記第１の完全直交和特徴情報を上記第２の完全直交和特徴情報と比
較する手順（２７，２９，３１，３３）とを有する。

【図面の簡単な説明】

【図１】 基準ピクチャの探索領域内の９×９型画素配列の概略的な構造を示す図である
。

【図２Ａ】 図１に示された９×９型画素配列に包含される８×８型画素配列の概略的な構
造及び画素番号付けコンフィギュレーションを示す図である。

【図２Ｂ】 図１に示された９×９型画素配列の座標Ｒ１、Ｃ１の画素を原点とする８×８
型画素配列の位置及び構造を示す図である。

【図２Ｃ】 図１に示された９×９型画素配列の座標Ｒ１、Ｃ２の画素を原点とする８×８
型画素配列の位置及び構造を示す図である。

【図２Ｄ】 図１に示された９×９型画素配列の座標Ｒ２、Ｃ１の画素を原点とする８×８
型画素配列の位置及び構造を示す図である。

【図２Ｅ】 図１に示された９×９型画素配列の座標Ｒ２、Ｃ２の画素を原点とする８×８
型画素配列の位置及び構造を示す図である。

【図３Ａ】 本発明の一実施例の動き評価方法に従って図１に示された９×９型画素配列に
対し計算された部分水平和ＳＨ１−ＳＨ９の集合を示す図である。

【図３Ｂ】 本発明の一実施例の動き評価方法に従って図１に示された９×９型画素配列に
対し計算された部分垂直和ＳＶ１−ＳＶ９の集合を示す図である。

【図３Ｃ】 本発明の一実施例の動き評価方法に従って図１に示された９×９型画素配列内
の所与の８×８型画素配列に対する全水平和を計算するため、適宜左側若しくは
右側の画素値を部分水平和に加算する原理を説明する図である。

【図３Ｄ】 本発明の一実施例の動き評価方法に従って図１に示された９×９型画素配列内
の所与の８×８型画素配列に対する全垂直和を計算するため、適宜上側若しくは
下側の画素値を部分垂直和に加算する原理を説明する図である。

【図４】 本発明の一実施例による動き評価探索エンジンのブロック図である。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK19 MA00 NN01 NN08 NN28 5L096 AA06 GA09 HA04 【要約の続き】 １の画素配列と上記第２の画素配列の間で最良の組み合 わせ相手を判定するため、上記第１の完全直交和特徴情 報を上記第２の完全直交和特徴情報と比較する手順（２ ７，２９，３１，３３）とを有する。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 第１の画素配列及び第２の画素配列の各画素配列は複数Ｒ行
   と複数Ｃ列の個別の画素値を含み、第１のピクチャの第１の画素配列と、基準ピ
   クチャの探索領域内の複数の第２の画素配列との間で最良の組み合わせ相手を判
   定する方法であって、 上記第１の画素配列の上記行の上記個別の画素値の合計を表す水平和の集合と
   、上記第１の画素配列の上記列の上記個別の画素値の合計を表す垂直和の第１の
   集合とを含む上記第１の画素配列の第１の完全直交和特徴情報を供与する手順と
   、 Ｍ＜ＲかつＮ＜Ｃであり、各部分直交和は、上記第２の画素配列の各画素配列
   の複数Ｍ行の個別の画素値の合計を表す部分水平和の集合と、上記第２の画素配
   列の各画素配列の複数Ｎ列の個別の画素値の合計を表す部分垂直和の集合とを含
   み、上記複数の第２の画素配列の中のそれぞれの画素配列に対する複数の部分直
   交和特徴情報を供与する手順と、 上記複数の第２の画素配列のそれぞれの画素配列に対し、上記複数の部分直交
   和特徴情報を用いて複数の第２の完全直交和特徴情報を並列的に計算する手順と
   、 上記第１の画素配列と上記第２の画素配列の間で最良の組み合わせ相手を判定
   するため、上記第１の完全直交和特徴情報を上記第２の完全直交和特徴情報と比
   較する手順とを有する、方法。
2. 【請求項２】 Ｎ＝Ｃ−１かつＭ＝Ｒ−１である、請求項１記載の方法。
3. 【請求項３】 上記部分水平和の集合は、上記第２の画素配列の全てを包含
   する（Ｃ＋１）×（Ｒ＋１）型画素配列のＲ＋１行のＮ列に含まれる個別の画素
   値の和を表し、 上記部分垂直和の集合は、上記（Ｃ＋１）×（Ｒ＋１）型画素配列のＣ＋１列
   のＭ行に含まれる個別の画素値の和を表し、 Ｒ＋１行とＣ＋１列は、併せて、上記第２の画素配列の全てを包含する上記（
   Ｃ＋１）×（Ｒ＋１）型画素配列を形成し、 Ｍ行とＮ列は、上記（Ｃ＋１）×（Ｒ＋１）型画素配列の中心に位置合わせさ
   れる、請求項２記載の方法。
4. 【請求項４】 上記複数の部分直交和特徴情報を供与する手順は、最初に、
   各部分水平和及び各部分垂直和を計算し、次に、計算された部分水平和及び部分
   垂直和をメモリに格納することによって実行される、請求項１記載の方法。
5. 【請求項５】 上記複数の第２の完全直交和特徴情報を計算する手順は、 上記第２の画素配列毎に、適宜にＭ行の上側又は下側の（Ｃ＋１）×（Ｒ＋１
   ）型画素配列の選択された行からの画素値を各部分垂直和に加算することによっ
   て完全垂直和の集合を計算し、 第２の画素配列毎に、適宜にＮ列の左側又は右側の（Ｃ＋１）×（Ｒ＋１）型
   画素配列の選択された列からの画素値を各部分水平和に加算することによって完
   全水平和の集合を計算することにより実行される、請求項３記載の方法。
6. 【請求項６】 上記第２の画素配列毎に完全垂直和の集合を計算するサブ手
   順と、 上記第２の画素配列毎に完全水平和の集合を計算するサブ手順とが並列的に行
   われる、請求項５記載の方法。
7. 【請求項７】 上記複数の第２の画素配列のそれぞれの画素配列に対し、上
   記複数の部分直交和特徴情報を用いて複数の第２の完全直交和特徴情報を並列的
   に計算する手順は、 上記複数の第２の完全直交和特徴情報の中の各完全直交和特徴情報を並列的に
   計算することによって行われる、請求項１記載の方法。
8. 【請求項８】 上記複数の第２の画素配列のそれぞれの画素配列に対し、上
   記複数の部分直交和特徴情報を用いて複数の第２の完全直交和特徴情報を並列的
   に計算する手順は、 上記複数の第２の完全直交和特徴情報の中の各完全直交和特徴情報を並列的に
   計算することによって行われる、請求項３記載の方法。
9. 【請求項９】 第１の画素配列及び第２の画素配列の各画素配列は複数Ｒ行
   と複数Ｃ列の個別の画素値を含み、第１のピクチャの第１の画素配列と、基準ピ
   クチャの探索領域内の複数の第２の画素配列との間で最良の組み合わせ相手を判
   定する動き評価探索エンジンであって、 上記第１の画素配列の上記行の上記個別の画素値の合計を表す水平和の集合と
   、上記第１の画素配列の上記列の上記個別の画素値の合計を表す垂直和の第１の
   集合とを含む上記第１の画素配列の第１の完全直交和特徴情報を供与する回路と
   、 Ｍ＜ＲかつＮ＜Ｃであり、ＲはＣと一致してもしなくてもよく、ＭはＮと一致
   してもしなくてもよい場合に、各部分直交和は、上記第２の画素配列の各画素配
   列の複数Ｍ行の個別の画素値の合計を表す部分水平和の集合と、上記第２の画素
   配列の各画素配列の複数Ｎ列の個別の画素値の合計を表す部分垂直和の集合とを
   含み、上記複数の第２の画素配列の中のそれぞれの画素配列に対する複数の部分
   直交和特徴情報を供与する回路と、 上記複数の第２の画素配列のそれぞれの画素配列に対し、上記複数の部分直交
   和特徴情報を用いて複数の第２の完全直交和特徴情報を並列的に計算する回路と
   、 上記第１の画素配列と上記第２の画素配列の間で最良の組み合わせ相手を判定
   するため、上記第１の完全直交和特徴情報を上記第２の完全直交和特徴情報と比
   較する回路とを有する、動き評価探索エンジン。
10. 【請求項１０】 上記第１の画素配列及び上記第２の画素配列の中の各画素
    配列は、ＭＰＥＧ標準によって規定された構造を有するマクロブロックである。
    請求項９記載の動き評価探索エンジン。
11. 【請求項１１】 上記複数の第２の完全直交和特徴情報を計算する回路は、 上記第２の画素配列毎に、適宜にＭ行の上側又は下側の（Ｃ＋１）×（Ｒ＋１
    ）型画素配列の選択された行からの画素値を各部分垂直和に加算することによっ
    て完全垂直和の集合を計算し、 第２の画素配列毎に、適宜にＮ列の左側又は右側の（Ｃ＋１）×（Ｒ＋１）型
    画素配列の選択された列からの画素値を各部分水平和に加算することによって完
    全水平和の集合を計算するよう動作する、請求項１０記載の動き評価探索エンジ
    ン。
12. 【請求項１２】 上記複数の第２の完全直交和特徴情報を計算する回路は、 上記複数の第２の完全直交和特徴情報の中の各完全直交和特徴情報を並列的に
    計算するよう動作する、請求項９記載の動き評価エンジン。