JP2006229927A - ビデオ圧縮におけるイントラ予測の符号化モード選択方法 - Google Patents

Abstract

【課題】フルサーチ（ＦＳ：full search）方法よりも高い計算効率で最適なイントラ予測モードを検出する、ビデオ圧縮におけるイントラ予測の符号化モードを選択するための方法及び装置を提供する。
【解決手段】本発明の方法は、従来のフルサーチ（ＦＳ：full search）方法の計算を低減する代替フルサーチ（ＡＦＳ：alternative full search）アルゴリズムを採用する。本発明の方法では、予測ブロックの推定和を、実際にプレディクタを生成せずに求める。すべてのモードの推定和を下限閾値と比較することによって、不要なモードは速やかに排除され、集中的な計算を必要とするプレディクタの計算数及びコストの評価数を低減する。
【選択図】図３

Description

背景
発明の分野
本発明は、一般には、ビデオ圧縮方法に関し、より詳細には、画像フレーム内におけるイントラ予測ブロックデータのための符号化モードを選択する方法に関する。

発明の背景
ＩＴＵ−Ｔ Ｈ．２６４規格は、ＭＰＥＧ−４ Ｐａｒｔ−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）とも呼ばれ、次世代のビデオコンテンツの符号化における圧縮ツールとして最近開発された。実験結果によれば、Ｈ．２６４規格は他の既存の規格に比べ、２倍の圧縮効率をもたらす。従って、Ｈ．２６４規格は、インターネットストリーミング、マルチメディア通信、及び移動体テレビの成長用途での使用に非常に適している。

現ブロックの符号化中に、隣接ブロックとの間での空間冗長性を除去するために、Ｈ．２６４規格は、「イントラ予測」と呼ばれる、現符号化ブロックの周囲のピクセルからプレディクタを形成する符号化ツールを規定している。図１に示すように、Ｈ．２６４規格によれば、それぞれの４×４輝度ブロックに対して合計９種類のイントラ予測モードがある。更に、図２は、それぞれの予測モードにおいて４×４の予測ブロックのプレディクタ（ａ〜ｐ）の形成に使用する境界ピクセル（Ａ〜Ｌ、及びＸ）を示している。現符号化ブロックと、予測モードに従って形成された予測ブロックとの差分が、更に変換、量子化、及びエントロピー符号化などの手順によって処理されて圧縮ビットストリームを生成する。予測ブロックが現符号化ブロックに似ていれば似ているほど得られる差分が小さくなるため、適切なイントラ予測モードを選択することが圧縮性能にとって重要である。その結果、圧縮する必要のある情報量が大きく低減され、圧縮性能を向上させることができる。

イントラ予測モードを高速に選択し、イントラ予測を高速に実行するための手法が数多く市場に導入されている。例えば、特開２００４−１４０４７３号公報に、パイプライン処理に基づいて各ブロックを高速にイントラ予測する画像情報符号化装置が開示されている。この装置は、ラスタスキャン以外の所定の順番で個々のブロックを順次処理する。

米国特許公報第２００３／０２０６５９４号には、エンコーダの予期される複雑度に従って予測モードの確率（蓋然性）テーブルを提供するイントラフレームの符号化方法が開示されている。この確率テーブルは、低複雑度の符号化においては予測モードの低複雑度用サブセットを使用してブロックを符号化できるように、或いは、高複雑度の符号化においては任意の予測モードを使用してブロックを符号化できるように調整できる。これにより、予測モードの低複雑度用サブセットにのみ応答する低複雑度用デコーダ（簡易デコーダ）の利用が可能になる。

米国特許公報第２００３／０２２３６４５号には、ビデオの符号化処理又は復号化処理に使用されるピクセル予測モードを評価する（見積もる）方法とシステムが開示されている。この出願では、予測モードを、予測誤差を小さくする確率に従って順位付けられた５つのグループに分類する。予測モードの順位は、画像フレームのエッジ又は境界に隣接したブロックの位置に従って表現される。

米国特許公報第２００４／０００８７７１号では、イントラモードのブロック予測を使用してデジタル画像を符号化する方法及び装置を開示する。予測モードの各組み合わせに指定されるモードを、２つのグループに分けることができる。第１のグループは、最も確率の高いｎ個の予測モードを包含し（ｎは利用可能なモードの総数よりも小さい数）、第２のグループは残りのモードを包含する。第１のグループのモードは、確率に従って順位付けされる。その順位は、最も確率の高いモードから最も確率の低いモードまで並べたモードのリストとして規定することができる。第２のグループのモードは、デコーダがすでに利用可能な情報に対応して規定することのできる所定の方法で順位付けすることができる。

更に、計算の複雑度が妥当である、イントラ予測モードを選択する手法が知られている。この手法では、コスト関数の部分計算、早期停止、及び確率の高いモードの選択的な計算など種々の方式により、イントラ予測モードの選択に要する時間を抑制する。又、他の既知の手法は、最も確率の高いモードを調べることによる高速モード選択方法を提供する。この方法は、ブロックの適切な予測モードは、ほとんどの場合、そのブロック内のローカル（局部）エッジの方向であるという仮定に基づいている。ローカルエッジ情報は、現符号化ブロックのエッジ性状パラメータについての追加的な計算によって得られる。イントラ予測モード選択のための高速アルゴリズムの詳細については、ビー・メン及びオー・シー・オー、「Ｈ．２６４における４×４ブロックによる高速イントラ予測モード選択」、ＩＣＡＳＳＰ’０３、２００３年４月［B. Meng and O. C. Au, “Fast intra-prediction mode selection by 4 by 4 blocks in H.264,” in Proc. Of 2003 IEEE Int. Conf. On Acoustics, Speech, and Signal Processing (ICASSP'03), April 2003］、及び、ワイ・ディー・チャン、エフ・ダイ及びエス・エックス・リン、「Ｈ．２６４のための高速４×４イントラ予測モード選択」、ＩＣＭＥ’０４、２００４年７月［Y. D. Zhang, F. Dai, and S. X. Lin, “Fast 4 by 4 Intra-prediction Mode Selection for H.264,” in Proc. of 2004 IEEE Int. Conf. On Multimedia and Expo (ICME'04), July 2004］を参照されたい。

しかしながら、上記の手法は、少数のモード候補に依存するとともに、予測ブロックの整合誤差の評価が粗い。従って、最適なイントラ予測モードの選択を達成するには、いくつか難しい点がある。つまり、これら既存の方法論では、最大の圧縮性能を得ることはできない。

更に、最良の圧縮性能を得るためには、画像フレーム内の各４×４ブロックを、それぞれ最適のイントラ予測モードで符号化する必要がある。最適のイントラ予測モードを見つけるには、実現が容易なわりに良好な性能と規則性のため、図１の９個の予測モードをフルサーチ（ＦＳ：full search）することが一般に行われる。Ｈ．２６４リファレンスプログラムＪＭ７．３では、各４×４ブロックごとに最適のモードを選択するためのフルサーチアルゴリズムが開発されている。各モードについてのコスト測定は、予測ブロックと現符号化ブロックと間の絶対差分の和（ＳＡＤ：sum of absolute difference）に基づいている。Ｃ（ｉ，ｊ）を現４×４符号化ブロック（Ｃ）の座標（ｉ，ｊ）におけるピクセルの輝度（強度）とする。Ｐｍ（ｉ，ｊ）をモードｍ（０≦ｍ≦８）に従って予測された４×４ブロック（Ｐｍ）の座標（ｉ，ｊ）におけるピクセルの輝度とする。ＳＡＤ（ｍ）で表示されるＰｍとＣとの間の絶対差分和は、次式で与えられる。
ＳＡＤ（ｍ）＝ΣΣ｜Ｐｍ（ｉ，ｊ）−Ｃ（ｉ，ｊ）｜，０≦（ｉ，ｊ）≦３ ・・・（１）

従って、Ｈ．２６４リファレンスプログラムにおいて、ＦＳ方法は以下のステップを含んでいてよい。
（１）モードｍに従って予測４×４ブロックＰｍを生成する。
（２）次式で与えられるＣＯＳＴ（ｍ）で表示されるモードｍのコストを計算する。
ＣＯＳＴ（ｍ）＝ＳＡＤ（ｍ）＋４＊Ｆ（ＱＰ）＊ＭＰ ・・・（２）
ここで、Ｆ（ＱＰ）は量子化パラメータ（ＱＰ：quantization parameter）の関数であり、Ｆ（ＱＰ）≧０である。ＭＰは、ｍが最も確率の高いモードの場合は０で、そうでない場合は１である。
（３）ステップ（１）及び（２）を０≦ｍ≦８に対して繰り返す。最小のＣＯＳＴ（ｍ）を有するモードを、最適イントラ予測モードとして選択する。

Ｈ．２６４リファレンスプログラムによると、モード０（垂直予測）及びモード１（水平予測）を除いて、その他のモードにおけるプレディクタは、境界ピクセルの数学的関数によって計算される。モード２（ＤＣ予測）を例にとる。ＤＣ予測ブロック内の各プレディクタは、（４Ａ＋４Ｂ＋４Ｃ＋４Ｄ＋４Ｉ＋４Ｊ＋４Ｋ＋４Ｌ＋４）＞＞３から計算されるのと同じ値を有する。ここで、｛Ａ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ｝は、図２に示されるように境界ピクセルであり、＞＞は右シフト演算を示すビット単位演算子である。乗加算が１演算で行われるデジタルシグナルプロセッサ（ＤＳＰ：digital signal processor）では、ＤＣ予測ブロックを生成するための演算数は９である（即ち、８の乗加算と１のシフトである。）。その他の８モードのための演算式と演算数は、表Ｉ−ＩＸに示されており、これらの９モードにおいてプレディクタを生成するためには合計１９２の演算となる（本明細書の最後の表Ｘ参照。）。各ブロックのために固定ＱＰを使用するなら、ｍが最も確率の高いモードである場合には、ＣＯＳＴ（ｍ）を求めるために３１の演算を要し、そうでなければ３２の演算を要する。その結果、ＦＳ方法は、各４×４ブロックごとに４７９（＝１９２＋３１＋３２＊８）の演算を要することになる。ＦＳ方法のためのこの多大な演算数は、計算量的に過大である。

従って、ＦＳ方法よりも高い計算効率で最適なイントラ予測モードを検出する新しい方式が求められる。

発明の概要
本発明の目的は、イントラ予測モードに対する代替フルサーチ（ＡＦＳ：alternative full search）方法を提供することである。ＡＦＳ方法は、モードｍに対する予測ブロックのコスト（ＣＯＳＴ（ｍ））を計算する前に不要なモードを排除することによって、ＦＳ方法の複雑度を低減する。その結果、ＰＳＮＲ（peak signal-to-noise ratio：ピーク信号対雑音比）及びビットレートがＦＳ方法の場合とほぼ同じでありながら、計算の複雑度を効果的に低減することができる。

本発明の好ましい実施態様によると、ビデオ圧縮におけるイントラ予測の符号化モードを選択するための装置が提供される。本装置は、現符号化ブロック、現符号化ブロックを囲む境界ピクセル（画素）、量子化パラメータ、及び隣接ブロックのモードを含むデータを受信するための入力ポートと；受信データに基づいて、ビデオ圧縮に使用される最適モード及び最小コストＣＯＳＴｍｉｎのうち少なくとも１つを決定するためのマイクロプロセッサと；最適モード及びＣＯＳＴｍｉｎのうち少なくとも１つを出力するための出力ポートと；を有する。

他の好ましい実施態様においては、本装置は更に、符号化モードを決定する手段を有する。符号化モードを決定する手段は、予測ブロックの推定（概算）和を計算するための第１の計算器と、現符号化ブロックの和を計算するための第２の計算器と、予測ブロックの推定和と現符号化ブロックの和とを比較して特定のモードｋを選択するためのコンパレータ（比較器）と、モードｋに対する予測ブロックを生成するためのジェネレータ（発生器）と、モードｋに対するコストＣＯＳＴ（ｋ）を計算するための第３の計算器と、を有する。

上記の実施態様では、モードｋにおいて、モードｋに対する予測ブロックの推定和と現符号化ブロックの和との間の絶対差分が最小値を有し、仮（一時）最小コストＣＯＳＴｍｉｎがＣＯＳＴ（ｋ）として初期設定される。更に、モードｎに対する推定和と現ブロックの和との間の絶対差分がＣＯＳＴｍｉｎよりも小さい場合、コンパレータは更に、モードｎ（ｎ≠ｋ）のコストＣＯＳＴ（ｎ）と仮最小コストＣＯＳＴｍｉｎとを比較する。ＣＯＳＴ（ｎ）が仮ＣＯＳＴｍｉｎよりも小さい場合、マイクロプロセッサは、仮最小コストをＣＯＳＴ（ｎ）に更新し、又仮最適符号化モードをモードｎに更新する。

更に、本発明の他の好ましい実施態様では、ビデオ圧縮におけるイントラ予測の符号化モードを選択するための方法が提供される。本方法は、現符号化ブロック、現符号化ブロックを囲む境界ピクセル、量子化パラメータ、及び隣接ブロックのモードを含むデータを受信するステップと；すべてのモードに対する予測ブロックの推定和を計算するステップと；予測ブロックの推定和に基づいて最適符号化モードを決定するステップと；を含む。この実施態様では、最適符号化モードは、すべてのモードのうち、該最適符号化モードに対する予測ブロックと現符号化ブロックとの間の絶対差分の和（ＳＡＤ：sum of absolute difference）が最小である特徴を有する。

他の好ましい実施態様では、更に、すべてのモードに対する予測ブロックの推定和を計算するステップと；現符号化ブロックの和（ＳＵＭＣ：sum of the current coding block）を計算するステップと；予測ブロックの推定和と現符号化ブロックの和との間の絶対差分を比較するステップ（即ち、｜ＥＳＵＭＰ（ｍ）−ＳＵＭＣ｜）と；すべてのモードのうち、｜ＥＳＵＭＰ（ｋ）−ＳＵＭＣ｜が最小であるモードｋを検出するステップと；モードｋに対する予測ブロックＰｋを生成するステップと；予測ブロックＰｋのコストＣＯＳＴ（ｋ）を計算するステップと；ＣＯＳＴ（ｋ）及びモードｋを初期最小コストＣＯＳＴｍｉｎ及び初期最適モードとして設定するステップと；を含む。

上記方法は、更に、モードｎ（ｎ≠ｋ）の推定和と現符号化ブロックの和との間の絶対差分を、ＣＯＳＴｍｉｎと比較し、絶対差分がＣＯＳＴｍｉｎよりも小さい場合には、モードｎに対する予測ブロックを生成し、モードｎのコストＣＯＳＴ（ｎ）を計算し、ＣＯＳＴ（ｎ）をＣＯＳＴｍｉｎと比較し、そして、ＣＯＳＴ（ｎ）がＣＯＳＴｍｉｎよりも小さい場合にはＣＯＳＴｍｉｎ及び最適モードをＣＯＳＴ（ｎ）及びｎに更新する。

本発明の他の好ましい実施態様では、ビデオ圧縮アプリケーションにおいて予測ブロックの推定和を計算するための方法が含まれる。本方法は、現符号化ブロックの周囲の境界ピクセルを受信するステップと；予測ブロックを実際には形成せずに境界ピクセルの数学的関数に従って予測ブロックの推定和を計算するステップと；を含む。

発明の詳細な説明
本発明の好ましい実施態様では、イントラ予測モードに対する代替フルサーチ（ＡＦＳ）方法を提供する。本実施態様によれば、ＡＦＳ方法は、モードｍに対する予測ブロックのコスト（ＣＯＳＴ（ｍ））を計算する前に無駄なモードを排除することによって従来のＦＳ方法の複雑度を低減する。排除の基準は、ＳＡＤ（ｍ）の下限（下界）に基づき、これは、モードｍに対する予測ブロックＰｍの推定和から、この予測ブロックＰｍを実際に生成することなく求めることができる。ここで、ＳＡＤ（ｍ）は、予測ブロックＰｍと現４×４符号化ブロックＣとの間の絶対差分の和である。その結果、ＡＦＳ方法は、ＰＳＮＲ（peak signal-to-noise ratio：ピーク信号対雑音比）及びビットレートを、実質的にＦＳ方法によって得られるものと同等のレベルに維持しながら、計算の複雑度を効果的に低減する。

従来のブロックマッチング方法では、動き推定（予測）のためにサクセシブ・エリミネーション・アルゴリズム（連続排除アルゴリズム，ＳＥＡ：successive elimination algorithm）を採用することによって、ＳＡＤをマッチング基準として使用するフルサーチ手法を効果的に高速化することができる。ＳＥＡにて使用される数学的三角不等式に基づいて、ＳＡＤの下限を求めることにより、ＳＥＡは多くの候補をＳＡＤの計算の対象から除く。動き推定のためのＳＥＡについての詳細は、ダブリュー・リー及びイー・サラリ、「動き推定のためのサクセシブ・エリミネーション・アルゴリズム」、ＩＥＥＥ トランス イメージプロセシング、Ｖｏｌ．４、ｐｐ．１０５−１０７、１９９５年１月［W. Li and E. Salari, “Successive elimination algorithm for motion estimation” IEEE Trans, Image Processing, Vol. 4, pp. 105-107, Jan. 1995］を参照されたい。

本発明は、ＳＥＡのコンセプトを、ベストマッチするイントラ予測ブロックを検出するために拡張し、ＳＥＡにおける数学的不等式は、次のように変更される。
ＳＡＤ（ｍ）＝ΣΣ｜Ｐｍ（ｉ，ｊ）−Ｃ（ｉ，ｊ）｜≧｜ＳＵＭＰ（ｍ）−ＳＵＭＣ｜ ・・・（３）
ＳＵＭＣ＝ΣΣＣ（ｉ，ｊ） ・・・（４）
ＳＵＭＰ（ｍ）＝ΣΣＰｍ（ｉ，ｊ） ・・・（５）
ここで、Ｃ（ｉ，ｊ）及びＰｍ（ｉ，ｊ）は、それぞれ、現符号化ブロックＣ及びモードｍに従って予測されたブロックＰｍの、座標（ｉ，ｊ）におけるピクセルの輝度（強度）である。又、ＳＵＭＰ（ｍ）及びＳＵＭＣは、それぞれ、モードｍに従って予測されたブロックの実際の和及び現符号化ブロックの和である。

不等式（３）によると、ＳＡＤ（ｋ）が全モードのうち最小値であるモードｋが存在する場合、ｍ≠ｋである時ＳＡＤ（ｍ）≧｜ＳＵＭＰ（ｍ）−ＳＵＭＣ｜＞ＳＡＤ（ｋ）が保証される。従って、｜ＳＵＭＰ（ｍ）−ＳＵＭＣ｜が特定の下限よりも大きい場合、ＳＡＤ（ｍ）の計算を排除することができ、これにより、３１の演算を節約することができる。

ただし、ほとんどのモードでは、ＳＵＭＰ（ｍ）を求める総演算数は３１よりも大きい。モード５を例にとる。表Ｘに示すように、先ずＰ５を生成するために３６の演算を要し、次いでＳＵＭＰ（５）を計算するために１５の演算を要する。その結果、ＳＵＭＰ（５）を求めるために合計（３６＋１５）＝５１の演算が必要である。しかし、この演算量は、まだ相当に大きい。従って、ＳＵＭＰ（ｍ）を求める演算数を低減することが望まれる。

本発明によれば、不等式（３）におけるＳＵＭＰ（ｍ）を、推定値によって置き換える。これは、Ｐｍを生成するコストなしで求められる。図２に示すように、プレディクタ（ａ〜ｐ）は境界ピクセル（Ａ〜Ｌ及びＸ）から生成されるため、ＳＵＭＰ（ｍ）はこれらのピクセルの数学的関数によって直接推定することができる。モードｍによる予測ブロックの推定和は、ＥＳＵＭＰ（ｍ）で表示され、次式で計算される。
ＥＳＵＭＰ（ｍ）＝（（Σ（ＷＣｍ（ｉ，ｊ）＊ＢＰ（ｉ，ｊ）））＋ＲＣｍ）＞＞ＳＲｍ＜＜ＳＬｍ
ここで、ＢＰ（ｉ，ｊ）は現符号化ブロックを囲む座標（ｉ，ｊ）における境界ピクセルの輝度（強度）、ＷＣｍ（ｉ，ｊ）はモードｍに対するＢＰ（ｉ，ｊ）の重み付け定数、ＲＣｍはモードｍに対する丸め定数、ＳＲｍ及びＳＬｍは、それぞれ、モードｍに対する右シフト演算数及び左シフト演算数、記号＞＞及び＜＜は、それぞれ、右シフト演算及び左シフト演算を示すビット単位演算子である。

表ＸＩは、すべてのモードについてのＥＳＵＭＰ（ｍ）の演算式を示す。表ＸＩにおいて、記号＞＞及び＜＜は、それぞれ、右シフト演算及び左シフト演算を示すビット単位演算子である。表ＸＩに示されるように、ＥＳＵＭＰ（ｍ）を計算するための演算数は、ＳＵＭＰ（ｍ）のそれよりも小さい。

ＳＡＤの下限を迅速に求めるため、不等式（３）を次のように変更できる。
ＳＡＤ（ｍ）≧｜ＥＳＵＭＰ（ｍ）−ＳＵＭＣ｜
⇒（ＳＡＤ（ｍ）＋４＊Ｆ（ＱＰ）＊ＭＰ）≧｜ＥＳＵＭＰ（ｍ）−ＳＵＭＣ｜
⇒ＣＯＳＴ（ｍ）≧｜ＥＳＵＭＰ（ｍ）−ＳＵＭＣ｜ ・・・（６）

上記不等式（６）から、本発明の好ましい実施態様のＡＦＳ方法は、｜ＥＳＵＭＰ（ｍ）−ＳＵＭＣ｜が現最小コストよりも大きければ、ＣＯＳＴ（ｍ）の計算をスキップして計算を低減する。

図３を参照して、本発明の好ましい一実施態様によるＡＦＳ方法の詳細を説明する。フローチャート３０は、ビデオ圧縮のためにイントラ予測の最適符号化モードを選択する手順を示す。

本発明によれば、ＡＦＳ方法は、先ず、初期最適モード及び初期最小コスト（ＣＯＳＴｍｉｎ）を基本データとして選択する。それを行うため、ステップ３０１に示されるように、処理３０は、先ず、すべてのモードに対する推定和のすべてを計算する。

ステップ３０２では、推定和のすべてが、現符号化ブロックのＳＵＭＣと比較され、すべてのモードのなかで絶対差分｜ＥＳＵＭＰ（ｋ）−ＳＵＭＣ｜が最も小さいモードｋが選択される。次に、ステップ３０３において、モードｋに対する予測ブロックＰｋが生成され、そのコストＣＯＳＴ（ｋ）が計算される。

Ｐｋ及びＣＯＳＴ（ｋ）が得られた後、ステップ３０４では、本処理は、ＣＯＳＴｍｉｎの初期値をＣＯＳＴ（ｋ）に、又、初期最適モードをｋに設定する。

次に、ステップ３０５では、本処理は、ｎ≠ｋである他のモードｎに対する予測ブロックの推定和を計算し、絶対差分｜ＥＳＵＭＰ（ｎ）−ＳＵＭＣ｜がＣＯＳＴｍｉｎより小さいか判定する。小さくなければ、本方法では、ステップ３０７に示されるように、モードｎの計算をスキップする。そうでない場合、本実施態様の処理は、ステップ３０６へ進む。

ステップ３０６において、本処理は、モードｎに対する予測ブロックＰｎ及びそのコストＣＯＳＴ（ｎ）を生成する。

ステップ３０８において、本処理は、ＣＯＳＴ（ｎ）がＣＯＳＴｍｉｎより小さいか判定する。小さければ、ステップ３０９に示されるように、本処理は、ＣＯＳＴｍｉｎをＣＯＳＴ（ｎ）へ、又、最適モードをｎに更新する。そうでない場合、本処理は、ステップ３１０へ進む。

ステップ３１０においては、すべてのモードがチェックされていれば、ステップ３１１に示されるように、最終的な最適モードが決定され、本処理が終了する。チェックされてないモードがあれば、本処理は、すべてのモードがチェックされて最終的な最適モードが決定されるまでステップ３０５〜３０９を繰り返す。

上記の処理により、最適符号化モードを決定するための計算が効果的に低減される。例えば、すべてのモードのうちＣＯＳＴ（０）が最小値で、又、モード０が最も確率の高いモードの場合、この方法では、最適イントラ予測モードを検出するために、（６０＋１５＋９＋３１）＝１１５の演算だけを要する。ここで、６０は推定和の計算の総演算数、１５はＳＵＭＣのための演算数、９はすべてのモードに対する｜ＥＳＵＭＰ（ｍ）−ＳＵＭＣ｜のための演算数、３１はコストＣＯＳＴ（０）を計算するために要する演算数である。従って、本発明のＡＦＳ方法の計算の複雑度は、４７９の演算を必要とする従来のＦＳ方法に比べて効果的に低減される。

図４は、本発明の他の好ましい実施態様に従う、ビデオ圧縮においてイントラ予測の符号化モードを選択するための装置４０を示す。好ましい本実施態様において、装置４０は、後続のビデオ画像フレームを受信し、分析し、イントラ予測の最良の符号化モードを選択する。

図示するように、装置４０は、現符号化ブロック、現符号化ブロックの境界ピクセル、量子化パラメータ、及び隣接ブロックのモードを含むデータを受信するための入力ポート４１と、分析後に選択された最適モード及び最小コストを出力するための出力ポート４７と、を有する。そして、あるモードに対する予測ブロックの推定和を計算するために、現符号化ブロックの境界ピクセルが、計算器Ａ４２によって処理される。前述したように、予測ブロックの推定和は、表ＸＩに示される式に従って計算される。装置４０は更に、現符号化ブロックの和（ＳＵＭＣ）を上記の式（４）に従って計算するための計算器Ｂ４３を有する。最初に、すべてのモードに対する予測ブロックの推定和がすべて計算される。コンパレータ４４は、推定和と現符号化ブロックの和との間の絶対差分を比較し、そしてすべてのモードのうち最小の絶対差分となるモードｋを初期モードとして選択する。

装置４０は更に、モードｋに対する予測ブロックＰｋを生成するためのジェネレータ４５を有し、Ｐｋが生成された後に、計算器Ｃ４６が、上記の式（２）に従ってコストＣＯＳＴ（ｋ）を計算する。次いで、コストＣＯＳＴ（ｋ）が、初期最小コストＣＯＳＴｍｉｎとして設定される。好ましくは、初期最小コストＣＯＳＴｍｉｎ及び初期モードｋは、メモリ４８に格納される。

初期最適モード及び最小コストが設定された後、計算器Ａ４２は、ｎ≠ｋであるモードｎに対する予測ブロックの推定和（ＥＳＵＭＰ（ｎ））の計算を継続する。コンパレータ４４は、再度、ＥＳＵＭＰ（ｎ）とＳＵＭＣとの間の絶対差分を計算する。｜ＥＳＵＭＰ（ｎ）−ＳＵＭＣ｜がメモリ４８に格納されているＣＯＳＴｍｉｎよりも小さければ、コンパレータ４４は、ジェネレータ４５が予測ブロックＰｎを生成することを可能とし、又、計算器Ｃ４６がＣＯＳＴ（ｎ）を計算することを可能とする。この場合、ＣＯＳＴ（ｎ）がＣＯＳＴｍｉｎより小さければ、メモリ４８内の最適モード及び最小コストが、モードｎ及びＣＯＳＴ（ｎ）に更新される。

上記の手順は、すべてのモードが計算及び比較されるまで継続する。最後に、最終的な最適モード及びＣＯＳＴｍｉｎが、出力ポート４７によって、更なる処理のための他の装置（図示せず）へ出力される。

上記の実施態様において、装置４０は多様な構成要素を含むが、用途に応じて、単独のマイクロプロセッサ又は複数のマイクロプロッセッサとして装置４０を実現可能であることは斯界にて既知のことである。

上記のＡＦＳ方法及び装置は、Ｈ．２６４リフェレンスプログラムＪＭ７．３内で好適に実施することができる。本発明によるＡＦＳ方法の従来のＦＳ方法に対する優位性を立証するため、４つのＣＩＦ（３５２×２８８ピクセル）ビデオシーケンス「Ａｋｉｙｏ（アキヨ）」、「Ｆｏｒｅｍａｎ（フォーマン）」、「Ｎｅｗｓ（ニュース）」及び「Ｓｔｅｆａｎ（ステファン）」と、２つのＳＤ（７２０×４８０ピクセル）ビデオシーケンス「Ｈａｒｂｏｕｒ（ハーバー）」及び「Ｎｉｇｈｔ（ナイト）」と、を使用して、本発明のＡＦＳ方法を評価した。これらのビデオシーケンスは、Ｉフレームとして、各フレームに対し固定量子化パラメータ（ＱＰ）を使用して符号化されている。各フレームにおいて、ブロックのパーティション（分割）は４×４ピクセルに固定されている。種々のＱＰ値でのシミュレーションも調べられた。実験の結果は、図５〜１０にそれぞれ示した。

図５〜１０は、従来のＦＳ方法と本発明のＡＦＳ方法とでの、ピーク信号対雑音比（ＰＳＮＲ，単位はｄＢ）及びビットレート（単位はＫｂｐｓ）の観点での性能比較を示す。その結果は、ＡＦＳ方法の圧縮性能が、従来のＦＳ方法とほぼ同じであることを示す。しかし、前述したように、ＡＦＳにおいて使用される加算及びシフトのために必要な演算数は、従来のＦＳ方法において必要なそれに比べてかなり少ない。

図１１は、従来のＦＳ方法とＡＦＳ方法とを使用することによる、各ビデオシーケンスに対する各フレーム当たりの平均演算数を示す。図示の通り、ＡＦＳ方法のＰＳＮＲ及びビットレートは従来のＦＳ方法のそれとほとんど同じであるのに対して、ＡＦＳ方法の複雑度（即ち、乗加算、加算及びシフトに必要な演算）は、従来のＦＳ方法により必要とされる演算の４８％〜７１％である。

更に、表ＸＩＩは、本発明のＡＦＳ方法を用いることによる、予測ブロックの和の推測精度を示す。シミュレーション結果は、ＱＰが２４のときの、各モードｍに対する｜ＥＳＵＭＰ（ｍ）−ＳＵＭＰ（ｍ）｜の平均値の観点で示される。表ＸＩＩから分かるように、シミュレーション結果は、予測ブロックの推定和と実際の和との間の差が非常に小さいことを示す。即ち、本方法は、予測ブロックを実際に生成することなく、推定和を迅速に求めることができ、これにより、計算の複雑度を更に低減することができる。

以上の本発明の好ましい実施態様の開示は、例示や説明のためになされている。網羅的に記述したり、開示した正確な形式に本発明を限定したりすることを意図するものではない。当業者であれば、上記の開示を参考にして本発明についての多くの変更や修正を容易に考え得るであろう。本発明の範囲は、添付の特許請求の範囲及びその均等の範囲によってのみ規定されるべきものである。

更に、本発明の代表的な実施態様の説明において、本明細書は、本発明の方法及び／又はプロセスを特定の一連のステップとして示している場合があるかもしれない。しかし、本発明の方法又はプロセスは、その開示された特定の一連のステップに限定されるべきではなく、提示したステップの特定の順序に依存しない方法又はプロセスの範囲まで及ぶ。当業者であれば理解できるように、他のステップの順序も可能である。従って、明細書に提示したステップの特定の順序は請求の範囲を限定するものと解釈すべきでない。又、本発明の方法及び／又はプロセスに対する請求の範囲は、提示された順序でのステップの実行に限定すべきではなく、当業者であれば、本発明の精神や範囲を逸脱せずにその順序を変更可能であることは容易に理解できる。

図１は、Ｈ．２６４規格による、４×４ブロックに対するイントラ予測の９種類の符号化モードを示す。 図２は、４×４予測ブロックのプレディクタ（ａ〜ｐ）の形成に使用される境界ピクセル（Ａ〜Ｌ及びＸ）を示す。 図３は、本発明の好ましい一実施態様による代替フルサーチ（ＡＦＳ）方法を示すフローチャートである。 図４は、本発明の他の好ましい実施態様によるビデオ圧縮におけるイントラ予測の符号化モードを選択する装置のブロック図である。 図５は、本発明の好ましい実施態様により、ＣＩＦ（３５２×２８８ピクセル）ビデオシーケンス「Ａｋｉｙｏ」（３００フレーム）に対して符号化モードを選択するシミュレーションを行った結果を示す。 図６は、本発明の好ましい実施態様により、ＣＩＦ（３５２×２８８ピクセル）ビデオシーケンス「Ｆｏｒｅｍａｎ」（３００フレーム）に対して符号化モードを選択するシミュレーションを行った結果を示す。 図７は、本発明の好ましい実施態様により、ＣＩＦ（３５２×２８８ピクセル）ビデオシーケンス「Ｎｅｗｓ」（３００フレーム）に対して符号化モードを選択するシミュレーションを行った結果を示す。 図８は、本発明の好ましい実施態様により、ＣＩＦ（３５２×２８８ピクセル）ビデオシーケンス「Ｓｔｅｆａｎ」（３００フレーム）に対して符号化モードを選択するシミュレーションを行った結果を示す。 図９は、本発明の好ましい実施態様により、ＳＤ（７２０×４８０ピクセル）ビデオシーケンス「Ｈａｒｂｏｕｒ」（３００フレーム）に対して符号化モードを選択するシミュレーションを行った結果を示す。 図１０は、本発明の好ましい実施態様により、ＳＤ（７２０×４８０ピクセル）ビデオシーケンス「Ｎｉｇｈｔ」（３００フレーム）に対して符号化モードを選択するシミュレーションを行った結果を示す。 図１１は、フルサーチ方法と代替フルサーチ方法とを用いることによる、各ビデオシーケンスに対する１フレーム当たりの平均演算数を示す図である。

Claims (22)

1. ビデオ圧縮におけるイントラ予測の符号化モードを選択するための装置であって、
   現符号化ブロック、現符号化ブロックを囲む境界ピクセル、量子化パラメータ、及び隣接ブロックのモードを含むデータを受信するための入力ポートと、
   受信データに基づいて、該ビデオ圧縮に使用される最適モード及び最小コストのうち少なくとも１つを決定するためのマイクロプロセッサと、
   最適モード及び最小コストのうち少なくとも１つを出力するための出力ポートと、
   を有することを特徴とする装置。
2. 前記マイクロプロセッサは更に、すべてのモードに対する予測ブロックの推定和を計算するための第１の計算器と、計算された推定和に基づいてイントラ予測の符号化モードを決定する手段と、を有することを特徴とする請求項１の装置。
3. 前記マイクロプロセッサは更に、現符号化ブロックの和を計算するための第２の計算器を有することを特徴とする請求項１の装置。
4. 前記符号化モードを決定する手段は、
   予測ブロックの推定和と現符号化ブロックの和とを比較して特定のモードｋを選択するためのコンパレータと、
   モードｋに対する予測ブロックを生成するためのジェネレータと、
   モードｋに対するコストＣＯＳＴ（ｋ）を計算するための第２の計算器と、
   を有することを特徴とする請求項２の装置。
5. モードｋにおいて、モードｋに対する予測ブロックの推定和と現符号化ブロックの和との間の絶対差分が最小値を有し、又コストＣＯＳＴ（ｋ）及びモードｋは、それぞれ、仮最小コストの初期値及び仮最適モードに設定されることを特徴とする請求項４の装置。
6. 前記コンパレータは更に、モードｎ（ｎはｋではない）に対するコストＣＯＳＴ（ｎ）と仮最小コストとを比較し、コストＣＯＳＴ（ｎ）が仮最小コストよりも小さければ、前記マイクロプロセッサは、仮最小コストをコストＣＯＳＴ（ｎ）に、又仮最適符号化モードをモードｎに更新することを特徴とする請求項４の装置。
7. すべてのモードが前記コンパレータによって比較された後、前記出力ポートは、最新の仮最小コスト及び仮最適符号化モードを、最適最小コスト及び最適符号化モードとして出力することを特徴とする請求項６の装置。
8. 仮最小コスト及び仮最適符号化モードは、メモリに格納されることを特徴とする請求項５の装置。
9. すべてのモードに対する予測ブロックの推定和は、周囲の境界ピクセルの数学的関数によって決定されることを特徴とする請求項２の装置。
10. 現符号化ブロックの和ＳＵＭＣは、次式、
    ＳＵＭＣ＝ΣΣＣ（ｉ，ｊ）
    （但し、Ｃ（ｉ，ｊ）は現符号化ブロックＣの座標（ｉ，ｊ）におけるピクセル輝度である）
    によって計算されることを特徴とする請求項３の装置。
11. ビデオ圧縮におけるイントラ予測の符号化モードを選択する方法であって、
    現符号化ブロック、現符号化ブロックを囲む境界ピクセル、量子化パラメータ、及び隣接ブロックのモードを含むデータを受信すること、
    すべてのモードに対する予測ブロックの推定和を計算すること、及び
    予測ブロックの推定和に基づいて最適符号化モードを決定すること、
    を含むことを特徴とする方法。
12. 最適符号化モードは、すべてのモードのうち、該最適符号化モードに対する予測ブロックと現符号化ブロックとの間の絶対差分の和が最小である特徴を有することを特徴とする請求項１１の方法。
13. 現符号化ブロックの和ＳＵＭＣは、次式、
    ＳＵＭＣ＝ΣΣＣ（ｉ，ｊ）
    （但し、Ｃ（ｉ，ｊ）は現符号化ブロックＣの座標（ｉ，ｊ）におけるピクセル輝度である）
    によって計算されることを特徴とする請求項１２の方法。
14. 予測ブロックの推定和は、周囲の境界ピクセルの数学的関数によって決定されることを特徴とする請求項１１の方法。
15. 更に、
    すべてのモードｍに対する予測ブロックの推定和ＥＳＵＭＰ（ｍ）を計算すること、
    現符号化ブロックの和ＳＵＭＣを計算すること、
    予測ブロックの推定和と現符号化ブロックの和との間の絶対差分を比較すること（即ち、｜ＥＳＵＭＰ（ｍ）−ＳＵＭＣ｜）、
    すべてのモードのうち、絶対差分｜ＥＳＵＭＰ（ｋ）−ＳＵＭＣ｜が最小であるモードｋを検出すること、
    モードｋに対する予測ブロックＰｋを生成すること、
    予測ブロックＰｋのコストＣＯＳＴ（ｋ）を計算すること、及び
    コストＣＯＳＴ（ｋ）及びモードｋを、それぞれ、初期最小コストＣＯＳＴｍｉｎ及び初期最適モードとして設定すること、
    を含むことを特徴とする請求項１１の方法。
16. コストは、次式、
    ＣＯＳＴ（ｍ）＝ＳＡＤ（ｍ）＋４＊Ｆ（ＱＰ）＊ＭＰ
    （但し、ＳＡＤ（ｍ）はモードｍに対する予測ブロックと現符号化ブロックとの間の絶対差分の和であり、Ｆ（ＱＰ）は量子化パラメータ（ＱＰ）の関数でＦ（ＱＰ）≧０であり、ＭＰは、ｍが最も確率の高いモードの場合は０で、そうでない場合は１である）
    によって計算されることを特徴とする請求項１５の方法。
17. 更に、
    モードｎに対する推定和と現符号化ブロックの和との間の絶対差分を初期最小コストＣＯＳＴｍｉｎと比較すること、及び
    絶対差分が初期最小コストＣＯＳＴｍｉｎよりも小さければ、
    モードｎに対する予測ブロックを生成し、
    モードｎのコストＣＯＳＴ（ｎ）を計算し、
    コストＣＯＳＴ（ｎ）と初期最小コストＣＯＳＴｍｉｎとを比較し、そして、
    コストＣＯＳＴ（ｎ）が初期最小コストＣＯＳＴｍｉｎよりも小さければ、最小コストＣＯＳＴｍｉｎ及び最適モードを、それぞれ、ＣＯＳＴ（ｎ）及びｎに更新すること、
    を含むことを特徴とする請求項１５の方法。
18. 計算された推定和と現符号化ブロックの和との間の絶対差分が初期最小コストＣＯＳＴｍｉｎよりも大きいモードは、演算がスキップされることを特徴とする請求項１５の方法。
19. ビデオ圧縮用途における予測ブロックの推定和を計算するための方法であって、
    現符号化ブロックを囲む境界ピクセルを受信すること、及び
    すべてのモードに対する予測ブロックを実際に形成することなく、境界ピクセルの数学的関数に従って予測ブロックの推定和を計算すること、
    を含むことを特徴とする方法。
20. モードｍに対する予測ブロックの推定和（ＥＳＵＭＰ（ｍ））は、次式、
    ＥＳＵＭＰ（ｍ）＝（（Σ（ＷＣｍ（ｉ，ｊ）＊ＢＰ（ｉ，ｊ）））＋ＲＣｍ）＞＞ＳＲｍ＜＜ＳＬｍ
    （但し、ＢＰ（ｉ，ｊ）は現符号化ブロックを囲む座標（ｉ，ｊ）における境界ピクセルの輝度であり、ＷＣｍ（ｉ，ｊ）はモードｍに対するＢＰ（ｉ，ｊ）の重み付け定数であり、ＲＣｍはモードｍに対する丸め定数であり、ＳＲｍ及びＳＬｍは、それぞれ、モードｍに対する右シフト演算数及び左シフト演算数であり、記号＞＞及び＜＜は、それぞれ、右シフト演算及び左シフト演算を示すビット単位演算子である）
    によって計算されることを特徴とする請求項１９の方法。
21. 予測ブロックは、４×４ブロックであることを特徴とする請求項１９の方法。
22. 予測ブロックの推定和ＥＳＵＭＰ（ｍ）は、次式、
    

    

    （但し、Ａ〜Ｌ及びＸは現符号化ブロックを囲む境界ピクセル、記号＞＞及び＜＜は、それぞれ、右シフト演算及び左シフト演算を示すビット単位演算子である）
    によって計算されることを特徴とする請求項２１の方法。
    
    

Images