JP2007053561A - 画像符号化装置および画像符号化方法 - Google Patents

Abstract

【課題】 符号化処理の高速化および演算負荷を軽減することができる画像符号化装置および画像符号化方法を提供する。
【解決手段】 画像符号化装置は、まずイントラ１６×１６の予測を行い、イントラ４×４については第１のモード選択部３３の判定結果に基づいてイントラ予測するイントラ推定部３１と、まず１６×１６のブロックサイズの動き補償予測を行い、１６×１６のブロックサイズ以外については第１のモード選択部３３の判定結果に基づいて動き補償予測する動き推定部３２と、イントラ１６×１６の予測または１６×１６のサイズの動き補償予測の予測評価値が閾値を超えていなければ、イントラ４×４のイントラ予測および１６×１６のサイズ以外の動き補償予測を実行しないと判定する第１のモード選択部３３と、予測された各予測モードの中から１つの予測モードを選択する第２のモード選択部３４とを備える。
【選択図】 図１

Description

本発明は、画像を光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディア上に圧縮記録する画像圧縮符号化方式に関し、特に、Ｈ．２６４符号化方式の符号化装置および画像符号化方法に関する。

ＭＰＥＧ−２やＭＰＥＧ−４といった従来の画像符号化方式に比べ、２倍近くの高い符号化効率を実現する方式としてＨ．２６４（ＭＰＥＧ−４ ＡＶＣとも呼ばれる）が規格化されている（例えば、非特許文献１参照）。Ｈ．２６４は、直交変換と動き補償をベースとしたハイブリッド画像符号化であるという点で、従来の方式と変わりない。しかしながら、符号化を構成する各要素の符号化ツールの自由度が高く、それらの累積効果で高い符号化効率を実現している。

図１１は、Ｈ．２６４画像符号化を実現する画像符号化装置の構成の一例を示すブロック図である。この画像符号化装置は、図１１に示すようにブロック分割部１１、差分処理部１２ 、直交変換部１３、量子化部１４ 、符号化部１５ 、蓄積バッファ１６ 、逆量子化部１７ 、逆直交変換部１８、加算処理部１９ 、フレームメモリ２０ 、イントラ推定部２１、動き推定部２２、モード選択部２３、モードスッチ２４、イントラ予測部２５、動き補償部２６、およびレート制御部２７を備えている。

連続するピクチャ（フレームおよびフィールドの両者を包含する１つの符号化の単位）からなる動画像の１ピクチャは、４：２：０フォーマット形式の場合、図１２に示すように１個の輝度信号（Ｙ信号３１）と２個の色差信号（Ｃｒ信号３２、Ｃｂ信号３３）とで構成されており、色差信号の画像サイズは縦横とも輝度信号の１／２となる。

また、動画像の各ピクチャはブロックに分割され、ブロック単位で符号化される。このブロックは、マクロブロックと呼ばれ、図１３に示すように１６×１６画素の１個のＹ 信号ブロック４１と、それと空間的に一致する８×８画素のＣｒ信号ブロック４２およびＣｂ信号ブロック４３にて構成されている（例えば、非特許文献１参照）。

入力された各ピクチャは、ブロック分割部１１にて入力マクロブロックに分割される。分割された入力マクロブロックは、差分処理部１２に入力される。差分処理部１２は、入力マクロブロックの各画素に対して、イントラ予測部２５または動き補償部２６で生成された予測マクロブロックの空間的に対応する各画素との間で差分処理を施し、差分マクロブロックを出力する。差分マクロブロックは、直交変換部１３に入力され、複数の直交変換ブロックに周波数変換される。なお、直交変換ブロックのサイズは、従来のＭＰＥＧ方式では８×８画素であるが、Ｈ．２６４では４×４画素が基本サイズである。

直交変換部１３は、差分マクロブロックを、まず図１４に示すような２４個の４×４画素ブロック（ ５１−０から５１−１５、５２−０から５１−３ 、５２−０から５２―３） に分割し、それぞれについて直交変換を行う。次に、各４×４直交変換ブロックの直流成分のみを集めた直交ブロック（５１−１６、５２−４、５３−４）を信号成分毎に構成し、さらに直交変換する。直交変換ブロック内の各変換係数は量子化部１４に入力される。

量子化部１４は、レート制御部２７から入力された量子化パラメータに従って、各直交変換ブロック内の変換係数を量子化する。量子化された直交変換係数は、符号化部１５に入力され、符号化（コード化）される。Ｈ．２６４では、符号化部１５として、可変長符号化を用いたＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）あるいはＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）が用意されている。

符号化部１５は、量子化直交変換係数および後述するモード選択部２３で選択された予測情報をコード化し、蓄積バッファ１６に供給する。蓄積バッファ１６は蓄積したコードをストリームとして出力する。

量子化された直交変換係数は、符号化部１５へ供給されると同時に、逆量子化部１７に入力される。逆量子化部１７は、レート制御部２７から入力される量子化パラメータに従って量子化された直交変換係数を逆量子化することで得た直交変換係数から直交変換ブロックを復元する。復元された直交変換ブロックは、逆直交変換部１８にて差分マクロブロックに復元される。復元された差分マクロブロックは、予測マクロブロックと共に加算処理部１９に入力される。

加算処理部１９は、復元された差分マクロブロックと予測マクロブロックの各画素に加算処理を施し、再生マクロブロックを生成する。この再生マクロブロックは、さらに予測処理に用いるためフレームメモリ２０に蓄積される。

上記の逆量子化部１７、逆直交変換部１８、加算処理部１９で行われる一連の処理はローカル復号化と呼ばれる。このローカル復号化には、復号側と同様の再生マクロブロックを生成する能力をもつ必要がある。

次に、上記予測マクロブロックを生成するための予測方法、予測タイプについて説明する。

予測方法には、大きく分けて２種類あり、それぞれ、イントラ予測 、動き予測（フレーム間予測あるいはインタ予測）と呼ばれる。

イントラ予測は、フレーム内の符号化済み画素を用いて、マクロブロック内の画素を予測する方法である。Ｈ．２６４には、予測を行う単位として２種類のブロックサイズが用意されており、それぞれ、イントラ４×４予測とイントラ１６×１６予測と呼ばれている。

さらに、イントラ４×４予測には９種類、イントラ１６×１６予測には４種類の方向の異なる予測タイプが用意されており、マクロブロック毎（イントラ４×４予測では、４×４ブロック毎）に選択できる。

図１５（ａ）は、イントラ４×４予測において予測する対象画素（ａからｐの１６画素）と予測に用いる符号化済み隣接画素（ＡからＬの１２画素）の配置を示す図である。ここで、前記対象画素（ａからｐ）はブロック分割部１１から出力された符号化対象のマクロブロック内の画素であり、一方、符号化済み隣接画素（ＡからＬ）は復号化され再生されたマクロブロックあるいはブロックの画素でフレームメモリから読み出される。

図１５（ｂ）および（ｃ）は、イントラ４×４予測の予測方向を示す図であり、符号化済み隣接画素の画素値をもとに、予測方向に沿って、規格（例えば、非特許文献１）で規定された演算式によって対象画素を算出する。ここで、このときの予測方向をモード番号（モード０からモード８）で示し、図１５（ｃ）における予測方向６０のモード０は垂直、予測方向６１のモード１は水平、予測方向６２のモード２はＤＣ（平均）、予測方向６３のモード３は斜め左下方、予測方向６４のモード４は斜め右下、予測方向６５のモード５は垂直右方、予測方向６６のモード６は水平下方、予測方向６７のモード７は垂直左方、予測方向６８のモード８は水平上方を示している。

上記イントラ４×４予測は輝度信号に適用される。例えば、モード０の場合，予測対象画素の４×４画素ブロックの上側に隣接する復号済みの画素データを用いて，垂直方向の予測を行い，予測画像を生成する。この予測モードは，予測対象の画像領域に垂直方向エッジや境界がある場合に有効な予測モードである。モード０以外の予測モードも同様にそれぞれが特定方向のエッジや境界に対して有効な予測モードとなっており，隣接ブロックの復号済み画素を基に予測対象画素を生成する。

また、輝度信号の場合は，図１６（ａ）から（ｄ）に示すように、イントラ１６×１６予測に対しても４通りの予測モード（（ａ）モード０：垂直、（ｂ）モード１：水平、（ｃ）モード２：平均のＤＣ、（ｄ）モード３：ｐｌａｎｅ）が規格（例えば、非特許文献１）で定義されており、イントラ４×４予測を含め合計１３通りの予測モードの中から最適な予測モードを選択し符号化に用いる。

また、色差信号については，８×８画素ブロックに対し，４通りの予測モード（輝度信号のイントラ１６×１６予測と同様な予測方向からなる。但し、モード０：ＤＣ、モード１：水平、モード２：垂直：モード３：ｐｌａｎｅ）が定義されており，輝度信号とは独立に予測モードを符号化することが可能である。

ところで、イントラ予測では、Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎとして、輝度信号についてイントラ８×８予測が追加された。これは、８×８の整数変換の符号化ツールの追加に合わせて、イントラ予測の上記イントラ４×４予測に対応させてイントラ予測８×８予測を追加したものである。イントラ８×８予測は、３タップのローパスフィルタ後、イントラ４×４予測と同様９つの予測モードが設定されている（非特許文献１、参照）。

なお、それぞれのモードで予測された各予測タイプについて、その予測ブロックとそのブロックに対応するブロック分割部１１から出力された対象ブロックとを比較し、それらブロック間の差分絶対値和などの評価関数に基づいて各予測ブロックの評価値を算出する。

動き予測（フレーム間予測あるいはインター予測）には、符号化済みのピクチャ内の画素を用いてマクロブロック内の画素を予測する方法であり、ＰタイプとＢタイプがある。なお、符号化済みのピクチャ内の画素はフレームメモリ２０から読み出す。また、現在、符号化しようとしている対象のマクロブロックはブロック分割部１１から出力されたマクロブロックである。

動き予測の基本となる動き推定と動き補償の概念について、図１７を例に説明する。動き推定とは、符号化済みのピクチャ（参照ピクチャ）から対象マクロブロックの内容と似通った部分を検出する技術である。ここでは、動き推定の典型的な技術としてブロックマッチング法について説明する。図１７（ａ）に破線で示す参照ピクチ８３上の輝度成分ブロック８４が図１７（ｂ）に示す太枠で囲んだ現在の対象ピクチャ８１の輝度成分ブロック８２と空間的に同位置に相当する。動き推定では、まず、輝度成分ブロック８４を囲む探索範囲８７を設定する。次に、この範囲内を１画素ずつ縦横に移動しながら探索し、評価値が最小となる位置をそのブロックの予測位置とする。評価値の算出には、例えば、ブロック内の予測誤差信号の絶対値和、又は２乗和に動きベクトルの符号量を加味した関数を用いる場合が多い。

動きベクトルとは、元のブロック位置から探索位置までの移動量をベクトルで示したものである。例えば、輝度ブロック８４の探索位置をブロック８５とすると、移動量８６が動きベクトルとなる。なお、Ｈ．２６４では、動きベクトルの精度は１／４画素であり、整数精度で探索を行った後、その周囲の１／２画素と１／４画素を検索する必要がある。一方、動き補償は、動きベクトルと参照ピクチャから予測ブロックを生成する技術である。例えば、輝度成分ブロック８２を予測対象ブロック、移動量８６を動きベクトルすると、ブロック８５が予測ブロックとなる。

図１８はＰタイプにおける動き補償のブロックサイズを示す図である。基本のマクロブロックタイプ（モード）は、図１８（ａ）から（ｄ）に示す４種類の分割ブロックのタイプがあり、マクロブロック毎に選択する。さらに、８×８ブロックを選択した場合には、各８×８のサブブロックタイプ（モード）について、図１８（ｅ）から（ｈ）に示す４種類の分割ブロックのタイプから選択する。Ｈ．２６４では、参照ピクチャとして複数のピクチャを用意し、基本マクロブロックタイプ内の各分割ブロック（ ９０− ０ 、９１−０ 〜 ９１−１ 、９２−０ 〜 ９２−１ 、９３−０ 〜 ９３−３ ）毎にどの参照ピクチャを予測に用いるかを選択できる。

Ｂタイプおいても選択可能な動き補償のブロックサイズは、同様であるが、基本マクロブロックタイプ（モード）内の各分割ブロック毎に、予測の種類（参照ピクチャの数と方向） を選択できる。具体的には、複数の参照ピクチャを登録した２種類の参照ピクチャリスト（リスト１とリスト２）を用意し、リスト１（前方予測）、リスト２（後方予測）あるいはリスト１とリスト２の両方（双予測）の３通りから予測の種類を選択できる。予測に使用する参照ピクチャも、各リストについて、基本マクロブロックタイプ内の分割ブロック毎に選択できる。なお、双予測では、２つの予測候補ブロック内の各画素を内挿処理して、予測ブロックを生成する。

また、Ｂタイプでは、１６×１６マクロブロックと８×８サブブロックに対して、ダイレクト予測と呼ばれる予測モードが用意されている。この予測モードでは、符号化済みの情報からそのブロックの参照ピクチャ、予測の種類、動きベクトルが自動的に算出されるため、これらの情報を符号化する必要がない。

さらに、上記予測タイプのそれぞれについて、ｓｋｉｐマクロブロックといわれるモードが存在する。このモードでは、動き補償後の予測マクロブロックと対象マクロブロックとの予測誤差がゼロのモードである。Ｐタイプのｓｋｉｐマクロブロックでは動きベクトルもゼロで、Ｂタイプのｓｋｉｐマクロブロックでは動きベクトルは上記ダイレクトモードと同じ方法で算出される。

なお、上記動き推定部２２で予測した予測タイプ（モード）についてそれぞれ、予測タイプ（モード）から生成した予測マクロブロックと対象マクロブロックの差分絶対値和および動きベクトルの推定符号量などを考慮した評価関数によって評価値を算出する。

以上のようにして、イントラ推定部２１および動き推定部２２で選択された各予測タイプ（モード）とその評価値は、モード選択部２３に出力される。モード選択部２３は、イントラ推定部２１と動き推定部２２とから受け取った複数の評価値からその値が最小となる予測タイプ（モード）を選択する。

選択された予測タイプ（モード）はモードスッチ２４へ送られる。モードスッチ２４は、選択された予測タイプ（モード）に従って、予測情報（予測タイプ、動きベクトル、参照ピクチャ番号）をイントラ予測部２５または動き補償部２６に対して出力する。イントラ予測部２５または動き補償部２６は、選択された予測タイプと、フレームメモリ２０ 内の符号化済み周囲画素や参照ピクチャから予測マクロブロックを生成し、差分処理部１２および加算処理部１９に出力する。

ところで、上記多数の予測タイプ（モード）から効果的に予測タイプ（モード）を決定する方法が開示されている（例えば、非特許文献２参照）。この予測タイプの決定方法では、上記Ｐタイプおよび上記Ｂタイプにおいて、マクロブロックが上記ｓｋｉｐモードであった場合、残余の予測モードの予測演算をせず省略することで、演算量を低減する。

図１９は、上記開示された方法において、予測モードを決定する際の動作を示すフローチャートである。

ステップＳ４０１において、ピクチャタイプがＰタイプ（図１９ではＰ−Ｓｌｉｃｅに対応）またはＢタイプ（図１９ではＢ−Ｓｌｉｃｅに対応）を判別する。ピクチャタイプがＰタイプの場合は、ステップＳ４０２へ進み、１６×１６の動き補償ブロックにおける評価値（ＲＤコスト値：Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎの略で、そのとき選択された予測モードを符号化したときのビット量であるＲａｔｅとそのときの例えば予測誤差値を示す歪みＤｉｓｔｏｒｔｉｏｎとのバランスを最適化した所定の関数からなる値）を算出する。また、ピクチャタイプがＢタイプの場合は、ステップＳ４０３へ進み、８×８の動き補償ブロックによるダイレクトモードの予測演算を行う。ステップＳ４０２とステップＳ４０３の予測結果はステップＳ４０４へ供給される。

ステップＳ４０４では、上記ステップＳ４０２と上記ステップＳ４０３の予測モードがｓｋｉｐモードであるか否かを判定する。すなわち、動き補償後の予測マクロブロックと対象マクロブロックとの予測誤差がゼロのモードであるか否かを判定する。Ｐタイプのｓｋｉｐマクロブロックでは動きベクトルもゼロである。また、Ｂタイプのｓｋｉｐマクロブロックでは動きベクトルはダイレクトモードと同じ方法で算出され、符号化済みの情報からそのブロックの参照ピクチャ、予測の種類、動きベクトルが算出される。

ステップＳ４０４でｓｋｉｐモードであると判定された場合は、ステップＳ４０５へ進み、最適予測モードはｓｋｉｐモードとして判定され、残余の予測モードの演算は省略される。

ステップＳ４０４でｓｋｉｐモードでないと判定された場合は、ステップＳ４０６からステップＳ４１２が実行される。ステップＳ４０６では、上記ステップＳ４０２またはステップＳ４０３を除くインタ予測モードの評価値（ＲＤコスト値）が算出される。また、ステップＳ４０７では、上記ステップＳ４０６で最少のＲＤコスト値のインタ予測モードについて、ＡＲ（ａｖｅｒａｇｅ ｒａｔｅ）と呼ぶ動き補償後の残差データを符号化したときの平均ビットレートを算出する。また、ステップＳ４０８では、最適（最少ＲＤコスト値）インタ予測モード条件下でのＡＢＥ（ａｖｅｒａｇｅ ｂｏｕｎｄａｒｙ ｅｒｒｏｒ）と呼ぶブロック境界での対象マクロブロック画素と近接ブロック画素との相関値を算出する。

ステップＳ４０９では、上記ＡＲとＡＢＥを比較し、ＡＲがＡＢＥよりも小さければステップＳ４１０へ進み、予測モードとして上記最適インタ予測モードを選択する。逆に、ＡＢＥがＡＲより小さければステップＳ４１１へ進み、最適イントラ予測モードを決定し、ステップＳ４１２へ進み、上記最適イントラ予測モードと上記最適インタ予測モードを比較し最適予測モードを決定する。
Ｄｒａｆｔ ｏｆ Ｖｅｒｓｉｏｎ ４ ｏｆ Ｈ．２６４／ＡＶＣ（ＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４ ａｎｄ ＩＳＯ／ＩＥＣ １４４９６−１０ （ＭＰＥＧ−４ ｐａｒｔ １０） Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）, Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ−Ｔ ＶＣＥＧ、Ｄｏｃｕｍｅｎｔ：ＪＶＴ−Ｎ０５０ｄ１、２００５−０１−２８ "ＥＦＦＩＣＩＥＮＴ ＣＯＤＩＮＧ ＭＯＤＥ ＤＥＣＩＳＩＯＮ ＩＮ ＭＰＥＧ−４ ＰＡＲＴ−１０ ＡＶＣ／Ｈ．２６４ ＭＡＩＮ ＰＲＯＦＩＬＥ"、Ｉｎｃｈｏｏｎ Ｃｈｏｉ、 Ｊｅｙｕｎ Ｌｅｅ、ａｎｄ Ｂｙｅｕｎｇｗｏｏ Ｊｅｏｎ、［平成１７年８月８日検索］、インターネット＜ＵＲＬ： http://media.skku.ac.kr/publications/paper/IntC/cic_ICIP2004.pdf＞

上記、Ｈ．２６４符号化方式にあっては、ＭＰＥＧ−２やＭＰＥＧ−４といった従来の符号化方式に比べ、非常に多くの予測タイプ（モード）を持つことが特徴となっている。とりわけ、動き補償するピクチャでは、イントラ予測と同時に動き補償予測として、動きベクトル検出を行なうブロックサイズを複数の候補（１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４）から選択することができる。この場合、符号化に最適なブロックサイズを選択するには、候補となるすべてのブロックサイズで動きベクトル検出を行った上で決定する方法が一番好ましいが、この方法では演算量が非常に多くなってしまうという課題がある。また、同様に、イントラ予測においても、イントラ４×４予測では各ブロックについて９つの予測モードがあり、その予測演算の負荷は非常に大きくなる。

これに対して、上記非特許文献２では、動き補償するピクチャ（あるいはスライス）の動き補償のブロックがｓｋｉｐモードであるか否かを判定し、ｓｋｉｐモードであった場合、残余の予測モードの予測演算を行わずに省略することで、演算量を低減させている。例えば、ｓｋｉｐモードが選択されやすい静止ブロックあるいは一方向に等速で移動する対象を含む動画像の場合、予測モード選択の精度は高くなり、演算量を低減できる。

しかしながら、動き探索範囲を超えるような高速に移動する対象、あるいは等速で移動しない対象を含む動画像、更に、低速であっても回転、拡大・縮小あるいは変形を伴った対象を含む動画像では、ダイレクモードによる動き補償は外れ、ｓｋｉｐモードは選択されない。このような動画像では、むしろ、イントラ予測モードで予測した方が予測精度は高くなる。

また、上記非特許文献２では、ｓｋｉｐモードを初期の予測モード選択の判定基準としているが、ｓｋｉｐモードは動き補償後の予測マクロブロックと対象マクロブロックとの予測誤差がゼロのモードであるため、優位に選択する予測モードの判定基準としてかなり限定的である。動き補償後あるいはイントラ予測後に、非常にわずかな予測誤差を含むマクロブロックの場合、それはｓｋｉｐモードと同様に優位に選択される予測モードの判定基準とみなせるため、更に、残余の予測モードの実行を省略することができ、演算量を大きく低減できる。

そこで、本発明は上記の事情に鑑みてなされたものであり、Ｈ．２６４のような符号化方式において、非常に多くの予測タイプ（モード）から精度良く効率的に予測タイプ（モード）を選択するため、イントラ予測モードとインタ予測モードの予測評価値を相互に参照することで、符号化処理の高速化および演算負荷を軽減することができる画像符号化装置および画像符号化方法を提供することを目的とする。

上記目的を達成するため、本発明に係る画像符号化装置は、連続するピクチャからなる動画像を圧縮符号化する画像符号化装置であって、イントラ予測ブロックサイズの最大サイズの予測モードによる予測評価値および動き補償ブロックサイズの最大サイズの予測モードによる予測評価値の少なくとも１つに基づいて、最大サイズを除く前記イントラ予測ブロックサイズの予測モードによる予測および最大サイズを除く前記動き補償ブロックサイズの予測モードによる予測の少なくとも１つを更に実行するか否かを判定する第１のモード選択手段と、前記イントラ予測ブロックサイズの最大サイズの予測モードでイントラ予測を行って前記予測評価値を算出するとともに、前記第１のモード選択手段の判定結果に基づいて、前記最大サイズを除くイントラ予測ブロックサイズの予測モードでイントラ予測を行って前記予測評価値を算出するイントラ予測手段と、前記動き補償ブロックサイズの最大サイズの予測モードで動き補償予測を行って前記予測評価値を算出するとともに、前記第１のモード選択手段の判定結果に基づいて、前記最大サイズを除く動き補償ブロックサイズの予測モードで動き補償予測を行って前記予測評価値を算出する動き補償予測手段と、前記イントラ予測手段によってイントラ予測された各予測モードの予測評価値および前記動き補償予測手段によって動き補償予測された各予測モードの予測評価値を用いて、１つの予測モードを選択する第２のモード選択手段とを備えることを特徴とする。

これによって、イントラ予測および動き補償予測において予測ブロックサイズの最大サイズによる予測を先に実行し、その予測による予測評価値の大きさによって、イントラ予測および動き補償予測における最大サイズ以外のブロックサイズによる予測を更に実行する必要があるか否か判定することで、余計な予測を省略して、符号化処理の高速化および演算負荷を軽減することができる。

ここで、前記第１のモード選択手段は、前記イントラ予測ブロックサイズの最大サイズの複数の予測モードによる予測評価値および前記動き補償ブロックサイズの最大サイズの予測モードによる予測評価値の中で、少なくとも１つが所定のしきい値を超えなかった場合、前記動き補償ブロックサイズの最大サイズを除く動き補償ブロックサイズによる予測、および前記イントラ予測ブロックサイズの最大サイズを除くイントラ予測ブロックサイズによる予測を実行しないと判定してもよい。

これによって、最大サイズ以外のブロックサイズによるイントラ予測および動き補償予測を省略するので、符号化処理の高速化および演算負荷を軽減することができる。

また、前記第１のモード選択手段は、前記イントラ予測ブロックサイズの最大サイズの複数の予測モードによる予測評価値の中で、少なくとも１つが所定のしきい値を超えなかった場合、前記動き補償ブロックサイズの最大サイズを除く動き補償ブロックサイズによる予測を実行しないと判定してもよい。

これによって、例えばイントラ予測ブロックサイズの最大ブロックサイズによる予測モードの予測評価値が非常に小さな場合、画面が一様な領域とみなすことができるため、最大サイズ以外のブロックサイズによる動き補償予測を省略することで、符号化処理の高速化および演算負荷を軽減することができる。

また、前記第１のモード選択手段は、前記動き補償ブロックサイズの最大サイズの予測モードによる予測評価値が所定のしきい値を超えなかった場合、前記イントラ予測ブロックサイズの最大サイズを除くイントラ予測ブロックサイズによる予測を実行しないと判定してもよい。

これによって、例えば動き補償ブロックサイズの最大ブロックサイズによる予測モードの予測誤差が非常に小さな場合、動き補償予測の予測モードが選択される可能性が高いため、イントラ予測を省略することで、符号化処理の高速化および演算負荷を軽減することができる。

また、前記第１のモード選択手段は、前記動き補償ブロックサイズの最大サイズの予測モードによる予測評価値が所定のしきい値を超え、かつ前記イントラ予測ブロックサイズの最大サイズの複数の予測モードによる予測評価値の中で、少なくとも１つが所定のしきい値を超えなかった場合、前記所定のしきい値を超えなかった前記イントラ予測ブロックサイズの最大サイズの予測モードに応じて、前記動き補償ブロックサイズの最大サイズを除く動き補償ブロックサイズの予測モード中から所定の動き補償ブロックサイズの予測モードを選択して動き補償予測すると判定してもよい。

これによって、所定のしきい値を超えなかったイントラ予測ブロックサイズの最大サイズの予測モードに応じて、所定の動き補償ブロックサイズの予測モードを選択して動き補償予測することができ、予測精度を向上することができる。

なお、本発明は、このような画像符号化装置として実現することができるだけでなく、このような画像符号化装置が備える特徴的な手段をステップとする画像符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明に係る画像符号化装置および画像符号化方法によれば、先に実行したイントラ予測および動き補償予測における予測ブロックサイズの最大サイズによる予測評価値に基づいて、イントラ予測および動き補償予測における最大サイズ以外のブロックサイズによる予測を更に実行する必要があるか否か判定することで、余計な予測を省略して、符号化処理の高速化および演算負荷を軽減することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
図１は、本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。

画像符号化装置は、入力される動画像をブロック単位で符号化するための装置であり、図１に示すようにブロック分割部１１、差分処理部１２ 、直交変換部１３、量子化部１４ 、符号化部１５ 、蓄積バッファ１６ 、逆量子化部１７ 、逆直交変換部１８、加算処理部１９ 、フレームメモリ２０ 、イントラ推定部３１、動き推定部３２、第１のモード選択部３３、第２のモード選択部３４、モードスッチ２４、イントラ予測部２５、動き補償部２６、およびレート制御部２７を備えている。

本実施の形態の構成は、上記背景技術で説明したＨ．２６４画像符号化装置の構成とほぼ同であるが、モード選択部が第１のモード選択部と第２のモード選択部の２段階に分かれている点で異なる。なお、本実施の形態の構成の符号は、背景技術で説明した図１１に示す画像符号化装置の構成と同じ動作をするところは同じ符号を付してある。このため、以下、本実施の形態の説明では、構成の異なる第１のモード選択部３３と第２のモード選択部３４、イントラ推定部３１、および動き推定部３２を中心に述べる。

入力動画像の各ピクチャはブロック分割部１１にてマクロブロック（入力マクロブロック）に分割され、差分処理部１２に入力される。差分処理部１２は、入力マクロブロックの各画素に対して、イントラ予測部２５または動き補償部２６で生成された予測マクロブロックとの間で差分処理を施し、差分マクロブロックを出力する。差分マクロブロックは、直交変換部１３に入力され、複数の直交変換ブロックに周波数変換される。

周波数変換された各変換係数は、量子化部１４でレート制御部２７から入力された量子化パラメータに従って量子化され、符号化部１５および逆量子化部１７に出力される。符号化部１５は、量子化直交変換係数および後述する第２のモード選択部３４で選択された予測情報をコード化し、蓄積バッファ１６に供給する。蓄積バッファ１６は、蓄積したコードをストリームとして出力する。

逆量子化部１７は、供給された量子化直交変換係数をレート制御部２７から入力される量子化パラメータに従って逆量子化し、逆直交変換部１８に供給して差分マクロブロックとして復元する。復元された差分マクロブロックは、予測マクロブロックと共に加算処理部１９に入力される。

加算処理部１９は、復元された差分マクロブロックと予測マクロブロックの各画素に加算処理を施し、再生マクロブロックを生成する。この再生マクロブロックは、フレームメモリ２０に蓄積される。フレームメモリ２０に蓄積された再生マクロブロックは、予測モード選択のためにイントラ推定部３１と動き推定部３２とに、そして予測マクロブロック生成のためにイントラ予測部２６と動き補償部２７とにそれぞれ供給される。

イントラ推定部３１および動き推定部３２は、それぞれ後述するように予測プロセスに従って各候補予測タイプ（モード）とその時の予測評価値を求める。この予測評価値として、例えば、イントラ予測では、各予測候補モードにおける予測ブロックと入力ブロックとの予測誤差信号の絶対値和又は２乗値和、あるいは予測誤差信号のアダマール変換後絶対値和などによるＤｉｓｔｏｒｔｉｏｎと、その予測候補モードを符号化したときのビット量であるＲａｔｅとのバランスを最適化したＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）関数によって算出した値などを使う。また、動き補償予測では、動き補償する対象ブロックと参照ブロックとの動き補償予測誤差信号の絶対値和または２乗和に動きベクトルの符号量を加味した関数等を用いる。

イントラ推定部３１および動き推定部３２で求められた予測候補タイプ（モード）とその予測評価値は、第１のモード選択部３３と第２のモード選択部３４に供給される。なお、このとき、すべての予測候補タイプ（モード）による予測が実行され、その予測候補タイプ（モード）と予測評価値が、第１のモード選択部３３および第２のモード選択部３４に供給されるわけではない。

参照ピクチャを持たない画面内予測符号化を行うＩピクチャでは、イントラ予測しか使われないが、１枚のピクチャのみを参照し画面間予測符号化を行うＰピクチャや同時に２枚以上のピクチャを参照して画面間予測符号化を行うＢピクチャでイントラ予測と動き予測が使われる。

従って、Ｂピクチャでは、図２に示すように、マクロブロック（１６×１６）レベルで８つの符号化タイプ（動き予測では、ｓｋｉｐ、ダイレクト１６×１６、インタ１６×１６、インタ１６×８、インタ８×１６、そしてインタ８×８、イントラ予測では、イントラ１６×１６とイントラ４×４（あるいはイントラ８×８））、そしてインタ８×８が選択された場合、更に５つの符号化タイプ（ダイレクト８×８、インタ８×８、インタ４×８、インタ８×４、そしてインタ４×４）を選択することができる。

上記Ｂピクチャのように、選択可能な符号化タイプが非常に多くなると参照ピクチャ枚数も増えるため予測計算の負荷が非常に大きくなるが、実際には画像の内容によって、これ以上予測を実行する必要がない場合がある。

例えば、図３のような画面の中央の２人の人物がいて、それら人物はわずかに動いているがその背景は一様な画像でほとんど静止している場合、背景の画像領域はイントラ予測あるいは動き予測とも１６×１６の最も大きな予測ブロックで予測した方が符号化効率が高く、予測タイプとして選択される可能性が高い。とりわけ、周辺の画像領域と類似した背景や一定速度の一様な領域の画像領域では、１６×１６のｓｋｉｐマクロブロックや１６×１６のダイレクトモードが選択される可能性が高く、予測誤差信号の情報を送る必要がないため、符号化効率も高くなる。

一方、人物の動きは回転や変形を伴い、必ずしも一定方向に等速に動いているわけではない。このような場合は、動き補償よりも面内の近傍画素情報からイントラ予測した方が予測誤差は少ない場合がある。

また、人物や物などの対象が高速に動いた場合には、動き予測する動き検索範囲から対象が外れるため、イントラ予測が選択される可能性が高くなる。また、その場合、対象は高速に動いているためブレており一定方向（水平、垂直など）に流れるような平坦な画像となっているため、イントラ１６×１６予測が選択される可能性が高い。

従って、まず、１６×１６のブロックサイズでイントラ予測あるいは動き予測を行い、そのときの予測評価値が非常に小さければ１６×１６以外のブロックサイズによる予測タイプ（モード）を省略しても大きな符号化効率の損失はない。

なお、この場合、イントラ１６×１６予測の予測評価値が小さくなくとも、１６×１６の動き補償（インタ）予測の予測評価値が非常に小さければ、結果的に予測モードとしてイントラ予測よりも動き補償による予測モードが優位に選択される可能性が高いため、イントラ４×４（あるいはイントラ８×８）を省略しても大きな符号化効率の損失はない。また、同様に、１６×１６の動き補償（インタ）予測の予測評価値が小さくなくとも、イントラ１６×１６予測の予測評価値が非常に小さければ、そのブロックは一様に平坦な画像からなる領域と判断されるため、１６×１６以外の動き補償による予測モードを実行しても、符号化効率の大きな改善は望めない。

図４は、イントラ推定部３１、動き推定部３２、第１のモード選択部３３および第２のモード選択部３４における上記のような予測モードの実行と選択のプロセスを示すフローチャートである。

図４において、ステップＳ２０２およびステップＳ２０３で、１６×１６のブロックサイズによるイントラ１６×１６予測と動き（インタ）予測１６×１６が並列同時的に実行される。ステップＳ２０２で、イントラ推定部３１は、イントラ予測１６×１６の４つの予測モード（モード０からモード３）についてその予測ブロックを生成し、入力ブロックとの誤差から予測評価値（総称としてイントラ１６×１６予測評価値と呼ぶ）を算出する。ステップＳ２０３で、動き推定部３２は、動き（インタ）予測１６×１６の符号化タイプ（ｓｋｉｐ、インタ１６×１６，Ｂピクチャでは更にダイレクト１６×１６）についてその予測評価値（総称としてインタ１６×１６予測評価値と呼ぶ）を算出する。

上記予測（タイプ）モードにおける、イントラ１６×１６予測評価値とインタ１６×１６予測評価値は、第１のモード選択部３３および第２のモード選択部３４に供給される。ステップＳ２０４（ステップＳ２０４−１とステップＳ２０４−２は基本的に同一ステップ）で、第１のモード選択部３３は、上記予測（タイプ）モードにおけるイントラ１６×１６予測評価値あるいはインタ１６×１６予測評価値のどちらかが、それぞれ所定の閾値（ｔｈ１、ｔｈ２）を超えているか否かを判定し、超えていなければ、これ以上予測モードの演算を実行しない（第１のモード選択）。結果的に、１６×１６のブロックサイズによるイントラ予測と動き（インタ）予測の各モードの予測評価値だけが第２のモード選択部３４に供給される。

一方、ステップＳ２０４で、第１のモード選択部３３が、前記各予測（タイプ）モードにおけるイントラ１６×１６予測評価値とインタ１６×１６予測評価値のいずれもが、それぞれ所定の閾値（ｔｈ１、ｔｈ２）を超えたと判定したならば、ステップＳ２０５でイントラ推定部３１は、イントラ予測４×４（あるいは８×８）を実行し、あるいはおよびステップＳ２０６で、動き推定部３２は、動き（インタ）予測１６×１６を除く動き（インタ）予測を実行する。結果的に、１６×１６のブロックサイズ以外のイントラ予測あるいはおよび動き予測の各予測（タイプ）モードとその予測評価値が第２のモード選択部３４に供給される。

ステップＳ２０７で、第２のモード選択部３４は、１６×１６のブロックサイズに予測（タイプ）モードの予測評価値を含めた供給されたすべての各予測（タイプ）モードの予測評価値を比較し、もっとも予測評価値が小さな予測（タイプ）モードを選択する（第２のモード選択）。そして選択された予測（タイプ）モードはモードスッチ２４へ送られる。

次に、モードスッチ２４は、選択された予測（タイプ）モードに従って、予測情報（予測タイプ、動きベクトル、参照ピクチャ番号）をイントラ予測部２５または動き補償部２６に対して出力する。イントラ予測部２５または動き補償部２６は、選択された予測タイプと、フレームメモリ２０ 内の符号化済み周囲画素や参照ピクチャから予測マクロブロックを生成し、差分処理部１２および加算処理部１９に出力する。

以上のように、本実施の形態では、第１のモード選択部３３においてイントラ推定部３１および動き推定部３２で予測される予測候補タイプ（モード）のうち予測ブロックサイズの最も大きな予測（タイプ）モード、例えば、イントラ予測ではイントラ１６×１６予測、動き補償予測ではインタ１６×１６予測（ｓｋｉｐあるいはダイレクトモードを含む）を先に実行し、それら予測タイプ（モード）の予測評価値が非常に小さい場合、これ以上余計な予測モードを実行しないことで、大幅に計算負荷を軽減することができる。

なお、図５は、図４に示すイントラ推定部３１、動き推定部３２、第１のモード選択部３３および第２のモード選択部３４における予測モードの実行と選択のプロセスを順次的に示すフローチャートであり、各動作は図４に示すフローチャートと同様であるので説明は省略する。

また、図６に示すように動き（インタ）予測のみ１６×１６ブロックサイズによる第１のモード選択を実行、あるいは図７に示すようにイントラ予測のみ１６×１６ブロックサイズによる第１のモード選択を実行し、予測（タイプ）モードの削減を行ってもよい。図６および図７の各ステップは図４のステップと同一であるため説明は省略する。

また、上記図４および図６におけるステップＳ２０４の第１のモード選択で、イントラ１６×１６予測評価値が所定の閾値ｔｈ１を超えない場合、動き予測１６×１６を選択することになっているが、選択されたイントラ１６×１６予測の予測モードによっては、１６×１６以外の動き補償ブロックを選択した方がよい場合もあり得る。

例えば、図８に示すように、一様な背景を矩形の対象（黒い部分）が左方向へ移動している場合、矩形対象の左端境界領域と上下端境界領域のマクロブロックでは、それぞれ、図８（ａ）のイントラ１６×１６予測のモード０の垂直方向と図８（ｂ）のイントラ１６×１６予測のモード１の水平方向が優位に選択される。この場合、これらのマクロブロックの動き補償ブロックサイズ候補は、それぞれ、イントラ１６×１６予測のモード０では図９（ａ）に示すように１６×１６あるいは８×１６ブロックサイズが、イントラ１６×１６予測のモード１では図９（ｂ）に示すように１６×１６あるいは８×１６ブロックサイズが予想される。また、図８では説明できないが、イントラ１６×１６予測のモード３のｐｌａｎｅが優位に選択された場合、図９の（ｄ）に示す１６×１６あるいは８×８が考えられる。

従って、インタ１６×１６予測評価値が所定の閾値ｔｈ２を超え、かつ、イントラ１６×１６予測評価値が所定の閾値ｔｈ１を超えない場合、イントラ１６×１６予測のモード０、モード１およびモード３に対しては、１６×１６の動き補償予測ブロックの予測に加え、それぞれ、８×１６、１６×８、および８×８のブロックサイズを追加選択してもよい。

上記、イントラ１６×１６予測の予測モードによる動き補償ブロックサイズの追加についてそのプロセスを図９のフローチャートで説明する。

図１０のステップＳ２０４のサブステップであるステップＳ２０４−２−１で、第１のモード選択部３３は、動き予測１６×１６のインタ１６×１６予測評価値が所定の閾値ｔｈ１を超えているか否かを判定し、ｔｈ２を超えない場合（ステップＳ２０４−２−１でＹｅｓ）には動き予測１６×１６のみを選択する。一方、閾値ｔｈ２を超えた場合（ステップＳ２０４−２−１でＮｏ）にはステップＳ２０４−２−２へ進む。ステップＳ２０４−２−２で、第１のモード選択部３３は、イントラ１６×１６予測の予測評価値が所定の閾値ｔｈ１を超えているか否かを判定し、閾値ｔｈ２を超えない場合（ステップＳ２０４−２−２でＹｅｓ）にはステップＳ２０４−２−３で閾値ｔｈ１を超えなかったイントラ１６×１６予測の予測モード番号を抽出する。なお、閾値ｔｈ１を超えなかったイントラ１６×１６予測の予測モードが複数ある場合には、その予測モード番号をすべて抽出してもよいし、その中で予測評価値が最も小さい予測モード番号を抽出してもよい。一方、閾値ｔｈ２を超えた場合（ステップＳ２０４−２−２でＮｏ）にはステップＳ２０６で、動き推定部３２は、１６×１６以外のブロックサイズの動き予測を実行する。

動き推定部３２は、ステップＳ２０４−２−３で抽出されたイントラ１６×１６予測の予測モード番号について、そのモード番号に対応する動き予測を行う。すなわち、モード０ではステップＳ３０２のインタ予測８×１６、モード１ではステップＳ３０３のインタ予測１６×８、モード３ではステップＳ３０４のインタ予測８×８、そしてモード２ではステップＳ３０５の非実行ＮＯＰを実行する。

また、上記実施の形態では、イントラ１６×１６予測とインタ１６×１６予測の予測評価値のいずれかが所定の閾値を超えなければ、１６×１６以外のブロックサイズによる残余の予測（タイプ）モードを実行しなかったが、イントラ１６×１６予測とインタ１６×１６予測の予測評価値が共に所定の閾値を超えなかった場合１６×１６以外のブロックサイズによる残余の予測（タイプ）モードを実行しないといった設定を設けてもよい。この場合、予測を実行するマクロブロックの数が増え負荷は増大するものの、一様な平坦な画像領域でしかも動き補償による予測誤差が非常に小さいマクロブロックのみ、第１のモード選択で選択され、残余の予測（タイプ）モードについては予測を実行しないため、より正確で確実な予測モードの選択が可能になる。

また、図１に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、別構成としても良い。

本発明は、ピクチャをブロック単位に符号化する画像符号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、Ｄ Ｖ Ｄ 録画／ 再生機、Ｐ Ｄ Ａ 、パーソナルコンピュータ等に適している。

本発明の実施の形態に係る画像符号化装置の構成を示すブロック図である。 Ｈ．２６４画像符号化におけるＢタイプで使用される符号化モードについて説明するための図である。 本発明における予測モードの選択に関する一例として説明するための図である。 本発明における予測モードの選択に関するプロセスを説明するためのフローチャートである。 本発明における予測モードの選択に関するプロセスを説明するための他のフローチャートである。 本発明における予測モードの選択に関する他のプロセスを説明するためのフローチャートである。 本発明における予測モードの選択に関するさらに他のプロセスを説明するためのフローチャートである。 本発明における予測モードの選択に関するイントラ予測の予測モードと動き予測の関係について説明するための図である。 本発明における予測モードの選択に関するイントラ予測の予測モードと動き補償ブロックサイズの関係について説明するための図である。 本発明における予測モードの選択に関するさらに他のプロセスを説明するためのフローチャートである。 従来のＨ．２６４画像符号化装置の構成を示すブロック図である。 ４：２：０フォーマット形式の１ピクチャの映像信号を説明するための図である。 ４：２：０フォーマット形式の１マクロブロックの映像信号を説明するための図である。 ４：２：０フォーマット形式の１マクロブロックの直交変換ブロックを説明するための図である。 Ｈ．２６４画像符号化での輝度信号におけるイントラ４×４予測を説明するための図である。 Ｈ．２６４画像符号化での輝度信号におけるイントラ１６×１６予測を説明するめの図である。 動き推定の典型的な技術としてブロックマッチング法について説明するための図である。 Ｈ．２６４画像符号化における動き補償ブロックタイプを説明するための図である。 Ｈ．２６４画像符号化における従来の予測モード選択の低減方法に関して説明するためのフローチャートである。

符号の説明

１１ ブロック分割部
１２ 差分処理部
１３ 直交変換部
１４ 量子化部
１５ 符号化部
１６ 蓄積バッファ
１７ 逆量子化部
１８ 逆直交変換部
１９ 加算処理部
２０ フレームメモリ
２１、３１ イントラ推定部
２２、３２ 動き推定部
２３ モード選択部
３３ 第１のモード選択部
３４ 第２のモード選択部
２４ モードスッチ
２５ イントラ予測部
２６ 動き補償部
２７ レート制御部

Claims (10)

1. 連続するピクチャからなる動画像を圧縮符号化する画像符号化装置であって、
   イントラ予測ブロックサイズの最大サイズの予測モードによる予測評価値および動き補償ブロックサイズの最大サイズの予測モードによる予測評価値の少なくとも１つに基づいて、最大サイズを除く前記イントラ予測ブロックサイズの予測モードによる予測および最大サイズを除く前記動き補償ブロックサイズの予測モードによる予測の少なくとも１つを更に実行するか否かを判定する第１のモード選択手段と、
   前記イントラ予測ブロックサイズの最大サイズの予測モードでイントラ予測を行って前記予測評価値を算出するとともに、前記第１のモード選択手段の判定結果に基づいて、前記最大サイズを除くイントラ予測ブロックサイズの予測モードでイントラ予測を行って前記予測評価値を算出するイントラ予測手段と、
   前記動き補償ブロックサイズの最大サイズの予測モードで動き補償予測を行って前記予測評価値を算出するとともに、前記第１のモード選択手段の判定結果に基づいて、前記最大サイズを除く動き補償ブロックサイズの予測モードで動き補償予測を行って前記予測評価値を算出する動き補償予測手段と、
   前記イントラ予測手段によってイントラ予測された各予測モードの予測評価値および前記動き補償予測手段によって動き補償予測された各予測モードの予測評価値を用いて、１つの予測モードを選択する第２のモード選択手段と
   を備えることを特徴とする画像符号化装置。
2. 前記第１のモード選択手段は、前記イントラ予測ブロックサイズの最大サイズの複数の予測モードによる予測評価値および前記動き補償ブロックサイズの最大サイズの予測モードによる予測評価値の中で、少なくとも１つが所定のしきい値を超えなかった場合、前記動き補償ブロックサイズの最大サイズを除く動き補償ブロックサイズによる予測、および前記イントラ予測ブロックサイズの最大サイズを除くイントラ予測ブロックサイズによる予測を実行しないと判定する
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記第１のモード選択手段は、前記イントラ予測ブロックサイズの最大サイズの複数の予測モードによる予測評価値の中で、少なくとも１つが所定のしきい値を超えなかった場合、前記動き補償ブロックサイズの最大サイズを除く動き補償ブロックサイズによる予測を実行しないと判定する
   ことを特徴とする請求項１記載の画像符号化装置。
4. 前記第１のモード選択手段は、前記動き補償ブロックサイズの最大サイズの予測モードによる予測評価値が所定のしきい値を超えなかった場合、前記イントラ予測ブロックサイズの最大サイズを除くイントラ予測ブロックサイズによる予測を実行しないと判定する
   ことを特徴とする請求項１記載の画像符号化装置。
5. 前記第１のモード選択手段は、前記動き補償ブロックサイズの最大サイズの予測モードによる予測評価値が所定のしきい値を超え、かつ前記イントラ予測ブロックサイズの最大サイズの複数の予測モードによる予測評価値の中で、少なくとも１つが所定のしきい値を超えなかった場合、前記所定のしきい値を超えなかった前記イントラ予測ブロックサイズの最大サイズの予測モードに応じて、前記動き補償ブロックサイズの最大サイズを除く動き補償ブロックサイズの予測モード中から所定の動き補償ブロックサイズの予測モードを選択して動き補償予測すると判定する
   ことを特徴とする請求項１記載の画像符号化装置。
6. 前記動き補償ブロックサイズの最大サイズおよび前記イントラ予測ブロックサイズの最大サイズはそれぞれ１６ライン×１６画素からなるブロックサイズであり、
   前記第１のモード選択手段は、前記所定のしきい値を超えなかった前記イントラ予測における１６ライン×１６画素ブロックサイズによる予測で優位に選択された予測モードが前記１６ライン×１６画素ブロックに隣接する左側の画素情報に基づいて予測される水平モードである場合、前記動き補償ブロックサイズとして８ライン×１６画素の動き補償ブロックサイズを選択すると判定する
   ことを特徴とする請求項５記載の画像符号化装置。
7. 前記動き補償ブロックサイズの最大サイズおよび前記イントラ予測ブロックサイズの最大サイズはそれぞれ１６ライン×１６画素からなるブロックサイズであり、
   前記第１のモード選択手段は、前記所定のしきい値を超えなかった前記イントラ予測における１６ライン×１６画素ブロックサイズによる予測で優位に選択された予測モードが前記１６ライン×１６画素ブロックに隣接する上側の画素情報に基づいて予測される垂直モードである場合、前記動き補償ブロックサイズとして１６ライン×８画素の動き補償ブロックサイズを選択すると判定する
   ことを特徴とする請求項５記載の画像符号化装置。
8. 前記画像符号化装置は、Ｈ．２６４画像符号化を行う
   ことを特徴とする請求項１〜請求項７のいずれか１項に記載の画像符号化装置。
9. 連続するピクチャからなる動画像を圧縮符号化する画像符号化方法であって、
   イントラ予測ブロックサイズの最大サイズの予測モードによる予測評価値および動き補償ブロックサイズの最大サイズの予測モードによる予測評価値の少なくとも１つに基づいて、最大サイズを除く前記イントラ予測ブロックサイズの予測モードによる予測および最大サイズを除く前記動き補償ブロックサイズの予測モードによる予測の少なくとも１つを更に実行するか否かを判定する第１のモード選択ステップと、
   前記イントラ予測ブロックサイズの最大サイズの予測モードでイントラ予測を行って前記予測評価値を算出するとともに、前記第１のモード選択ステップにおける判定結果に基づいて、前記最大サイズを除くイントラ予測ブロックサイズの予測モードでイントラ予測を行って前記予測評価値を算出するイントラ予測ステップと、
   前記動き補償ブロックサイズの最大サイズの予測モードで動き補償予測を行って前記予測評価値を算出するとともに、前記第１のモード選択ステップにおける判定結果に基づいて、前記最大サイズを除く動き補償ブロックサイズの予測モードで動き補償予測を行って前記予測評価値を算出する動き補償予測ステップと、
   前記イントラ予測ステップにおいてイントラ予測された各予測モードの予測評価値および前記動き補償予測ステップにおいて動き補償予測された各予測モードの予測評価値を用いて、１つの予測モードを選択する第２のモード選択ステップと
   を含むことを特徴とする画像符号化方法。
10. 連続するピクチャからなる動画像を圧縮符号化するための集積回路であって、
    イントラ予測ブロックサイズの最大サイズの予測モードによる予測評価値および動き補償ブロックサイズの最大サイズの予測モードによる予測評価値の少なくとも１つに基づいて、最大サイズを除く前記イントラ予測ブロックサイズの予測モードによる予測および最大サイズを除く前記動き補償ブロックサイズの予測モードによる予測の少なくとも１つを更に実行するか否かを判定する第１のモード選択手段と、
    前記イントラ予測ブロックサイズの最大サイズの予測モードでイントラ予測を行って前記予測評価値を算出するとともに、前記第１のモード選択手段の判定結果に基づいて、前記最大サイズを除くイントラ予測ブロックサイズの予測モードでイントラ予測を行って前記予測評価値を算出するイントラ予測手段と、
    前記動き補償ブロックサイズの最大サイズの予測モードで動き補償予測を行って前記予測評価値を算出するとともに、前記第１のモード選択手段の判定結果に基づいて、前記最大サイズを除く動き補償ブロックサイズの予測モードで動き補償予測を行って前記予測評価値を算出する動き補償予測手段と、
    前記イントラ予測手段によってイントラ予測された各予測モードの予測評価値および前記動き補償予測手段によって動き補償予測された各予測モードの予測評価値を用いて、１つの予測モードを選択する第２のモード選択手段と
    を備えることを特徴とする集積回路。

Images