JP2008092137A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】画面内予測符号化処理を行う際の演算量を削減し、処理速度を高速化する。
【解決手段】複数の予測モードに基づき予測画像を作成する予測画像作成部１と、前記予測画像と原画像の残差画像を作成する残差画像作成部２と、複数の予測モードのうちの１つを選択する予測モード選択部３と、選択された予測モードに基づく予測画像を直交変換する予測画像直交変換部４と、前記原画像を直交変換する原画像直交変換部５と、原画像周波数空間パターンと予測画像周波数空間パターンから残差画像周波数空間パターンを算出する残差画像周波数変換パターン算出部６と、前記残差画像周波数空間パターンの画質調整を行う画質調整部７と、画質調整された残差画像周波数空間パターンを逆直交変換して実空間残差画像を出力する逆直交変換部８と、前記実空間残差画像と前記選択された予測モードに基づく予測画像から参照画像を作成する参照画像作成部９と、を備える。
【選択図】図１

Description

本発明は、画像符号化装置及び画像符号化方法に関するものである。

動画データは圧縮しないとそのデータ量は膨大なものになり、通信回線やデータストレージの容量を圧迫する。そのため、動画の送信時や、映像コンテンツを記録媒体に保存する際には動画データの圧縮が欠かせない。この動画データの圧縮の規格の１つにＨ．２６４／ＡＶＣがある。

Ｈ．２６４／ＡＶＣでは、ブロック（画素の集まり）間の画素相関を利用して圧縮率を向上させるため、画面内予測符号化（イントラ予測符号化）が行われる。画面内予測符号化では、上や左などに隣接する符号化済みのブロックの画素値から予測画像を生成し、その予測画像との差分を符号化するものである。

予測画像の生成単位となるブロックサイズは４×４画素のサブブロックと１６×１６画素のマクロブロックの２種類がある。予測画像生成における予測方向は、４×４画素では９種類、１６×１６画素では４種類から選択できる。

４×４画素の９種類の予測方向には、発生頻度が高い予測方向順に小さい番号の予測モード番号（予測モード０〜８）が割り当てられている。例えば、予測モード０には対象サブブロックの上ブロックの画素を参照する垂直予測が、予測モード１には左ブロックの画素を参照する水平予測が定義されている。予測モード２の平均値予測は、左ブロックの４画素と上ブロックの４画素の合計８画素の平均値で対象サブブロックの画素全てを予測する。

マクロブロック内の１６個のサブブロックそれぞれについて、この９通りの予測モードの中から最適に予測できる予測方向（予測モード）で符号化する。

また、１６×１６画素の４種類の予測方向は発生頻度順に垂直予測（予測モード０）、水平予測（予測モード１）、平均値予測（予測モード２）、平面予測（予測モード３）となっている。例えば、予測モード２の平均値予測は、左ブロックの１６画素と上ブロックの１６画素の合計３２画素の平均値で対象マクロブロックの画素全てを予測する。１６×１６イントラ予測の場合、予測方向はマクロブロック単位に１つであり、４×４イントラ予測と比べて予測方向の符号化に必要なビット数が少なくて済むため、平坦な画像に対して使用すると大幅な圧縮を実現することができる。

画面内予測符号化を行う従来の画像符号化装置は第１の残差画像作成部、第２の残差画像作成部、予測モード選択部、残差画像直交変換部、画質調整部、残差パターン逆直交変換部、参照画像作成部及び予測画像作成部を備える。

予測画像作成部は、参照画像作成部が出力する参照画像から複数の予測モード（例えば４×４イントラ予測では予測モード０〜８）に基づいて予測画像を作成し、出力する。

第１の残差画像作成部には原画像及び複数の予測モードに基づく予測画像が入力され、原画像と各予測モードに基づく予測画像との差分（残差画像）を求め、予測モード選択部へ出力する。

予測モード選択部は入力される残差画像から最適な予測モードを選択し、予測画像作成部へ出力する。

第２の残差画像作成部では予測画像作成部から出力される選択された予測モードに基づく予測画像と原画像の差分（残差画像）を求め、残差画像直交変換部へ出力する。

残差画像直交変換部は入力された残差画像を周波数空間のパターンに直交変換し、画質調整部へ出力する。画像を空間座標から周波数座標に変換する方式を直交変換という。

画質調整部は周波数空間のパターンに変換された画像データの画質及び符号データ量の調整を行い、残差パターン逆直交変換部へ出力する。

残差パターン逆直交変換部は画質調整された周波数空間のパターンの逆直交変換を行い、残差画像を復号し、参照画像作成部へ出力する。

参照画像作成部は復号された残差画像と予測画像作成部から出力される選択された予測モードに基づく予測画像とを加算して参照画像を作成し、出力する。

４×４イントラ予測では、上記の予測画像作成、残差画像作成、残差画像直交変換、画質調整、残差画像復号及び参照画像作成という一連の画面内予測符号化処理を１つの１６×１６画素のマクロブロックにつき１６回行う。１６×１６画素のマクロブロックは４×４画素のブロックを１６個有するためである。１６個の４×４画素のブロックについての画面内予測符号化処理を行った後、１６×１６イントラ予測での予測モードの選択を行う。

そして、４×４イントラ予測と１６×１６イントラ予測を用いた画面内予測符号化のうち符号化コストが小さくなる方が選択される。

このような従来の画像符号化装置では、作成される残差画像が２次元的な画像であるため残差画像直交変換も２次元の変換となる。１６×１６画素のマクロブロックに対しては、４×４イントラ予測を１６回（マクロブロック内には４×４画素ブロックが１６個ある）行うため、２次元直交変換も１６回行うことになり多大な演算量を要する。

また、符号化コスト比較の結果１６×１６イントラ予測が選択された場合は、４×４イントラ予測でマクロブロック内のすべての画素について画質調整され、さらに１６×１６イントラ予測においてすべての画素について画質調整が行われることになるため、画質調整についても多くの演算量を要することになる。これらの多大な演算量は画面内予測符号化処理の処理速度の高速化の妨げになる。
インプレス標準教科書シリーズＨ．２６４／ＡＶＣ教科書ｐｐ１０６〜１１２

そこで、本発明は画面内予測符号化処理を行う際の演算量を削減し、処理速度を高速化することができる画像符号化装置を提供することを目的とする。

本発明の一態様による画像符号化装置は、複数の予測モードに基づき符号化対象ブロックの予測画像を作成し出力する予測画像作成部と、前記予測画像と原画像の残差画像を作成し出力する残差画像作成部と、前記残差画像から前記複数の予測モードのうちの１つを選択する予測モード選択部と、前記選択された予測モードに基づく予測画像を直交変換して予測画像周波数空間パターンに変換し出力する予測画像直交変換部と、前記原画像を直交変換して原画像周波数空間パターンに変換し出力する原画像直交変換部と、前記原画像周波数空間パターンと前記予測画像周波数空間パターンから残差画像周波数空間パターンを算出し出力する残差画像周波数空間パターン算出部と、前記残差画像周波数空間パターンの画質調整を行う画質調整部と、前記画質調整された残差画像周波数空間パターンを逆直交変換して実空間残差画像に変換し出力する逆直交変換部と、前記実空間残差画像と前記選択された予測モードに基づく予測画像から参照画像を作成する参照画像作成部と、を備えるものである。

また、本発明の一態様による画像符号化装置は、複数の予測モードに基づき第１の画素単位又は第２の画素単位の符号化対象ブロックの予測画像を作成し出力する予測画像作成部と、前記予測画像と原画像の残差画像を作成し出力する残差画像作成部と、前記残差画像から前記複数の予測モードのうちの１つを選択する予測モード選択部と、前記選択された予測モードに基づく前記第１の画素単位の予測画像と前記原画像とから前記第１の画素単位の残差画像を作成し出力する残差画像作成部と、前記第１の画素単位の残差画像を直交変換して前記第１の画素単位での残差画像周波数空間パターンに変換し出力する第１の残差画像直交変換部と、前記選択された予測モードに基づく第１の画素単位の予測画像を直交変換して第１の画素単位での予測画像周波数空間パターンに変換し出力する第１の予測画像直交変換部と、前記第１の残差画像直交変換部から出力される残差画像周波数空間パターンと前記第１の予測画像直交変換部から出力される予測画像周波数空間パターンとを加算して原画像周波数空間パターンを作成し出力する加算部と、前記選択された予測モードに基づく第２の画素単位の予測画像を直交変換して第２の画素単位での予測画像周波数空間パターンに変換し出力する第２の予測画像直交変換部と、前記加算部から出力される原画像周波数空間パターンと前記第２の予測画像直交変換部から出力される予測画像周波数空間パターンとを減算して第２の画素単位での残差画像周波数空間パターンを作成し出力する減算部と、前記第１又は第２の画素単位での残差画像周波数空間パターンの画質調整を行う画質調整部と、前記画質調整された前記前記第１又は第２の画素単位での残差画像周波数空間パターンを逆直交変換して実空間残差画像に変換し出力する逆直交変換部と、前記実空間残差画像と前記選択された予測モードに基づく予測画像から参照画像を作成する参照画像作成部と、を備えるものである。

本発明の一態様による画像符号化方法は、原画像を直交変換して原画像周波数空間パターンを生成するステップと、複数の予測モードの各々についての予測画像を作成するステップと、前記予測画像と原画像の残差画像を作成するステップと、前記残差画像から前記複数の予測モードのうちの１つを選択するステップと、前記選択された予測モードに基づく予測画像を直交変換して予測画像周波数空間パターンを生成するステップと、前記原画像周波数空間パターンと前記予測画像周波数空間パターンの差分から残差画像周波数空間パターンを生成するステップと、前記残差画像周波数空間パターンを画質調整するステップと、前記画質調整された残差画像周波数空間パターンを逆直交変換して実空間残差画像を生成するステップと、前記選択された予測モードに基づく予測画像と前記実空間残差画像を加算して参照画像を作成するステップと、を含むものである。

本発明によれば、画面内予測符号化処理を行う際の演算量を削減し、処理速度を高速化することができる。

以下、本発明にかかる画像符号化装置の実施の形態を図面に基づいて説明する。

（第１の実施形態）図１に本発明の第１の実施形態に係る画像符号化装置の概略構成を示す。予測画像作成部１は参照画像作成部９が出力する参照画像から複数の予測モードに基づいて予測画像を作成し、出力する。ここで用いられる予測モード（予測方向）は発生頻度の高い垂直予測、水平予測及び平均値予測（ＤＣ予測）の３種類である。

残差画像作成部２は予測画像作成部１から出力される３種類の予測画像それぞれと原画像との残差画像を作成し出力する。

予測モード選択部３は残差画像出力部２から出力される残差画像からＳＡＤ値（Sum of Absolute Difference：絶対値誤差和）が最小になる予測モードを選択し、選択結果を出力する。また、符号化コストの計算も行う。尚、符号化コストについては、下記の画面内予測符号化処理のフローチャート（図２）のステップＳ６の項目で詳述する。

予測画像直交変換部４は、予測画像作成部１から出力される３種類の予測モードに基づく予測画像の中から、予測モード選択部３により選択された予測モードに基づく予測画像に対して直交変換を行い、周波数空間のパターン（予測画像周波数空間パターン）に変換して出力する。

原画像直交変換部５は入力される原画像を直交変換により周波数空間のパターン（原画像周波数空間パターン）に変換して出力する。

残差画像周波数空間パターン算出部６は入力される予測画像周波数空間パターンと原画像周波数空間パターンとを減算して、残差画像周波数空間パターンを算出し、出力する。

画質調整部７は残差画像周波数空間パターンの画質及び符号データ量の調整を行い出力する。画質及び符号データ量の調整は量子化・逆量子化による。画像の周波数空間パターンの各周波数成分の係数を飛び飛び（ディスクリート）の代表値のいずれかに対応づけることで、符号データ量を圧縮することを量子化という。一方、量子化により得られた符号データから飛び飛びの代表値で復元することを逆量子化という。ただし、量子化の際に元々の係数は代表値に丸められているため、逆量子化によって量子化前のデータに完全には戻らない。量子化のステップサイズ（飛び飛びの間隔）を大きくすることでデータ圧縮率は高くなり、量子化後の符号データ量は小さくなるが、欠落するデータが多くなるので、復元した際の画質は劣化することになる。

逆直交変換部８は画質調整された残差画像周波数空間パターンを逆直交変換により実空間残差画像に変換して出力する。

参照画像作成部９は実空間残差画像と予測画像作成部１から出力される選択された予測モードに基づく予測画像とを加算して参照画像を作成し、出力する。

符号化部１０には画質調整部７により量子化された残差画像周波数空間パターン及び予測モード選択部３による選択された予測モード情報が入力され、これらを可変長符号化し、符号化データとして出力する。

画面内予測符号化処理を、１６×１６画素のマクロブロックの原画像の処理に適用した場合の例を、図２に示すフローチャートを用いて説明する。

（ステップＳ１）原画像を直交変換し、周波数空間のパターンである原画像周波数空間パターンを作成する。

（ステップＳ２）原画像内の複数の４×４画素ブロックの１つについて参照画像に基づいて垂直予測、水平予測及びＤＣ予測による予測画像を作成し、原画像との残差画像から予測モード（予測方向）を選択する。

（ステップＳ３）ステップＳ２にて選択された予測モードに基づく予測画像を直交変換し、周波数空間のパターンである予測画像周波数空間パターンを作成する。この予測画像周波数空間パターンとステップＳ１で作成された原画像周波数空間パターンを減算し、残差画像周波数空間パターンを求める。この残差画像周波数空間パターンを画質調整し、逆直交変換して実空間残差画像を作成し、これにステップＳ２で作成された予測画像を加算して参照画像を作成する。

（ステップＳ４）原画像内の４×４画素ブロックすべての処理が終わった場合はステップＳ５へ進む。終わっていない場合はステップＳ２へ戻る。

（ステップＳ５）参照画像に基づいて１６×１６画素のマクロブロックの原画像の垂直予測、水平予測及びＤＣ予測による予測画像を作成し、原画像との残差画像から予測モード（予測方向）を選択する。

（ステップＳ６）４×４画素のブロック単位で画面内予測符号化処理を行う場合の符号化コストと１６×１６画素のマクロブロック単位で画面内予測符号化処理を行う場合の符号化コストを予測モード選択部３が算出し、比較する。４×４画素のブロック単位での処理の方が符号化コストが大きい場合はステップＳ７へ進む。４×４画素のブロック単位での処理の方が符号化コストが小さい場合は、次のマクロブロックの処理へ進む。符号化コストＣは次の式（１）から求まる。
Ｃ＝ＳＡＤ＋λ×ｃｏｄｅ 式（１）

ＳＡＤは原画像と予測画像の絶対値誤差和、λは量子化パラメータにより変化するパラメータ、ｃｏｄｅは予測モードに必要な符号量である。

（ステップＳ７）ステップＳ５で選択された予測モードに基づく予測画像を直交変換し、周波数空間のパターンである予測画像周波数空間パターンを作成する。この予測画像周波数空間パターンとステップＳ１で作成された原画像周波数空間パターンを減算し、残差画像周波数空間パターンを求める。この残差画像周波数空間パターンを画質調整し、逆直交変換して実空間残差画像を作成し、これにステップＳ５で作成された予測画像を加算して参照画像を作成する。そして、次のマクロブロックの処理へ進む。

本実施形態ではステップＳ２で作成される予測画像は垂直予測、水平予測及びＤＣ予測によるものである。垂直予測、水平予測及びＤＣ予測による予測画像は図３（ａ）に示すように１次元的な予測画像又は０次元的な予測画像になる。従って、ステップＳ３での予測画像の直交変換も１次元又は０次元の直交変換となる。

４×４画素ブロックの垂直予測画像、水平予測画像、ＤＣ予測画像を直交変換すると、変換後は図３（ｂ）に示すように垂直予測画像では上端に、水平予測では左端に、ＤＣ予測画像では左上に予測成分が含まれ、それ以外の画素は値が０になる。また、同様に１６×１６画素ブロックの垂直予測画像、水平予測画像、ＤＣ予測画像を直交変換すると、図３（ｃ）に示すような斜線部分にのみ予測成分が含まれ、それ以外の画素は値が０になる。

ステップＳ７で残差画像周波数空間パターンを画質調整する場合、ステップＳ７で作成される予測画像周波数空間パターンで値が０になり、かつステップＳ３で作成される予測画像周波数空間パターンでも値が０になる画素は画質調整（量子化・逆量子化）後の値は同じになるため、そのような画素についてはステップＳ３での画質調整結果をそのまま利用して逆直交変換部８への入力とすることができる。

（比較例）比較例による画像符号化装置２０の概略構成を図４に示す。画像符号化装置２０は予測画像作成部２１、残差画像作成部２２、２４、予測モード選択部２３、残差画像直交変換部２５、画質調整部２６、逆直交変換部２７、参照画像作成部２８及び符号化部２９を備える。

予測画像作成部２１は、参照画像作成部２８が出力する参照画像から複数の予測モード（例えば４×４イントラ予測では予測モード０〜８の９種類）に基づいて予測画像を作成し、出力する。

第１の残差画像作成部２２には原画像及び複数の予測モードに基づく予測画像が入力され、原画像と各予測モードに基づく予測画像との差分（残差画像）を求め、予測モード選択部２３へ出力する。

予測モード選択部２３は入力される残差画像からＳＡＤ値が最小となる予測モードを選択し、予測モード情報を予測画像作成部２１へ出力する。

第２の残差画像作成部２４では、予測画像作成部２１から出力される選択された予測モードに基づく予測画像と原画像の差分（残差画像）を求め、残差画像直交変換部２５へ出力する。

残差画像直交変換部２５は入力された残差画像を周波数空間のパターンに直交変換し、残差画像周波数空間パターンを画質調整部２６へ出力する。

画質調整部２６は残差画像周波数空間パターンの画質調整を行い、逆直交変換部２７へ出力する。

逆直交変換部２７は画質調整された残差画像周波数空間パターンを逆直交変換し、残差画像を復号し、参照画像作成部２８へ出力する。

参照画像作成部２８は復号された残差画像と予測画像作成部２１から出力される選択された予測モードに基づく予測画像とを加えて参照画像を作成し、出力する。

この比較例による画像符号化装置２０を用いて１６×１６画素のマクロブロックの原画像の画面内予測符号化処理を行うとする。第２の残差画像作成部２４で求まる原画像と予測画像の差分（残差画像）は２次元的な画像である。従って、残差画像直交変換部２５では１６×１６画素のマクロブロック内の複数の４×４画素のブロックそれぞれについて２次元直交変換を行うことになる。また、１６×１６画素単位で処理を行う場合も、１６×１６画素サイズの残差画像を２次元直交変換する。

また、画質調整部２６は１６×１６画素単位での処理において、２５６（＝１６×１６）画素すべてに対して画質調整（量子化・逆量子化）を行う。

一方、上記第１の実施形態による画像符号化装置では、原画像の直交変換と予測画像の直交変換を別々に行っている。原画像直交変換部５では２次元直交変換が行われるが、予測画像直交変換部４では予測画像が０次元又は１次元のため０次元直交変換又は１次元直交変換が行われる。従って、２次元の直交変換を複数回行う比較例による画像符号化装置２０と比べて、残差画像周波数空間パターンの算出に要する演算量を削減することができる。

また、１６×１６画素単位での処理における画質調整を行う際、４×４画素単位での処理時及び１６×１６画素単位での処理時で共に予測画像周波数空間パターンの値が０となる画素については、４×４画素単位での処理時の画質調整結果を利用することで、画質調整部７での演算量を削減することができる。

このように本発明の第１の実施形態による画像符号化装置により画面内予測符号化処理を行う際の演算量を削減し、動画像圧縮処理を高速化することができる。

（第２の実施形態）本発明の第２の実施形態による画像符号化装置の概略構成を図５に示す。画像符号化装置は予測画像作成部３０、残差画像作成部３１、予測モード選択部３２、サイズＡ残差画像作成部３３、サイズＡ残差画像直交変換部３４、画質調整部３５、逆直交変換部３６、参照画像作成部３７、原画像周波数空間パターン算出部３８及びサイズＢ残差画像周波数空間パターン算出部３９を備える。

予測画像作成部３０は参照画像作成部３７が出力する参照画像から複数の予測モードに基づいて予測画像を作成し、出力する。ここで用いられる予測モード（予測方向）は発生頻度の高い垂直予測、水平予測及び平均値予測（ＤＣ予測）の３種類である。また予測画像の生成単位となるブロックサイズはサイズＡ及びサイズＢである（Ａ≠Ｂ）。

残差画像作成部３１は予測画像作成部３０から出力される３種類の予測画像それぞれと原画像との残差画像を作成し出力する。

予測モード選択部３２は残差画像出力部３１から出力される残差画像からＳＡＤ値が最小となる予測モードを選択し、選択結果を出力する。また、選択された予測モードに対するサイズＡの場合の符号化コストとサイズＢの場合の符号化コストを算出し比較する。

サイズＡ残差画像作成部３３は予測モード選択部３２で選択された予測モードに基づくブロックサイズＡの予測画像と原画像との差分（残差画像）を求め、出力する。

サイズＡ残差画像直交変換部３４はサイズＡ残差画像作成部３３から出力されるブロックサイズＡの残差画像を直交変換により周波数空間のパターンに変換して出力する。

画質調整部３５は周波数空間のパターンに変換された残差画像の画質調整を行い出力する。画質調整には量子化・逆量子化を用いる。

逆直交変換部３６は画質調整された残差画像周波数空間パターンを逆直交変換により実空間残差画像に変換して出力する。

参照画像作成部３７は逆直交変換部３６から出力される実空間残差画像と予測画像作成部３０から出力される予測画像とを加算して参照画像を作成し、出力する。

符号化部４０には画質調整部３５により量子化された残差画像周波数空間パターン及び予測モード選択部３２から出力される選択結果が入力され、これらを可変長符号化し、符号化データとして出力する。

原画像周波数空間パターン算出部３８は図６に示すように低次元直交変換部４１及び加算部４２を備える。低次元直交変換部４１にはサイズＡの予測画像が入力され、周波数空間のパターンに変換して出力する。ここで用いられる直交変換は、入力される予測画像が垂直予測、水平予測、ＤＣ予測のいずれかに基づく予測画像のため、サイズＡ残差画像直交変換部３４で用いられる直交変換よりも低次元である。

加算部４２には低次元周波数変換部４１から出力されるサイズＡ予測画像周波数空間パターン及びサイズＡ残差画像直交変換部３４から出力される残差画像周波数空間パターンが入力され、これらを加算して原画像の周波数空間パターンを算出し、出力する。

サイズＢ残差画像周波数空間パターン算出部３９は図７に示すように低次元直交変換部５１及び減算部５２を備える。低次元直交変換部５１にはサイズＢの予測画像が入力され、周波数空間のパターンに変換して出力する。ここで用いられる変換は、入力される予測画像が垂直予測、水平予測、ＤＣ予測のいずれかに基づく予測画像であるため、０次元又は１次元の直交変換となる。

減算部５２には低次元周波数変換部５１から出力されるサイズＢ予測画像の周波数空間パターン及び原画像周波数空間パターン算出部３８（加算部４２）から出力される原画像の周波数空間パターンが入力され、これらを減算して、サイズＢ予測画像と原画像との残差画像の周波数空間パターンを算出し、出力する。

サイズＡを４×４画素のサブブロックサイズ、サイズＢを１６×１６画素のマクロブロックサイズとし、この画像符号化装置を用いての１６×１６画素原画像の画面内予測符号化処理について図８に示すフローチャートを参照して説明する。

（ステップＳ１１）参照画像を用いて原画像内にある１６個の４×４画素ブロックのうち予測モードが決まっていない１つについて垂直予測、水平予測及びＤＣ予測の３種類の予測モードに基づく予測画像を作成し、原画像との残差画像から予測モードを決定する。

（ステップＳ１２）ステップＳ１１で決定された予測モードに基づく予測画像と原画像との差分である残差画像を作成する。

（ステップＳ１３）ステップＳ１２で作成された残差画像を直交変換により周波数空間パターンに変換する。

（ステップＳ１４）残差画像周波数空間パターンを画質調整する。

（ステップＳ１５）画質調整された残差画像周波数空間パターンを逆直交変換により実空間残差画像に変換する。

（ステップＳ１６）実空間残差画像に予測画像を加算して参照画像を作成する。

（ステップＳ１７）原画像内の４×４画素ブロックすべてについて処理を終えた場合はステップＳ１８へ進む。終えていない場合はステップＳ１１へ戻る。

（ステップＳ１８）参照画像を用いて１６×１６画素単位の垂直予測、水平予測及びＤＣ予測による予測画像を作成し、原画像との残差画像から予測モード（予測方向）を選択する。

（ステップＳ１９）４×４画素のブロック単位で画面内予測符号化処理を行う場合の符号化コストと１６×１６画素のマクロブロック単位で画面内予測符号化処理を行う場合の符号化コストを比較する。符号化コストは上記式（１）で求めることができる。４×４画素単位での処理の方が符号化コストが小さい場合は次のマクロブロックの処理を始める。４×４画素単位での処理の方が符号化コストが大きければステップＳ２０へ進む。

（ステップＳ２０）ステップＳ１１で選択された１６個の４×４画素ブロックの予測画像それぞれを周波数空間のパターンに変換する。

（ステップＳ２１）ステップＳ１３で求められている残差画像周波数空間パターンにステップＳ２０で求めた予測画像周波数空間パターンを加算して原画像周波数空間パターンを求める。

（ステップＳ２２）ステップＳ１８で選択された予測モードに基づく予測画像を直交変換により周波数空間パターンに変換する。

（ステップＳ２３）原画像周波数空間パターンからステップＳ２２で求めた予測画像周波数空間パターンを減算し、１６×１６画素単位の残差画像周波数空間パターンを求める。

（ステップＳ２４）残差画像周波数空間パターンの画質調整を行う。

（ステップＳ２５）画質調整された残差画像周波数空間パターンを逆直交変換により実空間残差画像に逆変換する。

（ステップＳ２６）実空間残差画像にステップＳ１８で選択された予測モードに基づく予測画像を加算して参照画像を作成する。その後、次のマクロブロックの処理を始める。

４×４画素単位での処理における予測画像は垂直予測、水平予測又はＤＣ予測のいずれかであるため、ステップＳ２０での変換は１次元又は０次元の直交変換でよい。また、１６×１６画素単位での処理における予測画像も垂直予測、水平予測又はＤＣ予測のいずれかであるため、ステップＳ２２での直交変換も１次元又は０次元でよい。

ステップＳ２０で求めた予測画像周波数空間パターンにステップＳ１３で求められている残差画像周波数空間パターンを加算することで原画像周波数空間パターンが求まる。さらにこの原画像周波数空間パターンからステップＳ２２で求めた予測画像周波数空間パターンを減算することで残差画像周波数空間パターンが求まる。従って、１６×１６画素単位の処理においては、４×４画素単位の処理結果を利用することで、２次元直交変換を行うことなく残差画像周波数空間パターンを求めることができる。上記比較例による画像符号化装置では１６×１６画素単位の処理において、予測画像と原画像との残差画像を求めて、その残差画像について直交変換を行うため、直交変換は２次元となる。従って、本実施形態による画像符号化装置は１６×１６画素単位の処理における残差画像周波数空間パターン算出に要する演算量を削減できる。

また、上記第１の実施形態と同様に、１６×１６画素単位での処理における画質調整を行う際（ステップＳ２４）、４×４画素単位での処理時及び１６×１６画素単位での処理時共に周波数空間のパターンに変換した後の値が０となる画素については、４×４画素単位での処理時の画質調整結果（ステップＳ１４）を利用することで、画質調整部３５での演算量を削減することができる。

このように本発明の第２の実施形態による画像符号化装置により画面内予測符号化処理を行う際の演算量を削減し、処理速度を高速化することができる。

上記実施形態での直交変換には離散コサイン変換（Discrete Cosine Transform）を用いることができる。この場合、逆直交変換部８、３６は逆離散コサイン変換を行う。また、直交変換にアダマール変換（Hadamard Transform）を用いることもできる。

上述した実施の形態はいずれも一例であって制限的なものではないと考えられるべきである。例えば、上記実施形態では予測画像を作成する際、垂直予測、水平予測、ＤＣ予測の３種類を用いていたが、その他の予測モードを用いてもよい。その場合、垂直予測、水平予測、ＤＣ予測のいずれかが予測モードとして選択されたときに上記実施形態のような演算量削減を実現できる。本発明の技術的範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施形態による画像符号化装置の概略構成図である。 画面内予測符号化処理のフローチャートである。 直交変換前後の予測画像を示す図である。 比較例による画像符号化装置の概略構成図である。 本発明の第２の実施形態による画像符号化装置の概略構成図である。 同第２の実施形態による画像符号化装置における原画像周波数空間パターン算出部の概略構成図である。 同第２の実施形態による画像符号化装置におけるサイズＢ残差画像周波数空間パターン算出部の概略構成図である。 画面内予測符号化処理のフローチャートである。

符号の説明

１ 予測画像作成部
２ 残差画像作成部
３ 予測モード選択部
４ 予測画像直交変換部
５ 原画像直交変換部
６ 残差画像周波数空間パターン算出部
７ 画質調整部
８ 逆直交変換部
９ 参照画像作成部
１０ 符号化部

Claims (5)

1. 複数の予測モードに基づき符号化対象ブロックの予測画像を作成し出力する予測画像作成部と、
   前記予測画像と原画像の残差画像を作成し出力する残差画像作成部と、
   前記残差画像から前記複数の予測モードのうちの１つを選択する予測モード選択部と、
   前記選択された予測モードに基づく予測画像を直交変換して予測画像周波数空間パターンに変換し出力する予測画像直交変換部と、
   前記原画像を直交変換して原画像周波数空間パターンに変換し出力する原画像直交変換部と、
   前記原画像周波数空間パターンと前記予測画像周波数空間パターンから残差画像周波数空間パターンを算出し出力する残差画像周波数空間パターン算出部と、
   前記残差画像周波数空間パターンの画質調整を行う画質調整部と、
   前記画質調整された残差画像周波数空間パターンを逆直交変換して実空間残差画像に変換し出力する逆直交変換部と、
   前記実空間残差画像と前記選択された予測モードに基づく予測画像から参照画像を作成する参照画像作成部と、
   を備えることを特徴とする画像符号化装置。
2. 複数の予測モードに基づき第１の画素単位又は第２の画素単位の符号化対象ブロックの予測画像を作成し出力する予測画像作成部と、
   前記予測画像と原画像の残差画像を作成し出力する残差画像作成部と、
   前記残差画像から前記複数の予測モードのうちの１つを選択する予測モード選択部と、
   前記選択された予測モードに基づく前記第１の画素単位の予測画像と前記原画像とから前記第１の画素単位の残差画像を作成し出力する残差画像作成部と、
   前記第１の画素単位の残差画像を直交変換して前記第１の画素単位での残差画像周波数空間パターンに変換し出力する第１の残差画像直交変換部と、
   前記選択された予測モードに基づく第１の画素単位の予測画像を直交変換して第１の画素単位での予測画像周波数空間パターンに変換し出力する第１の予測画像直交変換部と、
   前記第１の残差画像直交変換部から出力される残差画像周波数空間パターンと前記第１の予測画像直交変換部から出力される予測画像周波数空間パターンとを加算して原画像周波数空間パターンを作成し出力する加算部と、
   前記選択された予測モードに基づく第２の画素単位の予測画像を直交変換して第２の画素単位での予測画像周波数空間パターンに変換し出力する第２の予測画像直交変換部と、
   前記加算部から出力される原画像周波数空間パターンと前記第２の予測画像直交変換部から出力される予測画像周波数空間パターンとを減算して第２の画素単位での残差画像周波数空間パターンを作成し出力する減算部と、
   前記第１又は第２の画素単位での残差画像周波数空間パターンの画質調整を行う画質調整部と、
   前記画質調整された前記前記第１又は第２の画素単位での残差画像周波数空間パターンを逆直交変換して実空間残差画像に変換し出力する逆直交変換部と、
   前記実空間残差画像と前記選択された予測モードに基づく予測画像から参照画像を作成する参照画像作成部と、
   を備えることを特徴とする画像符号化装置。
3. 前記直交変換は離散コサイン変換であることを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記複数の予測モードは垂直予測、水平予測及び平均値予測であることを特徴とする請求項１乃至３のいずれかに記載の画像符号化装置。
5. 原画像を直交変換して原画像周波数空間パターンを生成するステップと、
   複数の予測モードの各々についての予測画像を作成するステップと、
   前記予測画像と原画像の残差画像を作成するステップと、
   前記残差画像から前記複数の予測モードのうちの１つを選択するステップと、
   前記選択された予測モードに基づく予測画像を直交変換して予測画像周波数空間パターンを生成するステップと、
   前記原画像周波数空間パターンと前記予測画像周波数空間パターンの差分から残差画像周波数空間パターンを生成するステップと、
   前記残差画像周波数空間パターンを画質調整するステップと、
   前記画質調整された残差画像周波数空間パターンを逆直交変換して実空間残差画像を生成するステップと、
   前記選択された予測モードに基づく予測画像と前記実空間残差画像を加算して参照画像を作成するステップと、
   を含むことを特徴とする画像符号化方法。

Images