JP2005244666A - データ処理装置、符号化装置およびデータ処理方法 - Google Patents

Abstract

【課題】 小規模な構成で、イントラ予測を短時間で行うことができるデータ処理装置を提供する。
【解決手段】 予測モード判定回路６３処理対象のマクロブロックＭＢについて、そのフレーム等に対して符号化順が１フレーム前のフレーム等内の対応する位置のマクロブロックＭＢで選択されたイントラ予測サイズを基に最初のイントラ予測を行う。そして、当該最初のイントラ予測で得た予測方向が所定の条件を満たした場合に、上記最初に選択されたイントラ予測サイズ以外のイントラ予測サイズを基にしたイントラ予測は行わない。 【選択図】 図２

Description

本発明は、イントラ予測を行うデータ処理装置、符号化装置およびそれらの方法に関する。

近年、画像データデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

ＭＰＥＧ方式に続いてＪＶＴ(Joint Video Team)と呼ばれる符号化方式が提案されている。
ＪＶＴ方式では、符号化において、フレーム間予測を行うインター予測の他に、フレーム内予測を行うイントラ予測が規定されている。
当該イントラ予測には、例えば、１フレームあるいは１フィールド内の１６ｘ１６（画素）のブロックデータを基に予測方向を決定するイントラ１６ｘ１６予測と、４ｘ４（画素）のブロックデータを基に予測方向を決定するイントラ４ｘ４予測がある。
また、イントラ１６ｘ１６予測およびイントラ４ｘ４予測の各々には、予め決められた複数の予測方向が規定されており、当該予測方向を基に、ブロックデータを単位として予測ブロックデータを生成する。

ところで、処理対象のマクロブロックＭＢについて、イントラ１６ｘ１６予測とイントラ４ｘ４予測との双方で、予め決められた全ての予測方向について予測ブロックデータを生成し、原画像データ内の処理対象のブロックデータと予測ブロックデータとの差分（差異）を最小にする予測方向を選択すると、演算量が膨大になってしまう。
そのため、符号化装置が大規模化すると共に、予測ブロックデータを生成するのに長時間を要してしまうという問題がある。

本発明はかかる事情に鑑みてなされたものであり、従来に比べて小規模な構成で、イントラ予測を短時間で行うことができるデータ処理装置および符号化装置を提供することを目的とする。
また、本発明は、従来に比べてイントラ予測を短縮できるデータ処理方法を提供することを目的とする。

上記の目的を達成するため、第１の発明のデータ処理装置は、２次元画像領域内に規定された複数のブロックのうち、処理対象の前記ブロックのブロックデータを、前記２次元画像領域内で当該ブロックの周囲に位置する参照ブロックの前記ブロックデータを基に予測するデータ処理装置であって、前記処理対象のブロックが属する第１の画像より符号化順が前の第２の画像内の当該処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、複数のブロックサイズの選択順を決定する選択順決定手段と、前記選択順決定手段が決定した前記選択順に従って前記ブロックサイズを選択し、当該選択した前記ブロックサイズを基に、予め決められた複数の予測方向のうち、当該予測方向に位置する前記参照ブロックの前記ブロックデータに当該予測方向に位置しない前記参照ブロックのブロックデータに比べて高い重み付けを行って生成した予測ブロックデータと当該処理対象のブロックデータとの差異を算出し、当該差異を最小にする前記予測方向を特定する予測手段と、前記予測手段が特定した前記予測方向と当該予測方向に対応した前記差異とのうち少なくとも一方が所定の条件を満たした場合に、未選択の前記ブロックサイズを基にした前記予測方向の特定を前記前記予測手段に行わせずに、前記予測手段が特定した前記予測方向および前記選択した前記ブロックサイズを前記処理対象のブロックデータに割り当てる制御手段とを有する。

第１の発明のデータ処理装置の作用は以下のようになる。
先ず、選択順決定手段が、処理対象のブロックが属する第１の画像より符号化順が前の第２の画像内の当該処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、複数のブロックサイズの選択順を決定する。
次に、予測手段が、前記選択順決定手段が決定した前記選択順に従って前記ブロックサイズを選択し、当該選択した前記ブロックサイズを基に、予め決められた複数の予測方向のうち、当該予測方向に位置する前記参照ブロックの前記ブロックデータに当該予測方向に位置しない前記参照ブロックのブロックデータに比べて高い重み付けを行って生成した予測ブロックデータと当該処理対象のブロックデータとの差異を算出する。
そして、前記予測手段が、上記算出した差異を最小にする前記予測方向を特定する。
そして、制御手段が、前記予測手段が特定した前記予測方向と当該予測方向に対応した前記差異とのうち少なくとも一方が所定の条件を満たした場合に、未選択の前記ブロックサイズを基にした前記予測方向の特定を前記予測手段に行わせずに、前記予測手段が特定した前記予測方向および前記選択した前記ブロックサイズを前記処理対象のブロックデータに割り当てる。

第２の発明の符号化装置は、２次元画像領域内に規定された複数のブロックのうち、処理対象の前記ブロックのブロックデータを、前記２次元画像領域内で当該ブロックの周囲に位置する参照ブロックの前記ブロックデータを基に予測して符号化する符号化装置であって、前記処理対象のブロックデータの予測ブロックデータを生成するイントラ予測手段と、前記処理対象のブロックデータと、前記イントラ予測符号手段が生成した前記予測ブロックデータとの差分を符号化する符号化手段とを有し、前記イントラ予測手段は、前記処理対象のブロックが属する第１の画像より符号化順が前の第２の画像内の当該処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、複数のブロックサイズの選択順を決定する選択順決定手段と、前記選択順決定手段が決定した前記選択順に従って前記ブロックサイズを選択し、当該選択した前記ブロックサイズを基に、予め決められた複数の予測方向のうち、当該予測方向に位置する前記参照ブロックの前記ブロックデータに当該予測方向に位置しない前記参照ブロックのブロックデータに比べて高い重み付けを行って生成した予測ブロックデータと当該処理対象のブロックデータとの差異を算出し、当該差異を最小にする前記予測方向を特定する予測手段と、前記予測手段が特定した前記予測方向と当該予測方向に対応した前記差異とのうち少なくとも一方が所定の条件を満たした場合に、未選択の前記ブロックサイズを基にした前記予測方向の特定を前記予測手段に行わせずに、前記予測手段が特定した前記予測方向および前記選択した前記ブロックサイズを前記処理対象のブロックデータに割り当て、当該割り当ての結果に対応した前記予測画像データを前記符号化手段に出力する制御手段とを有する。

第２の発明の符号化装置の作用は以下のようになる。
イントラ予測手段が、第１の発明のデータ処理装置と同様の作用により、処理対象のブロックデータの予測ブロックデータを生成する。
そして、符号化手段が、前記処理対象のブロックデータと、前記イントラ予測符号手段が生成した前記予測ブロックデータとの差分を符号化する。

第３の発明のデータ処理方法は、２次元画像領域内に規定された複数のブロックのうち、処理対象の前記ブロックのブロックデータを、前記２次元画像領域内で当該ブロックの周囲に位置する参照ブロックの前記ブロックデータを基に予測するデータ処理方法であって、前記処理対象のブロックが属する第１の画像より符号化順が前の第２の画像内の当該処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、複数のブロックサイズの選択順を決定する第１の工程と、前記第１の工程で決定した前記選択順に従って前記ブロックサイズを選択し、当該選択した前記ブロックサイズを基に、予め決められた複数の予測方向のうち、当該予測方向に位置する前記参照ブロックの前記ブロックデータに当該予測方向に位置しない前記参照ブロックのブロックデータに比べて高い重み付けを行って生成した予測ブロックデータと当該処理対象のブロックデータとの差異を算出し、当該差異を最小にする前記予測方向を特定する第２の工程と、前記第２の工程で特定した前記予測方向と当該予測方向に対応した前記差異とのうち少なくとも一方が所定の条件を満たした場合に、未選択の前記ブロックサイズを基にした前記予測方向の特定を行わずに、前記第２の工程で特定した前記予測方向および前記選択した前記ブロックサイズを前記処理対象のブロックデータに割り当てる第３の工程とを有する。

第３の発明のデータ処理方法の作用は以下のようになる。
先ず、第１の工程において、前記処理対象のブロックが属する第１の画像より符号化順が前の第２の画像内の当該処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、複数のブロックサイズの選択順を決定する。
次に、第２の工程において、前記第１の工程で決定した前記選択順に従って前記ブロックサイズを選択し、当該選択した前記ブロックサイズを基に、予め決められた複数の予測方向のうち、当該予測方向に位置する前記参照ブロックの前記ブロックデータに当該予測方向に位置しない前記参照ブロックのブロックデータに比べて高い重み付けを行って生成した予測ブロックデータと当該処理対象のブロックデータとの差異を算出し、当該差異を最小にする前記予測方向を特定する。
次に、第３の工程において、前記第２の工程で特定した前記予測方向と当該予測方向に対応した前記差異とのうち少なくとも一方が所定の条件を満たした場合に、未選択の前記ブロックサイズを基にした前記予測方向の特定を行わずに、前記第２の工程で特定した前記予測方向および前記選択した前記ブロックサイズを前記処理対象のブロックデータに割り当てる。

本発明によれば、従来に比べて小規模な構成で、イントラ予測を短時間で行うことができるデータ処理装置および符号化装置を提供することができる。
また、本発明によれば、従来に比べてイントラ予測を短縮できるデータ処理方法を提供することができる。

以下、本発明の実施形態に係わる符号化装置について説明する。
第１実施形態
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
符号化装置２が本発明のデータ処理装置および符号化装置に対応している。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、復号装置３において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。

本実施形態は、符号化装置２において行われるイントラ予測に特徴を有している。
すなわち、符号化装置２は、処理対象のマクロブロックＭＢについて、当該マクロブロックＭＢが属するフレームあるいはフィールドに対して符号化順が１フレームあるいは１フィールド前のフレームあるいはフィールド内の対応する位置のマクロブロックＭＢで選択されたイントラ予測サイズを基に最初のイントラ予測を行う。
そして、符号化装置２は、当該最初のイントラ予測で得た予測方向、あるいは当該予測方向に対応した差異データのうち少なくとも一方が所定の条件を満たした場合に、上記最初に選択されたイントラ予測サイズ以外のイントラ予測サイズを基にしたイントラ予測は行わない。

図１に示す復号装置３は従来と同じ構成を有し符号化装置２の符号化に対応した復号を行う。

以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、加算回路３３、デブロックフィルタ３４、動き予測・補償回路４１、予測サイズメモリ４２、イントラ予測回路４３および選択回路４４を有する。
ここで、イントラ予測回路４３が本発明のデータ処理装置に対応している。
また、演算回路２４およい可逆符号化回路２７が、本発明の符号化装置の符号化手段に対応している。

以下、符号化装置２の構成要素について説明する。
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号をデジタルの画像信号に変換し、これを画面並べ替え回路２３に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力した原画像信号内のフレーム画像信号を、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた原画像データＳ２３を演算回路２４、動き予測・補償回路４１およびイントラ予測回路４３に出力する。

演算回路２４は、原画像データＳ２３と、選択回路４４から入力した予測画像データＰＩとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
量子化回路２６は、レート制御回路３２から入力した量子化スケールで、画像データＳ２５を量子化して画像データＳ２６（量子化されたＤＣＴ係数）を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。

可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、動き予測・補償回路４１から入力した動きベクトルＭＶあるいはその差分を符号化してヘッダデータに格納する。
また、可逆符号化回路２７は、イントラ予測回路４３から入力したイントラ予測モードＩＰＭをヘッダデータなどに格納する。

バッファ２８に格納された画像データは、変調等された後に送信される。
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これを逆直交変換回路３０に出力する。
逆直交変換回路３０は、逆量子化回路２９から入力したデータに、直交変換回路２５における直交変換の逆変換を施して生成した画像データを加算回路３３に出力する。
加算回路３３は、逆直交変換回路３０から入力した（デコードされた）画像データと、選択回路４４から入力した予測画像データＰＩとを加算して再構成画像データを生成し、これをデブロックフィルタ３４に出力する。
デブロックフィルタ３４は、加算回路３３から入力した再構成画像データのブロック歪みを除去した画像データを、参照画像データＲＥＦとしてフレームメモリ３１に書き込む。
なお、フレームメモリ３１には、例えば、動き予測・補償回路４１による動き予測・補償処理、並びにイントラ予測回路４３におけるイントラ予測処理の対象となっているピクチャの再構成画像データが、処理を終了したマクロブロックＭＢを単位として順に書き込まれる。

レート制御回路３２は、例えば、バッファ２８から読み出した画像データを基に量子化スケールを生成し、これを量子化回路２６に出力する。
動き予測・補償回路４１は、画面並べ替え回路２３から入力した原画像データＳ２３の処理対象のマクロブロックＭＢがインター符号化される場合に、フレームメモリ３１に記憶された過去に符号化された参照画像データＲＥＦを基に、当該マクロブロックＭＢ（あるいは動き補償ブロックＭＣＢ）を単位として、動きベクトルＭＶおよび予測画像データＰＩを生成する。
このとき、動き予測・補償回路４１は、当該マクロブロックＭＢについて、原画像データＳ２３と予測画像データＰＩとの差異を示す差異データＤＩＦを生成し、この差異データＤＩＦを最小にする動きベクトルＭＶを特定する。
そして、動き予測・補償回路４１は、予測画像データＰＩおよび差異データＤＩＦを選択回路４４に出力する。
また、動き予測・補償回路４１は、選択回路４４からイントラ予測を選択したことを示す選択信号Ｓ４４を入力すると、動きベクトルＭＶを可逆符号化回路２７に出力する。

選択回路４４は、動き予測・補償回路４１から入力した差異データＤＩＦとイントラ予測回路４３から入力した差異データＤＩＦａ，ＤＩＦｂのうち最小のものを特定し、当該特定した差異データに対応して入力した予測画像データＰＩを演算回路２４および加算回路３３に出力する。
また、選択回路４４は、差異データＤＩＦが最小である場合に、イントラ予測を採用したことを示す選択信号Ｓ４４を動き予測・補償回路４１およびイントラ予測回路４３に出力する。
一方、選択回路４４は、差異データＤＩＦａ，ＤＩＦｂが最小である場合に、イントラ予測を採用したことを示す選択信号Ｓ４４を動き予測・補償回路４１およびイントラ予測回路４３に出力する。

予測サイズメモリ４２は、イントラ予測回路４３によるイントラ予測が完了したフレームあるいはフィールドについて、当該イントラ予測で選択したイントラ予測サイズＩＰＳをマクロブロックＭＢ毎に記憶する。
本実施形態では、複数のイントラ予測サイズとして、イントラ４ｘ４予測およびイントラ１６ｘ１６予測を用いる。ここで、本発明のイントラ予測サイズが本発明のブロックサイズに対応している。

イントラ予測回路４３は、処理対象のマクロブロックＭＢが属するフレームあるいはフィールドに対して符号化順が１フレームあるいは１フィールド前のフレームあるいはフィールド内の対応した位置のマクロブロックＭＢのイントラ予測サイズＩＰＳを予測サイズメモリ４２から読み出し、当該イントラ予測サイズＩＰＳを最初に選択してイントラ予測を行う。
イントラ予測回路４３は、当該イントラ予測において、上記選択したイントラ予測サイズに関して規定された複数の予測モード（予測方向）のそれぞれについて処理対象のブロックデータの予測画像データＰＩを生成し、これと原画像データＳ２３内の処理対象のブロックデータとの差異を示す差異データＤＩＦを生成する。
そして、イントラ予測回路４３は、最小の差異データＤＩＦに対応する予測モードを選択する。
イントラ予測回路４３は、上記選択した予測モード、並びにそれに対応した差異データＤＩＦのうち少なくとも一方が所定の条件を満たした場合に、未選択のイントラ予測サイズを基にしたイントラ予測は行わない。
イントラ予測回路４３は、最終的に選択した予測モードに対応して生成した予測画像データＰＩおよび差異データＤＩＦを選択回路４４に出力する。
また、イントラ予測回路４３は、最終的に選択したイントラ予測サイズおよび予測モード（予測方向）を示す予測モードＩＰＭとを可逆符号化回路２７に出力する。
なお、ＰスライスあるいはＢスライスに属するマクロブロックＭＢであっても、イントラ予測回路４３によるイントラ予測符号化が行われる場合がある。

図３は、図２に示すイントラ予測回路４３の構成図である。
図３に示すように、イントラ予測回路４３は、例えば、イントラ予測サイズ選択順決定回路６１、イントラ４ｘ４予測回路６２、予測モード判定回路６３、イントラ１６ｘ１６予測回路６４、量子化係数判定回路６５、イントラ１６ｘ１６予測回路６６、イントラ４ｘ４予測回路６７およびコスト判定回路６８を有する。

ここで、イントラ予測サイズ選択順決定回路６１が本発明の選択順決定手段に対応している。
また、イントラ４ｘ４予測回路６２，６７およびイントラ１６ｘ１６予測回路６４，６６のうち、後述する差異データを算出する機能（部分）が本発明の測定手段に対応している。
また、イントラ４ｘ４予測回路６２，６７およびイントラ１６ｘ１６予測回路６４，６６のうち差異データを算出する機能以外の部分、予測モード判定回路６３、量子化係数判定回路６５およびコスト判定回路６８が本発明の制御手段に対応している。
また、本実施形態の予測モード（予測方向）が、本発明の予測方向に対応している。
また、図２おび図３に示す直交変換回路２５および量子化回路２６が、本発明の直交変換・量子化手段に対応している。

なお、以下、原画像データＳ２３を構成する輝度データ（輝度信号）に対してのイントラ予測を例示して説明する。

〔イントラ予測サイズ選択順決定回路６１〕
イントラ予測サイズ選択順決定回路６１は、処理対象のマクロブロックＭＢが属するフレームまたはフィールドより符号化順が１フレームまたは１フィールド前のフレームまたはフィールドにおいて当該処理対象のマクロブロックＭＢに対応した位置にあるマクロブロックＭＢに既に割り当てられたイントラ予測サイズＩＰＳを予測サイズメモリ４２から読み出す。
そして、イントラ予測サイズ選択順決定回路６１は、当該読み出したイントラ予測サイズＩＰＳを基に、イントラ予測サイズの選択順を決定する。
具体的には、イントラ予測サイズ選択順決定回路６１は、予測サイズメモリ４２から読み出したイントラ予測サイズＩＰＳがイントラ１６ｘ１６予測である場合に、イントラ１６ｘ１６予測をイントラ４ｘ４予測より先に行うことを決定し、イントラ４ｘ４予測回路６２に実行指示を出力する。
一方、イントラ予測サイズ選択順決定回路６１は、予測サイズメモリ４２から読み出したイントラ予測サイズＩＰＳがイントラ４ｘ４予測である場合に、イントラ４ｘ４予測をイントラ１６ｘ１６予測より先に行うことを決定し、予測モード判定回路６３に実行指示を出力する。

〔イントラ４ｘ４予測回路６２〕
イントラ４ｘ４予測回路６２は、イントラ予測サイズ選択順決定回路６１からの実行指示に応じて、処理対象の１６ｘ１６（画素）のマクロブロックＭＢ内に規定された４ｘ４（画素）のブロックデータを単位としてイントラ予測を行う。すなわち、１つのマクロブロックＭＢについて、１６個の４ｘ４のブロックデータについてイントラ予測を行う。
イントラ４ｘ４予測では、図５および図６に示すように、９個の予測方向（予測モード）が規定されている。
具体的には、予測モード０〜８が規定され、モード１，６，８は水平方向に高い相関（重み付け）を持たせたモードであり、モード０，５，７は垂直方向に高い相関（重み付け）を持たせたモードであり、モード２，４，３は水平および垂直方向の重み付けを殆ど行っていないモードである。
ここで、上記モード０，１，２については、これらと同じ予測方向についてのモードが後述するイントラ１６ｘ１６予測においても規定されている。

イントラ４ｘ４予測回路６２は、上記１６個の４ｘ４のブロックデータを順に処理対象のブロックデータとして選択し、選択したブロックデータについて、上記９個の予測モードを基に、当該予測モードに対応した予測方向に位置する当該ブロックデータの周囲のブロックデータ（参照ブロックデータ）に当該予測方向に位置しない参照ブロックデータに比べて高い重み付けを行って予測ブロックデータを生成する。
また、イントラ４ｘ４予測回路６２は、当該予測ブロックデータと上記処理対象のブロックデータとの差異を示す差異データＤＩＦａを算出し、これを予測モード判定回路６３に出力する。
イントラ４ｘ４予測回路６２は、例えば、差異データＤＩＦａとして、下記式（１）を基に、ＳＡＤ（ｍｏｄｅ）を算出する。ここで、ＳＡＤは、絶対値誤差和(Sum of Absolute Difference)の略である。
下記式（１）において、Ｏｒｇ（ｉ，ｊ）は、原画像データＳ２３内の処理対象の４ｘ４のブロックデータの図４に示す画素位置（ｉ，ｊ）によって規定される画素データを示している。
また、Ｐｒｅｄ（ｍｏｄｅ，ｉ，ｊ）は、予測モードｍｏｄｅを基に生成された４ｘ４の予測ブロックデータの図４に示す画素位置（ｉ，ｊ）によって規定される画素データを示している。

なお、イントラ４ｘ４予測回路６２は、上記式（１）で規定されるＳＡＤ（ｍｏｄｅ）の代わりに、下記式（２）で示すＳＡＴＤ（ｍｏｄｅ）を差異データＤＩＦａとして算出してもよい。
下記式（２）において、Ｈａｄａｍａｒｄは、アダマール変換を示す。
例えば、Ｈａｄａｍａｒｄ（Ａ）は、下記式（３）で示される行列演算を示している。
下記式（３）において、行列Ｈは、例えば、下記式（４）で示される。

また、イントラ４ｘ４予測回路６２は、下記式（５），（６）に示すように、上記式（１），（２）の情報に、さらに可逆符号化回路２７で付加されるヘッダデータに関しての情報を加味した指標データＣＯＳＴを算出し、これを上述した差異データＤＩＦａとして算出してもよい。
下記式（５），（６）において、ＳＡＤ０（ｍｏｄｅ），ＳＡＴＤ０（ｍｏｄｅ）はヘッダデータのビット数を示し、ＱＰ０（ＱＰ）は、量子化回路２６から量子化パラメータＱＰと実際に量子化に用いられる量子化スケールを関連付ける関数である。

以下、図５および図６に示すイントラ４ｘ４予測で規定された９つの予測モード「０」〜「８」について説明する。
図７は、イントラ４ｘ４予測の処理対象となる４ｘ４のブロックＢＬＯＣＫに属する画素データａ〜ｐと、当該ブロックデータの周囲の参照ブロックに属する画素データＡ〜Ｍとの位置関係を説明するための図である。
画素データａ〜ｐの予測値によって、予測画像データＰＩが構成れる。
なお、画素データＡ〜Ｍは、上記処理対象のブロックＢＬＯＣＫと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない(unavailable) 」であると判断される。
予測モード０：
予測モード０は、ｖｅｒｔｉｃａｌ（垂直）予測であり、図７に示す画素データＡ，Ｂ，Ｃ，Ｄの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ４ｘ４予測回路６２は、処理対象のブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄを用いて下記式（７）のように生成する。

予測モード１：
予測モード１は、ｈｏｒｉｚｏｎｔａｌ（水平）予測であり、図７に示す画素データＩ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＩ，Ｊ，Ｋ，Ｌを用いて下記式（８）のように生成する。

予測モード２：
モード１は、ＤＣ予測であり、図７に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」である場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌを用いて下記式（９）のように生成する。

また、図７に示す画素データＡ，Ｂ，Ｃ，Ｄの全てが上記「利用可能」でない場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄを用いて下記式（１０）のように生成する。

また、図７に示す画素データＩ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」でない場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＩ，Ｊ，Ｋ，Ｌを用いて下記式（１１）のように生成する。

また、図７に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌの全てが上記「利用可能」でない場合に、イントラ４ｘ４予測回路６２は、ブロックデータＢＬＯＣＫの画素データａ〜ｐの予測値「１２８」を用いる。

予測モード３：
予測モード３は、Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ予測であり、図７に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記式（１２）のように生成する。

予測モード４：
予測モード４は、Ｄｉａｇｏｎａｌ＿Ｒｉｇｈｔ予測であり、図７に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記式（１３）のように生成する。

予測モード５：
予測モード５は、Ｄｉａｇｏｎａｌ＿Ｖｅｒｔｉｃａｌ＿Ｒｉｇｈｔ予測であり、図７に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記式（１４）のように生成する。

予測モード６：
予測モード６は、Ｈｏｒｉｚｏｎｔａｌ＿Ｄｏｗｎ予測であり、図７に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記式（１５）のように生成する。

予測モード７：
予測モード７は、Ｖｅｒｔｉｃａｌ＿Ｌｅｆｔ予測であり、図７に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ４ｘ４予測回路６２は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記式（１６）のように生成する。

予測モード８：
予測モード８は、Ｈｏｒｉｚｏｎｔａｌ＿Ｕｐ予測であり、図７に示す画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍの全てが上記「利用可能」である場合に適用される。
この場合に、イントラ予測回路４１は、ブロックＢＬＯＣＫの画素データａ〜ｐの予測値を、画素データＡ，Ｂ，Ｃ，Ｄ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを用いて下記式（１７）のように生成する。

〔予測モード判定回路６３〕
予測モード判定回路６３は、イントラ４ｘ４予測回路６２から、処理対象のマクロブロックＭＢ内の１６個の４ｘ４のブロックデータに対して上述した予測モード０〜９を基に算出した差異データＤＩＦａを入力し、最小の差異データＤＩＦａに対応した予測モードを選択する。
予測モード判定回路６３は、４ｘ４のブロックデータについて上記選択した予測モードおよびそれに対応した差異データＤＩＦａをコスト判定回路６８に出力する。

予測モード判定回路６３は、処理対象のマクロブロックＭＢ内の１６個の４ｘ４のブロックデータに対して選択された予測モードのうち、予測モード０，１，２の合計数が所定のしきい値ＴＨ以下であるか否かを判断する。
ここで、予測モード０，１，２は、前述したように、イントラ４ｘ４予測とイントラ１６ｘ１６予測とで同じ予測方向を基にしたモードである。
予測モード判定回路６３は、上記合計数が所定のしきい値ＴＨ以下である場合に、イントラ１６ｘ１６予測が最適である可能性は略無いため、イントラ１６ｘ１６予測回路６６への実行指示は出さない。
一方、予測モード判定回路６３は、上記合計数が所定のしきい値ＴＨを越える場合に、イントラ１６ｘ１６予測が最適である可能性が高いため、イントラ１６ｘ１６予測回路６６に実行指示を出力する。

〔イントラ１６ｘ１６予測回路６４〕
イントラ１６ｘ１６予測回路６４は、イントラ予測サイズ選択順決定回路６１からの実行指示に応じて、処理対象の１６ｘ１６（画素）のマクロブロックを単位としてイントラ予測を行う。
イントラ１６ｘ１６予測では図８に示すように、モード０〜４の４個の予測方向（予測モード）が規定されている。
モード１は水平方向に高い相関（重み付け）を持たせたモードであり、モード０は垂直方向に高い相関（重み付け）を持たせたモードであり、モード２，３は水平および垂直方向の重み付けを殆ど行っていないモードである。
前述したように、イントラ１６ｘ１６予測のモード０〜２には、それと同じ予測方向についてのモードがイントラ４ｘ４予測においても規定されている。
すなわち、イントラ１６ｘ１６予測のモード１が図６に示すイントラ４ｘ４予測のモード１に対応し、イントラ１６ｘ１６予測のモード０が図６に示すイントラ４ｘ４予測のモード０に対応し、イントラ１６ｘ１６予測のモード２が図６に示すイントラ４ｘ４予測のモード２に対応している。

イントラ１６ｘ１６予測回路６４は、処理対象の１６ｘ１６のマクロブロックＭＢの各々について、上記４個の予測モードの各々を基に、当該予測モードに対応した予測方向に位置する当該マクロブロックＭＢの周囲のマクロブロックＭＢ（参照ブロックデータ）に当該予測方向に位置しないマクロブロックＭＢに比べて高い重み付けを行って予測ブロックデータを生成する。

以下、イントラ１６ｘ１６予測の各予測モードによる予測ブロックデータの生成方法を説明する。
ここで、処理対象のマクロブロックＭＢに属する画素データををＰ（ｘ，ｙ）とする。ここで、ｘ，ｙはマクロブロックＭＢを構成するマトリクス状の画素データの行方向および列方向の位置を示し、０〜１５の整数である。
当該処理対象のマクロブロックＭＢに隣接するマクロブロックＭＢ内の画素データのうち、当該処理対象のマクロブロックＭＢに隣接する画素データを、Ｐ（ｘ，−１），Ｐ（−１，ｙ）と記す。
また、画素データＰ（ｘ，−１），Ｐ（−１，ｙ）は、上記処理対象のマクロブロックＭＢと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない(unavailable) 」であると判断される。
予測モード０：
予測モード０は、ｖｅｒｔｉｃａｌ（垂直）予測であり、Ｐ（ｘ，−１）が上記「利用可能」である場合に適用される。
この場合に、イントラ１６ｘ１６予測回路６４は、予測画像データＰＩの画素データＰｒｅｄ（ｘ，ｙ）を下記式（１８）のように生成する。

予測モード１：
予測モード１８は、ｈｏｒｉｚｏｎｔａｌ（水平）予測であり、Ｐ（−１，ｙ）が上記「利用可能」である場合に適用される。
この場合に、イントラ１６ｘ１６予測回路６４は、予測画像データＰＩの画素データＰｒｅｄ（ｘ，ｙ）を下記式（１９）のように生成する。

予測モード２：
予測モード２は、ＤＣ予測であり、イントラ１６ｘ１６予測回路６４は、予測画像データＰＩの画素データＰｒｅｄ（ｘ，ｙ）を下記式（２０）のように生成する。
先ず、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」である場合に、イントラ１６ｘ１６予測回路６４は、予測画像データＰＩの画素データＰｒｅｄ（ｘ，ｙ）を下記式（２０）のように生成する。

また、Ｐ（ｘ，−１）が上記「利用可能」でない場合に、イントラ１６ｘ１６予測回路６４は、予測画像データＰＩの画素データＰｒｅｄ（ｘ，ｙ）を下記式（２１）のように生成する。

また、Ｐ（−１，ｙ）が上記「利用可能」でない場合に、イントラ１６ｘ１６予測回路６４は、予測画像データＰＩの画素データＰｒｅｄ（ｘ，ｙ）を下記式（２２）のように生成する。

また、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」でない場合に、イントラ１６ｘ１６予測回路６４は、予測画像データＰＩの画素データＰｒｅｄ（ｘ，ｙ）として「１２８」を用いる。

予測モード３：
予測モード３は、ｐｌａｎｅ予測であり、Ｐ（ｘ，−１）およびＰ（−１，ｙ）の全てが上記「利用可能」である場合に適用される。
この場合に、イントラ１６ｘ１６予測回路６４は、予測画像データＰＩの画素データＰｒｅｄ（ｘ，ｙ）を下記式（２３）のように生成する。

イントラ１６ｘ１６予測回路６４は、上述した処理で生成した予測画像データＰＩおよび原画像データＳ２３を基に、例えば、下記式（２４）を基に、差異データＤＩＦｂを算出する。
下記式（２４）において、Ｏｒｇ（ｉ，ｊ）は、原画像データＳ２３内の処理対象の１６ｘ１６のブロックデータの画素位置（ｉ，ｊ）によって規定される画素データを示している。
また、Ｐｒｅｄ（ｍｏｄｅ，ｉ，ｊ）は、１６ｘ１６の予測モードｍｏｄｅを基に生成された１６ｘ１６の予測ブロックデータの画素位置（ｉ，ｊ）によって規定される画素データを示している。

イントラ１６ｘ１６予測回路６４は、差異データＤＩＦｂを、量子化係数判定回路６５および図２に示す直交変換回路２５に出力する。

〔量子化係数判定回路６５〕
量子化係数判定回路６５は、イントラ１６ｘ１６予測回路６４から入力した処理対象のマクロブロックＭＢについて上述したイントラ１６ｘ１６予測の予測モード０〜３を基に算出した差異データＤＩＦｂを入力し、最小の差異データＤＩＦｂに対応した予測モードを選択する。
量子化係数判定回路６５は、上記選択した予測モードおよびそれに対応した差異データＤＩＦｂをコスト判定回路６８に出力する。

また、量子化係数判定回路６５は、差異データＤＩＦｂを直交変換回路２５および量子化回路２６で処理して得られた量子化係数で構成される下記式（２５）で示される量子化された変換係数Ｃ（ｉ，ｊ）を入力する。
下記式（２５）において、Ｔｒａｎｓは直交変換を示し、Ｑｕａｎｔは量子化を示す。

量子化係数判定回路６５は、上記選択した予測モードに対応した上記式（２５）で示す量子化された変換係数Ｃ（ｉ，ｊ）を構成する１６個の要素の全てが０であるか否かを判断する。
すなわち、量子化係数判定回路６５は、下記式（２６）が成り立つか否かを判断する。

量子化係数判定回路６５は、変換係数Ｃ（ｉ，ｊ）を構成する１６個の要素の全てが０であると判断すると、イントラ４ｘ４予測が最適である可能性は略無いため、イントラ４ｘ４予測回路６７への実行指示は出さない。
一方、量子化係数判定回路６５は、変換係数Ｃ（ｉ，ｊ）を構成する１６個の要素に１つでも０でないと判断すると、イントラ４ｘ４予測回路６７に実行指示は出力する。

〔イントラ１６ｘ１６予測回路６６〕
イントラ１６ｘ１６予測回路６６は、予測モード判定回路６３から実行指示を受けたことを条件に、イントラ１６ｘ１６予測回路６４と同じ処理を行い、イントラ１６ｘ１６予測で規定された予測モード０〜３の各々についての差異データＤＩＦｂを算出し、これをコスト判定回路６８に出力する。

〔イントラ４ｘ４予測回路６７〕
イントラ４ｘ４予測回路６７は、量子化係数判定回路６５から実行指示を受けたことを条件に、イントラ４ｘ４予測回路６２と同じ処理を行い、イントラ４ｘ４予測で規定された予測モード０〜８の各々についての差異データＤＩＦａを算出し、これをコスト判定回路６８に出力する。

〔コスト判定回路６８〕
コスト判定回路６８は、イントラ４ｘ４予測回路６２が実行指示を受け、イントラ１６ｘ１６予測回路６６が実行指示を受けなかった場合に、予測モード判定回路６３から入力した差異データＤＩＦａに対応したイントラ４ｘ４の予測モードを選択する。
また、コスト判定回路６８は、イントラ４ｘ４予測回路６２およびイントラ１６ｘ１６予測回路６６の双方が実行指示を受けた場合に、予測モード判定回路６３から入力したイントラ４ｘ４予測に対応した差異データＤＩＦａと、イントラ１６ｘ１６予測回路６６から入力したイントラ１６ｘ１６のモード０〜３の差異データＤＩＦｂとのなかで、最小のものを特定し、当該特定した差異データに対応した予測モードを選択する。
また、コスト判定回路６８は、イントラ１６ｘ１６予測回路６４が実行指示を受け、イントラ４ｘ４予測回路６７が実行指示を受けなかった場合に、量子化係数判定回路６５から入力した差異データＤＩＦｂに対応したイントラ１６ｘ１６の予測モードを選択する。

また、コスト判定回路６８は、イントラ１６ｘ１６予測回路６４およびイントラ４ｘ４予測回路６７の双方が実行指示を受けた場合に、量子化係数判定回路６５から入力したイントラ１６ｘ１６予測に対応した差異データＤＩＦｂと、イントラ４ｘ４予測回路６７から入力したイントラ４ｘ４のモード０〜８の差異データＤＩＦａとのなかで、最小のものを特定し、当該特定した差異データに対応したイントラ予測サイズおよび予測モードを選択する。
コスト判定回路６８は、上記選択した予測モードに対応した差異データＤＩＦａ、並びそれに対応してイントラ４ｘ４予測回路６２，６７あるいはイントラ１６ｘ１６予測回路６４，６６から入力した予測画像データＰＩを選択回路４４に出力する。
また、コスト判定回路６８は、選択回路４４からイントラ予測を選択したこを示す選択信号Ｓ４４を入力した場合、上記選択したイントラ予測サイズおよび予測モードを示すイントラ予測モードＩＰＭを可逆符号化回路２７に出力する。
また、コスト判定回路６８は、上記選択した予測モードのイントラ予測サイズＩＰＳを予測サイズメモリ４２に書き込む。

以下、図３に示すイントラ予測回路４３の動作例を説明する。
図９は、図３に示すイントラ予測回路４３の動作例を説明するためのフローチャートである。
ステップＳＴ１：
イントラ予測サイズ選択順決定回路６１は、処理対象のマクロブロックＭＢが属するピオクチャより符号化順が１フレーム前のピクチャにおいて当該処理対象のマクロブロックＭＢに対応した位置にあるマクロブロックＭＢに既に割り当てられたイントラ予測サイズＩＰＳを予測サイズメモリ４２から読み出す。
イントラ予測サイズ選択順決定回路６１は、予測サイズメモリ４２から読み出したイントラ予測サイズＩＰＳがイントラ４ｘ４予測である場合に、ステップＳＴ１に処理を移行する。
一方、イントラ予測サイズ選択順決定回路６１は、予測サイズメモリ４２から読み出したイントラ予測サイズＩＰＳがイントラ１６ｘ１６予測である場合に、ステップＳＴ２に処理を移行する。

ステップＳＴ２：
イントラ４ｘ４予測回路６２は、イントラ予測サイズ選択順決定回路６１からの実行指示を受けて、上述したように、処理対象のマクロブロックＭＢを構成する１６個の４ｘ４のブロックデータの各々について、イントラ４ｘ４予測で規定された予測モード０〜８全ての差異データＤＩＦａを算出し、これを予測モード判定回路６３に出力する。
ステップＳＴ３：
予測モード判定回路６３は、ステップＳＴ２で予測モード０〜９を基に算出した差異データＤＩＦａのうち、最小の差異データＤＩＦａに対応した予測モードを選択する。
予測モード判定回路６３は、上記選択した予測モードおよびそれに対応した差異データＤＩＦａをコスト判定回路６８に出力する。
また、予測モード判定回路６３は、１６個の４ｘ４のブロックデータに対して選択された予測モードのうち、予測モード０，１，２の合計数が所定のしきい値ＴＨ以下であるか否かを判断する。
予測モード判定回路６３は、上記合計数が所定のしきい値ＴＨ以下であると判断した場合に、イントラ１６ｘ１６予測が最適である可能性は略無いため、ステップＳＴ８の処理に移行する。
一方、予測モード判定回路６３は、上記合計数が所定のしきい値ＴＨを越える場合に、イントラ１６ｘ１６予測が最適である可能性が高いため、ステップＳＴ４の処理に移行する。

ステップＳＴ４：
イントラ１６ｘ１６予測回路６６は、予測モード判定回路６３から実行指示を受けて、イントラ１６ｘ１６予測で規定された予測モード０〜３の各々についての差異データＤＩＦｂを算出し、これをコスト判定回路６８に出力する。

ステップＳＴ５：
イントラ１６ｘ１６予測回路６６は、イントラ予測サイズ選択順決定回路６１からの実行指示を受けて、上述したように、処理対象のマクロブロックについて、イントラ１６ｘ１６予測で規定された予測モード０〜３全ての差異データＤＩＦｂを算出し、コスト判定回路６８および直交変換回路２５に出力する。

ステップＳＴ６：
量子化係数判定回路６５は、イントラ１６ｘ１６予測回路６４から入力した処理対象のマクロブロックＭＢ上述したイントラ１６ｘ１６予測の予測モード０〜３を基に算出した差異データＤＩＦｂを入力し、最小の差異データＤＩＦｂに対応した予測モードを選択する。
量子化係数判定回路６５は、上記選択した予測モードおよびそれに対応した差異データＤＩＦｂをコスト判定回路６８に出力する。
また、量子化係数判定回路６５は、差異データＤＩＦｂを直交変換回路２５および量子化回路２６で処理して得られた量子化係数で構成される上記式（２５）で示される量子化された変換係数Ｃ（ｉ，ｊ）を入力する。
量子化係数判定回路６５は、上記選択した予測モードに対応した上記式（２５）で示す量子化された変換係数Ｃ（ｉ，ｊ）を構成する１６個の要素の全てが０であるか否かを判断する。
量子化係数判定回路６５は、変換係数Ｃ（ｉ，ｊ）を構成する１６個の要素の全てが０であると判断すると、イントラ４ｘ４予測が最適である可能性は略無いため、ステップＳＴ８の処理に移行する。
一方、量子化係数判定回路６５は、変換係数Ｃ（ｉ，ｊ）を構成する１６個の要素に１つでも０でないものがあると判断すると、ステップＳＴ７の処理に移行する。

ステップＳＴ７：
イントラ４ｘ４予測回路６７は、量子化係数判定回路６５からの実行指示に応じて、イントラ４ｘ４予測で規定された予測モード０〜８の各々についての差異データＤＩＦａを算出し、これをコスト判定回路６８に出力する。

ステップＳＴ８：
コスト判定回路６８は、イントラ４ｘ４予測回路６２が実行指示を受け、イントラ１６ｘ１６予測回路６６が実行指示を受けなかった場合に、予測モード判定回路６３から入力した差異データＤＩＦａに対応したイントラ４ｘ４の予測モードを選択する。
また、コスト判定回路６８は、イントラ４ｘ４予測回路６２およびイントラ１６ｘ１６予測回路６６の双方が実行指示を受けた場合に、予測モード判定回路６３から入力したイントラ４ｘ４予測に対応した差異データＤＩＦａと、イントラ１６ｘ１６予測回路６６から入力したイントラ１６ｘ１６のモード０〜３の差異データＤＩＦｂとのなかで、最小のものを特定し、当該特定した差異データに対応した予測モードを選択する。
また、コスト判定回路６８は、イントラ１６ｘ１６予測回路６４が実行指示を受け、イントラ４ｘ４予測回路６７が実行指示を受けなかった場合に、量子化係数判定回路６５から入力した差異データＤＩＦｂに対応したイントラ１６ｘ１６の予測モードを選択する。
また、コスト判定回路６８は、イントラ１６ｘ１６予測回路６４およびイントラ４ｘ４予測回路６７の双方が実行指示を受けた場合に、量子化係数判定回路６５から入力したイントラ１６ｘ１６予測に対応した差異データＤＩＦｂと、イントラ４ｘ４予測回路６７から入力したイントラ４ｘ４のモード０〜８の差異データＤＩＦａとのなかで、最小のものを特定し、当該特定した差異データに対応した予測モードを選択する。
コスト判定回路６８は、上記選択した予測モードに対応した差異データＤＩＦａ，ＤＩＦｂ、並びそれに対応して入力した予測画像データＰＩを選択回路４４に出力する。
また、コスト判定回路６８は、選択回路４４からイントラ予測を選択したことを示す選択信号Ｓ４４を受信した場合に、上記選択したイントラ予測サイズおよび予測モードを示すイントラ予測モードＩＰＭを可逆符号化回路２７に出力する。
また、コスト判定回路６８は、上記選択した予測モードのイントラ予測サイズＩＰＳを予測サイズメモリ４２に書き込む。

以下、図２に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われ、それによって得られた原画像データＳ２３が演算回路２４、動き予測・補償回路４１およびイントラ予測回路４３に出力される。
次に、演算回路２４が、画面並べ替え回路２３からの原画像データＳ２３と選択回路４４からの予測画像データＰＩとの差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。

次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データ（ＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、画像データＳ２５を量子化し、画像データ（量子化されたＤＣＴ係数）Ｓ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆符号化回路２７が、画像データＳ２６に可変長符号化あるいは算術符号化等の可逆符号化を施して画像データＳ２８を生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、バッファ２８から読み出した画像データＳ２８を基に、量子化回路２６における量子化レートを制御する。

また、逆量子化回路２９が、量子化回路２６から入力した画像データＳ２６を逆量子化して逆直交変換回路３０に出力する。
そして、逆直交変換回路３０が、直交変換回路２５の逆変換処理を行って生成した画像データを加算回路３３に出力する。
加算回路３３において、逆直交変換回路３０からの画像データと選択回路４４からの予測画像データＰＩとが加算されて再構成画像データが生成あれ、デブロックフィルタ３４に出力される。
そして、デブロックフィルタ３４において、再構成画像データのブロック歪みを除去した画像データが生成され、これが参照画像データとして、フレームメモリ３１に書き込まれる。

そして、動き予測・補償回路４１において、動き予測・補償処理が行われ、その結果である予測画像データＰＩと、差異データＤＩＦとが選択回路４４に出力される。

また、イントラ予測回路４３において、予測サイズメモリ４２から読み出したイントラ予測サイズＩＰＳを基に、図３〜図９を基に説明したイントラ予測処理が行われ、その結果である予測画像データＰＩと差異データＤＩＦａ，ＤＩＦｂが選択回路４４に出力される。

そして、選択回路４４は、動き予測・補償回路４１から入力した差異データＤＩＦとイントラ予測回路４３から入力した差異データＤＩＦａ，ＤＩＦｂのうち最小のものを特定し、当該特定した差異データに対応して入力した予測画像データＰＩを演算回路２４および加算回路３３に出力する。

以上説明したように、符号化装置２では、イントラ予測回路４３において、過去のフレームで用いたイントラ予測サイズを最初に選択してイントラ予測を行い、その結果が所定の条件を満たした場合に、未選択のイントラ予測サイズを基にしたイントラ予測は行わない。
そのため、符号化装置２によれば、従来のように、全てのイントラ予測サイズを基にしたイントラ予測を無条件に行う場合に比べて、イントラ予測に伴う演算量を削減できる。その結果、符号化装置２の回路規模の削減、並びに処理時間を短縮を図れる。

また、符号化装置２によれば、図９に示すステップＳＴ３で説明したように、１６個の４ｘ４のブロックデータに対して選択されたイントラ４ｘ４予測の予測モードのうち、イントラ１６ｘ１６予測でも共通して規定されている予測モード０，１，２の合計数が所定のしきい値ＴＨ以下であるか否かを基に、イントラ１６ｘ１６予測の実行の有無を決定するため、イントラ１６ｘ１６予測が最も高い符号化効率を達成しない場合にのみ、イントラ１６ｘ１６予測を行わないように制御できる。そのため、イントラ予測を高精度に行うことができ、高い符号化効率を達成できる。
また、符号化装置２によれば、図９に示すステップＳＴ６で説明したように、図３に示す量子化係数判定回路６５は、量子化された変換係数Ｃ（ｉ，ｊ）を構成する１６個の要素の全てが０であるか否かを基に、イントラ４ｘ４予測の実行の有無を決定するため、イントラ４ｘ４予測が最も高い符号化効率を達成しない場合にのみ、イントラ４ｘ４予測を行わないように制御できる。そのため、イントラ予測を高精度に行うことができ、高い符号化効率を達成できる。

第２実施形態
本実施形態では、図３に示すイントラ予測サイズ選択順決定回路６１の処理の一例を説明する。
例えば、図２に示す原画像データＳ２３がインターレース画像であり、フレームＦ（ｎ），（ｎ＋１）の双方がフィールド符号化され、処理対象のブロックデータＢ１がトップフィールドＴ（ｎ＋１）に属し、トップフィールドＴ（ｎ＋１）がフレームＦ（ｎ＋１）に属する場合を考える。
この場合に、図３に示すイントラ予測サイズ選択順決定回路６１は、例えば、符号化順が１つ前のフレームＦ（ｎ）のボトムフィールドＢ（ｎ）内の対応する位置のブロックデータＢ３で選択したイントラ予測サイズを、ブロックデータＢ１のイントラ予測サイズとして最初に選択されるように選択順を決定する。すなわち、異なるパリティのフィールドで選択されたイントラ予測サイズを基に選択順を決定する。
また、例えば、図２に示す原画像データＳ２３がインターレース画像であり、処理対象のブロックデータＢ２がフィールド符号化されるボトムフィールドＢ（ｎ＋１）に属し、トップフィールドＴ（ｎ＋１）がフレームＦ（ｎ＋１）に属する場合を考える。
この場合に、図３に示すイントラ予測サイズ選択順決定回路６１は、例えば、符号化順が１つ前のフレームＦ（ｎ）のボトムフィールドＢ（ｎ）内の対応する位置のブロックデータＢ３で選択したイントラ予測サイズを、ブロックデータＢ２のイントラ予測サイズとして最初に選択されるように選択順を決定する。すなわち、同パリティのフィールドで選択されたイントラ予測サイズを基に選択順を決定する。

なお、上述したフィールド符号化は、マクロブロックＭＢ単位で選択されてもよい。

また、イントラ予測サイズ選択順決定回路６１は、処理対象のブロックデータが属するフレームがフレーム符号化され、当該フレームに対して符号化順が１つ前のフレームがフィールド符号化される場合には、当該１つ前のフレームを構成するトップフィールドとボトムフィールドとを統合した場合の対応する位置のブロックデータで選択されたイントラ予測サイズを基に選択順を決定する。

第３実施形態
上述した第１実施形態では、イントラ４ｘ４予測回路６２において、上記式（１）を基にして、４ｘ４のブロックデータを構成する全ての画素データを基に差異データＤＩＦａ（＝ＳＡＤ）を生成した場合を例示した。
本実施形態では、イントラ４ｘ４予測回路６２は、図１１に示すように、４ｘ４のブロックデータＢ１０を構成する１６個の画素データのなかから、碁の目状に合計８個の画素データを抽出し、これらを用いて下記式（２７）に基づいて、ＳＡＤを算出する。

この場合に、イントラ４ｘ４予測回路６２は、図１１に示すように、抽出した上記８個の画素データを、２ｘ２のブロックデータＢ１１，Ｂ１２として個別にアダマール変換を施す。
図１１に示すように、ブロックデータＢ１１，Ｂ１２を規定することで、正方行列としてアダマール変換を行うことができる。なお、アダマール変換は正方行列に対しての演算しかできない。
上記式（２７）に示すアダマール変換Ｈａｄａｍａｒｄは、前述した式（３）で規定され、本実施形態では、式（３）内の行列Ｈとして、下記式（２８）で規定されるものを用いる。

第４実施形態
上述した実施形態では、原画像データＳ２３の輝度データについてのイントラ予測を例示したが、色差データについてのイントラ予測についても本発明は適用可能である。
色差データについてのイントラ予測では、上述した輝度データのイントラ予測で用いたイントラ１６ｘ１６予測の代わりに、イントラ８ｘ８予測を用いる。
このイントラ１６ｘ１６予測において、第３実施形態で説明した碁の目パターンによる画素データの抽出を適用すると、例えば、図１２に示すようになる。
すなわち、イントラ８ｘ８予測回路は、図１２に示すように、８ｘ８のブロックデータＢ２１を構成する６４の画素データのなかから、碁の目状に半分の合計３２個の画素データを抽出し、これらを用いて下記式（２９）に基づいて、ＳＡＤを算出する。

この場合に、イントラ８ｘ８予測回路は、図１２に示すように、抽出した上記３２個の画素データを、４ｘ４のブロックデータＢ２２，Ｂ２３として個別にアダマール変換を施す。
図１２に示すように、ブロックデータＢ２２，Ｂ２３を規定することで、正方行列としてアダマール変換を行うことができる。

第５実施形態
例えば、上述した第１〜第４の実施形態のイントラ予測回路４３において、既に差異データＤＩＦａ，ＤＩＦｂ（ＳＡＤ，ＳＡＴＤあるいはＣＯＳＴ）の算出を終了した予測モードにおける最小の差異データを記憶し、差異データを算出する過程で、既に上記最小の差異データより値が大きくなった場合に、当該予測モードについての処理を途中に終了して、次の予測モードについての処理を開始してもよい。

本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、本発明の各手段を、図３に示すように回路によって実現した場合を例示したが、図３に示す各回路のうち少なくとも一つをプログラムを用いて規定してもよい。この場合には、図３に示す回路と同じ処理を記述した当該プログラムをメモリから読み出し、当該プログラムをＣＰＵなどのデータ処理装置で実行することによって図３に示す回路と同じ機能を実現する。

また、上述した実施形態では、本発明のブロックサイズとして、イントラ４ｘ４およびイントラ１６ｘ１６、並びにイントラ８ｘ８を例示したが、それ以外のサイズであっても本発明は適用可能である。

画像データを符号化するシステムに適用可能である。

図１は、本発明は、本発明の実施形態の通信システムの構成図である。 図２は、図１に示す符号化装置の機能ブロック図である。 図３は、図２に示すイントラ予測回路の機能ブロック図である。 図４は、本発明の実施形態のイントラ予測サイズを説明するための図である。 図５は、本発明の実施形態におけるイントラ４ｘ４予測の予測モードを説明するための図である。 図６は、本発明の実施形態におけるイントラ４ｘ４予測の予測モードを説明するための図である。 図７は、本発明の実施形態におけるイントラ４ｘ４予測の予測モードを説明するための図である。 図８は、本発明の実施形態におけるイントラ１６ｘ１６予測の予測モードを説明するための図である。 図９は、図３に示すイントラ予測回路の動作例を説明するための図である。 図１０は、本発明の第２実施形態における図３に示すイントラ予測サイズ選択順決定回路の動作を説明するための図である。 図１１は、本発明の第３実施形態を説明するための図である。 図１２は、本発明の第４実施形態を説明するための図である。

符号の説明

１…通信システム、２…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２…レート制御回路、３３…加算回路、３４…デブロックフィルタ、４１…動き予測・補償回路、４２…予測サイズメモリ、４３…イントラ予測回路、４４…選択回路、６１…イントラ予測サイズ選択順決定回路、６２…イントラ４ｘ４予測回路、６３…予測モード判定回路、６４…イントラ１６ｘ１６予測回路、６５…量子化係数判定回路、６６…イントラ１６ｘ１６予測回路、６７…イントラ４ｘ４予測回路、６８…コスト判定回路

Claims (14)

1. ２次元画像領域内に規定された複数のブロックのうち、処理対象の前記ブロックのブロックデータを、前記２次元画像領域内で当該ブロックの周囲に位置する参照ブロックの前記ブロックデータを基に予測するデータ処理装置であって、
   前記処理対象のブロックが属する第１の画像より符号化順が前の第２の画像内の当該処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、複数のブロックサイズの選択順を決定する選択順決定手段と、
   前記選択順決定手段が決定した前記選択順に従って前記ブロックサイズを選択し、当該選択した前記ブロックサイズを基に、予め決められた複数の予測方向のうち、当該予測方向に位置する前記参照ブロックの前記ブロックデータに当該予測方向に位置しない前記参照ブロックのブロックデータに比べて高い重み付けを行って生成した予測ブロックデータと当該処理対象のブロックデータとの差異を算出し、当該差異を最小にする前記予測方向を特定する予測手段と、
   前記予測手段が特定した前記予測方向と当該予測方向に対応した前記差異とのうち少なくとも一方が所定の条件を満たした場合に、未選択の前記ブロックサイズを基にした前記予測方向の特定を前記予測手段に行わせずに、前記予測手段が特定した前記予測方向および前記選択した前記ブロックサイズを前記処理対象のブロックデータに割り当てる制御手段と
   を有するデータ処理装置。
2. 前記制御手段は、前記所定の条件を満たしていない場合に、前記未選択の前記ブロックサイズを前記予測手段に選択させ、当該選択したブロクサイズを基にした前記予測方向の特定を前記予測手段に行わせる
   請求項１に記載のデータ処理装置。
3. 前記選択順決定手段は、前記第２の画像において前記処理対象のブロックに対応した位
   置にあるブロックに割り当てられたブロックサイズが最初に選択されるように前記選択順を決定する
   請求項１に記載のデータ処理装置。
4. 前記予測手段が特定した前記予測方向に対応した前記差異に直交変換および量子化を順に施して量子化係数を算出する直交変換・量子化手段
   をさらに有し、
   前記制御手段は、直交変換・量子化手段が算出した前記量子化係数を基に、前記所定の
   条件を満たしたか否かを判断する
   請求項１に記載のデータ処理装置。
5. 前記直交変換・量子化手段は、前記選択された第１の前記ブロックサイズに対応した行
   列の要素として前記量子化係数を算出し、
   前記制御手段は、前記直交変換・量子化手段が算出した前記行列の要素となる複数の前
   記量子化係数のうち、０を示す量子化係数の数が所定値以下の場合に、前記所定の条件を満たしたと判断する
   請求項１に記載のデータ処理装置。
6. 前記制御手段は、前記所定の条件を満たさないと判断すると、前記第１のブロックサイズに比べて小さい第２の前記ブロックサイズを前記選択順に従って前記予測手段に選択させる
   請求項５に記載のデータ処理装置。
7. 第１のブロックサイズのブロックデータが複数の第２のブロックサイズのブロックデータによって構成され、前記選択順決定手段が前記第２のブロックサイズに続いて前記第１のブロックサイズを選択するように前記選択順を決定した場合に、
   前記制御手段は、前記処理対象のブロックデータを構成する前記第２のブロックサイズの複数のブロックデータの各々について前記予測手段が特定した予測方向のうち、前記第１のブロックサイズを基にした予測と共通して規定されている予測方向の数が所定値以下の場合に、前記所定の条件としたと判断する
   請求項１に記載のデータ処理装置。
8. 前記予測手段は、前記ブロックを規定するマトリクス状の画素位置を基に、前記予測ブ
   ロックデータと前記処理対象のブロックデータとの間で、対応する画素位置の画素データの差分を示す行列を算出し、当該行列に直交変換を施して前記差異を算出する
   請求項１に記載のデータ処理装置。
9. 前記予測手段は、前記ブロックを規定するマトリクス状の画素位置のなかから、碁の目
   状に選択した画素位置を基に前記行列を算出する
   請求項８に記載のデータ処理装置。
10. 前記予測手段は、前記行列にアダマール変換を施して前記差異を算出する
    請求項９に記載のデータ処理装置。
11. 前記第１の画像と、当該第１の画像より符号化順が１つ前の前記第２の画像との双方がフィールド符号化画像である場合に、
    前記第２の画像の処理対象のブロックに対応した位置にある、前記第１の画像を構成するトップフィールド画像あるいはボトムフィールド画像のブロックに割り当てられたブロックサイズを基に、前記選択順を決定する
    請求項１に記載のデータ処理装置。
12. 前記第１の画像がフィールド符号化画像であり、前記第１の画像より符号化順が１つ前の前記第２の画像がフレーム符号化画像である場合に、
    前記第１の画像を構成するトップフィールドおよびボトムフィールドを統合した画像において前記第２の画像の処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、前記選択順を決定する
    請求項１に記載のデータ処理装置。
13. ２次元画像領域内に規定された複数のブロックのうち、処理対象の前記ブロックのブロックデータを、前記２次元画像領域内で当該ブロックの周囲に位置する参照ブロックの前記ブロックデータを基に予測して符号化する符号化装置であって、
    前記処理対象のブロックデータの予測ブロックデータを生成するイントラ予測手段と、
    前記処理対象のブロックデータと、前記イントラ予測符号手段が生成した前記予測ブロックデータとの差分を符号化する符号化手段と
    を有し、
    前記イントラ予測手段は、
    前記処理対象のブロックが属する第１の画像より符号化順が前の第２の画像内の当該処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、複数のブロックサイズの選択順を決定する選択順決定手段と、
    前記選択順決定手段が決定した前記選択順に従って前記ブロックサイズを選択し、当該選択した前記ブロックサイズを基に、予め決められた複数の予測方向のうち、当該予測方向に位置する前記参照ブロックの前記ブロックデータに当該予測方向に位置しない前記参照ブロックのブロックデータに比べて高い重み付けを行って生成した予測ブロックデータと当該処理対象のブロックデータとの差異を算出し、当該差異を最小にする前記予測方向を特定する予測手段と、
    前記予測手段が特定した前記予測方向と当該予測方向に対応した前記差異とのうち少なくとも一方が所定の条件を満たした場合に、未選択の前記ブロックサイズを基にした前記予測方向の特定を前記予測手段に行わせずに、前記予測手段が特定した前記予測方向および前記選択した前記ブロックサイズを前記処理対象のブロックデータに割り当て、当該割り当ての結果に対応した前記予測画像データを前記符号化手段に出力する制御手段と
    を有する符号化装置。
14. ２次元画像領域内に規定された複数のブロックのうち、処理対象の前記ブロックのブロックデータを、前記２次元画像領域内で当該ブロックの周囲に位置する参照ブロックの前記ブロックデータを基に予測するデータ処理方法であって、
    前記処理対象のブロックが属する第１の画像より符号化順が前の第２の画像内の当該処理対象のブロックに対応した位置にあるブロックに割り当てられたブロックサイズを基に、複数のブロックサイズの選択順を決定する第１の工程と、
    前記第１の工程で決定した前記選択順に従って前記ブロックサイズを選択し、当該選択した前記ブロックサイズを基に、予め決められた複数の予測方向のうち、当該予測方向に位置する前記参照ブロックの前記ブロックデータに当該予測方向に位置しない前記参照ブロックのブロックデータに比べて高い重み付けを行って生成した予測ブロックデータと当該処理対象のブロックデータとの差異を算出し、当該差異を最小にする前記予測方向を特定する第２の工程と、
    前記第２の工程で特定した前記予測方向と当該予測方向に対応した前記差異とのうち少なくとも一方が所定の条件を満たした場合に、未選択の前記ブロックサイズを基にした前記予測方向の特定を行わずに、前記第２の工程で特定した前記予測方向および前記選択した前記ブロックサイズを前記処理対象のブロックデータに割り当てる第３の工程と
    を有するデータ処理方法。
    

Images