JP2012129925A - 画像処理装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】符号化効率を向上させることができるようにする。
【解決手段】MPM生成部３０１は、上部の隣接PUと左部の隣接PUの内、そのサイズが当該PUと同一である方の予測モードをMostProbableModeとする。上部の隣接PUと左部の隣接PUの両方とも、そのサイズが当該PUと同一である場合、上部の隣接PUと左部の隣接PUの予測モードのうち、予測モード番号の小さい方がMostProbableModeとして選択される。上部の隣接PUと左部の隣接PUの両方とも、そのサイズが当該PUと同一でない場合、MostProbableModeは該当なしとされ、当該PUの予測モードがMostProbableModeを用いずに求められるようになされる。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図２０

Description

本発明は、画像処理装置および方法、並びに、プログラムに関し、特に、符号化効率を向上させることができるようにした画像処理装置および方法、並びに、プログラムに関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

特に、MPEG2（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission） 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L （ITU-T（International Telecommunication Union Telecommunication Standardization Sector） Q6/16 VCEG（Video Coding Expert Group））という標準の規格化が進んでいる。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。

標準化のスケジュールとしては、２００３年３月にはH.264及びMPEG-4 Part10 （Advanced Video Coding、以下AVCと記す）という名の元に国際標準となった。

更に、その拡張として、RGBや4:2:2、4:4:4といった、業務用に必要な符号化ツールや、MPEG-2で規定されていた8x8DCT（Discrete Cosine Transform）や量子化マトリクスをも含んだFRExt（Fidelity Range Extension）の標準化が２００５年２月に完了し、これにより、AVCを用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Blu-Ray Disc等の幅広いアプリケーションに用いられる運びとなった。

しかしながら、昨今、ハイビジョン画像の４倍の、４０００×２０００画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEG（Video Coding Expert Group）において、符号化効率の改善に関する検討が継続され行なわれている。

ところで、従来のように、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。そこで、マクロブロックサイズを、６４×６４画素、３２画素×３２画素といった大きさにすることが提案されている。

そして、かかる方式を、イントラスライスに適用した例が提案されている（例えば、非特許文献１参照）。

Sung-Chang Lim, Hahyun Lee, Jinho Lee, Jongho Kim, Haechul Choi, Seyoon Jeong, Jin Soo Choi, "Intra coding using extended block size", VCEG-AL28, 2009年7月,

ところで、例えば、当該ブロックの大きさが４×４であるが、隣接ブロックの大きさが６４×６４といったように、異なる大きさである場合、当該ブロックと、隣接ブロックは、異なるテクスチャ領域に属するものと考えられる。

しかしながら、かかるブロックサイズの違いを考慮せず、先述の、MostProbableModeに基づく、モード情報の符号化を行うことは、符号化効率を低下させることに繋がる恐れがあった。

本発明は、このような状況に鑑みてなされたものであり、イントラ予測における、MostProbableModeに基づく、モード情報の符号化において、ブロックサイズの違いを考慮することにより、符号化効率を向上させることができるようにすることを目的とする。

本発明の一側面は、符号化する画像に対して所定の領域毎に行われるイントラ予測の、処理対象の領域の大きさと、前記処理対象の領域より時間的に前に前記イントラ処理が行われた領域である処理済みの領域の大きさとを比較することにより、前記領域をその大きさに応じて分類した場合に前記処理対象の領域と同一のグループに属する前記処理済みの領域を特定する比較手段と、前記比較手段による比較の結果、前記処理対象の領域と同一のグループに属する領域として特定された前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定する予測値決定手段とを備える画像処理装置である。

前記比較手段は、前記処理対象の領域の大きさと、複数の前記処理済みの領域のそれぞれの大きさとを比較し、前記予測値決定手段は、前記複数の処理済みの領域の内、前記比較手段による比較の結果、前記処理対象の領域と同一のグループに属する領域として特定された前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定することができる。

前記比較手段は、前記処理対象の領域の大きさと、前記処理対象の領域に隣接する前記複数の処理済みの領域のそれぞれの大きさとを比較することができる。

前記比較手段は、前記処理対象の領域の上部に隣接する前記処理済みの領域、および、前記処理対象の領域の上部に隣接する前記処理済みの領域のそれぞれの大きさと、前記処理対象の領域の大きさとを比較することができる。

前記予測値決定手段は、前記比較手段による比較の結果、前記処理対象の領域の上部に隣接する前記処理済みの領域が前記処理対象の領域と同一のグループに属する領域として特定された場合、前記処理対象の領域の上部に隣接する前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定し、前記処理対象の領域の左部に隣接する前記処理済みの領域が前記処理対象の領域と同一のグループに属する領域として特定された場合、前記処理対象の領域の左部に隣接する前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定することができる。

前記予測値決定手段は、前記比較手段による比較の結果、前記処理対象の領域の上部に隣接する前記処理済みの領域、および、前記処理対象の領域の左部に隣接する前記処理済みの領域のいずれも、前記処理対象の領域と同一のグループに属さないとされた場合、前記処理対象の領域の予測モードの予測値の決定を省略することができる。

前記予測値決定手段は、前記比較手段による比較の結果、前記処理対象の領域の上部に隣接する前記処理済みの領域、および、前記処理対象の領域の左部に隣接する前記処理済みの領域の両方とも、前記処理対象の領域と同一のグループに属する領域として特定された場合、前記処理対象の領域の上部に隣接する前記処理済みの領域の予測モード、および、前記処理対象の領域の左部に隣接する前記処理済みの領域の予測モードの両方を用いて、前記処理対象の領域の予測モードの予測値を決定することができる。

前記比較手段は、前記処理対象の領域との大きさの差が所定の範囲内の前記処理済みの領域を、前記処理対象の領域と同一のグループに属する領域として特定することができる。

前記比較手段は、前記領域の大きさが前記処理対象の領域と同一である前記処理済みの領域を、前記処理対象の領域と同一のグループに属する領域として特定することができる。

前記比較手段は、前記領域をその大きさによってグループ分けし、前記処理対象の領域が属するグループと同一のグループに属する前記処理済みの領域を、前記処理対象の領域と同一のグループに属する領域として特定することができる。

前記イントラ予測を行って予測画像を生成し、前記イントラ予測の予測モードが前記予測値決定手段により決定された前記予測値と一致するか否かを示すフラグ情報を生成するイントラ予測手段をさらに備えることができる。

前記イントラ予測手段は、複数の予測モードの中からより適切な予測モードを判定し、より適切と判定された前記予測モードを用いて前記予測画像を生成し、前記予測画像の生成に用いられた前記予測モードが前記予測値と一致するかを示す前記フラグ情報を生成することができる。

前記イントラ予測手段は、Angular Prediction若しくはArbitrary Directional Intraにより前記イントラ予測を行うことができる。

前記予測画像を用いて生成された画像情報および前記フラグ情報を符号化する符号化手段をさらに備えることができる。

前記比較手段は、前記処理対象の領域の前記イントラ予測の予測モードが予測値と一致するか否かを示すフラグ情報が、前記予測モードが前記予測値と一致することを示す値の場合のみ、前記処理対象の領域の大きさと前記処理済みの領域の大きさとを比較することができる。

前記比較手段は、今回取得した前記処理対象の領域の大きさを示す情報と、時間的に前に取得した前記処理対象の領域の大きさを示す情報とを比較することができる。

符号化された前記フラグ情報および前記処理対象の領域の大きさを示す情報を復号する復号手段をさらに備えることができる。

前記処理対象の領域の前記イントラ予測の予測モードが予測値と一致するか否かを示すフラグ情報が、前記予測モードが前記予測値と一致することを示す値の場合、前記予測値決定手段により決定された前記処理対象の領域の予測モードの予測値を用いて、前記処理対象の領域の予測画像を生成し、前記処理対象の領域の前記イントラ予測の予測モードが予測値と一致するか否かを示すフラグ情報が、前記予測モードが前記予測値と一致しないことを示す値の場合、前記処理対象の領域の予測モードを示す情報を用いて、前記処理対象の領域の予測画像を生成する予測画像生成手段をさらに備えることができる。

本発明の一側面は、また、画像処理装置の画像処理方法であって、比較手段が、符号化する画像に対して所定の領域毎に行われるイントラ予測の、処理対象の領域の大きさと、前記処理対象の領域より時間的に前に前記イントラ処理が行われた領域である処理済みの領域の大きさとを比較することにより、前記領域をその大きさに応じて分類した場合に前記処理対象の領域と同一のグループに属する前記処理済みの領域を特定し、予測値決定手段が、比較の結果、前記処理対象の領域と同一のグループに属する領域として特定された前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定する画像処理方法である。

本発明の一側面は、さらに、コンピュータを、符号化する画像に対して所定の領域毎に行われるイントラ予測の、処理対象の領域の大きさと、前記処理対象の領域より時間的に前に前記イントラ処理が行われた領域である処理済みの領域の大きさとを比較することにより、前記領域をその大きさに応じて分類した場合に前記処理対象の領域と同一のグループに属する前記処理済みの領域を特定する比較手段、比較の結果、前記処理対象の領域と同一のグループに属する領域として特定された前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定する予測値決定手段として機能させるためのプログラムである。

本発明の一側面においては、符号化する画像に対して所定の領域毎に行われるイントラ予測の、処理対象の領域の大きさと、処理対象の領域より時間的に前にイントラ処理が行われた領域である処理済みの領域の大きさとを比較することにより、領域をその大きさに応じて分類した場合に処理対象の領域と同一のグループに属する処理済みの領域が特定され、その比較の結果、処理対象の領域と同一のグループに属する領域として特定された処理済みの領域の予測モードを用いて、処理対象の領域の予測モードの予測値が決定される。

本発明によれば、画像を処理することができる。特に、符号化効率を向上させることができる。

AVC符号化方式に基づく画像圧縮情報を出力する画像符号化装置を示すブロック図である。 AVC符号化方式に基づく画像圧縮情報を入力とする画像復号装置を示すブロック図である。 AVC符号化方式における１つのマクロブロックに含まれる４×４ブロックの処理順序を示した図である。 AVC符号化方式において定められているイントラ４×４予測モードを示す図である。 AVC符号化方式において定められているイントラ４×４予測モードを示す図である。 AVC符号化方式において定められているイントラ４×４予測モードの予測方向を示した図である。 AVC符号化方式において定められているイントラ４×４予測モードの予測方法を説明するための図である。 AVC符号化方式において定められているイントラ４×４予測モードの符号化方法を説明するための図である。 AVC符号化方式において定められているイントラ８×８予測モードを示した図である。 AVC符号化方式において定められているイントラ８×８予測モードを示した図である。 AVC符号化方式において定められているイントラ１６×１６予測モードを示した図である。 AVC符号化方式において定められているイントラ１６×１６予測モードを示した図である。 AVC符号化方式において定められているイントラ１６×１６予測モードにおける予測値の算出方法を説明するための図である。 AVC符号化方式において定められている色差信号に対する予測モードの例を示す図である。 コーディングユニットの構成例を説明する図である。 Angular Prediction イントラ予測方式を説明する図である。 Arbitrary Directional Intra イントラ予測方式を説明する図である。 本発明を適用した画像符号化装置の主な構成例を示すブロック図である。 PU間のPUサイズの違いを説明する図である。 イントラ予測部およびMPM生成部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 イントラ予測処理の流れの例を説明するフローチャートである。 MostProbableMode生成処理の流れの例を説明するフローチャートである。 本発明を適用した画像符号化装置の主な構成例を示すブロック図である。 イントラ予測部およびMPM生成部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 予測処理の流れの例を説明するフローチャートである。 イントラ予測処理の流れの例を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。 本発明を適用したテレビジョン受像機の主な構成例を示すブロック図である。 本発明を適用した携帯電話機の主な構成例を示すブロック図である。 本発明を適用したハードディスクレコーダの主な構成例を示すブロック図である。 本発明を適用したカメラの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（パーソナルコンピュータ）
４．第４の実施の形態（テレビジョン受像機）
５．第５の実施の形態（携帯電話機）
６．第６の実施の形態（ハードディスクレコーダ）
７．第７の実施の形態（カメラ）

＜１．第１の実施の形態＞
［AVC符号化方式の画像符号化装置］
図１は、H．264及びMPEG（Moving Picture Experts Group）4 Part10（AVC（Advanced Video Coding））符号化方式により画像を符号化する画像符号化装置の一実施の形態の構成を表している。

図１に示される画像符号化装置１００は、AVC規格に基づいた符号化方式で画像を符号化し、出力する装置である。図１に示されるように、画像符号化装置１００は、A/D変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。

A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き予測・補償部１１５にも供給する。

演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。

例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。

直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。

量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、レート制御部１１７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、量子化を行う。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。

可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。係数データは、レート制御部１１７の制御の下で量子化されているので、この符号量は、レート制御部１１７が設定した目標値となる（若しくは目標値に近似する）。

可逆符号化部１０６は、イントラ予測を示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き予測・補償部１１５から取得する。なお、イントラ予測（画面内予測）を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測（画面間予測）を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。

可逆符号化部１０６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどの各種情報を、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。

例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。

蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。

逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。

演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。

例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き予測・補償部１１５から供給される予測画像を加算する。

その加算結果は、デブロックフィルタ１１１またはフレームメモリ１１２に供給される。

デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去するとともに、例えばウィナーフィルタ（Wiener Filter）を用いて適宜ループフィルタ処理を行うことにより画質改善を行う。デブロックフィルタ１１１は、各画素をクラス分類し、クラスごとに適切なフィルタ処理を施す。デブロックフィルタ１１１は、そのフィルタ処理結果をフレームメモリ１１２に供給する。

フレームメモリ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き予測・補償部１１５に出力する。

例えば、イントラ符号化が行われる画像の場合、フレームメモリ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ１１２は、参照画像を、選択部１１３を介して動き予測・補償部１１５に供給する。

選択部１１３は、フレームメモリ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、フレームメモリ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部１１５に供給する。

イントラ予測部１１４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。

H.264画像情報符号化方式において、輝度信号に対しては、イントラ4×4予測モード、イントラ8×8予測モード及びイントラ16×16予測モードが定義されており、また、色差信号に関しては、それぞれのマクロブロックごとに、輝度信号とは独立した予測モードを定義することが可能である。イントラ4×4予測モードについては、それぞれの4×4輝度ブロックに対して、イントラ8×8予測モードについては、それぞれの8×8輝度ブロックに対して、１つのイントラ予測モードが定義されることになる。イントラ16×16予測モード、並びに、色差信号に対しては、１つのマクロブロックに対して、それぞれ１つの予測モードが定義されることになる。

イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。

また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。

動き予測・補償部１１５は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、動き予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。

動き予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。

また、動き予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。

選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。

レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

［AVC符号化方式の画像復号装置］
図２は、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像復号装置の主な構成例を示すブロック図である。図２に示される画像復号装置２００は、図１の画像符号化装置１００に対応する復号装置である。

画像符号化装置１００より符号化された符号化データは、例えば、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に供給され、復号される。

図２に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。

蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部１０６の符号化方式に対応する方式で復号する。

また、当該フレームがイントラ符号化されたものである場合、符号化データのヘッダ部にはイントラ予測モード情報が格納されている。可逆復号部２０２は、このイントラ予測モード情報も復号し、その情報をイントラ予測部２１１に供給する。これに対して、当該フレームがインター符号化されたものである場合、符号化データのヘッダ部には動きベクトル情報が格納されている。可逆復号部２０２は、この動きベクトル情報も復号し、その情報を動き予測・補償部２１２に供給する。

逆量子化部２０３は、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、図１の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。

逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式（図１の逆直交変換部１０９と同様の方式）で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。例えば、４次の逆直交変換が施される。

逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。

演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。

デブロックフィルタ２０６は、供給された復号画像のブロック歪を除去した後、画面並べ替えバッファ２０７に供給する。

画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

デブロックフィルタ２０６の出力は、さらに、フレームメモリ２０９に供給される。

フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３は、画像符号化装置１００のフレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、および選択部１１６にそれぞれ対応する。

選択部２１０は、インター処理される画像と参照される画像をフレームメモリ２０９から読み出し、動き予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をフレームメモリ２０９から読み出し、イントラ予測部２１１に供給する。

イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。

動き予測・補償部２１２は、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部２０２から取得する。

動き予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。

選択部２１３は、動き予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。

［イントラ予測モード］
次に、AVC符号化方式で定められているイントラ予測方式について述べる。AVC符号化方式の場合、輝度信号については、イントラ４×４予測モードとイントラ８×８予測モード、イントラ１６×１６予測モードの３通りの方式が定められている。図３に示されるように、イントラ１６×１６予測モードの際には、各ブロックの直流成分を集めて４×４行列が生成され、これに対して、更に、直交変換が施される。

イントラ８×８予測モードに関しては、ハイプロファイル若しくはそれ以上のプロファイルで、当該マクロブロックに、８×８直交変換が施される場合についてのみ適用可能である。

［イントラ４×４予測モード］
以下では、まず、イントラ４×４予測モードについて述べる

AVC符号化方式において規定される９通りのイントラ４×４予測モードを、図４および図５に示す。このうち、DC予測（モード２）以外のモードに関しては、図６に示される通り、それぞれのモードが一定の方向を示している。つまり、イントラ４×４予測モードにおいては、９通りの予測方向（予測モード）が用意されている。

図７において、'a'〜'p'は、当該ブロックの画素を示し、'A'〜'M'は隣接ブロックに属する画素値を示す。表に示したそれぞれのモードについて、以下に述べるように、'A'〜'M'を用いて'a'〜'p'の予測画素値を生成する。

モード０（Mode 0）はVertical Predictionであり、A,B,C,Dが "available" の場合のみ適用される。予測画素値は以下の通りである。

a, e, i, m : A
b, f, j, n : B
c, g, k, o : C
d, h, l, p : D

モード１（Mode 1）は、Horizontal Predictionであり、I,J,K,Lが "available" の場合のみ適用される。それぞれの予測画素値は以下のように生成される。

a, b, c, d : I,
e, f, g, h : J,
i, j, k, l : K,
m, n, o, p : L.

モード２（Mode 2）は、DC Predictionであり、A,B,C,D,I,J,K,Lが全て "available" である時、予測値は、以下の式（１）ように生成される。

・・・（１）

また、A,B,C,Dが全て "unavailable" である時、予測値は、以下の式（２）ように生成される。

・・・（２）

また、I,J,K,Lが全て "unavailable" である時、予測値は以下の式（３）ように生成される。

・・・（３）

A,B,C,D,I,J,K,Lが全て "unavailable" である時、128を予測値として用いる。

モード３（Mode 3）は、Diagonal_Down_Left Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。

a : (A + 2B + C + 2) >> 2
b, e : (B + 2C + D + 2) >> 2
c, f, i : (C + 2D + E + 2) >> 2
d, g, j, m : (D + 2E + F + 2) >> 2
h, k, n : (E + 2F + G + 2) >> 2
l, o : (F + 2G + H + 2) >> 2
p : (G + 3H + 2) >> 2

モード４（Mode 4）は、Diagonal_Down_Right Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。

m : (J + 2K + L + 2) >> 2
i, n : (I + 2J + K + 2) >> 2
e, j, o : (M + 2I + J + 2) >> 2
a, f, k, p : (A + 2M + I + 2) >> 2
b, g, l : (M + 2A + B + 2) >> 2
c, h : (A + 2B + C + 2) >> 2
d : (B + 2C + D + 2) >> 2

モード５（Mode 5）は、Diagonal_Vertical_Right Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。

a, j : (M + A + 1) >> 1
b, k : (A + B + 1) >> 1
c, l : (B + C + 1) >> 1
d : (C + D + 1) >> 1
e, n : (I + 2M + A + 2) >> 2
f, o : (M + 2A + B + 2) >> 2
g, p : (A + 2B + C + 2) >> 2
h : (B + 2C + D + 2) >> 2
i : (M + 2I + J + 2) >> 2
m : (I + 2J + K + 2) >> 2

モード６（Mode 6）は、Horizontal_Down Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。

a, g : (M + I + 1) >> 1
b, h : (I + 2M + A+ 2) >> 2
c : (M + 2A + B+ 2) >> 2
d : (A + 2B + C+ 2) >> 2
e, k : (I + J + 1) >> 1
f, l : (M + 2I + J+ 2) >> 2
i, o : (J + K + 1) >> 1
j, p : (I + 2J + K+ 2) >> 2
m : (K + L + 1) >> 1
n : (J + 2K + L + 2) >> 2

モード７（Mode 7）は、Vertical_Left Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。

a : (A + B + 1) >> 1
b, i : (B + C + 1) >> 1
c, j : (C + D + 1) >> 1
d, k : (D + E + 1) >> 1
l : (E + F + 1) >> 1
e : (A + 2B + C + 2) >> 2
f, m : (B + 2C + D + 2) >> 2
g, n : (C + 2D + E + 2) >> 2
h, o : (D + 2E + F + 2) >> 2
p : (E + 2F + G + 2) >> 2

モード８（Mode 8）は、Horizontal_Up Predictionであり、A,B,C,D,I,J,K,L,Mが "available" の場合のみ適用される。それぞれの予測値は以下のように生成される。

a : (I + J + 1) >> 1
b : (I + 2J + K + 2) >> 2
c, e : (J + K + 1) >> 1
d, f : (J + 2K + L + 2) >> 2
g, i : (K + L + 1) >> 1
h, j : (K + 3L + 2) >> 2
k, l, m, n, o, p : L

次に、イントラ４×４予測モード（Intra_4x4_pred_mode）の符号化方式について説明する。

図８において、Ｃを当該4×4 ブロック、Ａ及びＢを隣接する４×４ブロックであるとすると、Ｃにおけるイントラ４×４予測モード（Intra_4x4_pred_mode）と、Ａ及びＢにおけるイントラ４×４予測モード（Intra_4x4_pred_mode）は高い相関があると考えられる。この事実を利用して、以下のように符号化処理を行うことにより、より高い符号化効率を実現することが可能である。

すなわち、図８において、ＡおよびＢに対するイントラ４×４予測モード（Intra_4x4_pred_mode）をそれぞれイントラ４×４予測モードＡ（Intra_4x4_pred_modeA）およびイントラ４×４予測モードＢ（Intra_4x4_pred_modeB）として、MostProbableModeを以下の式（４）のように定義する。

MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB) ・・・（４）

すなわち、Ａ，Ｂのうち、より小さなモード番号（mode_number）を割り当てられている方をMostProbableModeとする。つまり、隣接ブロックＡおよびＢの予測モード（予測方向）を用いて、当該ブロックＣの予測モード（予測方向）を予測する。その予測値をMostProbableModeとする。

ビットストリーム中には、当該４×４ブロックに対するパラメータとして、prev_intra4x4_pred_mode_flag［luma4x4BlkIdx］、および、rem_intra4x4_pred_mode［luma4x4BlkIdx］という２つの値が定義されており、以下に示される擬似コードに基づく処理により、復号処理が行われ、当該４×４ブロックに対するイントラ４×４予測モード（Intra_4x4_pred_mode）を示す、Intra4x4PredMode[luma4x4BlkIdx] の値を得ることが出来る。

if(prev_intra4x4_pred_mode_flag[luma4x4BlkIdx])
Intra4x4PredMode[luma4x4BlkIdx] = MostProbableMode
else
if(rem_intra4x4_pred_mode[luma4x4BlkIdx] < MostProbableMode)
Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx]
else
Intra4x4PredMode[luma4x4BlkIdx]=rem_intra4x4_pred_mode[luma4x4BlkIdx] + 1

［イントラ８×８予測方式］
次に、イントラ８×８予測方式について説明する。

AVCにおいては、図９および図１０に示されるように、９通りのイントラ８×８予測モード（Intra_8x8_pred_mode）が定義されている。つまり、イントラ８×８予測モードには９通りの予測方向（予測モード）が用意されている。当該８×８ブロックにおける画素値をp[x,y]（０≦ｘ≦７；０≦ｙ≦７）とし、隣接ブロックの画素値をp[-1,-1],…,p[-1,15],p[-1,0],…p[-1,7]のように表すものとする。

イントラ８×８予測モードについては、以下に述べるとおり、予測値を生成するに先立ち、隣接画素にローパスフィルタリング処理を施す。ここで、ローパスフィルタリング処理前の画素値をp[-1,-1],…,p[-1,15],p[-1,0],…p[-1,7]、処理後の画素値をp'[-1,-1],…,p'[-1,15],p'[-1,0],…p'[-1,7]と表すとする。

まず、p[-1,-1] が "available" である場合、p'[0,-1]は、以下の式（５）のように算出される。

p'[0,-1] = (p[-1,-1] + 2＊p[0,-1] + p[1,-1] + 2) >> 2 ・・・（５）

また、p[-1,-1] が "not available" である場合、p'[0,-1]は、以下の式（６）のように算出される。

p'[0,-1] = (3＊p[0,-1] + p[1,-1] + 2) >> 2 ・・・（６）

p'[x,-1] (x=0,…,7)は、以下の式（７）のように算出される。

p'[x,-1] = (p[x-1,-1] + 2＊p[x,-1] + p[x+1,-1] + 2) >>2 ・・・（７）

p[x,-1] (x=8,…,15) が "available" である場合、p'[x,-1] (x=8,…,15)は、以下の式（８）および式（９）のように算出される。

p'[x,-1] = (p[x-1,-1] + 2＊p[x,-1] + p[x+1,-1] + 2) >>2 ・・・（８）
p'[15,-1] = (p[14,-1] + 3＊p[15,-1] + 2) >>2 ・・・（９）

次にp[-1,-1]が "available" である場合について説明する。p[0,-1]及びp[-1,0]の双方がavailableである場合、p'[-1,-1]は、以下の式（１０）のように算出される。

p'[-1,-1] = (p[0,-1] + 2＊p[-1,-1] + p[-1,0] + 2) >>2 ・・・（１０）

また、p[-1,0] が "unavailable" である場合、p'[-1,-1]は、以下の式（１１）のように算出される。

p'[-1,-1] = (3＊p[-1,-1] + p[0,-1] + 2) >>2 ・・・（１１）

さらに、p[0,-1] が "unavailable" である場合、p'[-1,-1]は、以下の式（１２）のように算出される。

p'[-1,-1] = (3＊p[-1,-1] + p[-1,0] + 2) >>2 ・・・（１２）

また、p'[-1,y] (y=0, … ,7) は、p[-1,y] (y=0, … ,7) が "available" の時、以下のように算出される。すなわち、まず、p[-1,-1]が "available" である場合、p'[-1,0]は、以下の式（１３）のように算出される。

p'[-1,0] = (p[-1,-1] + 2＊p[-1,0] + p[-1,1] + 2) >>2 ・・・（１３）

また、p[-1,-1]が "unavailable" である場合、p'[-1,0]は、以下の式（１４）のように算出される。

p'[-1,0] = (3＊p[-1,0] + p[-1,1] + 2) >>2 ・・・（１４）

なお、p'[-1,y] (y=1,…,6)は、以下の式（１５）のように算出される。

p[-1,y] = (p[-1,y-1] + 2＊p[-1,y] + p[-1,y+1] + 2) >>2 ・・・（１５）

また、p'[-1,7]は、以下の式（１６）のように算出される。

p'[-1,7] = (p[-1,6] + 3＊p[-1,7] + 2) >>2 ・・・（１６）

このように算出されたp'を用いて、図９に示された各イントラ予測モードにおける予測値は以下のように算出される。

モード０（Mode 0）は、Vertical Predictionであり、p[x,-1] (x=0, … ,7) が "available" である時のみ適用される。予測値pred8x8L[x,y]は、以下の式（１７）のように算出される。

pred8x8L[x,y] = p'[x,-1] x,y=0,...,7 ・・・（１７）

モード１（Mode 1）は、Horizontal Predictionであり、p[-1,y] (y=0, … ,7) が "available" である時のみ適用される。予測値pred8x8L[x,y]は、以下の式（１８）のように算出される。

pred8x8L[x,y] = p'[-1,y] x,y=0,...,7 ・・・（１８）

モード２（Mode 2）は、DC Predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。すなわち、p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が "available" である場合、予測値pred8x8L[x,y]は以下の式（１９）のように算出される。

・・・（１９）

p[x,-1] (x=0, … ,7) は、 "available" であるが、 p[-1,y] (y=0, … ,7) が "unavailable" である場合、予測値pred8x8L[x,y]は以下の式（２０）のように算出される。

・・・（２０）

p[x,-1] (x=0, … ,7) は、 "unavailable" であるが、 p[-1,y] (y=0, … ,7) が "available" である場合、予測値pred8x8L[x,y]は以下の式（２１）のように算出される。

・・・（２１）

p[x,-1] (x=0, … ,7) および p[-1,y] (y=0, … ,7) の両方が "unavailable" である場合、予測値pred8x8L[x,y]は以下の式（２２）のように算出される(但し8ビット入力の場合)。

pred8x8L[x,y] = 128 ・・・（２２）

モード３（Mode 3）は、Diagonal_Down_Left_predictionであり、予測値pred8x8L[x,y]は、以下の通り算出される。すなわち、Diagonal_Down_Left_predictionは、p[x,-1], x=0,…,15が "available" の時のみ適用され、x=7かつy=7のとき、予測値pred8x8L[x,y]は、以下の式（２３）のように算出される。

pred8x8L[x,y] = (p'[14,-1] + 3＊p[15,-1] + 2) >> 2 ・・・（２３）

その他の予測値pred8x8L[x,y]は、以下の式（２４）のように算出される。

pred8x8L[x,y] = (p'[x+y,-1] + 2＊p'[x+y+1,-1] + p'[x+y+2,-1] + 2) >> 2
・・・（２４）

モード４（Mode 4）は、Diagonal_Down_Right_predictionであり、予測値pred8x8L[x,y]は、以下の通り算出される。すなわち、Diagonal_Down_Right_predictionは、p[x,-1],x=0,…,7及びp[-1,y],y=0,…,7が "available"の時のみ適用され、x > y であるとき、予測値pred8x8L[x,y]は、以下の式（２５）のように算出される。

pred8x8L[x,y] = (p'[x-y-2,-1] + 2＊p'[x-y-1,-1] + p'[x-y,-1] + 2) >> 2
・・・（２５）

また、x < y であるとき、予測値pred8x8L[x,y]は、以下の式（２６）のように算出される。

pred8x8L[x,y] = (p'[-1,y-x-2] + 2＊p'[-1,y-x-1] + p'[-1,y-x] + 2) >> 2
・・・（２６）

さらに、x = yであるとき、予測値pred8x8L[x,y]は、以下の式（２７）のように算出される。

pred8x8L[x,y] = (p'[0,-1] + 2＊p'[-1,-1] + p'[-1,0] + 2) >> 2
・・・（２７）

モード５（Mode 5）は、Vertical_Right_predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。すなわち、Vertical_Right_predictionは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が "available"の時のみ適用される。zVRを、以下の式（２８）のように定義する。

zVR = 2＊x - y ・・・（２８）

zVRが、0,2,4,6,8,10,12,14の場合、予測値pred8x8L[x,y]は、以下の式（２９）のように算出される。

pred8x8L[x,y] = (p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 1) >> 1
・・・（２９）

また、zVRが1,3,5,7,9,11,13の場合、予測値pred8x8L[x,y]は、以下の式（３０）のように算出される。

pred8x8L[x,y] = (p'[x-(y>>1)-2,-1] + 2＊p'[x-(y>>1)-1,-1] + p'[x-(y>>1),-1] + 2) >> 2
・・・（３０）

また、zVRが-1の場合、予測値pred8x8L[x,y]は、以下の式（３１）のように算出される。

pred8x8L[x,y] = (p'[-1,0] + 2＊p'[-1,-1] + p'[0,-1] + 2) >> 2
・・・（３１）

これ以外の場合、すなわち、zVRが-2,-3,-4,-5,-6,-7の場合、以下の式（３２）のように算出される。

pred8x8L[x,y] = (p'[-1,y-2＊x-1] + 2＊p'[-1,y-2＊x-2] + p'[-1,y-2＊x-3] + 2) >> 2
・・・（３２）

モード６（Mode 6）は、Horizontal_Down_predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。Horizontal_Down_predictionは、p[x,-1],x=0,…,7及びp[-1,y],y=-1,…,7が "available"の時のみ適用される。zVRを以下の式（３３）のように定義する。

zHD = 2＊y - x ・・・（３３）

zHDが0,2,4,6,8,10,12,14の場合、予測値pred8x8L[x,y]は、以下の式（３４）のように算出される。

pred8x8L[x,y] = (p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1) + 1] >> 1
・・・（３４）

また、zHDが1,3,5,7,9,11,13の場合、予測値pred8x8L[x,y]は、以下の式（３５）のように算出される。

pred8x8L[x,y] = (p'[-1,y-(x>>1)-2] + 2＊p'[-1,y-(x>>1)-1] + p'[-1,y-(x>>1)] + 2) >> 2
・・・（３５）

また、zHDが-1の場合、予測値pred8x8L[x,y]は、以下の式（３６）のように算出される。

pred8x8L[x,y] = (p'[-1,0] + 2＊p[-1,-1] + p'[0,-1] + 2) >> 2
・・・（３６）

また、zHDがこれ以外の値の場合、すなわち、-2,-3,-4,-5,-6,-7の場合、予測値pred8x8L[x,y]は、以下の式（３７）のように算出される。

pred8x8L[x,y] = (p'[x-2＊y-1,-1] + 2＊p'[x-2＊y-2,-1] + p'[x-2＊y-3,-1] + 2) >> 2
・・・（３７）

モード７（Mode 7）は、Vertical_Left_predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。すなわち、Vertical_Left_predictionは、p[x,-1], x=0,…,15が "available" の時のみ適用され、y=0,2,4,6の場合、予測値pred8x8L[x,y]は、以下の式（３８）のように算出される。

pred8x8L[x,y] = (p'[x+(y>>1),-1] + p'[x+(y>>1)+1,-1] + 1) >> 1
・・・（３８）

それ以外の場合、すなわち、y=1,3,5,7の場合、予測値pred8x8L[x,y]は、以下の式（３９）のように算出される。

pred8x8L[x,y] = (p'[x+(y>>1),-1] + 2＊p'[x+(y>>1)+1,-1] + p'[x+(y>>1)+2,-1] + 2) >> 2
・・・（３９）

モード８（Mode 8）は、Horizontal_Up_predictionであり、予測値pred8x8L[x,y]は以下の通り算出される。すなわち、Horizontal_Up_predictionは、p[-1,y], y=0,…,7 が "available" の時のみ適用される。以下では、zHUを以下の式（４０）のように定義する。

zHU = x + 2＊y ・・・（４０）

zHUの値が0,2,4,6,8,10,12の場合、予測値pred8x8L[x,y]は、以下の式（４１）のように算出される。

pred8x8L[x,y] = (p'[-1,y+(x>>1)] + p'[-1,y+(x>>1)+1] + 1) >> 1
・・・（４１）

zHUの値が1,3,5,7,9,11の場合、予測値pred8x8L[x,y]は、以下の式（４２）のように算出される。

pred8x8L[x,y] = (p'[-1,y+(x>>1)] ・・・（４２）

zHUの値が13の場合、予測値pred8x8L[x,y]は、以下の式（４３）のように算出される。

pred8x8L[x,y] = (p'[-1,6] + 3＊p'[-1,7] + 2) >> 2 ・・・（４３）

それ以外の場合、すなわち、zHUの値が13より大きい場合、予測画素値は、以下の式（４４）のように算出される。

pred8x8L[x,y] = p'[-1,7] ・・・（４４）

［イントラ１６×１６予測方式］
次に、イントラ１６×１６予測方式について説明する。

AVCにおいては、図１１および図１２に示されるように、4通りのイントラ１６×１６予測モード（Intra_16x16_pred_mode）が定義されている。つまり、イントラ１６×１６予測モードには、４通りの予測方向（予測モード）が用意されている。当該マクロブロックに含まれる画素値、並びに、隣接画素値を図１３のように定義すると、それぞれの予測値は、以下のように生成される。

モード０（Mode 0）は、Vertical Predictionであり、P(x,-1); x,y=-1..15が "available" である時のみ適用される。それぞれの予測値は以下の式（４５）のように算出される。

・・・（４５）

モード１（Mode 1）は、Horizontal Predictionであり、P(-1,y); x,y=-1..15が "available" である時のみ適用される。それぞれの予測値は以下の式（４６）のように算出される。

・・・（４６）

モード２（Mode 2）は、DC Predictionであり、P(x,-1)及びP(-1,y); x,y=-1..15が全て "available" である場合、予測値は以下の式（４７）のように算出される。

・・・（４７）

また、P(x,-1); x,y=-1..15が "not available" である場合、予測値は以下の式（４８）のように生成される。

・・・（４８）

P(-1,y); x,y=-1..15が "not available" である場合、予測値は以下の式（４９）のように生成される。

・・・（４９）

なお、P(x,-1)及びP(-1,y); x,y=-1..15が全て "not available" である場合、予測値として128が用いられる。

モード３（Mode 3）は、Plane Predictionであり、P(x,-1)及びP(-1,y); x,y=-1..15が全て "available" の場合のみ適用される。それぞれの予測値は以下の式（５０）乃至式（５５）のように生成される。

・・・（５０）

・・・（５１）

・・・（５２）

・・・（５３）

・・・（５４）

・・・（５５）

［色差信号に対するイントラ予測モード］
次に、色差信号に対するイントラ予測モードについて述べる。色差信号に対するイントラ予測モードは、以下の通り、イントラ１６×１６予測モードに順ずる。但し、イントラ１６×１６予測モードが、１６×１６ブロックを対象としているのに対し、色差信号に対するイントラ予測モードは８×８ブロックを対象としている。更に、また、モード番号（mode番号）と、対応するモード（mode）が異なっていることに注意されたい。

色差信号に対する予測モードは、輝度信号に対するモードとは独立に設定することが可能である。

以下では、当該マクロブロック（Macroblock）に含まれる画素値及び隣接画素値の定義については、イントラ１６×１６モード（Intra16x16Mode）の場合に順ずる。それぞれのIntra_chroma_pred_modeにおける予測値の生成は以下の通りである。

Intra_chroma_pred_modeには、図１４に示されるように、モード０乃至モード３の４つのモードがある。

モード０（Mode 0）は、DC Predictionであり、P(x,-1)及びP(-1,y)が "available" である場合、予測値は、以下の式（５６）のように算出される。

・・・（５６）

また、P(-1,y)が "not available" である場合、予測値は、以下の式（５７）のように算出される。

・・・（５７）

また、P(x,-1)が "not available" である場合、予測値は、以下の式（５８）のように算出される。

・・・（５８）

モード１（Mode 1）は、Horizontal Predictionであり、P(-1,y) が "available" の場合にのみ適用される。予測値は、以下の式（５９）のように生成される。

・・・（５９）

モード２（Mode 2）は、Vertical Predictionであり、P(x,-1) が "available" の場合にのみ適用される。予測値は、以下の式（６０）のように生成される。

・・・（６０）

モード３（Mode 3）は、Plane Predictionであり、P(x,-1)及びP(-1,y) が "available" の場合にのみ適用される。予測値は、以下の式（６１）乃至式（６６）のように生成される。

・・・（６１）

・・・（６２）

・・・（６３）

・・・（６４）

・・・（６５）

・・・（６６）

［コスト関数］
ところで、ＡＶＣ符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。

かかる選択方式の例として、http://iphome.hhi.de/suehring/tml/index.htm において公開されている、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエアに実装されている方法を挙げることが出来る。

JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。

High Complexity Modeにおけるコスト関数は、以下の式（６７）のようになる。

Cost(Mode ) = D + λ＊R ・・・（６７）

ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードModeで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードModeで符号化した場合の総符号量である。

つまり、High Complexity Modeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モードModeにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。

Low Complexity Modeにおけるコスト関数は、以下の式（６８）のようになる。

Cost(Mode ) = D + QP2Quant(QP) ＊ HeaderBit ・・・（６８）

ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP) は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。

すなわち、Low Complexity Modeにおいては、それぞれの候補モードModeに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。

ところで、4000×2000画素といった、より高解像度の画像においては、マクロブロックの大きさを、３２×３２画素、６４×６４画素といったように、拡張された大きさのマクロブロックを用いた符号化処理を行うことで、符号化効率を向上させることが可能である。非特許文献１においては、かかる方式を、イントラスライスに適用した例が提案されている。

ところで、現在、AVCより更なる符号化効率の向上を目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。2010年9月現在、Draftとして、"Test Model under Consideration",JCTVC-B205（以下において、非特許文献２と称する）が発行されている。

［コーディングユニット］
以下では、まず、HEVC符号化方式において定められている、コーディングユニット（Coding Unit）について説明する。

Coding Unit（CU）は、Coding Tree Block（CTB）とも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

特に、最大の大きさを持つCUを、LCU（Largest Coding Unit）と呼び、また、最小の大きさを持つCUをSCU（Smallest Coding Unit）と称する。例えば画像圧縮情報に含まれるシーケンスパラメータセットにおいて、これらの領域のサイズが指定されることになるが、それぞれ、正方形で、２の冪乗で表される大きさに限定される。

図１５に、HEVCで定義されているコーディングユニット（Coding Unit）の例を示す。図１５の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。

更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。

［HEVCイントラ予測方式］
次に、HEVCにおいて定められているイントラ予測方式について説明する。

HEVCにおいては、イントラ予測のためのPUの単位は、４×４、８×８、１６×１６、３２×３２若しくは６４×６４である。

４×４の大きさに関しては、AVCと同様のイントラ予測処理が行われる。

８×８の大きさに関しては、後述する、Angular Predictionと呼ばれる方式に基づいてイントラ予測処理が行われる。

１６×１６及び３２×３２及び６４×６４の大きさに関しては、後述するArbitrary Directional Intra（ADI）と呼ばれる方式に基づいて、イントラ予測処理が行われる。

更に、イントラ予測を行うに先立ち、符号化効率を向上させる場合には、係数（1,2,1）によるローパスフィルタ処理が、周辺画素値に施される。施す・施さないに関する情報が、それぞれのPU毎に、画像圧縮情報中に伝送されることになる。

以下では、HEVC符号化方式において規定されている、Angular Predictionイントラ予測方式について述べる。

［Angular Predictionイントラ予測方式］
図１６に、Angular Predictionイントラ予測方式を説明するための図を示す。

すなわち、Angular Predictionにおいては、図１６Ａに示されるような角度のイントラ予測処理を行うことが可能である。

また、図１６Ａのような角度のイントラ予測を行うためには、図１６Ｂに示されるように、周辺画素の間の画素値を用いる必要が生じるが、このため、Angular Predictionにおいては、１／８画素精度の線形内挿処理を行うことが可能となっている。

［Arbitrary Directional Intra（ADI）イントラ予測方式］
次に、HEVC符号化方式において規定されている、Arbitrary Directional Intra（ADI）イントラ予測方式について述べる。

図１７に、Arbitrary Directional Intra（ADI）イントラ予測方式を説明するための図を示す。

Arbitrary Directional Intra（ADI）イントラ予測方式においては、図１７Ａに示されるように、左下に位置する隣接画素値も用いられる。

AVC符号化方式の場合と同様に、Vertical，Horizontal，DC，Diagonal Down-Left，Diagonal Down-Right，Vertical-Right，Horizontal-Down，Vertical-Left、およびHorizontal-Upの各予測モードが定義されているが、その他のモードに関しては、図１７Ｂに示されるように、（dx,dy）を符号化情報として画像圧縮情報中に伝送される。

［画像符号化装置］
図１８は、本発明を適用した画像符号化装置の主な構成例を示すブロック図である。

図１８に示される画像符号化装置３００は、図１の画像符号化装置１００と基本的に同様の装置であり、画像符号化装置１００と同様の構成を有する。ただし、画像符号化装置３００は、画像符号化装置１００の構成に加え、MPM生成部３０１を有する。

MPM生成部３０１は、イントラ予測の際に、MostProbableModeの生成（当該PUの予測方向の予測）を行う。

［動作原理］
図１９は、当該PUと隣接PUとのサイズの関係の例を説明する図である。図１９に示されるように、当該PU（処理対象PU）の大きさは、６４×６４である。また、当該PUの上辺に隣接する上部の隣接PUの大きさは、４×４である。さらに、当該PUの左辺に隣接する左部の隣接PUの大きさは、当該PUと同じ、６４×６４である。

この場合、当該PUと、左部の隣接PUについては、その大きさが互いに同一であるので、互いに同一のテクスチャエリアに属していると考えられるが、上部の隣接PUは、当該PUとは異なるテクスチャエリアに属していると考えられる。

しかしながら、AVCと同様のMostProbableModeに基づく符号化処理を行うと、異なるテクスチャエリアに属するブロックに関するイントラ予測モード情報も、MostProbableModeを生成するために用いられてしまうため、符号化効率が低下してしまう恐れがあった。

特に、AVC符号化方式においては、イントラ予測ブロックとしては、４×４と８×８の２種類しかなかったのに対し、HEVC符号化方式においては、４×４乃至６４×６４（若しくはそれ以上）のサイズのPUが存在するため、このように、相関のないイントラ予測モードを用いることに伴う符号化効率の低下が、より顕著なものになってしまう恐れがあった。

そこで、本発明においては、以下に述べるとおり、MostProbableModeのように、当該PUと、隣接PUの、予測モードによる相関を利用して符号化するにあたり、PUのサイズをも考慮したMostProbableMoeの生成（当該PUの予測方向の予測）を行う。

すなわち、当該PUと、上部および左部の隣接PUの大きさが、全て同一の場合には、AVC符号化方式と同様の、MostProbableModeによるイントラ予測モードの符号化処理が行われるようにする。

また、上部の隣接PUが当該PUと同じ大きさであるが、左部の隣接PUが当該PUと異なるサイズである場合、上部の隣接PUをMostProbableModeであるとして（上部の隣接PUの予測方向を、当該PUの予測方向の予測値として）イントラ予測モードの符号化処理が行われるようにする。逆に、左部の隣接PUが当該PUと同じ大きさであるが、上部の隣接PUが当該PUと異なるサイズである場合、左部の隣接PUをMostProbableModeであるとして（左部の隣接PUの予測方向を、当該PUの予測方向の予測値として）イントラ予測モードの符号化処理が行われるようにする。

さらに、上部、左部、どちらの隣接PUの大きさも、当該PUと異なる大きさである場合、MostProbableModeを用いずに（当該PUの予測方向の予測を行わずに）当該PUのイントラ予測モードの符号化が行われるようにする。

［イントラ予測部およびMPM生成部］
図２０は、図１８のイントラ予測部１１４およびMPM生成部３０１の主な構成例を示すブロック図である。

図２０に示されるように、イントラ予測部１１４は、候補予測画像生成部３１１、コスト関数値算出部３１２、予測モード判定部３１３、PUサイズ判定部３１４、予測画像生成部３１５、およびモード・PUサイズバッファ３１６を有する。

候補予測画像生成部３１１は、フレームメモリ１１２から周辺画素値を取得し、当該PUの、全てのPUサイズの、候補となる全ての予測モード（全ての候補予測モード）に対する予測画像画素値を生成する。候補予測画像生成部３１１は、生成した予測画像画素値をコスト関数値算出部３１２に供給する。

コスト関数値算出部３１２は、候補予測画像生成部３１１から当該PUの予測画像画素値を取得するとともに、画面並べ替えバッファ１０２から当該PUの入力画像画素値を取得する。さらに、コスト関数値算出部３１２は、当該PUの大きさを示す当該PUサイズをMPM生成部３０１に供給してMostProbableModeを生成させ、それを取得する。コスト関数値算出部３１２は、これらの情報を用いて、当該PUの、全てのPUサイズの、全ての候補予測モードに関するコスト関数値の算出を行う。コスト関数値算出部３１２は、算出した全てのコスト関数値を予測モード判定部３１３に供給する。また、コスト関数値算出部３１２は、MPM生成部３０１より取得したMostProbableModeを予測モード判定部３１３に供給する。

予測モード判定部３１３は、コスト関数値算出部３１２から取得したコスト関数値に基づいて、PUサイズ毎に最適な予測モードを決定する。例えば予測モード判定部３１３は、コスト関数値算出部３１２から取得したコスト関数値群のうち、最も値の小さいものをPUサイズ毎に選択し、そのコスト関数値に対応する予測モードを当該PUの最適な予測モード（最適モード）と判定する。

また、予測モード判定部３１３は、コスト関数値算出部３１２から取得したMostProbableModeを用いて、当該PUの最適モードがMostProbableModeと一致するか否かを判定し、予測モードフラグを生成する。

予測モードフラグは、当該PUの最適モードがMostProbableModeと一致するか否か（算出した予測方向が、予測した予測方向と異なるか否か）を示すフラグ情報である。予測モードフラグは、例えば、１ビットのフラグ情報であり、最適モードがMostProbableModeと一致することを値「１」で示し、最適モードがMostProbableModeと一致しないことを値「０」で示す。もちろん、予測モードフラグは、最適モードがMostProbableModeと一致するか否かを示すことができればよく、そのフォーマットは任意である。例えば、どのような値でどのような状態を示すようにしてもよい。また、ビット数も任意である。さらに、例えば、他の状態も表すことができるようにしてもよい。

予測モード判定部３１３は、以上のように決定した各PUサイズの最適モードのコスト関数値と、以上のように生成した各PUサイズの予測モードフラグをPUサイズ判定部３１４に供給する。

PUサイズ判定部３１４は、予測モード判定部３１３から各PUサイズの最適モードのコスト関数値を取得し、それらのコスト関数値を用いて、最適なPUサイズ（最適PUサイズ）を判定する。その判定結果に基づいて、PUサイズ判定部３１４は、最適PUサイズと判定されたPUサイズの最適モードを示す情報（最適PUサイズ最適モード）、並びに、最適PUサイズと判定されたPUサイズの予測モードフラグを予測画像生成部３１５に供給する。

予測画像生成部３１５は、PUサイズ判定部３１４から最適PUサイズ最適モードおよび予測モードフラグを取得する。また、予測画像生成部３１５は、フレームメモリ１１２から周辺画素値を取得する。

予測画像生成部３１５は、PUサイズ判定部３１４から取得した最適PUサイズ最適モードにより示されるPUサイズおよび予測モードで、フレームメモリ１１２から取得した周辺画素値から、予測画像画素値を生成する。予測画像生成部３１５は、生成した予測画像画素値を選択部１１６に供給する。

また、予測画像生成部３１５は、その最適PUサイズ最適モードを当該PUサイズの予測モードを示す情報（当該PUサイズ予測モード）として可逆符号化部１０６に供給する。さらに、予測画像生成部３１５は、PUサイズ判定部３１４から取得した当該PUの最適PUサイズの予測モードフラグを可逆符号化部１０６に供給する。

より具体的に説明すると、当該PUの最適モードがMostProbableModeと一致しない場合、予測画像生成部３１５は、当該PUの最適サイズ最適モードと、予測モードフラグを可逆符号化部１０６に供給する。これに対して、例えば、当該PUの最適モードがMostProbableModeと一致する場合、予測画像生成部３１５は、当該PUの最適モードの供給を省略し、当該PUの最適PUサイズと、予測モードフラグのみを可逆符号化部１０６に供給する。

さらに、予測画像生成部３１５は、当該PUサイズ予測モードをモード・PUサイズバッファ３１６にも供給し、保持させる。

モード・PUサイズバッファ３１６は、例えばハードディスク、フラッシュメモリ、若しくはRAM（Random Access Memory）等の任意の記憶媒体を有し、予測画像生成部３１５から当該PUサイズ予測モードを取得し、それを記憶する。モード・PUサイズバッファ３１６は、他のPUに対する処理において、その当該PUサイズ予測モードを、既に予測処理が行われた隣接PUのPUサイズおよび予測モードを示す情報（隣接PUサイズ予測モード）として、MPM生成部３０１に供給する。

図２０に示されるように、MPM生成部３０１は、PUサイズ比較部３２１およびMostProbableMode決定部３２２を有する。

PUサイズ比較部３２１は、コスト関数値算出部３１２から、当該PUの大きさを示す当該PUサイズを取得する。また、PUサイズ比較部３２１は、モード・PUサイズバッファ３１６から、上部の隣接PUと左部の隣接PUとについて、PUサイズと予測モードを示す情報（隣接PUサイズ予測モード）を取得する。

PUサイズ比較部３２１は、当該PUと隣接PUとでサイズを比較し、当該PUとサイズが同一な隣接PUを選択し、その予測モードを示す情報（隣接PU予測モード）を、MostProbableMode決定部３２２に供給する。

MostProbableMode決定部３２２は、PUサイズ比較部３２１から供給される隣接PU予測モードが指定する予測モードをMostProbableModeに決定し、そのMostProbableModeをコスト関数値算出部３１２に供給する。

このように、MPM生成部３０１は、PUサイズを考慮してMostProbableModeを生成する。つまり、MPM生成部３０１は、当該PUとサイズが異なる隣接PUを除いてMostProbableModeを生成する。より具体的には、MPM生成部３０１は、上部の隣接PUと左部の隣接PUの内、そのサイズが当該PUと同一である方の予測モードをMostProbableModeとする。

上部の隣接PUと左部の隣接PUの両方とも、そのサイズが当該PUと同一である場合、上述したAVC符号化方式の場合と同様の方法でMostProbableModeを生成する。つまり、上部の隣接PUと左部の隣接PUの予測モードのうち、予測モード番号の小さい方がMostProbableModeとして選択される。

上部の隣接PUと左部の隣接PUの両方とも、そのサイズが当該PUと同一でない場合、MostProbableModeは該当なしとされ、当該PUの予測モードがMostProbableModeを用いずに求められるようになされる。

このようにすることにより、MPM生成部３０１は、より確実に、当該PUと同一のテクスチャエリアにすると考えられる隣接PUの予測モード（当該PUの予測モードと相関が高いと考えられる予測モード）をMostProbableModeとすることができる。したがって、MPM生成部３０１は、当該PUと異なるテクスチャエリアに属するPUの予測モード（当該PUの予測モードと相関が低いと考えられる予測モード）をMostProbableModeとすることによる符号化効率の低減を抑制することができる。

［符号化処理の流れ］
次に、以上のような画像符号化装置３００により実行される各処理の流れについて説明する。最初に、図２１のフローチャートを参照して、符号化処理の流れの例を説明する。

ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。

ステップＳ１０３において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。

差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ１０４において、直交変換部１０４は、ステップＳ１０３の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。

ステップＳ１０５において、量子化部１０５は、ステップＳ１０４の処理により得られた直交変換係数を量子化する。

ステップＳ１０５の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０６において、逆量子化部１０８は、ステップＳ１０５の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１０７において、逆直交変換部１０９は、ステップＳ１０６の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。

ステップＳ１０８において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１０９においてデブロックフィルタ１１１は、ステップＳ１０８の処理により生成された画像を適宜フィルタリングする。これによりブロック歪みが除去される。

ステップＳ１１０において、フレームメモリ１１２は、ステップＳ１０９の処理によりブロック歪みが除去された画像を記憶する。なお、フレームメモリ１１２にはデブロックフィルタ１１１によりフィルタ処理されていない画像も演算部１１０から供給され、記憶される。

ステップＳ１１１において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１２において、動き予測・補償部１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。

ステップＳ１１３において、選択部１１６は、イントラ予測部１１４および動き予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測・補償部１１５により生成された予測画像のいずれか一方を選択する。

また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モード等を示すイントラ予測モード情報を、可逆符号化部１０６に供給する。より具体的には、イントラ予測部１１４は、当該PUの最適モードがMostProbableModeと一致しない場合、当該PUの最適サイズ最適モードと、予測モードフラグをイントラ予測モード情報として可逆符号化部１０６に供給する。これに対して、例えば、当該PUの最適モードがMostProbableModeと一致する場合、イントラ予測部１１４は、当該PUの最適モードの供給を省略し、当該PUの最適PUサイズと、予測モードフラグのみを可逆符号化部１０６に供給する。

最適インター予測モードの予測画像が選択された場合、動き予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報やフラグ情報、参照フレーム情報などがあげられる。

ステップＳ１１４において、可逆符号化部１０６は、ステップＳ１０５の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。

なお、可逆符号化部１０６は、ステップＳ１０５において算出された量子化パラメータを符号化し、符号化データに付加する。また、可逆符号化部１０６は、ステップＳ１１３の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き予測・補償部１１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。

ステップＳ１１５において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。

ステップＳ１１６においてレート制御部１１７は、ステップＳ１１５の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。

ステップＳ１１６の処理が終了すると、符号化処理が終了される。

［イントラ予測処理の流れ］
次に、図２２のフローチャートを参照して、図２１のステップＳ１１１において実行されるイントラ予測処理の流れの例を説明する。

イントラ予測処理が開始されると、候補予測画像生成部３１１は、ステップＳ１３１において、当該PUの、全てのPUサイズの、全ての予測モードに対する予測画像画素値を生成する。

ステップＳ１３２において、MPM生成部３０１は、MostProbableModeを生成する。

ステップＳ１３３において、コスト関数値算出部３１２は、全てのPUサイズの、全ての候補予測モードに関するコスト関数値算出する。

ステップＳ１３４において、予測モード判定部３１３は、各PUサイズにおける、最適な予測モードを選択する。

ステップＳ１３５において、PUサイズ判定部３１４は、最適なPUサイズを選択する。

ステップＳ１３６において、予測画像生成部３１５は、最適なPUサイズ・予測モードに関する情報を可逆符号化部１０６に出力する。この最適な予測モードに関する情報は、予測モードフラグを含む。また、この最適な予測モードに関する情報は、必要に応じて、最適モードと判定された予測モードの値そのものを含む。

ステップＳ１３７において、モード・PUサイズバッファ３１６は、最適なPUサイズ・予測モードに関する情報を記憶する。記憶されるこの最適な予測モードに関する情報は、符号化効率に影響なく、かつ、上述したように再利用されるので、その際に容易に利用することができるように、最適モードと判定された予測モードの値そのものを含むようにするのが望ましい。なお、予測モードフラグは含まれなくてもよい。

ステップＳ１３８において、予測画像生成部３１５は、最適なPUサイズ・予測モードで予測画像画素値を生成する。

ステップＳ１３９において、予測画像生成部３１５は、ステップＳ１３８において生成した予測画像画素値を選択部１１６に出力する。

ステップＳ１３９の処理が終了すると、イントラ予測処理が終了される。

［MostProbableMode生成処理の流れ］
次に、図２３のフローチャートを参照して、MostProbableMode生成処理の流れの例を説明する。

MostProbableMode生成処理が開始されると、ステップＳ１５１において、MPM生成部３０１のPUサイズ比較部３２１は、当該PUと、当該PUの上部および左部の隣接PUとでPUサイズを比較する。

ステップＳ１５２において、PUサイズ比較部３２１は、当該PUのPUサイズが、上部の隣接PUおよび左部の隣接PUの両方のPUサイズと同一であるか否かを判定する。上部の隣接PUおよび左部の隣接PUの両方と、当該PUのPUサイズが同一であると判定された場合、PUサイズ比較部３２１は、処理をステップＳ１５３に進める。

ステップＳ１５３において、MostProbableMode決定部３２２は、上部の隣接PUの予測モード、若しくは、左部の隣接PUの予測モードの内、モード番号が小さい方をMostProbableModeに決定する。

ステップＳ１５３の処理が終了すると、MostProbableMode生成処理が終了され、図２２のステップＳ１３２に処理が戻され、ステップＳ１３３以降の処理が実行される。

図２３のステップＳ１５２において、当該PUのPUサイズが、上部の隣接PUおよび左部の隣接PUの両方ともと同一ではないと判定された場合、PUサイズ比較部３２１は、処理をステップＳ１５４に進める。

ステップＳ１５４において、PUサイズ比較部３２１は、当該PUのPUサイズが、上部の隣接PUのPUサイズと同一であるか否かを判定する。当該PUのPUサイズが、左部の隣接PUと同一でなく、かつ、上部の隣接PUと同一であると判定された場合、PUサイズ比較部３２１は、処理をステップＳ１５５に進める。

ステップＳ１５５において、MostProbableMode決定部３２２は、上部の隣接PUの予測モードをMostProbableModeに決定する。ステップＳ１５５の処理が終了すると、MostProbableMode生成処理が終了され、図２２のステップＳ１３２に処理が戻され、ステップＳ１３３以降の処理が実行される。

図２３のステップＳ１５４において、当該PUのPUサイズが、上部の隣接PUと同一ではないと判定された場合、PUサイズ比較部３２１は、処理をステップＳ１５６に進める。

ステップＳ１５６において、PUサイズ比較部３２１は、当該PUのPUサイズが、左部の隣接PUのPUサイズと同一であるか否かを判定する。当該PUのPUサイズが、上部の隣接PUと同一でなく、かつ、左部の隣接PUと同一であると判定された場合、PUサイズ比較部３２１は、処理をステップＳ１５７に進める。

ステップＳ１５７において、MostProbableMode決定部３２２は、左部の隣接PUの予測モードをMostProbableModeに決定する。ステップＳ１５７の処理が終了すると、MostProbableMode生成処理が終了され、図２２のステップＳ１３２に処理が戻され、ステップＳ１３３以降の処理が実行される。

図２３のステップＳ１５６において、当該PUのPUサイズが、上部および左部の隣接PUのどちらとも同一ではないと判定された場合、PUサイズ比較部３２１は、処理をステップＳ１５８に進める。

ステップＳ１５８において、MostProbableMode決定部３２２は、MostProbableModeを該当なしに決定する。ステップＳ１５８の処理が終了すると、MostProbableMode生成処理が終了され、図２２のステップＳ１３２に処理が戻され、ステップＳ１３３以降の処理が実行される。

以上のような各処理を行うことにより、画像符号化装置３００は、イントラ予測モードにおいて、相関性の低い隣接PUの予測モードをMostProbableModeとすることを抑制することができるので、符号化効率の低減を抑制することができる。

＜２．第２の実施の形態＞
［画像復号装置］
図２４は、本発明を適用した画像復号装置の主な構成例を示すブロック図である。

図２４に示される画像復号装置４００は、画像符号化装置３００に対応する復号装置である。画像符号化装置３００より符号化された符号化データは、所定の伝送路等を介して、画像復号装置４００に伝送され、復号されるものとする。

画像復号装置４００は、図２の画像復号装置２００と基本的に同様の装置であり、画像復号装置２００と同様の構成を有する。ただし、画像復号装置２００は、画像復号装置２００の構成に加え、MPM生成部４０１を有する。

MPM生成部４０１は、イントラ予測部２１１によるイントラ予測に対して、MPM生成部３０１の場合と同様にMostProbableModeの生成を行う。ただし、イントラ予測部２１１は、可逆復号部２０２（画像符号化装置３００）から供給される、イントラ予測に関する情報に従ってイントラ予測を行う。つまり、MPM生成部４０１は、必要な場合のみMostProbableModeの生成を行う。

図２５に、イントラ予測部２１１およびMPM生成部４０１の主な構成例を示す。

図２５に示されるように、イントラ予測部２１１は、予測モード情報バッファ４１１、PUサイズバッファ４１２、隣接情報バッファ４１３、予測モード再構築部４１４、および予測画像生成部４１５を有する。

予測モード情報バッファ４１１は、可逆復号部２０２（画像符号化装置３００）から供給される、当該PUのイントラ予測に関する情報に含まれる予測モードフラグを記憶する。予測モードフラグは、上述したように、当該PUの最適モードがMostProbableModeと一致するか否かを示すフラグ情報である。つまり、予測モードフラグは、当該PUが画像符号化装置３００により符号化される際のイントラ予測において採用されたイントラ予測モード（最適モード）が、その際、当該PUの隣接PUの予測モードから予測されたMostProbableModeと一致するか否かを示すフラグであり、この値は、画像符号化装置３００により決定される。

なお、この予測モードフラグの値が、当該PUの最適モードがMostProbableModeと一致しないことを示す値である場合、可逆復号部２０２（画像符号化装置３００）から、当該PUの最適モードを示す予測モード情報も供給される。その場合、予測モード情報バッファ４１１は、その予測モード情報も記憶する。

予測モード情報バッファ４１１は、所定のタイミングにおいて、若しくは、MPM生成部４０１の要求に応じて、記憶している当該PUの予測モードフラグをMPM生成部４０１に供給する。

また、予測モード情報バッファ４１１は、所定のタイミングにおいて、若しくは、予測モード再構築部４１４の要求に応じて、記憶している当該PUの予測モード情報（当該PUの最適モード）を予測モード再構築部４１４に供給する。

PUサイズバッファ４１２は、可逆復号部２０２（画像符号化装置３００）から供給される、当該ブロックのイントラ予測に関する情報に含まれる、当該PUのサイズを示す当該PUサイズ情報を記憶する。当該PUサイズ情報は、当該PUが画像符号化装置３００により符号化される際のイントラ予測において採用されたPUサイズ（最適サイズ）を示す情報であり、この値は、画像符号化装置３００により決定される。

PUサイズバッファ４１２は、所定のタイミングにおいて、若しくは、MPM生成部４０１の要求に応じて、記憶している当該PUサイズ情報をMPM生成部４０１に供給する。また、PUサイズバッファ４１２は、所定のタイミングにおいて、若しくは、隣接情報バッファ４１３の要求に応じて、記憶している当該PUサイズ情報を隣接情報バッファ４１３に供給する。

隣接情報バッファ４１３は、PUサイズバッファ４１２から供給される各PUのPUサイズ情報（当該PUサイズ情報）を取得し、記憶する。また、隣接情報バッファ４１３は、予測モード再構築部４１４から供給される各PUの予測モード情報（予測モードを示す情報）を記憶する。つまり、隣接情報バッファ４１３は、処理済みの各PUのPUサイズ情報および予測モード情報を蓄積する。

このように蓄積された情報は、他のPUの予測処理に利用される。つまり、隣接情報バッファ４１３は、所定のタイミングにおいて、若しくは、MPM生成部４０１の要求に基づいて、記憶している情報の中から、当該PUの上部および左部に隣接する位置にあるPUのPUサイズ情報および予測モード情報を、隣接PUサイズ情報および隣接PU予測モード情報としてMPM生成部４０１に供給する。

予測モード再構築部４１４は、予測モード情報バッファ４１１から供給される予測モード情報、若しくは、MPM生成部４０１から供給されるMostProbableModeに基づいて、当該PUの予測モード情報を再構築する。

例えば、当該PUの最適モードがMostProbableModeと一致する場合、MPM生成部４０１はMostProbableModeを生成し、それを予測モード再構築部４１４に供給する。この場合、当該PUの予測モードを示す予測モード情報は、画像符号化装置３００から供給されないので、予測モード情報バッファ４１１は、予測モード情報を予測モード再構築部４１４に供給しない。予測モード再構築部４１４は、MPM生成部４０１から供給されるMostProbableModeを当該PUの予測モードとし、予測モード情報を予測画像生成部４１５に供給する。

また、例えば、当該PUの最適モードがMostProbableModeと一致しない場合、MPM生成部４０１はMostProbableModeを生成しない。この場合、当該PUの予測モードを示す予測モード情報が画像符号化装置３００から供給される。予測モード情報バッファ４１１は、その予測モード情報を予測モード再構築部４１４に供給する。予測モード再構築部４１４は、その予測モード情報を当該PUの予測モード情報として予測画像生成部４１５に供給する。

予測画像生成部４１５は、予測モード再構築部４１４から当該PUの予測モード情報を取得すると、フレームメモリ２０９から、その予測モードに対応する（予測に必要な）周辺画素値（当該PU周辺の画素値）を取得する。予測画像生成部４１５は、その周辺画素値を用いて、予測モード再構築部４１４が再構築した予測モードでイントラ予測を行い、予測画像を生成する。予測画像生成部４１５は、生成した予測画像画素値を選択部２１３に供給する。

MPM生成部４０１は、PUサイズ比較部４２１およびMostProbableMode決定部４２２を有する。

PUサイズ比較部４２１は、基本的にPUサイズ比較部３２１と同様の処理を行う。ただし、PUサイズ比較部４２１は、予測モード情報バッファ４１１から予測モードフラグを取得し、その値が、当該PUの最適モードがMostProbableModeと一致することを示す値である場合のみ、PUサイズの比較を行う。

つまり、PUサイズ比較部４２１は、当該PUの最適モードがMostProbableModeと一致する場合、PUサイズバッファ４１２から取得した当該PUサイズ情報と、隣接情報バッファ４１３から取得した隣接PUサイズ情報とを比較することにより、当該PUと、当該PUの上部および左部に隣接する隣接PUとの間で、PUサイズを比較する。

そして、PUサイズ比較部４２１は、隣接情報バッファ４１３から取得した隣接PU予測モード情報の内、当該PUとサイズが一致する隣接PUの予測モード（隣接PU予測モード情報）をMostProbableMode決定部４２２に供給する。

MostProbableMode決定部４２２は、基本的にMostProbableMode決定部３２２と同様の処理を行う。MostProbableMode決定部４２２は、PUサイズ比較部４２１から供給される隣接PU予測モード情報を用いてMostProbableModeを決定し、それを予測モード再構築部４１４に供給する。

つまり、MPM生成部４０１は、MPM生成部３０１の場合と同様に、PUサイズを考慮してMostProbableModeを生成する。つまり、MPM生成部４０１は、当該PUとサイズが異なる隣接PUを除いてMostProbableModeを生成する。より具体的には、MPM生成部４０１は、上部の隣接PUと左部の隣接PUの内、そのサイズが当該PUと同一である方の予測モードをMostProbableModeとする。

上部の隣接PUと左部の隣接PUの両方とも、そのサイズが当該PUと同一である場合、MPM生成部４０１は、上述したAVC符号化方式の場合と同様の方法でMostProbableModeを生成する。つまり、上部の隣接PUと左部の隣接PUの予測モードのうち、予測モード番号の小さい方がMostProbableModeとして選択される。

上部の隣接PUと左部の隣接PUの両方とも、そのサイズが当該PUと同一でない場合、MostProbableModeは該当なしとされ、当該PUの予測モードがMostProbableModeを用いずに求められるようになされる。

このようにすることにより、MPM生成部４０１は、MPM生成部３０１と同様の方法でMostProbableModeを生成することができる。したがって、画像復号装置４００は、符号化効率の低減の抑制を実現することができる。

［復号処理の流れ］
次に、以上のような画像復号装置４００により実行される各処理の流れについて説明する。最初に、図２６のフローチャートを参照して、復号処理の流れの例を説明する。

復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データ（画像符号化装置３００により画像データが符号化されて得られた符号化データ）を復号する。

その際、可逆復号部２０２は、画像データの符号化データ以外にも、その符号化に関する情報の符号化データも復号する。例えば、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、各種フラグや量子化パラメータ等が適宜復号される。

当該PUに対してイントラ予測が行われた場合、予測モードに関する情報はイントラ予測部２１１に供給される。当該PUに対してインター予測が行われた場合、予測モードに関する情報は動き予測・補償部２１２に供給される。

ステップＳ２０３において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を、図１８の量子化部１０５による量子化処理に対応する方法で逆量子化する。ステップＳ２０４において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図１８の直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。これにより図１８の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。

ステップＳ２０５において、演算部２０５は、ステップＳ２０４の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。

ステップＳ２０６において、デブロックフィルタ２０６は、ステップＳ２０５の処理により得られた復号画像を適宜フィルタリングする。これにより適宜復号画像からブロック歪みが除去される。

ステップＳ２０７において、フレームメモリ２０９は、フィルタリングされた復号画像を記憶する。

ステップＳ２０８において、イントラ予測部２１１および動き予測・補償部２１２は、当該PUの予測処理を行い、予測画像を生成する。

ステップＳ２０９において、選択部２１３は、ステップＳ２０８の処理により生成された予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０５の処理により差分情報に加算される。

ステップＳ２１０において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置３００の画面並べ替えバッファ１０２（図１８）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ２１１において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。

［予測処理の流れ］
次に、図２７のフローチャートを参照して、図２６のステップＳ２０８において実行される予測処理の流れの例を説明する。

予測処理が開始されると、可逆復号部２０２は、ステップＳ２３１において、復号した予測モード情報に基づいて、符号化データがイントラ符号化されているか否かを判定する。

イントラ符号化されていると判定された場合、可逆復号部２０２は、処理をステップＳ２３２に進める。ステップＳ２３２において、イントラ予測部２１１およびMPM生成部４０１は、イントラ予測処理を行う。このとき、選択部２１０はイントラ予測部２１１を選択し、フレームメモリ２０９に蓄積されている画像がイントラ予測部２１１に供給されるようにする。

イントラ予測処理を終了すると、画像復号装置４００は、予測処理を終了し、処理を図２６のステップＳ２０８に戻し、ステップＳ２０９以降の処理を実行させる。

また、ステップＳ２３１において、インター符号化されていると判定された場合、可逆復号部２０２は、処理をステップＳ２３３に進める。ステップＳ２３３において、動き予測・補償部２１２は、例えばAVC等と同じように、従来の方法でインター予測処理を行う。このとき、選択部２１０は動き予測・補償部２１２を選択し、フレームメモリ２０９に蓄積されている画像が動き予測・補償部２１２に供給されるようにする。

インター予測処理を終了すると、画像復号装置４００は、予測処理を終了し、処理を図２６のステップＳ２０８に戻し、ステップＳ２０９以降の処理を実行させる。

［イントラ予測処理の流れ］
次に、図２８のフローチャートを参照して、図２７のステップＳ２３２において実行されるイントラ予測処理の流れの例を説明する。

イントラ予測処理が開始されると、MPM生成部４０１は、ステップＳ２５１において、予測モード情報バッファ４１１から、イントラ予測モードに関する情報として予測モードフラグを取得する。ステップＳ２５２において、MPM生成部４０１は、ステップＳ２５１において取得した予測モードフラグの値に基づいて、予測モードがMostProbableModeであるか否か（予測モードがMostProbableModeに一致するか否か）を判定する。予測モードがMostProbableModeである（予測モードがMostProbableModeに一致する）と判定された場合、予測モード情報バッファ４１１は、処理をステップＳ２５３に進める。

ステップＳ２５３において、MPM生成部４０１は、PUサイズバッファ４１２から当該PUサイズ情報を取得する。ステップＳ２５４において、MPM生成部４０１は、隣接情報バッファ４１３から、隣接PUサイズ情報を取得する。

ステップＳ２５５において、MPM生成部４０１は、図２３のフローチャートを参照して説明した方法と同様にして、当該PUと隣接PUとでPUサイズを比較し、その比較結果に応じてMostProbableModeを決定する。MostProbableModeを決定すると、MPM生成部４０１は、処理をステップＳ２５６に進める。

また、ステップＳ２５２において、予測モードがMostProbableModeでない（予測モードがMostProbableModeに一致しない）と判定された場合、予測モード情報バッファ４１１は、処理をステップＳ２５６に進める。

ステップＳ２５６において、予測モード再構築部４１４は、ステップＳ２５５の処理によりMostProbableModeに決定された予測モード、若しくは、予測モード情報バッファ４１１から取得した予測モードを用いて、当該PUのイントラ予測モードを再構築する。つまり、予測モード再構築部４１４は、それらのいずれか一方を当該PUの予測モードに決定する。

ステップＳ２５７において、予測画像生成部４１５は、フレームメモリ２０９から取得した周辺画素値を用いて、ステップＳ２５６において再構築されたイントラ予測モードでイントラ予測画像を生成する。

イントラ予測画像を生成すると、イントラ予測部２１１は、イントラ予測処理を終了し、処理を図２７のステップＳ２３２に戻し、予測処理を終了させる。

このように各処理を実行することにより、画像復号装置４００は、画像符号化装置３００によるイントラ予測に対応する方法でイントラ予測を行うことができ、画像符号化装置３００において生成された符号化データを適切に復号することができる。つまり、画像復号装置４００は、符号化効率の低減の抑制を実現することができる。

本発明の適用範囲は上述した符号化方式（復号方式）に限らず、MostProbableModeを用いてイントラ予測を行うものであればどのような符号化方式（復号方式）にも適用することができる。

また、以上に説明した予測モードフラグ等の情報は、例えば、符号化データの任意の位置に付加されるようにしてもよいし、符号化データとは別に復号側に伝送されるようにしてもよい。例えば、可逆符号化部１０６が、これらの情報を、ビットストリームにシンタックスとして記述するようにしてもよい。また、可逆符号化部１０６が、これらの情報を、補助情報として所定の領域に格納して伝送するようにしてもよい。例えば、これらの情報が、SEI（Suplemental Enhancement Information）等のパラメータセット（例えばシーケンスやピクチャのヘッダ等）に格納されるようにしてもよい。

また、可逆符号化部１０６が、これらの情報を、符号化データとは別に（別のファイルとして）、画像符号化装置３００から画像復号装置４００に伝送させるようにしてもよい。その場合、これらの情報と符号化データとの対応関係を明確にする（復号側で把握することができるようにする）必要があるが、その方法は任意である。例えば、別途、対応関係を示すテーブル情報を作成してもよいし、対応先のデータを示すリンク情報を互いのデータに埋め込むなどしてもよい。

なお、第２の実施の形態においては、MPM生成部４０１が、必要な場合（予測モードがMostProbableModeに一致する場合）のみMostProbableModeの決定を行うように説明したが、これに限らず、MPM生成部４０１が、必要であるか否かに限らず、すなわち、予測モードフラグの値に関わらず、MostProbableModeの決定を行うようにしてもよい。その場合、予測モード再構築部４１４は、MPM生成部４０１から取得するMostProbableMode、若しくは、予測モード情報バッファ４１１から取得する予測モード情報のいずれの予測モードを用いるかを、例えば予測モードフラグの値に基づいて適切に判断する。

また、以上においては、当該PUの上部および左部の隣接PUを、MostProbableModeの決定に用いる隣接PUの候補とするように説明したが、この候補の位置は、当該PU（処理対象のPU）より時間的に前に処理されるPU（処理済みのPU）であれば任意である。例えば、以上においては当該PUに隣接する隣接PUをこの候補とするように説明したが、当該PUと隣接していないPUを、候補とするようにしてもよい。もちろん、当該PUの予測モードとの相関性がより高い予測モードを有する可能性が高いとされる位置のPUを候補とするのが望ましい。また、候補とするPUの数も任意である。

さらに、以上においては、MostProbableModeの決定に、当該PUと同じサイズの隣接PUの予測モードを用いるように説明したが、必ずしも同一である必要は無く、PUサイズについての当該PUとの関係に基づいて、MostProbableModeの決定に用いる予測モード（隣接PU）を選択すればよい。例えば、PUサイズが当該PUと所定の関係にある隣接PUが選択され、その予測モードがMostProbableModeの決定に用いられるようにしてもよい。

この関係は任意であるが、符号化効率の低減を抑制するために、当該PUの予測モードと相関がより高いと考えられる予測モード（隣接PU）が選択されるようにするのが望ましい。本発明においては、この相関を、PUサイズによって推測する。つまり、PUをサイズによってグループ化し、隣接PUと同一のグループに属する隣接PUが、MostProbableModeの決定に用いられるようにしてもよい。

例えば、上述したように、PUサイズが同一である場合のみ同一のグループに属する（PUサイズ毎にグループが異なる）ようにしてもよい。つまり、この場合、当該PUと同一サイズの隣接PUのみが選択され、MostProbableModeの決定に用いられる。

また、例えば、当該PUのサイズを基準とする所定の範囲のPUサイズの隣接PU（当該PUとの大きさの差が所定の範囲内である隣接PU）が、当該PUと同一のグループに属するPUとして選択され、MostProbableModeの決定に用いられるようにしてもよい。

例えば、当該PUのサイズが８×８である場合、PUサイズが８×８の隣接PUだけでなく、PUサイズが４×４の隣接PUや１６×１６の隣接PU（つまり±１階層に属する隣接PU）も選択される（MostProbableModeの決定に用いられる）ようにしてもよい。もちろん、PUサイズが８×８以下の全ての隣接PU（当該PU以下のサイズの隣接PU）が選択されるようにしてもよいし、PUサイズが８×８以上の全ての隣接PU（当該PU以上のサイズの隣接PU）が選択されるようにしてもよい。

このようにすることにより、PUサイズが同一である場合のみ同一のグループに属するとする場合よりも多様な隣接PUを選択することができ、隣接PUがMostProbableModeの決定に用いられる可能性を高くすることができる。

また、各PUサイズを予めグループ分けするようにしてもよい。例えば、第１のグループのPUサイズを、４×４と８×８とし、第２のグループのPUサイズをそれ以外のブロックサイズとし、当該PUが第１のグループに属する場合、第１のグループに属する隣接PU（つまり、PUサイズが４×４若しくは８×８の隣接PU）が選択され、当該PUが第２のグループに属する場合、第２のグループに属する隣接PU（つまり、PUサイズが４×４および８×８以外の隣接PU）が選択されるようにしてもよい。

このようにすることにより、PUサイズが同一である場合のみ同一のグループに属するとする場合よりも多様な隣接PUを選択することができ、隣接PUがMostProbableModeの決定に用いられる可能性を高くすることができる。

以上に説明したように、MostProbableModeの決定に用いる予測モードの相関性を向上させることと、隣接PUが選択される可能性を向上させることはトレードオフの関係にある。つまり、隣接PUの選択条件を厳しくすると、選択された予測モードの相関性は向上するが、選択される可能性は低減する。したがって、選択条件を厳しくし過ぎると、全ての隣接PUが選択されない可能性が高くなる恐れがある。逆に、選択条件を緩くし過ぎると、全ての隣接PUが選択されてしまう可能性が高くなる恐れがある。

したがって、選択条件（グループの定義方法）は、符号化効率が向上するように、適切なレベルに設定するのが望ましい。例えば、学習処理等を用いるなどして、画像の内容に応じて選択条件を設定するようにしてもよい。

＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２９に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２９において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５１２、ハードディスクなどより構成される記憶部５１３、モデムなどより構成される通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどで構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述した画像符号化装置や画像復号装置は、任意の電子機器に適用することができる。以下にその例について説明する。

＜４．第４の実施の形態＞
［テレビジョン受像機］
図３０は、本発明を適用した画像復号装置２００を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図３０に示されるテレビジョン受像機１０００は、地上波チューナ１０１３、ビデオデコーダ１０１５、映像信号処理回路１０１８、グラフィック生成回路１０１９、パネル駆動回路１０２０、および表示パネル１０２１を有する。

地上波チューナ１０１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ１０１５に供給する。ビデオデコーダ１０１５は、地上波チューナ１０１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路１０１８に供給する。

映像信号処理回路１０１８は、ビデオデコーダ１０１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路１０１９に供給する。

グラフィック生成回路１０１９は、表示パネル１０２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路１０２０に供給する。また、グラフィック生成回路１０１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路１０２０に供給するといった処理も適宜行う。

パネル駆動回路１０２０は、グラフィック生成回路１０１９から供給されたデータに基づいて表示パネル１０２１を駆動し、番組の映像や上述した各種の画面を表示パネル１０２１に表示させる。

表示パネル１０２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路１０２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機１０００は、音声A/D（Analog/Digital)変換回路１０１４、音声信号処理回路１０２２、エコーキャンセル／音声合成回路１０２３、音声増幅回路１０２４、およびスピーカ１０２５も有する。

地上波チューナ１０１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ１０１３は、取得した音声信号を音声A/D変換回路１０１４に供給する。

音声A/D変換回路１０１４は、地上波チューナ１０１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路１０２２に供給する。

音声信号処理回路１０２２は、音声A/D変換回路１０１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、音声信号処理回路１０２２から供給された音声データを音声増幅回路１０２４に供給する。

音声増幅回路１０２４は、エコーキャンセル／音声合成回路１０２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ１０２５から出力させる。

さらに、テレビジョン受像機１０００は、デジタルチューナ１０１６およびMPEGデコーダ１０１７も有する。

デジタルチューナ１０１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ１０１７に供給する。

MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ１０１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路１０２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路１０１８に供給する。また、MPEGデコーダ１０１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU１０３２に供給する。

テレビジョン受像機１０００は、このように映像パケットをデコードするMPEGデコーダ１０１７として、上述した画像復号装置２００を用いる。なお、放送局等より送信されるMPEG-TSは、画像符号化装置１００によって符号化されている。

MPEGデコーダ１０１７は、画像復号装置４００の場合と同様に、符号化側から供給されるイントラ予測に関する情報に従ってイントラ予測を行い、必要に応じて、当該PUとのPUサイズの関係に基づいて隣接PUを選択し、その選択した隣接PUの予測モードを用いて、MostProbableModeを生成する。したがって、MPEGデコーダ１０１７は、当該PUの予測モードと相関の高い隣接PUの予測モードを用いてMostProbableModeを生成することができる。これにより、MPEGデコーダ１０１７は、符号化データの符号化効率を向上させることができる。

MPEGデコーダ１０１７から供給された映像データは、ビデオデコーダ１０１５から供給された映像データの場合と同様に、映像信号処理回路１０１８において所定の処理が施され、グラフィック生成回路１０１９において、生成された映像データ等が適宜重畳され、パネル駆動回路１０２０を介して表示パネル１０２１に供給され、その画像が表示される。

MPEGデコーダ１０１７から供給された音声データは、音声A/D変換回路１０１４から供給された音声データの場合と同様に、音声信号処理回路１０２２において所定の処理が施され、エコーキャンセル／音声合成回路１０２３を介して音声増幅回路１０２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ１０２５から出力される。

また、テレビジョン受像機１０００は、マイクロホン１０２６、およびA/D変換回路１０２７も有する。

A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、テレビジョン受像機１０００のユーザ（ユーザＡ）の音声のデータがA/D変換回路１０２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

さらに、テレビジョン受像機１０００は、音声コーデック１０２８、内部バス１０２９、SDRAM（Synchronous Dynamic Random Access Memory)１０３０、フラッシュメモリ１０３１、CPU１０３２、USB（Universal Serial Bus) I/F１０３３、およびネットワークI/F１０３４も有する。

A/D変換回路１０２７は、音声会話用のものとしてテレビジョン受像機１０００に設けられるマイクロホン１０２６により取り込まれたユーザの音声の信号を受信し、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック１０２８に供給する。

音声コーデック１０２８は、A/D変換回路１０２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス１０２９を介してネットワークI/F１０３４に供給する。

ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F１０３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック１０２８から供給された音声データを送信する。また、ネットワークI/F１０３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子１０３５を介して受信し、それを、内部バス１０２９を介して音声コーデック１０２８に供給する。

音声コーデック１０２８は、ネットワークI/F１０３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路１０２３に供給する。

エコーキャンセル／音声合成回路１０２３は、音声コーデック１０２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路１０２４を介してスピーカ１０２５より出力させる。

SDRAM１０３０は、CPU１０３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ１０３１は、CPU１０３２により実行されるプログラムを記憶する。フラッシュメモリ１０３１に記憶されているプログラムは、テレビジョン受像機１０００の起動時などの所定のタイミングでCPU１０３２により読み出される。フラッシュメモリ１０３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ１０３１には、CPU１０３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ１０３１は、例えばCPU１０３２の制御により、そのMPEG-TSを、内部バス１０２９を介してMPEGデコーダ１０１７に供給する。

MPEGデコーダ１０１７は、デジタルチューナ１０１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機１０００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ１０１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機１０００は、リモートコントローラ１０５１から送信される赤外線信号を受光する受光部１０３７も有する。

受光部１０３７は、リモートコントローラ１０５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU１０３２に出力する。

CPU１０３２は、フラッシュメモリ１０３１に記憶されているプログラムを実行し、受光部１０３７から供給される制御コードなどに応じてテレビジョン受像機１０００の全体の動作を制御する。CPU１０３２とテレビジョン受像機１０００の各部は、図示せぬ経路を介して接続されている。

USB I/F１０３３は、USB端子１０３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機１０００の外部の機器との間でデータの送受信を行う。ネットワークI/F１０３４は、ネットワーク端子１０３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機１０００は、MPEGデコーダ１０１７として画像復号装置４００を用いることにより、アンテナを介して受信する放送波信号や、ネットワークを介して取得するコンテンツデータの符号化効率を向上させることができる。

＜５．第５の実施の形態＞
［携帯電話機］
図３１は、本発明を適用した画像符号化装置３００および画像復号装置４００を用いる携帯電話機の主な構成例を示すブロック図である。

図３１に示される携帯電話機１１００は、各部を統括的に制御するようになされた主制御部１１５０、電源回路部１１５１、操作入力制御部１１５２、画像エンコーダ１１５３、カメラI/F部１１５４、LCD制御部１１５５、画像デコーダ１１５６、多重分離部１１５７、記録再生部１１６２、変復調回路部１１５８、および音声コーデック１１５９を有する。これらは、バス１１６０を介して互いに接続されている。

また、携帯電話機１１００は、操作キー１１１９、CCD（Charge Coupled Devices）カメラ１１１６、液晶ディスプレイ１１１８、記憶部１１２３、送受信回路部１１６３、アンテナ１１１４、マイクロホン（マイク）１１２１、およびスピーカ１１１７を有する。

電源回路部１１５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機１１００を動作可能な状態に起動する。

携帯電話機１１００は、CPU、ROMおよびRAM等でなる主制御部１１５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機１１００は、マイクロホン（マイク）１１２１で集音した音声信号を、音声コーデック１１５９によってデジタル音声データに変換し、これを変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機１１００は、アンテナ１１１４で受信した受信信号を送受信回路部１１６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部１１５８でスペクトラム逆拡散処理し、音声コーデック１１５９によってアナログ音声信号に変換する。携帯電話機１１００は、その変換して得られたアナログ音声信号をスピーカ１１１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機１１００は、操作キー１１１９の操作によって入力された電子メールのテキストデータを、操作入力制御部１１５２において受け付ける。携帯電話機１１００は、そのテキストデータを主制御部１１５０において処理し、LCD制御部１１５５を介して、画像として液晶ディスプレイ１１１８に表示させる。

また、携帯電話機１１００は、主制御部１１５０において、操作入力制御部１１５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機１１００は、その電子メールデータを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機１１００は、復元された電子メールデータを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示する。

なお、携帯電話機１１００は、受信した電子メールデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

この記憶部１１２３は、書き換え可能な任意の記憶媒体である。記憶部１１２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機１１００は、撮像によりCCDカメラ１１１６で画像データを生成する。CCDカメラ１１１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。CCDカメラ１１１６は、その画像データを、カメラI/F部１１５４を介して、画像エンコーダ１１５３で符号化し、符号化画像データに変換する。

携帯電話機１１００は、このような処理を行う画像エンコーダ１１５３として、上述した画像符号化装置３００を用いる。画像エンコーダ１１５３は、画像符号化装置３００の場合と同様に、イントラ予測において、当該PUとのPUサイズの関係に基づいて隣接PUを選択し、その選択した隣接PUの予測モードを用いて、MostProbableModeを生成する。つまり、画像エンコーダ１１５３は、イントラ予測の際、当該PUの予測モードと相関の高い隣接PUの予測モードを用いてMostProbableModeを生成することができる。これにより、画像エンコーダ１１５３は、符号化データの符号化効率を向上させることができる。

なお、携帯電話機１１００は、このとき同時に、CCDカメラ１１１６で撮像中にマイクロホン（マイク）１１２１で集音した音声を、音声コーデック１１５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機１１００は、多重分離部１１５７において、画像エンコーダ１１５３から供給された符号化画像データと、音声コーデック１１５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機１１００は、その結果得られる多重化データを、変復調回路部１１５８でスペクトラム拡散処理し、送受信回路部１１６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機１１００は、その変換処理により得られた送信用信号を、アンテナ１１１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機１１００は、CCDカメラ１１１６で生成した画像データを、画像エンコーダ１１５３を介さずに、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機１１００は、基地局から送信された信号を、アンテナ１１１４を介して送受信回路部１１６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機１１００は、その受信信号を変復調回路部１１５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機１１００は、多重分離部１１５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機１１００は、画像デコーダ１１５６において符号化画像データをデコードすることにより、再生動画像データを生成し、これを、LCD制御部１１５５を介して液晶ディスプレイ１１１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ１１１８に表示される。

携帯電話機１１００は、このような処理を行う画像デコーダ１１５６として、上述した画像復号装置４００を用いる。つまり、画像デコーダ１１５６は、画像復号装置４００の場合と同様に、符号化側から供給されるイントラ予測に関する情報に従ってイントラ予測を行い、必要に応じて、当該PUとのPUサイズの関係に基づいて隣接PUを選択し、その選択した隣接PUの予測モードを用いて、MostProbableModeを生成する。したがって、画像デコーダ１１５６は、当該PUの予測モードと相関の高い隣接PUの予測モードを用いてMostProbableModeを生成することができる。これにより、画像デコーダ１１５６は、符号化データの符号化効率を向上させることができる。

このとき、携帯電話機１１００は、同時に、音声コーデック１１５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ１１１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機１１００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部１１６２を介して、記憶部１１２３に記録する（記憶させる）ことも可能である。

また、携帯電話機１１００は、主制御部１１５０において、撮像されてCCDカメラ１１１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機１１００は、赤外線通信部１１８１で赤外線により外部の機器と通信することができる。

携帯電話機１１００は、画像エンコーダ１１５３として画像符号化装置３００を用いることにより、例えばCCDカメラ１１１６において生成された画像データを符号化して伝送する際に、その符号化データの符号化効率を向上させることができる。

また、携帯電話機１１００は、画像デコーダ１１５６として画像復号装置４００を用いることにより、例えば、簡易ホームページ等にリンクされた動画像ファイルのデータ（符号化データ）の符号化効率を向上させることができる。

なお、以上において、携帯電話機１１００が、CCDカメラ１１１６を用いるように説明したが、このCCDカメラ１１１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機１１００は、CCDカメラ１１１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機１１００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機１１００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機１１００の場合と同様に、本発明を適用した画像符号化装置および画像復号装置を適用することができる。

＜６．第６の実施の形態＞
［ハードディスクレコーダ］
図３２は、本発明を適用した画像符号化装置および画像復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図３２に示されるハードディスクレコーダ（HDDレコーダ）１２００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ１２００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ１２００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ１２００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることができる。また、ハードディスクレコーダ１２００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ１２６０に供給し、モニタ１２６０の画面にその画像を表示させ、モニタ１２６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図３２に示されるように、ハードディスクレコーダ１２００は、受信部１２２１、復調部１２２２、デマルチプレクサ１２２３、オーディオデコーダ１２２４、ビデオデコーダ１２２５、およびレコーダ制御部１２２６を有する。ハードディスクレコーダ１２００は、さらに、EPGデータメモリ１２２７、プログラムメモリ１２２８、ワークメモリ１２２９、ディスプレイコンバータ１２３０、OSD（On Screen Display）制御部１２３１、ディスプレイ制御部１２３２、記録再生部１２３３、D/Aコンバータ１２３４、および通信部１２３５を有する。

また、ディスプレイコンバータ１２３０は、ビデオエンコーダ１２４１を有する。記録再生部１２３３は、エンコーダ１２５１およびデコーダ１２５２を有する。

受信部１２２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部１２２６に出力する。レコーダ制御部１２２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ１２２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部１２２６は、このとき、ワークメモリ１２２９を必要に応じて使用する。

通信部１２３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部１２３５は、レコーダ制御部１２２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部１２２２は、チューナより供給された信号を、復調し、デマルチプレクサ１２２３に出力する。デマルチプレクサ１２２３は、復調部１２２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ１２２４、ビデオデコーダ１２２５、またはレコーダ制御部１２２６に出力する。

オーディオデコーダ１２２４は、入力されたオーディオデータをデコードし、記録再生部１２３３に出力する。ビデオデコーダ１２２５は、入力されたビデオデータをデコードし、ディスプレイコンバータ１２３０に出力する。レコーダ制御部１２２６は、入力されたEPGデータをEPGデータメモリ１２２７に供給し、記憶させる。

ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されたビデオデータを、ビデオエンコーダ１２４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部１２３３に出力する。また、ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５またはレコーダ制御部１２２６より供給されるビデオデータの画面のサイズを、モニタ１２６０のサイズに対応するサイズに変換し、ビデオエンコーダ１２４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部１２３２に出力する。

ディスプレイ制御部１２３２は、レコーダ制御部１２２６の制御のもと、OSD（On Screen Display）制御部１２３１が出力したOSD信号を、ディスプレイコンバータ１２３０より入力されたビデオ信号に重畳し、モニタ１２６０のディスプレイに出力し、表示させる。

モニタ１２６０にはまた、オーディオデコーダ１２２４が出力したオーディオデータが、D/Aコンバータ１２３４によりアナログ信号に変換されて供給されている。モニタ１２６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部１２３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部１２３３は、例えば、オーディオデコーダ１２２４より供給されるオーディオデータを、エンコーダ１２５１によりエンコードする。また、記録再生部１２３３は、ディスプレイコンバータ１２３０のビデオエンコーダ１２４１より供給されるビデオデータを、エンコーダ１２５１によりエンコードする。記録再生部１２３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部１２３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部１２３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部１２３３は、デコーダ１２５２によりオーディオデータおよびビデオデータをデコードする。記録再生部１２３３は、復号したオーディオデータをD/A変換し、モニタ１２６０のスピーカに出力する。また、記録再生部１２３３は、復号したビデオデータをD/A変換し、モニタ１２６０のディスプレイに出力する。

レコーダ制御部１２２６は、受信部１２２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ１２２７から最新のEPGデータを読み出し、それをOSD制御部１２３１に供給する。OSD制御部１２３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部１２３２に出力する。ディスプレイ制御部１２３２は、OSD制御部１２３１より入力されたビデオデータをモニタ１２６０のディスプレイに出力し、表示させる。これにより、モニタ１２６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ１２００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部１２３５は、レコーダ制御部１２２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部１２２６に供給する。レコーダ制御部１２２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部１２３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部１２２６および記録再生部１２３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部１２２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ１２３０に供給する。ディスプレイコンバータ１２３０は、ビデオデコーダ１２２５から供給されるビデオデータと同様に、レコーダ制御部１２２６から供給されるビデオデータを処理し、ディスプレイ制御部１２３２を介してモニタ１２６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部１２２６が、復号したオーディオデータを、D/Aコンバータ１２３４を介してモニタ１２６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部１２２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ１２２７に供給する。

以上のようなハードディスクレコーダ１２００は、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダとして画像復号装置４００を用いる。つまり、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、画像復号装置４００の場合と同様に、符号化側から供給されるイントラ予測に関する情報に従ってイントラ予測を行い、必要に応じて、当該PUとのPUサイズの関係に基づいて隣接PUを選択し、その選択した隣接PUの予測モードを用いて、MostProbableModeを生成する。したがって、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、当該PUの予測モードと相関の高い隣接PUの予測モードを用いてMostProbableModeを生成することができる。これにより、ビデオデコーダ１２２５、デコーダ１２５２、およびレコーダ制御部１２２６に内蔵されるデコーダは、符号化データの符号化効率を向上させることができる。

したがって、ハードディスクレコーダ１２００は、例えば、チューナや通信部１２３５が受信するビデオデータ（符号化データ）や、記録再生部１２３３が再生するビデオデータ（符号化データ）の符号化効率を向上させることができる。

また、ハードディスクレコーダ１２００は、エンコーダ１２５１として画像符号化装置３００を用いる。したがって、エンコーダ１２５１は、画像符号化装置３００の場合と同様に、イントラ予測において、当該PUとのPUサイズの関係に基づいて隣接PUを選択し、その選択した隣接PUの予測モードを用いて、MostProbableModeを生成する。つまり、エンコーダ１２５１は、イントラ予測の際、当該PUの予測モードと相関の高い隣接PUの予測モードを用いてMostProbableModeを生成することができる。これにより、エンコーダ１２５１は、符号化データの符号化効率を向上させることができる。

したがって、ハードディスクレコーダ１２００は、例えば、ハードディスクに記録する符号化データの符号化効率を向上させることができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ１２００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ１２００の場合と同様に、本発明を適用した画像符号化装置３００および画像復号装置４００を適用することができる。

＜７．第７の実施の形態＞
［カメラ］
図３３は、本発明を適用した画像符号化装置および画像復号装置を用いるカメラの主な構成例を示すブロック図である。

図３３に示されるカメラ１３００は、被写体を撮像し、被写体の画像をLCD１３１６に表示させたり、それを画像データとして、記録メディア１３３３に記録したりする。

レンズブロック１３１１は、光（すなわち、被写体の映像）を、CCD/CMOS１３１２に入射させる。CCD/CMOS１３１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部１３１３に供給する。

カメラ信号処理部１３１３は、CCD/CMOS１３１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部１３１４に供給する。画像信号処理部１３１４は、コントローラ１３２１の制御の下、カメラ信号処理部１３１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ１３４１で符号化したりする。画像信号処理部１３１４は、画像信号を符号化して生成した符号化データを、デコーダ１３１５に供給する。さらに、画像信号処理部１３１４は、オンスクリーンディスプレイ（OSD）１３２０において生成された表示用データを取得し、それをデコーダ１３１５に供給する。

以上の処理において、カメラ信号処理部１３１３は、バス１３１７を介して接続されるDRAM（Dynamic Random Access Memory）１３１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM１３１８に保持させる。

デコーダ１３１５は、画像信号処理部１３１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD１３１６に供給する。また、デコーダ１３１５は、画像信号処理部１３１４から供給された表示用データをLCD１３１６に供給する。LCD１３１６は、デコーダ１３１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ１３２０は、コントローラ１３２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス１３１７を介して画像信号処理部１３１４に出力する。

コントローラ１３２１は、ユーザが操作部１３２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス１３１７を介して、画像信号処理部１３１４、DRAM１３１８、外部インタフェース１３１９、オンスクリーンディスプレイ１３２０、およびメディアドライブ１３２３等を制御する。FLASH ROM１３２４には、コントローラ１３２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５に代わって、DRAM１３１８に記憶されている画像データを符号化したり、DRAM１３１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ１３２１は、画像信号処理部１３１４やデコーダ１３１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部１３１４やデコーダ１３１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部１３２２から画像印刷の開始が指示された場合、コントローラ１３２１は、DRAM１３１８から画像データを読み出し、それを、バス１３１７を介して外部インタフェース１３１９に接続されるプリンタ１３３４に供給して印刷させる。

さらに、例えば、操作部１３２２から画像記録が指示された場合、コントローラ１３２１は、DRAM１３１８から符号化データを読み出し、それを、バス１３１７を介してメディアドライブ１３２３に装着される記録メディア１３３３に供給して記憶させる。

記録メディア１３３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア１３３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ１３２３と記録メディア１３３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース１３１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ１３３４と接続される。また、外部インタフェース１３１９には、必要に応じてドライブ１３３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア１３３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM１３２４にインストールされる。

さらに、外部インタフェース１３１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ１３２１は、例えば、操作部１３２２からの指示に従って、DRAM１３１８から符号化データを読み出し、それを外部インタフェース１３１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ１３２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース１３１９を介して取得し、それをDRAM１３１８に保持させたり、画像信号処理部１３１４に供給したりすることができる。

以上のようなカメラ１３００は、デコーダ１３１５として画像復号装置４００を用いる。つまり、デコーダ１３１５は、画像復号装置４００の場合と同様に、符号化側から供給されるイントラ予測に関する情報に従ってイントラ予測を行い、必要に応じて、当該PUとのPUサイズの関係に基づいて隣接PUを選択し、その選択した隣接PUの予測モードを用いて、MostProbableModeを生成する。したがって、デコーダ１３１５は、当該PUの予測モードと相関の高い隣接PUの予測モードを用いてMostProbableModeを生成することができる。これにより、デコーダ１３１５は、符号化データの符号化効率を向上させることができる。

したがって、カメラ１３００は、例えば、CCD/CMOS１３１２において生成される画像データや、DRAM１３１８または記録メディア１３３３から読み出すビデオデータの符号化データや、ネットワークを介して取得するビデオデータの符号化データの符号化効率を向上させることができる。

また、カメラ１３００は、エンコーダ１３４１として画像符号化装置３００を用いる。エンコーダ１３４１は、画像符号化装置３００の場合と同様に、イントラ予測において、当該PUとのPUサイズの関係に基づいて隣接PUを選択し、その選択した隣接PUの予測モードを用いて、MostProbableModeを生成する。つまり、エンコーダ１３４１は、イントラ予測の際、当該PUの予測モードと相関の高い隣接PUの予測モードを用いてMostProbableModeを生成することができる。これにより、エンコーダ１３４１は、符号化データの符号化効率を向上させることができる。

したがって、カメラ１３００は、例えば、DRAM１３１８や記録メディア１３３３に記録する符号化データや、他の装置に提供する符号化データの符号化効率を向上させることができる。

なお、コントローラ１３２１が行う復号処理に画像復号装置２００の復号方法を適用するようにしてもよい。同様に、コントローラ１３２１が行う符号化処理に画像符号化装置１００の符号化方法を適用するようにしてもよい。

また、カメラ１３００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

なお、動画像を撮像するカメラ１３００が、ユーザ操作に従って、撮像を一度終了し、再度撮像を開始する場合、撮像を終了した際の最後のフレームにおける集計結果（予測モードの出現頻度）を保存し、次に撮像を再開したときの最初のフレーム（スライス）に対して、その保存された最後の集計結果（予測モードの出現頻度）を用いて適応的に設定されたコード番号の割り当てを行うようにしてもよい。

カメラ１３００の場合、ユーザが、撮像の開始や停止を頻繁に繰り返す場合が考えられるが、短時間のうちにこのような処理を繰り返す場合、連続して撮像を続ける場合との差が少なく、前回の撮像の最後のフレームと、次の撮像の最初のフレームとの絵柄の類似度が高くなる可能性が高い。例えば、ユーザがカメラ１３００を使ってある被写体を撮像し、その撮像を終了した後、再度、同じ被写体を撮像し直す場合も考えられる。

このような場合、撮像が停止される度にコード番号の割り当てを初期化するようにすると、初期化が繰り返され、符号化効率が向上しにくくなる恐れがある。そこで、上述したように、前回の撮像の最後の集計結果を、次の撮像の開始時に利用することができるようにすることにより、カメラ１３００は、符号化効率をより向上させることができる。

なお、集計結果の保持する期間を制限し、撮像が停止されてから所定時間が経過した場合、保持している集計結果が削除され、その後の次回の撮像開始時に、コード番号の割り当てが初期化されるようにしてもよい。

もちろん、本発明を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。

本発明は、例えば、MPEG，H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置や画像復号装置に適用することができる。

１００ 画像符号化装置， １１４ イントラ予測部， ２００ 画像復号装置， ２１１ イントラ予測部， ３００ 画像符号化装置， ３０１ MPM生成部， ３２１ PUサイズ比較部， ３２２ MostProbableMode決定部， ４００ 画像復号装置， ４０１ MPM生成部， ４２１ PUサイズ比較部， ４２２ MostProbableMode決定部

Claims (20)

1. 符号化する画像に対して所定の領域毎に行われるイントラ予測の、処理対象の領域の大きさと、前記処理対象の領域より時間的に前に前記イントラ処理が行われた領域である処理済みの領域の大きさとを比較することにより、前記領域をその大きさに応じて分類した場合に前記処理対象の領域と同一のグループに属する前記処理済みの領域を特定する比較手段と、
   前記比較手段による比較の結果、前記処理対象の領域と同一のグループに属する領域として特定された前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定する予測値決定手段と
   を備える画像処理装置。
2. 前記比較手段は、前記処理対象の領域の大きさと、複数の前記処理済みの領域のそれぞれの大きさとを比較し、
   前記予測値決定手段は、前記複数の処理済みの領域の内、前記比較手段による比較の結果、前記処理対象の領域と同一のグループに属する領域として特定された前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定する
   請求項１に記載の画像処理装置。
3. 前記比較手段は、前記処理対象の領域の大きさと、前記処理対象の領域に隣接する前記複数の処理済みの領域のそれぞれの大きさとを比較する
   請求項２に記載の画像処理装置。
4. 前記比較手段は、前記処理対象の領域の上部に隣接する前記処理済みの領域、および、前記処理対象の領域の上部に隣接する前記処理済みの領域のそれぞれの大きさと、前記処理対象の領域の大きさとを比較する
   請求項３に記載の画像処理装置。
5. 前記予測値決定手段は、前記比較手段による比較の結果、
   前記処理対象の領域の上部に隣接する前記処理済みの領域が前記処理対象の領域と同一のグループに属する領域として特定された場合、前記処理対象の領域の上部に隣接する前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定し、
   前記処理対象の領域の左部に隣接する前記処理済みの領域が前記処理対象の領域と同一のグループに属する領域として特定された場合、前記処理対象の領域の左部に隣接する前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定する
   請求項４に記載の画像処理装置。
6. 前記予測値決定手段は、前記比較手段による比較の結果、前記処理対象の領域の上部に隣接する前記処理済みの領域、および、前記処理対象の領域の左部に隣接する前記処理済みの領域のいずれも、前記処理対象の領域と同一のグループに属さないとされた場合、前記処理対象の領域の予測モードの予測値の決定を省略する
   請求項５に記載の画像処理装置。
7. 前記予測値決定手段は、前記比較手段による比較の結果、前記処理対象の領域の上部に隣接する前記処理済みの領域、および、前記処理対象の領域の左部に隣接する前記処理済みの領域の両方とも、前記処理対象の領域と同一のグループに属する領域として特定された場合、前記処理対象の領域の上部に隣接する前記処理済みの領域の予測モード、および、前記処理対象の領域の左部に隣接する前記処理済みの領域の予測モードの両方を用いて、前記処理対象の領域の予測モードの予測値を決定する
   請求項６に記載の画像処理装置。
8. 前記比較手段は、前記処理対象の領域との大きさの差が所定の範囲内の前記処理済みの領域を、前記処理対象の領域と同一のグループに属する領域として特定する
   請求項１に記載の画像処理装置。
9. 前記比較手段は、前記領域の大きさが前記処理対象の領域と同一である前記処理済みの領域を、前記処理対象の領域と同一のグループに属する領域として特定する
   請求項１に記載の画像処理装置。
10. 前記比較手段は、前記領域をその大きさによってグループ分けし、前記処理対象の領域が属するグループと同一のグループに属する前記処理済みの領域を、前記処理対象の領域と同一のグループに属する領域として特定する
    請求項１に記載の画像処理装置。
11. 前記イントラ予測を行って予測画像を生成し、前記イントラ予測の予測モードが前記予測値決定手段により決定された前記予測値と一致するか否かを示すフラグ情報を生成するイントラ予測手段をさらに備える
    請求項１に記載の画像処理装置。
12. 前記イントラ予測手段は、複数の予測モードの中からより適切な予測モードを判定し、より適切と判定された前記予測モードを用いて前記予測画像を生成し、前記予測画像の生成に用いられた前記予測モードが前記予測値と一致するかを示す前記フラグ情報を生成する
    請求項１１に記載の画像処理装置。
13. 前記イントラ予測手段は、Angular Prediction若しくはArbitrary Directional Intraにより前記イントラ予測を行う
    請求項１１に記載の画像処理装置。
14. 前記予測画像を用いて生成された画像情報および前記フラグ情報を符号化する符号化手段をさらに備える
    請求項１１に記載の画像処理装置。
15. 前記比較手段は、前記処理対象の領域の前記イントラ予測の予測モードが予測値と一致するか否かを示すフラグ情報が、前記予測モードが前記予測値と一致することを示す値の場合のみ、前記処理対象の領域の大きさと前記処理済みの領域の大きさとを比較する
    請求項１に記載の画像処理装置。
16. 前記比較手段は、今回取得した前記処理対象の領域の大きさを示す情報と、時間的に前に取得した前記処理対象の領域の大きさを示す情報とを比較する
    請求項１５に記載の画像処理装置。
17. 符号化された前記フラグ情報および前記処理対象の領域の大きさを示す情報を復号する復号手段をさらに備える
    請求項１６に記載の画像処理装置。
18. 前記処理対象の領域の前記イントラ予測の予測モードが予測値と一致するか否かを示すフラグ情報が、前記予測モードが前記予測値と一致することを示す値の場合、前記予測値決定手段により決定された前記処理対象の領域の予測モードの予測値を用いて、前記処理対象の領域の予測画像を生成し、前記処理対象の領域の前記イントラ予測の予測モードが予測値と一致するか否かを示すフラグ情報が、前記予測モードが前記予測値と一致しないことを示す値の場合、前記処理対象の領域の予測モードを示す情報を用いて、前記処理対象の領域の予測画像を生成する予測画像生成手段をさらに備える
    請求項１５に記載の画像処理装置。
19. 画像処理装置の画像処理方法であって、
    比較手段が、符号化する画像に対して所定の領域毎に行われるイントラ予測の、処理対象の領域の大きさと、前記処理対象の領域より時間的に前に前記イントラ処理が行われた領域である処理済みの領域の大きさとを比較することにより、前記領域をその大きさに応じて分類した場合に前記処理対象の領域と同一のグループに属する前記処理済みの領域を特定し、
    予測値決定手段が、比較の結果、前記処理対象の領域と同一のグループに属する領域として特定された前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定する
    画像処理方法。
20. コンピュータを、
    符号化する画像に対して所定の領域毎に行われるイントラ予測の、処理対象の領域の大きさと、前記処理対象の領域より時間的に前に前記イントラ処理が行われた領域である処理済みの領域の大きさとを比較することにより、前記領域をその大きさに応じて分類した場合に前記処理対象の領域と同一のグループに属する前記処理済みの領域を特定する比較手段、
    比較の結果、前記処理対象の領域と同一のグループに属する領域として特定された前記処理済みの領域の予測モードを用いて、前記処理対象の領域の予測モードの予測値を決定する予測値決定手段
    として機能させるためのプログラム。

Images