JP2018191338A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】符号化された画像を復号するための処理において発生する遅延を小さくすることができる画像処理装置を提供する。【解決手段】画像処理装置は、１以上の予測ユニットに対する予測処理と、１以上の変換ユニットに対する周波数変換処理とを含む符号化処理によって符号化された符号化ユニットを入力として画像を復号するための処理を実行する画像処理装置であって、符号化ユニットは、１以上の予測ユニットと１以上の変換ユニットを含み、符号化ユニットに含まれる１以上の予測ユニットに対応する画素領域の出現順序と１以上の変換ユニットに対応する画素領域の出現順序が異なる場合、符号化ユニットに含まれる１以上の予測ユニットに対応する画素領域の予測画像を、１以上の変換ユニットに対応する画素領域の出現順序で出力する処理部を備える。【選択図】図１３Ｂ

Description

本発明は、予測処理を含む符号化処理によって符号化された画像を復号するための処理を実行する画像処理装置に関する。

予測処理を含む符号化処理によって符号化された画像を復号するための技術として、特許文献１、非特許文献１および非特許文献２に記載の技術がある。

特開２００６−３１１５２６号公報

Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ ｅｔ ａｌ、"Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈ．２６４／ＡＶＣ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ"、 ＩＥＥＥＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＯＬＯＧＹ、 ＪＵＬＹ ２００３、 ＰＰ．５６０−５７６． 「Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ３ ｏｆ Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、［ｏｎｌｉｎｅ］、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ）、２０１１年９月８日、［２０１１年９月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／６＿Ｔｏｒｉｎｏ／ｗｇ１１／ＪＣＴＶＣ−Ｆ８０３−ｖ３．ｚｉｐ＞

しかしながら、符号化された画像を復号するための処理において、遅延が発生する場合がある。

そこで、本発明は、符号化された画像を復号するための処理において発生する遅延を小さくすることができる画像処理装置を提供する。

本発明の一態様に係る画像処理装置は、１以上の予測ユニットに対する予測処理と、１以上の変換ユニットに対する周波数変換処理とを含む符号化処理によって符号化された符号化ユニットを入力として画像を復号するための処理を実行する画像処理装置であって、符号化ユニットは、１以上の予測ユニットと１以上の変換ユニットを含み、符号化ユニットに含まれる１以上の予測ユニットに対応する画素領域の出現順序と１以上の変換ユニットに対応する画素領域の出現順序が異なる場合、符号化ユニットに含まれる１以上の予測ユニットに対応する画素領域の予測画像を、１以上の変換ユニットに対応する画素領域の出現順序で出力する処理部を備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の画像処理装置は、符号化された画像を復号するための処理において発生する遅延を小さくすることができる。

図１は、マクロブロックの分割を示す図である。 図２は、実施の形態１に係る画像処理装置の構成を示す図である。 図３は、実施の形態１に係る動き補償に関連する構成を示す図である。 図４Ａは、実施の形態１に係るシーケンスの例を示す図である。 図４Ｂは、実施の形態１に係るピクチャの例を示す図である。 図４Ｃは、実施の形態１に係る符号化ストリームの例を示す図である。 図５Ａは、実施の形態１に係る符号化ユニットと符号化ユニットレイヤデータの構成例を示す図である。 図５Ｂは、実施の形態１に係る符号化ユニットデータの構成例を示す図である。 図６Ａは、実施の形態１に係る予測ユニットのサイズの例を示す図である。 図６Ｂは、実施の形態１に係る変換ユニットのサイズの例を示す図である。 図７は、実施の形態１に係る画像処理装置の動作を示すフローチャートである。 図８は、実施の形態１に係る符号化ユニットを復号する処理を示すフローチャートである。 図９は、実施の形態１に係る動き補償の動作を示す図である。 図１０Ａは、実施の形態１に係る予測ユニットと動きベクトルを示す図である。 図１０Ｂは、実施の形態１に係る予測ユニットの分割を示す図である。 図１１は、実施の形態１に係る動き補償の動作を示すフローチャートである。 図１２Ａは、実施の形態１に係る符号化ユニットの構成例を示す図である。 図１２Ｂは、実施の形態１に係る予測ユニットの構成例を示す図である。 図１２Ｃは、実施の形態１に係る変換ユニットの構成例を示す図である。 図１２Ｄは、実施の形態１に係る予測ユニットの分割後のブロックの構成例を示す図である。 図１２Ｅは、実施の形態１に係る符号化ユニットの分割後のブロックの構成例を示す図である。 図１３Ａは、実施の形態１に係るパイプライン処理の第１例を示すタイムチャートである。 図１３Ｂは、実施の形態１に係るパイプライン処理の第２例を示すタイムチャートである。 図１４Ａは、実施の形態２に係る予測ユニットと動きベクトルを示す図である。 図１４Ｂは、実施の形態２に係る予測ユニットの分割を示す図である。 図１５は、実施の形態２に係る動き補償の動作を示すフローチャートである。 図１６Ａは、実施の形態２に係る符号化ユニットの構成例を示す図である。 図１６Ｂは、実施の形態２に係る予測ユニットの構成例を示す図である。 図１６Ｃは、実施の形態２に係る変換ユニットの構成例を示す図である。 図１６Ｄは、実施の形態２に係る予測ユニットの分割後のブロックの構成例を示す図である。 図１６Ｅは、実施の形態２に係る符号化ユニットの分割後のブロックの構成例を示す図である。 図１７Ａは、実施の形態２に係るパイプライン処理の第１例を示すタイムチャートである。 図１７Ｂは、実施の形態２に係るパイプライン処理の第２例を示すタイムチャートである。 図１８は、実施の形態３に係る予測ユニットと動きベクトルを示す図である。 図１９は、実施の形態３に係る動き補償の動作を示すフローチャートである。 図２０Ａは、実施の形態３に係る符号化ユニットの構成例を示す図である。 図２０Ｂは、実施の形態３に係る予測ユニットの構成例を示す図である。 図２０Ｃは、実施の形態３に係る変換ユニットの構成例を示す図である。 図２０Ｄは、実施の形態３に係る予測順序を示す図である。 図２０Ｅは、実施の形態３に係る符号化ユニットの分割後のブロックの構成例を示す図である。 図２１Ａは、実施の形態３に係るパイプライン処理の第１例を示すタイムチャートである。 図２１Ｂは、実施の形態３に係るパイプライン処理の第２例を示すタイムチャートである。 図２２は、実施の形態４に係る面内予測に関連する構成を示す図である。 図２３は、実施の形態４に係る面内予測の動作を示すフローチャートである。 図２４は、実施の形態４に係る面内予測の予測ユニットを示す図である。 図２５Ａは、実施の形態５に係る画像処理装置の構成を示す図である。 図２５Ｂは、実施の形態５に係る画像処理装置の動作を示すフローチャートである。 図２６Ａは、実施の形態６に係る画像処理装置の構成を示す図である。 図２６Ｂは、実施の形態６に係る画像処理装置の動作を示すフローチャートである。 図２７Ａは、実施の形態７に係る画像処理装置の構成を示す図である。 図２７Ｂは、実施の形態７に係る画像処理装置の動作を示すフローチャートである。 図２８Ａは、実施の形態７に係る予測順序の第１例を示す図である。 図２８Ｂは、実施の形態７に係る予測順序の第２例を示す図である。 図２８Ｃは、実施の形態７に係る予測順序の第３例を示す図である。 図２８Ｄは、実施の形態７に係る予測順序の第４例を示す図である。 図２９Ａは、実施の形態８に係る画像処理装置の構成を示す図である。 図２９Ｂは、実施の形態８に係る画像処理装置の動作を示すフローチャートである。 図３０Ａは、実施の形態９に係る画像処理装置の構成を示す図である。 図３０Ｂは、実施の形態９に係る画像処理装置の動作を示すフローチャートである。 図３１Ａは、実施の形態１０に係る画像処理装置の構成を示す図である。 図３１Ｂは、実施の形態１０に係る画像処理装置の動作を示すフローチャートである。 図３２Ａは、実施の形態１１に係る画像処理装置の構成を示す図である。 図３２Ｂは、実施の形態１１に係る画像処理装置の動作を示すフローチャートである。 図３３Ａは、実施の形態１２に係る画像処理装置の構成を示す図である。 図３３Ｂは、実施の形態１２に係る画像処理装置の動作を示すフローチャートである。 図３４は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図３５は、デジタル放送用システムの全体構成図である。 図３６は、テレビの構成例を示すブロック図である。 図３７は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図３８は、光ディスクである記録メディアの構造例を示す図である。 図３９は、画像復号処理を実現する集積回路の構成例を示す構成図である。 図４０は、画像復号処理および画像符号化処理を実現する集積回路の構成例を示す構成図である。

（本発明の基礎となった知見）
画像を符号化する画像符号化装置は、画像を構成する各ピクチャを１６ｘ１６画素でそれぞれが構成される複数のマクロブロック（Ｍａｃｒｏｂｌｏｃｋ、略してＭＢと呼ぶこともある）に分割する。そして、画像符号化装置は、ラスタースキャン順に各マクロブロックを符号化する。画像符号化装置は、画像を符号化し圧縮することにより、符号化ストリームを生成する。画像を復号する画像処理装置は、この符号化ストリームをラスタースキャン順でマクロブロック毎に復号し、元の画像の各ピクチャを再生する。

従来の画像符号化方式の１つとしてＩＴＵ−Ｔ Ｈ．２６４規格がある（例えば、非特許文献１を参照）。画像処理装置は、Ｈ．２６４規格で符号化された画像を復号するため、まず、符号化ストリームを読み込む。そして、画像処理装置は、各種ヘッダ情報の復号後、可変長復号を行う。画像処理装置は、可変長復号により得られた係数情報を逆量子化して、逆周波数変換する。これにより、差分画像が生成される。

次に、画像処理装置は、可変長復号により得られたマクロブロックタイプに応じて、面内予測または動き補償を行う。ここで、動き補償は最大１６ｘ１６画素に対して行われる。これにより、画像処理装置は、予測画像を生成する。その後、画像処理装置は、予測画像に差分画像を加算することにより、再構成処理を行う。そして、画像処理装置は、再構成画像にインループフィルタ処理を行うことで復号対象画像を復号する。

インループフィルタは、再構成画像がフレームメモリに参照画像として格納される前に適用されるフィルタである。インループフィルタとして、デブロックフィルタ、サンプルアダプティブオフセットフィルタおよびアクティブループフィルタが用いられる場合がある。一方、表示の際に適用されるフィルタは、アウトループフィルタと呼ばれる。

Ｈ．２６４規格に係る画像符号化装置は、先ほど述べた通り、１６ｘ１６画素で構成されるマクロブロック単位で画像を符号化する。しかし、符号化の単位として１６ｘ１６画素が、必ずしも最適とは限らない。一般に、画像の解像度が高くなるにつれて、隣接ブロック間の相関が高くなる。そのため、画像の解像度が高い場合、画像符号化装置は、符号化の単位を大きくした方が、より圧縮効率を向上させることができる。

近年、４Ｋ２Ｋ（３８４０ｘ２１６０画素）等のように、超高精細なディスプレイの開発が行われてきている。したがって、画像の解像度がますます高くなっていくことが予想される。Ｈ．２６４規格に係る画像符号化装置は、画像の高解像度化が進むにつれて、高解像度の画像を効率的に符号化することが困難になってきている。

一方、次世代の画像符号化規格として提案されている技術の中には、このような課題を解決する技術がある（非特許文献２）。この技術では、従来のＨ．２６４規格に対応する符号化単位ブロックのサイズが可変になる。そして、この技術に係る画像符号化装置は、従来の１６ｘ１６画素よりも大きなブロックで画像を符号化することも可能であり、超高精細画像を適切に符号化することができる。

具体的には、非特許文献２では、符号化のデータ単位として、符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）が定義されている。この符号化ユニットは、従来の符号化規格におけるマクロブロックと同様に、面内予測を行うイントラ予測と、動き補償を行うインター予測とを切り替えることが可能なデータ単位であり、符号化の最も基本的なブロックとして規定されている。

この符号化ユニットのサイズは、８ｘ８画素、１６ｘ１６画素、３２ｘ３２画素、６４ｘ６４画素のいずれかである。最も大きな符号化ユニットは、最大符号化ユニット（ＬＣＵ：Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と呼ばれる。

さらに、周波数変換のデータ単位として変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、周波数変換ユニットとも呼ばれる）が定義されている。この変換ユニットは、４ｘ４画素、８ｘ８画素、１６ｘ１６画素、１６ｘ１２画素、３２ｘ３２画素など、４ｘ４画素以上の様々な矩形のサイズに設定される。

また、さらに、面内予測またはインター予測のデータ単位として、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）が定義されている。予測ユニットは、符号化ユニットの内部において、６４ｘ６４画素、６４ｘ３２画素、３２ｘ６４画素、３２ｘ３２画素、３２ｘ１６画素、１６画素ｘ３２画素、１６ｘ１２画素など、４ｘ４画素以上の様々な矩形のサイズに設定される。

一方、Ｈ．２６４規格に係る画像復号装置として、特許文献１に記載された画像復号装置がある。特許文献１に係る画像復号装置は、予め定められたサイズでそれぞれが構成される複数のサブブロックにマクロブロックを分割して、複数のサブブロックのそれぞれに対して動き補償を実行する。

図１は、マクロブロックの分割を示す図である。例えば、特許文献１に係る画像復号装置は、１６ｘ１６画素のマクロブロックをそれぞれが４ｘ４画素で構成される複数のサブブロックに分割する。そして、画像復号装置は、複数のサブブロックのそれぞれに対して動き補償処理を行う。これにより、マクロブロックのサイズによらず、動き補償のデータサイズが予め定められたサイズになる。したがって、動き補償の演算処理が簡素化される。

しかしながら、非特許文献２のように、符号化ユニット、予測ユニットおよび変換ユニットがそれぞれ様々なサイズで構成されている場合、逆周波数変換処理、動き補償処理および再構成処理等を含むパイプライン処理の円滑な動作に支障が生じる場合がある。例えば、符号化ユニット、予測ユニットおよび変換ユニットのサイズまたは形状の違いによって、逆周波数変換処理、動き補償処理および再構成処理等のそれぞれにおいて、必要な処理時間が変動する。これにより、無駄な待ち時間が発生する可能性がある。

ここで、特許文献１の技術によって、動き補償を予め定められたサイズで実行することが可能である。しかし、一方で、例えば、変換ユニットのサイズは、様々なサイズで構成される。様々なサイズで周波数変換が実行された場合、予め定められたサイズで逆周波数変換を実行することは困難である。したがって、特許文献１の技術によっても、データ単位のサイズおよび形状が統一されない。

そのため、非特許文献２に係る無駄な待ち時間の発生は、特許文献１の技術によっても、解消されない。この無駄な待ち時間により、全体の処理において発生する遅延が大きくなる。

そこで、本発明の一態様に係る画像処理装置は、１以上の予測ユニットに対する予測処理と、前記１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む符号化処理によって符号化された画像を復号するための処理を実行する画像処理装置であって、前記複数の変換ユニットに対して予め定められている変換順序に依存させて、前記１以上の予測ユニットの予測画像に関する画像処理を実行する処理部を備える。

これにより、予測画像に関する画像処理が、取得された変換順序に沿って、適切に実行される。したがって、無駄な待ち時間が解消され、全体の処理において発生する遅延が小さくなる。

例えば、前記処理部は、前記変換順序を取得し、取得された前記変換順序に沿って、前記画像処理を実行してもよい。

これにより、予測画像に関する画像処理が、取得された変換順序に沿って、適切に実行される。

また、例えば、前記処理部は、変換ユニットに等しい、または、変換ユニットよりも小さいブロック毎に、前記画像処理を前記変換順序に沿って実行してもよい。

これにより、予測画像に関する画像処理が、変換順序に沿うように、変換ユニット毎に実行される。あるいは、予測画像に関する画像処理が、変換順序に沿うように、変換ユニットよりも小さいブロック毎に実行される。したがって、予測画像に関する画像処理が、変換順序に沿って、適切に実行される。

また、例えば、前記処理部は、前記予測画像を出力する処理を前記画像処理として前記変換順序に沿って実行してもよい。

これにより、予測画像を出力する処理が、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、前記１以上の予測ユニットに対して予め定められている予測順序が前記変換順序に沿っていない場合、前記画像処理を前記変換順序に沿って実行してもよい。

これにより、予め定められた予測順序が変換順序に沿っていない場合、予測画像に関する画像処理に、予め定められた予測順序ではなく、変換順序が用いられる。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記画像処理装置は、さらに、前記１以上の予測ユニットを前記複数の変換ユニットのエッジに沿って複数のブロックに分割する分割部を備え、前記処理部は、前記１以上の予測ユニットを分割することにより得られたブロック毎に、前記画像処理を前記変換順序に沿って実行してもよい。

これにより、大きい予測ユニットが、変換ユニットのエッジに沿って分割される。したがって、大きい予測ユニットの予測画像に関する画像処理が変換順序に沿って、適切に実行される。

また、例えば、前記分割部は、前記１以上の予測ユニットに対応する１つの予測ユニットを前記複数の変換ユニットの前記エッジに沿って前記複数のブロックに分割し、前記処理部は、前記１つの予測ユニットを分割することにより得られたブロック毎に、前記画像処理を前記変換順序に沿って実行してもよい。

これにより、複数の変換ユニットの領域で構成される予測ユニットも、これらの変換ユニットのエッジに沿って分割される。したがって、このような予測ユニットの予測画像に関する画像処理も変換順序に沿って、適切に実行される。

また、例えば、前記分割部は、前記複数の変換ユニットを含む符号化ユニットに含まれる複数の予測ユニットを前記１以上の予測ユニットとして前記複数の変換ユニットの前記エッジに沿って前記複数のブロックに分割し、前記処理部は、前記複数の予測ユニットを分割することにより得られたブロック毎に、前記画像処理を前記変換順序に沿って実行してもよい。

これにより、符号化ユニットにおける複数の予測ユニットが、複数の変換ユニットに応じて分割される。したがって、符号化ユニットに対応する予測画像に関する画像処理が適切に実行される。

また、例えば、前記処理部は、前記予測画像を生成する処理と、生成された前記予測画像を出力する処理とを前記画像処理として前記変換順序に沿って実行してもよい。

これにより、予測画像を生成する処理と、予測画像を出力する処理とが、変換順序に沿って実行される。したがって、パイプライン処理が、円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、前記予測画像を生成するための情報を取得する処理と、取得された前記情報を用いて前記予測画像を生成する処理と、生成された前記予測画像を出力する処理とを前記画像処理として前記変換順序に沿って実行してもよい。

これにより、予測画像を生成するための情報を取得する処理と、予測画像を生成する処理と、予測画像を出力する処理とが、変換順序に沿って実行される。したがって、パイプライン処理が、円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、動き補償処理によって生成された前記予測画像を出力する処理を前記画像処理として前記変換順序に沿って実行してもよい。

これにより、動き補償で生成された予測画像を出力する処理が、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、動き補償処理を実行することにより前記予測画像を生成する処理と、前記予測画像を出力する処理とを前記画像処理として前記変換順序に沿って実行してもよい。

これにより、動き補償で予測画像を生成する処理と、動き補償で生成された予測画像を出力する処理とが、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、動き補償処理を実行するための情報を取得する処理と、取得された前記情報を用いて前記動き補償処理を実行することにより前記予測画像を生成する処理と、生成された前記予測画像を出力する処理とを前記画像処理として前記変換順序に沿って実行してもよい。

これにより、動き補償のための情報を取得する処理と、動き補償で予測画像を生成する処理と、動き補償で生成された予測画像を出力する処理とが、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、面内予測処理によって生成された前記予測画像を出力する処理を前記画像処理として前記変換順序に沿って実行してもよい。

これにより、面内予測で生成された予測画像を出力する処理が、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、面内予測処理を実行することにより前記予測画像を生成する処理と、生成された前記予測画像を出力する処理とを前記画像処理として前記変換順序に沿って実行してもよい。

これにより、面内予測で予測画像を生成する処理と、面内予測で生成された予測画像を出力する処理とが、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、面内予測処理を実行するための情報を取得する処理と、取得された前記情報を用いて前記面内予測処理を実行することにより前記予測画像を生成する処理と、生成された前記予測画像を出力する処理とを前記画像処理として前記変換順序に沿って実行してもよい。

これにより、面内予測のための情報を取得する処理と、面内予測で予測画像を生成する処理と、面内予測で生成された予測画像を出力する処理とが、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、前記予測画像を用いて前記画像を再構成する処理を前記画像処理として前記変換順序に沿って実行してもよい。

これにより、予測画像を用いて画像を再構成する処理が、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、さらに、再構成された前記画像に対するフィルタ処理であるインループフィルタ処理を前記変換順序に沿って実行してもよい。

これにより、インループフィルタ処理が、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、前記処理部は、さらに、前記インループフィルタ処理が実行された前記画像をフレームメモリに格納する処理を前記変換順序に沿って実行してもよい。

これにより、画像をフレームメモリに格納する処理が、変換順序に沿って実行される。したがって、パイプライン処理が円滑に実行され、全体の処理において発生する遅延が小さくなる。

また、例えば、本発明の一態様に係る画像処理装置は、予測ユニットの予測モードに従って前記予測ユニットの予測画像を生成する面内予測処理を含む符号化処理によって符号化された画像を復号するための処理を実行する画像処理装置であって、前記予測ユニットを複数のブロックに分割する分割部と、前記複数のブロックのそれぞれに対して、前記予測ユニットの前記予測モードに従って面内予測を実行する処理部とを備える画像処理装置でもよい。

これにより、画像処理装置は、小さいデータ単位で面内予測を実行することができる。したがって、画像処理装置は、パイプライン処理をより小さいデータ単位で円滑に実行することができる。よって、画像処理装置は、全体の処理において発生する遅延を小さくすることができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、６４ｘ６４画素、および、３２ｘ３２画素等の表現は、それぞれ、６４画素ｘ６４画素、および、３２画素ｘ３２画素等のサイズを意味する。

また、以下において、ブロック、データ単位および符号化ユニット（ＣＵ）等の表現は、それぞれ、まとまった領域を意味する。それらは、それぞれ、画像領域を意味する場合もある。あるいは、それらは、それぞれ、符号化ストリームにおけるデータ領域を意味する場合もある。

また、画像は、静止画像または動画像を構成する複数のピクチャ、１つのピクチャ、および、ピクチャの一部等のいずれでもよい。

（実施の形態１）
（１−１．概要）
まず、本実施の形態に係る画像処理装置の概要について説明する。本実施の形態に係る画像処理装置は、動き補償を含む符号化処理によって生成された符号化ストリームを復号する。符号化において、動き補償のサイズ、すなわち、予測ユニットのサイズは、可変であり、最大で６４ｘ６４画素である。

画像処理装置は、動き補償が実行される予測ユニットの矩形内に変換ユニットのエッジが含まれている場合、予測ユニットを変換ユニットのエッジで複数のブロック（分割ブロック）に分割する。そして、画像処理装置は、分割により得られた複数のブロックに対して、変換ユニットの処理順序（変換順序）で、参照画像の転送処理、動き補償処理、および、予測画像の出力処理を行う。また、画像処理装置は、以後の再構成処理およびインループフィルタ処理についても、変換ユニットの処理順序で処理を行う。

例えば、画像処理装置は、予測ユニットのサイズが大きい場合でも、予測ユニットを分割して、変換ユニットの処理順序で、動き補償を実行する。これにより、必要なメモリ容量が減少する。

さらに、画像処理装置は、参照画像の転送処理と、動き補償の処理とをパイプライン状に行う。これにより、処理の遅延が減少する。また、画像処理装置は、再構成処理およびインループフィルタ処理を早く開始することができる。したがって、画像処理装置は、復号処理全体を高速化できる。

（１−２．構成）
次に、本実施の形態に係る画像処理装置の構成について説明する。

図２は、本実施の形態に係る画像処理装置の構成図である。本実施の形態に係る画像処理装置は、制御部５０１、フレームメモリ５０２、再構成画像メモリ５０９、可変長復号部５０３、逆量子化部５０４、逆周波数変換部５０５、動き補償部５０６、面内予測部５０７、再構成部５０８、インループフィルタ部５１０および動きベクトル演算部５１１を備える。

制御部５０１は、画像処理装置の全体を制御する。フレームメモリ５０２は、復号された画像データを記憶するためのメモリである。再構成画像メモリ５０９は、生成された再構成画像の一部を記憶するためのメモリである。可変長復号部５０３は、符号化ストリームを読み込み、可変長符号を復号する。逆量子化部５０４は、逆量子化を行う。逆周波数変換部５０５は、逆周波数変換を行う。

動きベクトル演算部５１１は、予測動きベクトルおよび差分動きベクトル等に基づいて、動きベクトルを算出し、動きベクトルを動き補償部５０６に出力する。動き補償部５０６は、フレームメモリ５０２から参照画像を読み出して、動き補償を行い、予測画像を生成する。面内予測部５０７は、再構成画像メモリ５０９から参照画像を読み出して、面内予測（イントラ予測とも呼ぶ）を行い、予測画像を生成する。

再構成部５０８は、差分画像と予測画像とを加算して再構成画像を生成し、再構成画像の一部を再構成画像メモリ５０９に格納する。インループフィルタ部５１０は、再構成画像のノイズを除去し、再構成画像を高画質化する。

図３は、本実施の形態に係る動き補償部５０６の周辺の構成図である。図２と同様の構成要素には同じ符号を割り当て、説明を省略する。図３には、図２で示された構成要素以外に、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）制御部５１２、参照画像記憶部５１３および予測画像記憶部５１４が示されている。これらは、動き補償部５０６に含まれていてもよい。

ＤＭＡ制御部５１２は、動きベクトル演算部５１１によって算出された動きベクトルに基づいて、フレームメモリ５０２から参照画像記憶部５１３へ参照画像を転送する。参照画像記憶部５１３には、ＤＭＡ制御部５１２によって転送された参照画像が記憶される。また、予測画像記憶部５１４には、動き補償部５０６によって生成された予測画像が記憶される。

動き補償部５０６は、動きベクトルに基づいて、動き補償を実行する。その際、動き補償部５０６は、可変長復号部５０３から変換ユニットの処理順序についての情報を取得する。そして、動き補償部５０６は、変換ユニットの処理順序に従って、動き補償を実行して、予測画像を生成する。その後、動き補償部５０６は、予測画像を予測画像記憶部５１４に格納する。再構成部５０８は、予測画像記憶部５１４に格納された予測画像を用いて、再構成処理を実行する。

以上が、本実施の形態に係る画像処理装置の構成についての説明である。

（１−３．動作）
次に、本実施の形態に係る画像処理装置の動作を説明する。本実施の形態に係る画像処理装置が復号する符号化ストリームは、符号化ユニット（ＣＵ）と、変換ユニット（ＴＵ）と、予測ユニット（ＰＵ）とで構成される。

符号化ユニットは、６４ｘ６４画素〜８ｘ８画素のサイズで設定され、面内予測とインター予測との切り替え可能なデータ単位である。変換ユニットは、符号化ユニットの内部の領域において、６４ｘ６４画素〜４ｘ４画素のサイズで設定される。予測ユニットは、符号化ユニットの内部の領域において、６４ｘ６４画素〜４ｘ４画素のサイズで設定され、面内予測のための予測モード、または、インター予測のための動きベクトルを有する。以下、図４Ａ〜図６Ｂを用いて符号化ストリームの構成について説明する。

図４Ａおよび図４Ｂは、本実施の形態に係る画像処理装置が復号する画像の階層的な構成を示している。図４Ａに示すように、複数のピクチャのまとまりは、シーケンスと呼ばれる。また、図４Ｂに示すように、各ピクチャはスライスに分割され、各スライスはさらに符号化ユニットに分割される。なお、ピクチャはスライスに分割されない場合もある。

本実施の形態において、最大符号化ユニット（ＬＣＵ）のサイズは、６４ｘ６４画素である。

図４Ｃは、本実施の形態に係る符号化ストリームを示す図である。図４Ａおよび図４Ｂに示されたデータが階層的に符号化されることにより、図４Ｃに示された符号化ストリームが得られる。

図４Ｃに示された符号化ストリームは、シーケンスを制御するシーケンスヘッダ、ピクチャを制御するピクチャヘッダ、スライスを制御するスライスヘッダ、および、符号化ユニットレイヤデータ（ＣＵレイヤデータ）で構成される。Ｈ．２６４規格において、シーケンスヘッダは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）とも呼ばれ、ピクチャヘッダは、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）とも呼ばれる。

図５Ａは、本実施の形態に係る符号化ユニットと符号化ユニットレイヤデータの構成例を示す図である。符号化ユニットに対応する符号化ユニットレイヤデータは、ＣＵ分割フラグ、および、ＣＵデータ（符号化ユニットデータ）で構成される。このＣＵ分割フラグは、「１」の場合、符号化ユニットを４分割することを示し、「０」の場合、符号化ユニットを４分割しないことを示す。図５Ａでは、６４ｘ６４画素の符号化ユニットは、分割されない。すなわち、ＣＵ分割フラグは「０」である。

図５Ｂは、本実施の形態に係るＣＵデータの構成例を示す図である。ＣＵデータは、ＣＵタイプ、動きベクトルまたは面内予測モード、および、係数を含む。ＣＵタイプによって、予測ユニットのサイズが決定される。

図６Ａは、選択可能な予測ユニットのサイズの例を示す図である。具体的には、６４ｘ６４画素、３２ｘ６４画素、６４ｘ３２画素、３２ｘ３２画素、１６ｘ３２画素、３２ｘ１６画素、１６ｘ１６画素、１６ｘ８画素、８ｘ１６画素、８ｘ８画素、８ｘ４画素、４ｘ８画素、および、４ｘ４画素等の予測ユニットが示されている。予測ユニットのサイズは、４ｘ４画素以上のサイズから選択可能である。また、予測ユニットの形状は、長方形でもよい。

そして、予測ユニット毎に、動きベクトルまたは面内予測モードが指定される。本実施の形態では、動きベクトルのみが用いられるため、図５Ｂでは動きベクトルのみが示されている。また、図６Ａのように、正方形を１：３に分割することにより得られる１６ｘ６４画素の予測ユニットおよび４８ｘ６４画素の予測ユニットが選択される場合もある。

図６Ｂは、選択可能な変換ユニットのサイズの例を示す図である。具体的には、３２ｘ３２画素、１６ｘ３２画素、３２ｘ１６画素、１６ｘ１６画素、１６ｘ８画素、８ｘ１６画素、８ｘ８画素、８ｘ４画素、４ｘ８画素、および、４ｘ４画素等の変換ユニットが示されている。図６Ｂのように、正方形を１：３に分割することにより得られる８ｘ３２画素の変換ユニットおよび２４ｘ３２画素の変換ユニットが選択される場合もある。

図７は、符号化ストリームに含まれる１シーケンスの復号動作を示すフローチャートである。図７に示すフローチャートを用いて、図２に示した画像処理装置の動作を説明する。図７のように、画像処理装置は、まず、シーケンスヘッダを復号する（Ｓ９０１）。その際、可変長復号部５０３は、制御部５０１の制御に基づいて、符号化ストリームを復号する。次に、画像処理装置は、同様に、ピクチャヘッダを復号し（Ｓ９０２）、スライスヘッダを復号する（Ｓ９０３）。

次に、画像処理装置は、符号化ユニットを復号する（Ｓ９０４）。符号化ユニットの復号については後で詳しく説明する。画像処理装置は、符号化ユニットの復号後、復号された符号化ユニットがスライスの最後の符号化ユニットであるか否かを判定する（Ｓ９０５）。そして、復号された符号化ユニットがスライスの最後でない場合（Ｓ９０５でＮｏ）、再度、画像処理装置は、次の符号化ユニットを復号する（Ｓ９０４）。

さらに、画像処理装置は、復号された符号化ユニットを含むスライスがピクチャの最後のスライスであるか否かを判定する（Ｓ９０６）。そして、スライスがピクチャの最後でない場合（Ｓ９０６でＮｏ）、画像処理装置は、再度、スライスヘッダを復号する（Ｓ９０３）。

さらに、画像処理装置は、復号された符号化ユニットを含むピクチャがシーケンスの最後のピクチャであるか否かを判定する（Ｓ９０７）。そして、ピクチャがシーケンスの最後でない場合（Ｓ９０７でＮｏ）、画像処理装置は、再度、ピクチャヘッダを復号する（Ｓ９０２）。画像処理装置は、シーケンスのすべてのピクチャの復号後、一連の復号動作を終了する。

図８は、１つの符号化ユニットの復号動作を示すフローチャートである。図８に示すフローチャートを用いて、図７の符号化ユニットの復号（Ｓ９０４）の動作を説明する。

まず、可変長復号部５０３は、入力された符号化ストリームに含まれる処理対象の符号化ユニットについて、可変長復号を行う（Ｓ１００１）。

可変長復号処理（Ｓ１００１）において、可変長復号部５０３は、符号化ユニットタイプ、面内予測（イントラ予測）モード、動きベクトル情報および量子化パラメータなどの符号化情報を出力する。本実施の形態において、出力される符号化情報には、符号化ユニットのサイズ、符号化ユニットの処理順序、予測ユニットのサイズ、変換ユニットのサイズ、および、変換ユニットの処理順序などが含まれる。また、可変長復号部５０３は、各画素データに対応する係数情報を出力する。

符号化情報は、制御部５０１に出力され、その後、各処理部に入力される。係数情報は、次の逆量子化部５０４に出力される。次に、逆量子化部５０４は、逆量子化処理を行う（Ｓ１００２）。その後、逆周波数変換部５０５は、逆周波数変換を行って差分画像を生成する（Ｓ１００３）。

次に、制御部５０１は、処理対象の符号化ユニットにインター予測が用いられるか、面内予測が用いられるかの判定を行う（Ｓ１００４）。

インター予測が用いられる場合（Ｓ１００４でＹｅｓ）、制御部５０１は、動きベクトル演算部５１１を起動する。動きベクトル演算部５１１は、動きベクトルの算出を行う（Ｓ１００５）。そして、動きベクトル演算部５１１は、動きベクトルにより指し示される参照画像をフレームメモリ５０２から転送する。次に、制御部５０１は、動き補償部５０６を起動する。そして、動き補償部５０６は、１／２画素精度または１／４画素精度等の予測画像を生成する（Ｓ１００６）。

一方、インター予測が用いられない場合（Ｓ１００４でＮｏ）、すなわち、面内予測が用いられる場合、制御部５０１は、面内予測部５０７を起動する。面内予測部５０７は、面内予測の処理を行い、予測画像を生成する（Ｓ１００７）。

再構成部５０８は、動き補償部５０６または面内予測部５０７によって出力された予測画像と、逆周波数変換部５０５によって出力された差分画像とを加算することにより、再構成画像を生成する（Ｓ１００８）。

生成された再構成画像は、インループフィルタ部５１０に入力される。同時に、面内予測で用いられる部分は、再構成画像メモリ５０９に格納される。最後に、インループフィルタ部５１０は、得られた再構成画像に対して、ノイズを低減するためのインループフィルタ処理を行う。そして、インループフィルタ部５１０は、フレームメモリ５０２に結果を格納する（Ｓ１００９）。以上で、画像処理装置は、符号化ユニットの復号動作を終了する。

図８の例では、上述の複数の処理が複数のステージに分割されている。そして、これらの複数の処理は、パイプライン処理を構成する。

次に、動きベクトル演算部５１１および動き補償部５０６の動作について、詳細に説明する。

図９は、動き補償処理の概略を示す説明図である。図９のように、動き補償処理は、符号化ストリームから復号された動きベクトルｖ（ｖｘ、ｖｙ）によって指し示される、過去に復号されたピクチャの一部を取り出し、フィルタ演算を行うことによって、予測画像を生成する処理である。

例えば、予測される予測ユニットのサイズが６４ｘ６４画素である場合、かつ、８ＴＡＰフィルタが用いられる場合、６４ｘ６４画素に７画素が垂直方向および水平方向に付加される。具体的には、左に３画素、右に４画素、上に３画素、および、下に４画素が付加される。したがって、参照ピクチャから取り出される参照画像は、７１ｘ７１画素である。予測ユニットの左上の座標が（ｘ、ｙ）である場合、参照画像は、左上の座標が（ｘ＋ｖｘ−３、ｙ＋ｖｙ−３）である７１ｘ７１画素の矩形である。

図１０Ａは、本実施の形態に係る予測ユニットと動きベクトルを示す図である。図１０Ａに示された６４ｘ６４画素の予測ユニットＰＵ０は、１つの動きベクトルｖを有する。

図１０Ｂは、図１０Ａに示された予測ユニットＰＵ０の分割を示す図である。図１０Ｂの例において、６４ｘ６４画素の予測ユニットＰＵ０は、１６ｘ１６画素の１６個のブロックＰＵ０ａ〜ＰＵ０ｐに分割されている。

図１０Ａに示された６４ｘ６４画素の予測ユニットＰＵ０に対する１つの動きベクトルｖは、この予測ユニットＰＵ０のどの画素に対しても、同じである。つまり、図１０Ｂのように、予測ユニットＰＵ０が１６個のブロックに分割された場合も、それぞれのブロックの動きベクトルは、すべて同じ動きベクトルｖである。したがって、６４ｘ６４画素の予測ユニットＰＵ０は、同じ動きベクトルｖを持つ１６個のブロックとして処理される。

このとき、１６個のブロックの処理順序、すなわち、それぞれのブロックの参照画像の転送処理、動き補償処理、および、予測画像の出力処理についての順序（予測順序）によって、再構成処理の開始が遅くなる場合がある。

本実施の形態の画像処理装置は、予測ユニットを分割し、変換ユニットの処理順序で、それぞれのブロックの参照画像の転送処理、動き補償処理、および、予測画像の出力処理を行う。ここで、変換ユニットの処理順序は、例えば、符号化ストリームにおける複数の変換ユニットの格納順序でもよい。

図１１は、本実施の形態に係る動き補償の動作を示すフローチャートである。図３に示された動きベクトル演算部５１１および動き補償部５０６の動作について、図１１を用いて説明する。

まず、動きベクトル演算部５１１は、予測ユニット（ＰＵ）の動きベクトルを規格で定められた方法により計算する（Ｓ１１００）。次に、動きベクトル演算部５１１は、符号化ユニット（ＣＵ）内の予測ユニットおよび変換ユニット（ＴＵ）についての画面内座標およびサイズに基づいて、予測ユニットの矩形内に変換ユニットのエッジ（辺またはＴＵ境界とも呼ぶ）を含むか否かを判定する（Ｓ１１０１）。

予測ユニットの矩形内に変換ユニットのエッジが含まれない場合（Ｓ１１０１でＮｏ）、動きベクトル演算部５１１は、動きベクトル、予測ユニットの座標、および、予測ユニットの大きさから、参照画像位置および参照画像サイズを算出する（Ｓ１１０２）。動きベクトル演算部５１１は、得られた参照画像位置および参照画像サイズをＤＭＡ制御部５１２にセットする。ＤＭＡ制御部５１２は、参照画像をフレームメモリ５０２から参照画像記憶部５１３に転送する（Ｓ１１０３）。

次に、動き補償部５０６は、参照画像記憶部５１３に転送された参照画像を用いて、動き補償の演算を行う（Ｓ１１０４）。そして、動き補償部５０６は、動き補償の結果として得られた予測画像を予測画像記憶部５１４に書き込む（Ｓ１１１０）。

予測ユニットの矩形内に変換ユニットのエッジが含まれる場合（Ｓ１１０１でＹｅｓ）、動きベクトル演算部５１１は、予測ユニットを変換ユニットのエッジで分割する（Ｓ１１０５）。動きベクトル演算部５１１は、分割により得られた複数のブロックのそれぞれに対し、動き補償処理で必要な参照画像位置および参照画像サイズを算出する（Ｓ１１０６）。次に、動きベクトル演算部５１１は、得られた参照画像位置および参照画像サイズをＤＭＡ制御部５１２にセットする。ＤＭＡ制御部５１２は、フレームメモリ５０２から参照画像記憶部５１３に参照画像を転送する（Ｓ１１０７）。

次に、動き補償部５０６は、参照画像記憶部５１３に転送された参照画像を用いて、動き補償の演算を行う（Ｓ１１０８）。そして、動き補償部５０６は、動き補償の結果として得られた予測画像を予測画像記憶部５１４に書き込む（Ｓ１１１１）。

さらに、動きベクトル演算部５１１は、元の予測ユニットに、未処理のブロックがあるか否かを判定する（Ｓ１１０９）。未処理のブロックがある場合（Ｓ１１０９でＹｅｓ）、動きベクトル演算部５１１は、そのブロックについての参照画像位置および参照画像サイズを算出する（Ｓ１１０６）。未処理のブロックがない場合（Ｓ１１０９でＮｏ）、動き補償処理は終了する。

画像処理装置は、前述の処理（Ｓ１１０６、Ｓ１１０７、Ｓ１１０８、Ｓ１１１１、Ｓ１１０９）を、変換ユニットの処理順序で行う。

図１２Ａは、本実施の形態に係る符号化ユニットの構成例を示す図である。図１２Ａに示された符号化ユニットＣＵ０は、６４ｘ６４画素のサイズを有する。

図１２Ｂは、図１２Ａに示された符号化ユニットＣＵ０における予測ユニットの構成例を示す図である。図１２Ｂに示された予測ユニットＰＵ０は、符号化ユニットＣＵ０の全領域で構成される。

図１２Ｃは、図１２Ａに示された符号化ユニットＣＵ０における変換ユニットの構成例を示す図である。図１２Ｃには、１６個の変換ユニットＴＵ０〜ＴＵ１５が示されている。そして、１６個の変換ユニットＴＵ０〜ＴＵ１５は、ＴＵ０、ＴＵ１、ＴＵ２、・・・、ＴＵ１５の順で処理される。１６個の変換ユニットＴＵ０〜ＴＵ１５に対する処理として、周波数変換、逆周波数変換、量子化および逆量子化等がある。

図１２Ｄは、図１２Ａに示された符号化ユニットＣＵ０における予測ユニットの分割後のブロックの構成例を示す図である。図１２Ｄには、１６個のブロックＰＵ０ａ〜ＰＵ０ｐが示されている。そして、１６個のブロックＰＵ０ａ〜ＰＵ０ｐは、ＰＵ０ａ、ＰＵ０ｂ、ＰＵ０ｃ、・・・、ＰＵ０ｐの順で処理される。１６個のブロックＰＵ０ａ〜ＰＵ０ｐに対する処理として、参照画像の転送処理、動き補償処理、および、予測画像の出力処理等がある。

図１２Ｄに示された１６個のブロックＰＵ０ａ〜ＰＵ０ｐの処理順序は、図１２Ｃに示された１６個の変換ユニットＴＵ０〜ＴＵ１５の処理順序である変換順序に従っている。すなわち、予測ユニットＰＵ０は、変換順序に従って、処理される。

図１２Ｅは、図１２Ａに示された符号化ユニットＣＵ０の分割後のブロックの構成例を示す図である。図１２Ｅには、１６個のブロックＢＫ０〜ＢＫ１５が示されている。そして、１６個のブロックＢＫ０〜ＢＫ１５は、ＢＫ０、ＢＫ１、ＢＫ２、・・・、ＢＫ１５の順で処理される。１６個のブロックＢＫ０〜ＢＫ１５に対する処理として、再構成処理、インループフィルタ処理、および、フレームメモリ５０２への格納処理等がある。

図１３Ａは、図１１の手順が適用されなかった場合のパイプライン処理の例を示すタイムチャートである。

図１３Ａの例では、まず、可変長復号処理が、符号化ユニットＣＵ０に対して実行される。その後、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０〜ＴＵ１５に対して、ＴＵ０、ＴＵ１、ＴＵ２、・・・、ＴＵ１５の順で実行される。同時に、動き補償処理が、予測ユニットＰＵ０に対して、実行される。その後、再構成処理が、符号化ユニットＣＵ０に対して実行される。その後、インループフィルタ処理が、符号化ユニットＣＵ０に対して実行される。

図１３Ａの例では、動き補償処理が、予測ユニットＰＵ０に対して終了し、かつ、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０〜ＴＵ１５に対して終了するまで、再構成処理は開始できない。

図１３Ｂは、図１１の手順が適用された場合のパイプライン処理の例を示すタイムチャートである。

図１３Ｂの例では、まず、可変長復号処理が、符号化ユニットＣＵ０に対して実行される。その後、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０〜ＴＵ１５に対して、ＴＵ０、ＴＵ１、ＴＵ２、・・・、ＴＵ１５の順で実行される。同時に、動き補償処理が、ブロックＰＵ０ａ〜ＰＵ０ｐに対して、ＰＵ０ａ、ＰＵ０ｂ、ＰＵ０ｃ、・・・、ＰＵ０ｐの順で実行される。

また、再構成処理が、ブロックＢＫ０〜ＢＫ１５に対して、ＢＫ０、ＢＫ１、ＢＫ２、・・・、ＢＫ１５の順で実行される。ここで、変換ユニットＴＵ０の逆量子化処理および逆周波数変換処理が終了し、ブロックＰＵ０ａの動き補償処理が終了した後、ブロックＢＫ０の再構成処理が開始する。同様に、変換ユニットＴＵ１〜ＴＵ１５の逆量子化処理および逆周波数変換処理が順に終了し、ブロックＰＵ０ｂ〜ＰＵ０ｐの動き補償処理が順に終了するタイミングで、ブロックＢＫ１〜ＢＫ１５の再構成処理が順に開始する。

また、インループフィルタ処理が、ブロックＢＫ０〜ＢＫ１５に対して、ＢＫ０、ＢＫ１、ＢＫ２、・・・、ＢＫ１５の順で実行される。ここで、ブロックＢＫ０の再構成処理が終了した後、ブロックＢＫ０のインループフィルタ処理が開始する。同様に、ブロックＢＫ１〜ＢＫ１５の再構成処理が順に終了するタイミングで、ブロックＢＫ１〜ＢＫ１５のインループフィルタ処理が順に開始する。

図１３Ｂの例では、分割後のブロックの予測画像は、変換ユニットと同じ順序で出力される。そのため、図１３Ａの場合に比べ、再構成処理に必要な、差分画像、および、差分画像と同じ領域の予測画像の両方が、早く揃う。したがって、再構成処理およびインループフィルタ処理の開始の遅延が小さくなる。よって、復号処理が高速化する。

また、参照画像のデータ転送が小さいデータ単位で行われ、小さいデータ単位で動き補償処理が実行される。そのため、参照画像を保持するための参照画像記憶部５１３の必要容量が小さくなる。また、画像処理装置は、予測ユニットの分割によって、参照画像の転送処理、動き補償処理、および、予測画像の出力処理をパイプライン処理によって並行して実行できる。したがって、画像処理装置は、動き補償に必要な処理時間を短くすることができる。

なお、図１３Ｂの例において、変換ユニットＴＵ０〜ＴＵ１５の処理と、ブロックＰＵ０ａ〜ＰＵ０ｐの処理とが、同じタイミングで開始している。しかし、これらの処理は、同じタイミングで開始しなくてもよく、必要な情報が得られたタイミングで、互いに独立して開始できる。

（１−４．効果）
このように、画像処理装置は、予測ユニットのサイズが大きい場合でも、予測ユニットを分割して変換ユニットの処理順序で処理することにより、メモリ容量を小さくすることができる。さらに、画像処理装置は、参照画像の転送処理と、動き補償の処理をパイプライン状に行うことで、処理の遅延を小さくすることができる。また、画像処理装置は、再構成処理およびインループフィルタ処理の開始を早くすることができる。したがって、復号処理全体が高速化する。

（１−５．補足）
なお、本実施の形態に係る画像処理装置は、予測ユニットの分割後の複数のブロックに対して、変換ユニットの処理順序で１つずつ、参照画像位置算出、参照画像サイズ算出、参照画像転送、動き補償演算、および、予測画像出力を行う。しかし、画像処理装置は、複数のブロックに対する処理を２つずつ行ってもよいし、３つずつ行ってもよいし、２５６画素相当分のブロック毎に行ってもよい。

また、本実施の形態に係る画像処理装置は、動きベクトル算出後に予測ユニットを分割する。しかし、画像処理装置は、参照画像位置算出、参照画像サイズ算出および参照画像転送の後に、動き補償処理に必要な参照画像を変換ユニットのエッジで複数のブロックに分割してもよい。そして、画像処理装置は、参照画像の分割後の複数のブロックに対して、変換ユニットの処理順序で、１つずつ、動き補償演算および予測画像出力を行ってもよい。

この場合、参照画像記憶部５１３の必要容量は、分割しない場合と同様になる。しかし、予測画像記憶部５１４の必要容量は小さくなる。また、画像処理装置は、再構成処理およびインループフィルタ処理を早く開始できる。したがって、復号処理全体が高速化する。また、フレームメモリ５０２へのアクセス頻度が減少する。

また、画像処理装置は、参照画像位置算出、参照画像サイズ算出、参照画像転送、および、動き補償処理の後、再構成処理に必要な予測画像を変換ユニットのエッジで複数のブロックに分割してもよい。そして、画像処理装置は、予測画像の分割後の複数のブロックに対して、変換ユニットの処理順序で、１つずつ、予測画像出力、再構成処理およびインループフィルタ処理を行ってもよい。

この場合、参照画像記憶部５１３の必要容量は、小さくならない。しかし、予測画像記憶部５１４の必要容量が小さくなる。また、画像処理装置は、再構成処理およびインループフィルタ処理を早く開始できる。したがって、復号処理全体が高速化する。また、フレームメモリ５０２へのアクセス頻度が減少する。

また、各処理部の構成について、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムで実現されてもよい。

また、本実施の形態において、フレームメモリ５０２、参照画像記憶部５１３および予測画像記憶部５１４は、メモリまたは記憶部として示されている。しかし、これらは、データの記憶が可能な記憶素子であれば、フリップフロップまたはレジスタなどいずれの構成でもよい。さらに、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部が、フレームメモリ５０２、参照画像記憶部５１３および予測画像記憶部５１４として、用いられてもよい。

また、本実施の形態において、画像復号装置である画像処理装置が示されている。しかし、画像処理装置は、画像復号装置に限定されるものではない。復号処理を逆の手順で実行する画像符号化装置も、同様に、予測ユニットを分割して、動き補償処理を行うことが可能である。例えば、画像符号化装置でも、参照画像を生成するため、動き補償処理が実行される場合がある。このような場合、画像符号化装置は、予測ユニットを分割して、動き補償処理を実行してもよい。

また、本実施の形態では、動き補償が例として記載されている。しかし、画像処理装置は、面内予測の場合でも、同様の処理を実行することで、同様の効果を得ることができる。

また、本実施の形態で示された符号化ユニット、予測ユニットおよび変換ユニットについてのサイズおよび形状は、例であって、これらのサイズおよび形状は、いかなるサイズおよび形状でもかまわない。

（実施の形態２）
（２−１．概要）
まず、本実施の形態に係る画像処理装置の概要について説明する。本実施の形態に係る画像処理装置は、動き補償を含む符号化処理によって生成された符号化ストリームを復号する。符号化において、動き補償のサイズ、すなわち、予測ユニットのサイズは、可変であり、最大で６４ｘ６４画素である。

画像処理装置は、符号化ユニットに含まれるすべての予測ユニットのそれぞれに対し、予測ユニットの矩形内に変換ユニットのエッジが含まれている場合、変換ユニットのエッジで予測ユニットを複数のブロックに分割する。そして、画像処理装置は、分割により得られた複数のブロックに対して、変換ユニットの処理順序で、参照画像の転送処理、動き補償処理、および、予測画像の出力処理を行う。本実施の形態では、イントラ予測とインター予測のうち、インター予測が用いられる。

また、画像処理装置は、以後の再構成処理およびインループフィルタ処理についても、変換ユニットの処理順序で処理を行う。

これにより、画像処理装置は、符号化ユニットに含まれるすべての予測ユニットに対して、変換ユニットの処理順序と同じ処理順序で処理を行うことができる。したがって、画像処理装置は、実施の形態１の場合よりも復号処理を高速化することができる可能性がある。

以上が本実施の形態に係る画像処理装置の概要についての説明である。

（２−２．構成）
図２は、本実施の形態に係る画像処理装置の構成図である。図３は、本実施の形態に係る動き補償部５０６の周辺の構成図である。本実施の形態に係る画像処理装置の構成は、実施の形態１と同様であるので、説明を省略する。

（２−３．動作）
本実施の形態では、実施の形態１と同様に、図４Ａ〜図６Ｂに示された符号化ストリームの構造が用いられる。本実施の形態に係る画像処理装置の動作フローは、図７および図８に示された実施の形態１の動作フローと同様であるので、説明を省略する。

図１４Ａは、本実施の形態に係る予測ユニットと動きベクトルを示す図である。図１４Ａの例では、１つの符号化ユニットが、２つの予測ユニットＰＵ０、ＰＵ１を含む。予測ユニットＰＵ０は、１つの動きベクトルｖ０を有し、予測ユニットＰＵ１は、１つの動きベクトルｖ１を有する。

図１４Ｂは、図１４Ａに示された２つの予測ユニットＰＵ０、ＰＵ１の分割を示す図である。図１４Ｂの例において、予測ユニットＰＵ０は、２つのブロックＰＵ０ａ、ＰＵ０ｂに分割され、予測ユニットＰＵ１は、２つのブロックＰＵ１ａ、ＰＵ１ｂに分割されている。

図１４Ａに示された予測ユニットＰＵ０に対する１つの動きベクトルｖ０は、この予測ユニットのどの画素に対しても、同じである。つまり、図１４Ｂのように、予測ユニットＰＵ０が２つのブロックＰＵ０ａ、ＰＵ０ｂに分割された場合も、２つのブロックＰＵ０ａ、ＰＵ０ｂは、それぞれ、同じ動きベクトルｖ０を有する。同様に、２つのブロックＰＵ１ａ、ＰＵ１ｂは、それぞれ、同じ動きベクトルｖ１を有する。

図１４Ａおよび図１４Ｂのように、本実施の形態の画像処理装置は、符号化ユニットに含まれる複数の予測ユニットを複数のブロックに分割する。そして、画像処理装置は、変換ユニットの処理順序で、それぞれのブロックに対して、参照画像の転送処理、動き補償処理、および、予測画像の出力処理を行う。

図１５は、本実施の形態に係る動き補償の動作を示すフローチャートである。本実施の形態の動きベクトル演算部５１１および動き補償部５０６の動作について図１５を用いて説明する。図１５は、１つの符号化ユニットに対する動き補償の動作を示す。

まず、動きベクトル演算部５１１は、符号化ユニットに含まれる予測ユニットの動きベクトルを規格で定められた方法により計算する（Ｓ１４００）。次に、動きベクトル演算部５１１は、同じ符号化ユニットに含まれる変換ユニットの画面内座標およびサイズに基づいて、予測ユニットの矩形内に変換ユニットのエッジを含むか否かを判定する（Ｓ１４０１）。

予測ユニットの矩形内に変換ユニットのエッジが含まれない場合（Ｓ１４０１でＮｏ）、動きベクトル演算部５１１は、動きベクトル、予測ユニットの座標、および、予測ユニットの大きさに基づいて、参照画像位置および参照画像サイズを算出する（Ｓ１４０２）。

予測ユニットの矩形内に変換ユニットのエッジが含まれる場合（Ｓ１４０１でＹｅｓ）、予測ユニットを変換ユニットのエッジで分割する（Ｓ１４０５）。動きベクトル演算部５１１は、分割により得られた複数のブロックに対して、動き補償処理で必要な参照画像位置および参照画像サイズを算出する（Ｓ１４０６）。

次に、動きベクトル演算部５１１は、符号化ユニット内のすべての予測ユニットに対して、参照画像位置および参照画像サイズの算出の一連の処理（Ｓ１４００、Ｓ１４０１、Ｓ１４０２、Ｓ１４０５、Ｓ１４０６）を行ったか否かを判定する（Ｓ１４０８）。未処理の予測ユニットがある場合（Ｓ１４０８でＮｏ）、動きベクトル演算部５１１は、その予測ユニットについて動きベクトル計算を行う（Ｓ１４００）。

次に、動きベクトル演算部５１１は、得られた参照画像位置および参照画像サイズをＤＭＡ制御部５１２にセットする。ＤＭＡ制御部５１２は、フレームメモリ５０２から参照画像記憶部５１３に参照画像を転送する（Ｓ１４０３）。次に、動き補償部５０６は、参照画像記憶部５１３に転送された参照画像を用いて、動き補償の演算を行い（Ｓ１４０４）、結果を予測画像記憶部５１４に書き込む（Ｓ１４０７）。

次に、動きベクトル演算部５１１は、符号化ユニット内のすべての予測ユニットに対して、参照画像位置および参照画像サイズの算出の一連の処理（Ｓ１４０３、Ｓ１４０４、Ｓ１４０７）を行ったか否かを判定する（Ｓ１４０９）。未処理のブロックがある場合（Ｓ１４０９でＮｏ）、動きベクトル演算部５１１は、そのブロックについての参照画像転送を行う（Ｓ１４０３）。未処理のブロックがない場合（Ｓ１４０９でＹｅｓ）、処理は終了する。

動きベクトル演算部５１１、ＤＭＡ制御部５１２および動き補償部５０６は、前述の処理（Ｓ１４０３、Ｓ１４０４、Ｓ１４０７）を、変換ユニットの処理順序で行う。

図１６Ａは、本実施の形態に係る符号化ユニットの構成例を示す図である。図１６Ａに示された符号化ユニットＣＵ０は、６４ｘ６４画素のサイズを有する。

図１６Ｂは、図１６Ａに示された符号化ユニットＣＵ０における予測ユニットの構成例を示す図である。符号化ユニットＣＵ０は、２つの予測ユニットＰＵ０、ＰＵ１を含む。

図１６Ｃは、図１６Ａに示された符号化ユニットＣＵ０における変換ユニットの構成例を示す図である。図１６Ｃには、２つの変換ユニットＴＵ０、ＴＵ１が示されている。そして、２つの変換ユニットＴＵ０、ＴＵ１は、ＴＵ０、ＴＵ１の順で処理される。

図１６Ｄは、図１６Ａに示された符号化ユニットＣＵ０における２つの予測ユニットＰＵ０、ＰＵ１の分割後のブロックの構成例を示す図である。図１６Ｄには、４つのブロックＰＵ０ａ、ＰＵ０ｂ、ＰＵ１ａ、ＰＵ１ｂが示されている。そして、４つのブロックＰＵ０ａ、ＰＵ０ｂ、ＰＵ１ａ、ＰＵ１ｂは、ＰＵ０ａ、ＰＵ１ａ、ＰＵ０ｂ、ＰＵ１ｂの順で処理される。

図１６Ｄに示された４つのブロックＰＵ０ａ、ＰＵ０ｂ、ＰＵ１ａ、ＰＵ１ｂの処理順序は、図１６Ｃに示された２つの変換ユニットＴＵ０、ＴＵ１の処理順序である変換順序に従っている。すなわち、２つの予測ユニットＰＵ０、ＰＵ１は、変換順序に従って、処理される。

図１６Ｅは、図１６Ａに示された符号化ユニットＣＵ０の分割後のブロックの構成例を示す図である。図１６Ｅには、２つのブロックＢＫ０、ＢＫ１が示されている。そして、２つのブロックＢＫ０、ＢＫ１は、ＢＫ０、ＢＫ１の順で処理される。

図１７Ａは、図１５の手順が適用されなかった場合のパイプライン処理の例を示すタイムチャートである。

図１７Ａの例では、まず、可変長復号処理が、符号化ユニットＣＵ０に対して実行される。その後、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０、ＴＵ１に対して、ＴＵ０、ＴＵ１の順で実行される。同時に、動き補償処理が、予測ユニットＰＵ０、ＰＵ１に対して、実行される。その後、再構成処理が、符号化ユニットＣＵ０に対して実行される。その後、インループフィルタ処理が、符号化ユニットＣＵ０に対して実行される。

図１７Ａの例では、動き補償処理が、予測ユニットＰＵ０、ＰＵ１に対して終了し、かつ、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０、ＴＵ１に対して終了するまで、再構成処理は開始できない。

図１７Ｂは、図１５の手順が適用された場合のパイプライン処理の例を示すタイムチャートである。

図１７Ｂの例では、まず、可変長復号処理が、符号化ユニットＣＵ０に対して実行される。その後、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０、ＴＵ１に対して、ＴＵ０、ＴＵ１の順で実行される。同時に、動き補償処理が、ブロックＰＵ０ａ、ＰＵ０ｂ、ＰＵ１ａ、ＰＵ１ｂに対して、ＰＵ０ａ、ＰＵ１ａ、ＰＵ０ｂ、ＰＵ１ｂの順で実行される。

また、再構成処理が、ブロックＢＫ０、ＢＫ１に対して、ＢＫ０、ＢＫ１の順で実行される。ここで、変換ユニットＴＵ０の逆量子化処理および逆周波数変換処理が終了し、ブロックＰＵ０ａ、ＰＵ１ａの動き補償処理が終了した後、ブロックＢＫ０の再構成処理が開始する。同様に、変換ユニットＴＵ１の逆量子化処理および逆周波数変換処理が終了し、ブロックＰＵ０ｂ、ＰＵ１ｂの動き補償処理が終了するタイミングで、ブロックＢＫ１の再構成処理が開始する。

また、インループフィルタ処理が、ブロックＢＫ０、ＢＫ１に対して、ＢＫ０、ＢＫ１の順で実行される。ここで、ブロックＢＫ０の再構成処理が終了した後、ブロックＢＫ０のインループフィルタ処理が開始する。同様に、ブロックＢＫ１の再構成処理が終了するタイミングで、ブロックＢＫ１のインループフィルタ処理が開始する。

図１７Ｂの例では、分割後のブロックの予測画像は、変換ユニットと同じ順序で出力される。そのため、図１７Ａの場合に比べ、再構成処理に必要な、差分画像、および、差分画像と同じ領域の予測画像の両方が、早く揃う。したがって、再構成処理およびインループフィルタ処理の開始の遅延が小さくなる。よって、復号処理が高速化する。

また、参照画像のデータ転送が小さいデータ単位で行われ、小さいデータ単位で動き補償処理が実行される。そのため、参照画像を保持するための参照画像記憶部５１３の必要容量が小さくなる。また、画像処理装置は、予測ユニットの分割によって、参照画像の転送処理、動き補償処理、および、予測画像の出力処理をパイプライン処理によって並行して実行できる。したがって、画像処理装置は、動き補償に必要な処理時間を短くすることができる。

（２−４．効果）
これにより、本実施の形態に係る画像処理装置は、符号化ユニットに含まれるすべての予測ユニットに対して、変換ユニットと同じ処理順序で処理を行うことができる。そのため、本実施の形態に係る画像処理装置は、実施の形態１の場合よりも復号処理を高速化することができる可能性がある。

（２−５．補足）
なお、本実施の形態に係る画像処理装置は、符号化ユニットに含まれるすべての予測ユニットの分割後の複数のブロックに対して、変換ユニットの処理順序で１つずつ、参照画像転送、動き補償演算、および、予測画像出力を行う。しかし、画像処理装置は、複数のブロックに対する処理を２つずつ行ってもよいし、３つずつ行ってもよいし、２５６画素相当分のブロック毎に行ってもよい。

また、本実施の形態に係る画像処理装置は、動きベクトル算出後に予測ユニットを分割する。しかし、画像処理装置は、参照画像位置算出、参照画像サイズ算出および参照画像転送を符号化ユニットに含まれるすべての予測ユニットに対して行った後に、動き補償処理に必要な参照画像を複数のブロックに分割してもよい。そして、参照画像の分割後の複数のブロックに対して、変換ユニットの処理順序で、１つずつ、動き補償演算および予測画像出力を行ってもよい。

この場合、参照画像記憶部５１３の必要容量は、分割しない場合と同様になる。しかし、予測画像記憶部５１４の必要容量は小さくなる。また、画像処理装置は、再構成処理およびインループフィルタ処理を早く開始できる。したがって、復号処理全体が高速化する。また、フレームメモリ５０２へのアクセス頻度が減少する。

また、画像処理装置は、参照画像位置算出、参照画像サイズ算出、参照画像転送および動き補償処理を符号化ユニットに含まれるすべての予測ユニットに対して行った後、再構成処理に必要な予測画像を複数のブロックに分割してもよい。そして、画像処理装置は、予測画像の分割後の複数のブロックに対して、変換ユニットの処理順序で、１つずつ、予測画像出力、再構成処理およびインループフィルタ処理を行ってもよい。

この場合、参照画像記憶部５１３の必要容量は、小さくならない。しかし、予測画像記憶部５１４の必要容量が小さくなる。また、画像処理装置は、再構成処理およびインループフィルタ処理を早く開始できる。したがって、復号処理全体が高速化する。また、フレームメモリ５０２へのアクセス頻度が減少する。

また、各処理部の構成について、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムで実現されてもよい。

また、本実施の形態において、フレームメモリ５０２、参照画像記憶部５１３および予測画像記憶部５１４は、メモリまたは記憶部として示されている。しかし、これらは、データの記憶が可能な記憶素子であれば、フリップフロップまたはレジスタなどいずれの構成でもよい。さらに、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部が、フレームメモリ５０２、参照画像記憶部５１３および予測画像記憶部５１４として、用いられてもよい。

また、本実施の形態において、画像復号装置である画像処理装置が示されている。しかし、画像処理装置は、画像復号装置に限定されるものではない。復号処理を逆の手順で実行する画像符号化装置も、同様に、予測ユニットを分割して、動き補償処理を行うことが可能である。

また、本実施の形態では、動き補償が例として記載されている。しかし、画像処理装置は、面内予測の場合でも、同様の処理を実行することで、同様の効果を得ることができる。

また、本実施の形態で示された符号化ユニット、予測ユニットおよび変換ユニットについてのサイズおよび形状は、例であって、これらのサイズおよび形状は、いかなるサイズおよび形状でもかまわない。

（実施の形態３）
（３−１．概要）
まず、本実施の形態に係る画像処理装置の概要について説明する。本実施の形態に係る画像処理装置は、動き補償を含む符号化処理によって生成された符号化ストリームを復号する。符号化において、動き補償のサイズ、すなわち、予測ユニットのサイズは、可変であり、最大で６４ｘ６４画素である。

画像処理装置は、予測ユニットの矩形内に変換ユニットのエッジが含まれていない場合、かつ、変換ユニットの処理順序と予測ユニットの処理順序とが異なる場合、変換ユニットの処理順序で、参照画像の転送処理、動き補償処理、および、予測画像の出力処理を行う。本実施の形態では、イントラ予測とインター予測のうち、インター予測が用いられる。

また、画像処理装置は、以後の再構成処理およびインループフィルタ処理についても変換ユニットの処理順序で処理を行う。

これにより、画像処理装置は、予測ユニットを分割することなく、変換ユニットと同じ処理順序で、予測ユニットの処理を行うことができる。したがって、復号処理が高速化する。

以上が本実施の形態に係る画像処理装置の概要についての説明である。

（３−２．構成）
図２は、本実施の形態に係る画像処理装置の構成図である。図３は、本実施の形態に係る動き補償部５０６の周辺の構成図である。本実施の形態に係る画像処理装置の構成は、実施の形態１と同様であるので、説明を省略する。

（３−３．動作）
本実施の形態では、実施の形態１と同様に、図４Ａ〜図６Ｂに示された符号化ストリームの構造が用いられる。本実施の形態に係る画像処理装置の動作フローは、図７および図８に示された実施の形態１の動作フローと同様であるので、説明を省略する。

図１８は、本実施の形態に係る予測ユニットと動きベクトルを示す図である。図１８の例において、１つの符号化ユニットは、４つの予測ユニットＰＵ０〜ＰＵ３を含む。予測ユニットＰＵ０は、１つの動きベクトルｖ０を有する。同様に、予測ユニットＰＵ１〜ＰＵ３は、動きベクトルｖ１〜ｖ３を有する。

本実施の形態の画像処理装置は、符号化ユニットに含まれる複数の予測ユニットを分割することなく、変換ユニットの処理順序で、複数の予測ユニットに対して、参照画像の転送処理、動き補償処理、および、予測画像の出力処理を行う。

図１９は、本実施の形態に係る動き補償の動作を示すフローチャートである。本実施の形態の動きベクトル演算部５１１および動き補償部５０６の動作について図１９を用いて説明する。図１９は、１つの符号化ユニットに対する動き補償の動作を示す。

まず、動きベクトル演算部５１１は、符号化ユニットに含まれる予測ユニットの動きベクトルを規格で定められた方法により計算する（Ｓ１８００）。次に、動きベクトル演算部５１１は、動きベクトル、予測ユニットの座標、および、予測ユニットの大きさに基づいて、参照画像位置および参照画像サイズを算出する（Ｓ１８０２）。

次に、動きベクトル演算部５１１は、符号化ユニット内のすべての予測ユニットに対して、参照画像位置および参照画像サイズの算出の一連の処理（Ｓ１８００、Ｓ１８０２）を行ったか否かを判定する（Ｓ１８０８）。未処理の予測ユニットがある場合（Ｓ１８０８でＮｏ）、動きベクトル演算部５１１は、その予測ユニットについて動きベクトル計算を行う（Ｓ１８００）。

次に、動きベクトル演算部５１１は、得られた参照画像位置および参照画像サイズをＤＭＡ制御部５１２にセットする。ＤＭＡ制御部５１２は、フレームメモリ５０２から参照画像記憶部５１３に参照画像を転送する（Ｓ１８０３）。次に、動き補償部５０６は、参照画像記憶部５１３に転送された参照画像を用いて、動き補償の演算を行い（Ｓ１８０４）、結果を予測画像記憶部５１４に書き込む（Ｓ１８０７）。

次に、動きベクトル演算部５１１は、符号化ユニット内のすべての予測ユニットに対して、参照画像位置および参照画像サイズの算出の一連の処理（Ｓ１８０３、Ｓ１８０４、Ｓ１８０７）を行ったか否かを判定する（Ｓ１８０９）。未処理のブロックがある場合（Ｓ１８０９でＮｏ）、動きベクトル演算部５１１は、そのブロックについての参照画像転送を行う（Ｓ１８０３）。未処理のブロックがない場合（Ｓ１８０９でＹｅｓ）、処理は終了する。

動きベクトル演算部５１１、ＤＭＡ制御部５１２および動き補償部５０６は、前述の処理（Ｓ１８０３、Ｓ１８０４、Ｓ１８０７）を、変換ユニットの処理順序で行う。

図２０Ａは、本実施の形態に係る符号化ユニットの構成例を示す図である。図２０Ａに示された符号化ユニットＣＵ０は、６４ｘ６４画素のサイズを有する。

図２０Ｂは、図２０Ａに示された符号化ユニットＣＵ０における予測ユニットの構成例を示す図である。符号化ユニットＣＵ０は、４つの予測ユニットＰＵ０〜ＰＵ３を含む。

図２０Ｃは、図２０Ａに示された符号化ユニットＣＵ０における変換ユニットの構成例を示す図である。図２０Ｃには、２つの変換ユニットＴＵ０、ＴＵ１が示されている。そして、２つの変換ユニットＴＵ０、ＴＵ１は、ＴＵ０、ＴＵ１の順で処理される。

図２０Ｄは、図１６Ａに示された符号化ユニットＣＵ０における４つの予測ユニットＰＵ０〜ＰＵ３の処理順序を示す図である。４つの予測ユニットＰＵ０〜ＰＵ３は、ＰＵ０、ＰＵ２、ＰＵ１、ＰＵ３の順で処理される。

図２０Ｄに示された４つの予測ユニットＰＵ０〜ＰＵ３の処理順序は、図２０Ｃに示された２つの変換ユニットＴＵ０、ＴＵ１の処理順序である変換順序に従っている。すなわち、４つの予測ユニットＰＵ０〜ＰＵ３は、変換順序に従って、処理される。

図２０Ｅは、図２０Ａに示された符号化ユニットＣＵ０の分割後のブロックの構成例を示す図である。図２０Ｅには、２つのブロックＢＫ０、ＢＫ１が示されている。そして、２つのブロックＢＫ０、ＢＫ１は、ＢＫ０、ＢＫ１の順で処理される。

図２１Ａは、図１９の手順が適用されなかった場合のパイプライン処理の例を示すタイムチャートである。

図２１Ａの例では、まず、可変長復号処理が、符号化ユニットＣＵ０に対して実行される。その後、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０、ＴＵ１に対して、ＴＵ０、ＴＵ１の順で実行される。同時に、動き補償処理が、予測ユニットＰＵ０〜ＰＵ３に対して、実行される。その後、再構成処理が、符号化ユニットＣＵ０に対して実行される。その後、インループフィルタ処理が、符号化ユニットＣＵ０に対して実行される。

図２１Ａの例では、動き補償処理が、予測ユニットＰＵ０〜ＰＵ３に対して終了し、かつ、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０、ＴＵ１に対して終了するまで、再構成処理は開始できない。

図２１Ｂは、図１９の手順が適用された場合のパイプライン処理の例を示すタイムチャートである。

図２１Ｂの例では、まず、可変長復号処理が、符号化ユニットＣＵ０に対して実行される。その後、逆量子化処理および逆周波数変換処理が、変換ユニットＴＵ０、ＴＵ１に対して、ＴＵ０、ＴＵ１の順で実行される。同時に、動き補償処理が、ブロックＰＵ０〜ＰＵ３に対して、ＰＵ０、ＰＵ２、ＰＵ１、ＰＵ３の順で実行される。

また、再構成処理が、ブロックＢＫ０、ＢＫ１に対して、ＢＫ０、ＢＫ１の順で実行される。ここで、変換ユニットＴＵ０の逆量子化処理および逆周波数変換処理が終了し、ブロックＰＵ０、ＰＵ２の動き補償処理が終了した後、ブロックＢＫ０の再構成処理が開始する。同様に、変換ユニットＴＵ１の逆量子化処理および逆周波数変換処理が終了し、ブロックＰＵ１、ＰＵ３の動き補償処理が終了するタイミングで、ブロックＢＫ１の再構成処理が開始する。

また、インループフィルタ処理が、ブロックＢＫ０、ＢＫ１に対して、ＢＫ０、ＢＫ１の順で実行される。ここで、ブロックＢＫ０の再構成処理が終了した後、ブロックＢＫ０のインループフィルタ処理が開始する。同様に、ブロックＢＫ１の再構成処理が終了するタイミングで、ブロックＢＫ１のインループフィルタ処理が開始する。

図２１Ｂの例では、予測画像は、変換ユニットと同じ順序で出力される。そのため、図２１Ａの場合に比べ、再構成処理に必要な、差分画像、および、差分画像と同じ領域の予測画像の両方が、早く揃う。したがって、再構成処理およびインループフィルタ処理の開始の遅延が小さくなる。よって、復号処理が高速化する。

（３−４．効果）
このように、画像処理装置は、予測ユニットを分割せずに、変換ユニットと同じ処理順序で、予測ユニットの処理を行う。したがって、復号処理が高速化する。

（３−５．補足）
なお、本実施の形態に係る画像処理装置は、符号化ユニットに含まれるすべての予測ユニットを変換ユニットの処理順序で１つずつ、参照画像転送、動き補償演算、および、予測画像出力を行う。しかし、画像処理装置は、複数の予測ユニットに対する処理を２つずつ行ってもよいし、３つずつ行ってもよいし、２５６画素相当分のブロック毎に行ってもよい。

また、各処理部の構成について、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムで実現されてもよい。

また、本実施の形態において、フレームメモリ５０２、参照画像記憶部５１３および予測画像記憶部５１４は、メモリまたは記憶部として示されている。しかし、これらは、データの記憶が可能な記憶素子であれば、フリップフロップまたはレジスタなどいずれの構成でもよい。さらに、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部が、フレームメモリ５０２、参照画像記憶部５１３および予測画像記憶部５１４として、用いられてもよい。

また、本実施の形態において、画像復号装置である画像処理装置が示されている。しかし、画像処理装置は、画像復号装置に限定されるものではない。復号処理を逆の手順で実行する画像符号化装置も、同様に、動き補償処理を行うことが可能である。

また、本実施の形態では、動き補償が例として記載されている。しかし、画像処理装置は、面内予測の場合でも、同様の処理を実行することで、同様の効果を得ることができる。

また、本実施の形態で示された符号化ユニット、予測ユニットおよび変換ユニットについてのサイズおよび形状は、例であって、これらのサイズおよび形状は、いかなるサイズおよび形状でもかまわない。

（実施の形態４）
（４−１．概要）
まず、本実施の形態に係る画像処理装置の概要について説明する。本実施の形態に係る画像処理装置は、動き補償を含む符号化処理によって生成された符号化ストリームを復号する。符号化において、面内予測のサイズ、すなわち、予測ユニットのサイズは、可変であり、最大で６４ｘ６４画素である。

画像処理装置は、予測ユニットの矩形内に変換ユニットのエッジが含まれている場合、変換ユニットのエッジで予測ユニットを分割する。そして、画像処理装置は、分割により得られた複数のブロックに対して、変換ユニットの処理順序で、面内予測の処理、および、予測画像の出力を行う。また、画像処理装置は、以後の再構成処理およびインループフィルタ処理についても変換ユニットの処理順序で処理を行う。

例えば、画像処理装置は、予測ユニットのサイズが大きい場合でも、予測ユニットを分割して、変換ユニットの処理順序で、面内予測を実行する。これにより、予測画像の記憶に必要なメモリ容量が減少する。さらに、画像処理装置は、再構成処理およびインループフィルタ処理を早く開始することができる。したがって、復号処理全体が高速化する。

（４−２．構成）
次に、本実施の形態に係る画像処理装置の構成について説明する。図２は本実施の形態に係る画像処理装置の構成図である。本実施の形態に係る画像処理装置の全体構成は、実施の形態１と同様であるので、説明を省略する。

図２２は、本実施の形態に係る面内予測部５０７の周辺の構成図である。図２と同様の構成要素には同じ符号を割り当て、説明を省略する。図２２には、可変長復号部５０３、予測モード演算部５１５、面内予測部５０７、再構成画像メモリ５０９、再構成部５０８および予測画像記憶部５１４が示されている。予測モード演算部５１５および予測画像記憶部５１４は、面内予測部５０７に含まれていてもよい。

予測モード演算部５１５は、可変長復号部５０３で復号された復号情報に基づいて、面内予測の面内予測モードを算出する。面内予測部５０７は、面内予測モードに基づいて、面内予測を実行する。その際、面内予測部５０７は、変換ユニットについての変換順序を可変長復号部５０３から取得してもよい。

以上が、本実施の形態に係る画像処理装置の構成についての説明である。

（４−３．動作）
図２３は、本実施の形態に係る面内予測の動作を示すフローチャートである。図２２に示された予測モード演算部５１５および面内予測部５０７の動作について図２３を用いて説明する。

まず、予測モード演算部５１５は、予測ユニットの面内予測モードを規格で定められた方法により計算する（Ｓ２２００）。次に、面内予測部５０７は、変換ユニットの画面内座標およびサイズに基づいて、予測ユニットの矩形内に変換ユニットのエッジを含むか否かを判定する（Ｓ２２０１）。

予測ユニットの矩形内に変換ユニットのエッジが含まれない場合（Ｓ２２０１でＮｏ）、面内予測部５０７は、面内予測モード、予測ユニットの座標、および、予測ユニットの大きさに基づいて、参照周辺画素位置を算出する（Ｓ２２０２）。面内予測部５０７は、得られた参照周辺画素位置の参照画素、および、面内予測モードを用いて、面内予測を行う（Ｓ２２０４）。そして、面内予測部５０７は、面内予測の結果を予測画像記憶部５１４に書き込む（Ｓ２２１０）。

予測ユニットの矩形内に変換ユニットのエッジが含まれる場合（Ｓ２２０１でＹｅｓ）、面内予測部５０７は、予測ユニットを変換ユニットのエッジで分割する（Ｓ２２０５）。そして、面内予測部５０７は、分割により生成された複数のブロックに対し、面内予測モード、ブロックの座標、および、ブロックの大きさに基づいて、ブロックの参照周辺画素位置を算出する（Ｓ２２０６）。

面内予測部５０７は、得られた参照周辺画素位置における参照画素、および、面内予測モードを用いて、面内予測を行う（Ｓ２２０８）。そして、面内予測部５０７は、面内予測の結果を予測画像記憶部５１４に書き込む（Ｓ２２１１）。

さらに、予測ユニットに、未処理のブロックがあるか否かを判定する（Ｓ２２０９）。未処理のブロックがある場合（Ｓ２２０９でＹｅｓ）、面内予測部５０７は、そのブロックの参照周辺画素位置を算出する（Ｓ２２０６）。未処理のブロックがない場合（Ｓ２２０９でＮｏ）、処理は終了する。

面内予測部５０７は、前述の処理（Ｓ２２０６、Ｓ２２０８、Ｓ２２１１、Ｓ２２０９）を変換ユニットの処理順序で行う。

画像処理装置は、以上の処理により、面内予測についても、実施の形態１の場合と同様の効果を得ることができる。つまり、図１３Ｂのように、予測画像が変換ユニットと同じ順序で出力される。そのため、再構成処理に必要な、差分画像と、差分画像と同じ領域の予測画像とが、早く揃う。したがって、図１３Ａの場合に比べ、再構成処理およびインループフィルタ処理の開始の遅延が小さくなる。よって、復号処理が高速化する。

また、面内予測処理、再構成処理およびインループフィルタ処理が小さいデータ単位で行われる。そのため、予測画像を保持するための予測画像記憶部５１４の必要容量が小さくなり、再構成処理およびインループフィルタ処理に用いるメモリの必要容量が小さくなる。

図２４は、予測ユニット、および、予測ユニットの面内予測処理で必要な参照周辺画素の例を示す図である。予測ユニットの面内予測処理には、予測ユニットの周辺に位置する参照周辺画素２３０２、２３０３が用いられる。例えば、次の式１に従って、面内予測が実行される。

なお、式１のｎＳは、予測ユニットのサイズを表す。図２４の場合、ｎＳは６４である。また、ｐ［ｘ’、−１］は、参照周辺画素２３０２を示し、ｘ’は、予測ユニットの左端を原点とし、右方向を正の方向とする座標軸の値（ｘ座標値）を示す。また、ｐ［−１、ｙ’］は、参照周辺画素２３０３を示し、ｙ’は、予測ユニットの上端を原点とし、下方向を正の方向とする座標軸の値（ｙ座標値）を示す。

ｋは、参照周辺画素から導出できる変数である。また、式１のｐｒｅｄＳａｍｐｌｅｓ［ｘ、ｙ］は、面内予測を行った結果の予測画素値を示す。

式１では、予測ユニット内の任意の位置において、予測画素値が同じである。したがって、予測ユニットが任意の矩形に分割された場合でも、ブロック毎の面内予測処理は可能である。また、面内予測の処理後、任意の順序で、予測画像の出力が可能である。

（４−４．効果）
本実施の形態に係る画像処理装置は、予測ユニットのサイズが大きい場合でも、予測ユニットを分割して、変換ユニットの処理順序で、面内予測処理を実行する。これにより、必要なメモリ容量が小さくなる。また、再構成処理およびインループフィルタ処理のより早い開始が可能になる。よって、復号処理全体が高速化する。

（４−５．補足）
なお、本実施の形態に係る画像処理装置は、予測ユニットの分割後の複数のブロックに対して、変換ユニットの処理順序で１つずつ、参照周辺画素位置算出、面内予測演算、および、予測画像出力を行う。しかし、画像処理装置は、複数のブロックに対する処理を２つずつ行ってもよいし、３つずつ行ってもよいし、２５６画素相当分のブロック毎に行ってもよい。

また、本実施の形態に係る画像処理装置は、面内予測モード算出後に予測ユニットを分割する。しかし、画像処理装置は、参照周辺画像位置算出、および、予測ユニットの面内予測処理の後に、予測画像を変換ユニットのエッジで分割し、変換ユニットの処理順序に従って、予測画像出力を行ってもよい。

この場合、再構成処理用のメモリ容量、および、インループフィルタ処理用のメモリ容量が削減される。また、再構成処理およびインループフィルタ処理のより早い開始が可能になる。したがって、復号処理全体が高速化する。

また、各処理部の構成について、その一部あるいは全部が、専用ハードウェアによる回路で実現されてもよいし、プロセッサにより実行されるプログラムで実現されてもよい。

また、本実施の形態において、フレームメモリ５０２、参照画像記憶部５１３および予測画像記憶部５１４は、メモリまたは記憶部として示されている。しかし、これらは、データの記憶が可能な記憶素子であれば、フリップフロップまたはレジスタなどいずれの構成でもよい。さらに、プロセッサのメモリ領域の一部、または、キャッシュメモリの一部が、フレームメモリ５０２、参照画像記憶部５１３および予測画像記憶部５１４として、用いられてもよい。

また、本実施の形態において、画像復号装置である画像処理装置が示されている。しかし、画像処理装置は、画像復号装置に限定されるものではない。復号処理を逆の手順で実行する画像符号化装置も、同様に、予測ユニットを分割して、面内予測処理を行うことが可能である。

また、本実施の形態で示された符号化ユニット、予測ユニットおよび変換ユニットについてのサイズおよび形状は、例であって、これらのサイズおよび形状は、いかなるサイズおよび形状でもかまわない。

また、本実施の形態において、ＤＣ（Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ）予測または平均値予測と呼ばれる面内予測モードが用いられているが、その他の面内予測モードが用いられてもよい。例えば、垂直予測と呼ばれる面内予測モードが用いられてもよいし、水平予測と呼ばれる面内予測モードが用いられてもよいし、非特許文献２に記載のその他の面内予測モードが用いられてもよい。

（実施の形態５）
以下、実施の形態５〜１２において、上述の複数の実施の形態で示された特徴的な構成要素を備える画像処理装置を示す。

図２５Ａは、実施の形態５に係る画像処理装置の構成を示す図である。図２５Ａに示された画像処理装置２４００は、符号化処理によって符号化された画像を復号する。この符号化処理は、１以上の予測ユニットに対する予測処理と、その１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む。

画像処理装置２４００は、予測部２４０１を備える。予測部２４０１は、実施の形態１で示された動き補償部５０６および面内予測部５０７等に対応する。

図２５Ｂは、図２５Ａに示された画像処理装置２４００の動作を示すフローチャートである。予測部２４０１は、１以上の予測ユニットに対して予め定められている予測順序が複数の変換ユニットに対して予め定められている変換順序に従っていない場合、１以上の予測ユニットに対応する予測画像をブロック毎に変換順序に従って出力する（Ｓ２４０１）。例えば、予測部２４０１は、１以上の予測ユニットに対する予測処理によって、予測画像を生成する。そして、予測部２４０１は、予測画像を変換順序に従って出力する。

ここで、予め定められている予測順序は、例えば、ストリーム内での予測ユニットの順序であってもよいし、それ以外の順序でもよい。また、予め定められている変換順序は、例えば、ストリーム内での変換ユニットの順序であってもよいし、それ以外の順序でもよい。そして、変換ユニットの処理結果が出力される領域と、予測ユニットの処理結果が出力される領域とが同じになるように、予測部２４０１は予測ユニットの出力を制御する。

これにより、予測画像の出力のタイミングが、変換で得られる差分画像の出力のタイミングに近くなる。したがって、後段の再構成処理の早期開始が可能になる。よって、画像処理装置２４００は、画像処理において発生する遅延を小さくすることができる。

なお、実施の形態５で示された画像処理装置２４００に、他の実施の形態で示された構成要素が追加されてもよい。例えば、複数の変換ユニットに対して逆周波数変換を変換順序に従って実行する逆周波数変換部５０５が追加されてもよい。また、実施の形態５で示された画像処理装置２４００が、他の実施の形態で示された構成に、組み込まれてもよい。

（実施の形態６）
実施の形態６に係る画像処理装置は、実施の形態５に係る画像処理装置２４００の具体的な構成例である。

図２６Ａは、実施の形態６に係る画像処理装置の構成を示す図である。図２６Ａに示された画像処理装置２５００は、実施の形態５に係る画像処理装置２４００と同様に、符号化処理によって符号化された画像を復号する。この符号化処理は、実施の形態５と同様に、１以上の予測ユニットに対する予測処理と、その１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む。

画像処理装置２５００は、予測部２５０１を備える。予測部２５０１は、実施の形態５で示された予測部２４０１に対応する。また、予測部２５０１は、情報取得部２５１１、予測画像生成部２５１２および予測画像出力部２５１３を備える。

図２６Ｂは、図２６Ａに示された画像処理装置２５００の動作を示すフローチャートである。まず、情報取得部２５１１は、予測画像を生成するための情報を取得する（Ｓ２５０１）。例えば、予測画像を生成するための情報には、動きベクトル、面内予測モード、参照画像および参照周辺画素等がある。次に、予測画像生成部２５１２は、取得された情報を用いて、予測処理を実行することにより、予測画像を生成する（Ｓ２５０２）。

次に、予測画像出力部２５１３は、予測画像を出力する（Ｓ２５０３）。この時、予測画像出力部２５１３は、予測順序が変換順序に従っていない場合、予測画像をブロック毎に変換順序に従って出力する。

これにより、予測画像の出力のタイミングが、変換で得られる差分画像の出力のタイミングに近くなる。したがって、後段の再構成処理の早期開始が可能になる。よって、画像処理装置２５００は、画像処理において発生する遅延を小さくすることができる。

なお、予測画像生成部２５１２は、予測順序が変換順序に従っていない場合、予測画像をブロック毎に変換順序に従って生成してもよい。これにより、生成処理と出力処理とが、円滑に実行される。

また、情報取得部２５１１は、予測順序が変換順序に従っていない場合、予測画像を生成するための情報をブロック毎に変換順序に従って取得してもよい。これにより、情報取得処理、生成処理および出力処理が、円滑に実行される。また、予測に必要なメモリ容量が減少する。

予測画像生成部２５１２は、面内予測を実行することにより、予測画像を生成してもよいし、動き補償を実行することにより、予測画像を生成してもよい。

（実施の形態７）
図２７Ａは、実施の形態７に係る画像処理装置の構成を示す図である。図２７Ａに示された画像処理装置２６００は、実施の形態５に係る画像処理装置２４００と同様に、符号化処理によって符号化された画像を復号する。この符号化処理は、実施の形態５と同様に、１以上の予測ユニットに対する予測処理と、その１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む。

画像処理装置２６００は、分割部２６０１および予測部２６０２を備える。予測部２６０２は、実施の形態５で示された予測部２４０１に対応する。

図２７Ｂは、図２７Ａに示された画像処理装置２６００の動作を示すフローチャートである。まず、分割部２６０１は、１以上の予測ユニットを複数の変換ユニットのエッジに沿って複数のブロックに分割する（Ｓ２６０１）。次に、予測部２６０２は、予測順序が変換順序に従っていない場合、１以上の予測ユニットを分割することにより得られたブロック毎に、予測画像を変換順序に従って出力する（Ｓ２６０２）。

これにより、大きい予測ユニットも、変換ユニットのエッジに沿って、分割される。したがって、大きい予測ユニットに対応する予測画像も変換順序に従って、適切に出力される。また、後段の再構成処理に必要なメモリ容量が減少する。

図２８Ａ〜図２８Ｄに、予測順序が変換順序に従っているか否か、および、予測ユニットに適用される予測順序が示されている。図２８Ａ〜図２８Ｄに示された数値は、順序を示す。また、図２８Ａ〜図２８Ｄに示された変換ユニットおよび予測ユニットは、階層的に分割されている。なお、変換ユニットを階層的に分割することによって得られる各ブロックも変換ユニットである。また、予測ユニットを階層的に分割することによって得られる各ブロックも予測ユニットである。

図２８Ａは、図２７Ａの画像処理装置２６００によって用いられる予測順序の第１例を示す図である。４番目の予測ユニットの予測順序が、４番目から７番目までの変換ユニットの変換順序に従っていない。したがって、４番目の予測ユニットは、分割され、変換ユニットの変換順序に従って処理される。

図２８Ｂは、図２７Ａの画像処理装置２６００によって用いられる予測順序の第２例を示す図である。２番目と３番目の予測ユニットが、１番目と２番目の変換ユニットの変換順序に従っていない。したがって、２番目と３番目の予測ユニットは、１番目と２番目の変換ユニットの変換順序に従って処理される。

図２８Ｃは、図２７Ａの画像処理装置２６００によって用いられる予測順序の第３例を示す図である。１番目から４番目までの変換ユニットの変換順序と、１番目から４番目までの予測ユニットの予測順序とが一致している。すなわち、予測順序が、変換順序に従っている。したがって、予測順序は、変更されなくてもよい。

図２８Ｄは、図２７Ａの画像処理装置２６００によって用いられる予測順序の第４例を示す図である。４番目から７番目までの予測ユニットの予測順序が、４番目の変換ユニットの変換順序に一致していない。しかし、４番目から７番目までの予測ユニットの予測順序は、４番目の変換ユニットの変換順序を細分化することにより得られる順序と同等である。したがって、４番目から７番目までの予測ユニットの予測順序は、４番目の変換ユニットの変換順序に従っている。よって、予測順序は、変更されなくてもよい。

上述のように、予測順序が変換順序に従っているか否かは、予測順序が変換順序に則しているか否か、または、予測順序が変換順序に沿っているか否かと同等である。

（実施の形態８）
図２９Ａは、実施の形態８に係る画像処理装置の構成を示す図である。図２９Ａに示された画像処理装置２８００は、実施の形態５に係る画像処理装置２４００と同様に、符号化処理によって符号化された画像を復号する。この符号化処理は、実施の形態５と同様に、１以上の予測ユニットに対する予測処理と、その１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む。

画像処理装置２８００は、予測部２８０１および再構成処理部２８０２を備える。予測部２８０１は、実施の形態５で示された予測部２４０１に対応する。また、再構成処理部２８０２は、実施の形態１で示された再構成部５０８に対応する。

図２９Ｂは、図２９Ａに示された画像処理装置２８００の動作を示すフローチャートである。まず、予測部２８０１は、予測順序が変換順序に従っていない場合、予測画像を変換順序に従ってブロック毎に出力する（Ｓ２８０１）。次に、再構成処理部２８０２は、再構成処理を変換順序に従ってブロック毎に実行する（Ｓ２８０２）。

これにより、画像処理装置２８００は、再構成処理を早く開始することができる。したがって、画像処理装置２８００は、画像処理において発生する遅延を小さくすることができる。

（実施の形態９）
図３０Ａは、実施の形態９に係る画像処理装置の構成を示す図である。図３０Ａに示された画像処理装置２９００は、実施の形態５に係る画像処理装置２４００と同様に、符号化処理によって符号化された画像を復号する。この符号化処理は、実施の形態５と同様に、１以上の予測ユニットに対する予測処理と、その１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む。

画像処理装置２９００は、予測部２９０１、再構成処理部２９０２およびインループフィルタ処理部２９０３を備える。予測部２９０１は、実施の形態５で示された予測部２４０１に対応する。また、再構成処理部２９０２は、実施の形態１で示された再構成部５０８に対応する。また、インループフィルタ処理部２９０３は、実施の形態１で示されたインループフィルタ部５１０に対応する。

図３０Ｂは、図３０Ａに示された画像処理装置２９００の動作を示すフローチャートである。まず、予測部２９０１は、予測順序が変換順序に従っていない場合、予測画像を変換順序に従ってブロック毎に出力する（Ｓ２９０１）。次に、再構成処理部２９０２は、再構成処理を変換順序に従ってブロック毎に実行する（Ｓ２９０２）。次に、インループフィルタ処理部２９０３は、インループフィルタ処理を変換順序に従ってブロック毎に実行する（Ｓ２９０３）。

これにより、画像処理装置２９００は、インループフィルタ処理を早く開始することができる。したがって、画像処理装置２９００は、画像処理において発生する遅延を小さくすることができる。

なお、インループフィルタ処理部２９０３は、インループフィルタ処理を実行することにより得られた画像データをブロック毎に変換順序に従ってフレームメモリに格納してもよい。これにより、画像処理装置２９００は、インループフィルタ処理を早く完了することができる。したがって、画像処理装置２９００は、一連のパイプライン処理を高速化できる。

（実施の形態１０）
図３１Ａは、実施の形態１０に係る画像処理装置の構成を示す図である。図３１Ａに示された画像処理装置３１００は、符号化処理によって符号化された画像を復号する。この符号化処理は、１以上の予測ユニットに対する予測処理と、その１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む。

画像処理装置３１００は、処理部３１０１を備える。例えば、処理部３１０１は、実施の形態１で示された動き補償部５０６および面内予測部５０７等に対応する。処理部３１０１は、実施の形態１で示された再構成部５０８に対応してもよい。

図３１Ｂは、図３１Ａに示された画像処理装置３１００の動作を示すフローチャートである。処理部３１０１は、複数の変換ユニットに対して予め定められている変換順序に依存させて、１以上の予測ユニットの予測画像に関する画像処理を実行する（Ｓ３１０１）。

これにより、パイプライン処理が円滑に実行される。すなわち、画像処理装置３１００は、パイプライン処理における待ち時間を削減し、処理の遅延を小さくする。

なお、予測画像に関する画像処理は、予測画像を扱う処理であり、例えば、予測画像を生成するための情報を取得する処理、予測画像を生成する処理、予測画像を出力する処理、予測画像を用いて画像を再構成する処理、または、これらの処理の組み合わせ等である。処理部３１０１は、動き補償を実行することにより予測画像を生成してもよいし、面内予測を実行することにより予測画像を生成してもよい。

また、実施の形態１０で示された処理部３１０１は、他の処理を実行してもよい。例えば、処理部３１０１は、複数の変換ユニットに対して逆周波数変換を変換順序に沿って実行してもよい。また、画像処理装置３１００または処理部３１０１は、他の実施の形態で示された構成の一部または全部を有していてもよい。また、画像処理装置３１００または処理部３１０１が、他の実施の形態で示された構成に、組み込まれてもよい。

また、処理部３１０１は、変換順序を取得し、取得された変換順序に沿って、画像処理を実行してもよい。この場合、例えば、処理部３１０１は、変換順序を示す情報を取得し、取得された情報によって示される変換順序に沿って、画像処理を実行する。また、処理部３１０１は、変換順序に従って、画像処理の順序を決定し、決定された順序に沿って、画像処理を実行してもよい。また、処理部３１０１は、変換ユニットに等しい、または、変換ユニットよりも小さいブロック毎に、画像処理を変換順序に沿って実行してもよい。

また、処理部３１０１は、１以上の予測ユニットに対して予め定められている予測順序が変換順序に沿っていない場合、画像処理を変換順序に沿って実行してもよい。また、処理部３１０１は、１以上の予測ユニットに対して予測順序が予め定められていない場合、画像処理を変換順序に沿って実行してもよい。また、処理部３１０１は、複数の変換ユニットのエッジの形式と、１以上の予測ユニットのエッジの形式とが異なる場合、画像処理を変換順序に沿って実行してもよい。

また、処理部３１０１は、再構成された画像に対するフィルタ処理であるインループフィルタ処理を変換順序に沿って実行してもよい。また、処理部３１０１は、インループフィルタ処理が実行された画像をフレームメモリに格納する処理を変換順序に沿って実行してもよい。

（実施の形態１１）
図３２Ａは、実施の形態１１に係る画像処理装置の構成を示す図である。図３２Ａに示された画像処理装置３２００は、実施の形態１０に係る画像処理装置３１００と同様に、符号化処理によって符号化された画像を復号する。この符号化処理は、実施の形態１０と同様に、１以上の予測ユニットに対する予測処理と、その１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む。

画像処理装置３２００は、分割部３２０１および処理部３２０２を備える。処理部３２０２は、実施の形態１０で示された処理部３１０１に対応する。

図３２Ｂは、図３２Ａに示された画像処理装置３２００の動作を示すフローチャートである。まず、分割部３２０１は、１以上の予測ユニットを複数の変換ユニットのエッジに沿って複数のブロックに分割する（Ｓ３２０１）。次に、処理部３２０２は、１以上の予測ユニットを分割することにより得られたブロック毎に、予測画像に関する画像処理を変換順序に沿って実行する（Ｓ３２０２）。

これにより、大きい予測ユニットが、変換ユニットのエッジに沿って分割される。したがって、大きい予測ユニットの予測画像に関する画像処理が変換順序に沿って、適切に実行される。

なお、分割部３２０１は、１つの予測ユニットを複数の変換ユニットのエッジに沿って複数のブロックに分割してもよい。分割部３２０１は、符号化ユニットに含まれる複数の予測ユニットを複数の変換ユニットのエッジに沿って複数のブロックに分割してもよい。

（実施の形態１２）
図３３Ａは、実施の形態１２に係る画像処理装置の構成を示す図である。図３３Ａに示された画像処理装置３０００は、符号化処理によって符号化された画像を復号する。この符号化処理は、予測ユニットの予測モードに従って予測ユニットに対応する予測画像を生成する面内予測処理を含む。

画像処理装置３０００は、分割部３００１および処理部３００２を備える。処理部３００２は、実施の形態１で示された面内予測部５０７等に対応する。

図３３Ｂは、図３３Ａに示された画像処理装置３０００の動作を示すフローチャートである。まず、分割部３００１は、予測ユニットを複数のブロックに分割する（Ｓ３００１）。そして、処理部３００２は、複数のブロックのそれぞれに対して、予測ユニットの予測モードに従って面内予測を実行する（Ｓ３００２）。

これにより、画像処理装置３０００は、小さいデータ単位で面内予測を実行することができる。したがって、画像処理装置３０００は、パイプライン処理をより小さいデータ単位で円滑に実行することができる。よって、画像処理装置３０００は、画像処理において発生する遅延を小さくすることができる。

なお、実施の形態１２で示された画像処理装置３０００に、他の実施の形態で示された構成要素が追加されてもよい。また、実施の形態１２で示された画像処理装置３０００が、他の実施の形態で示された構成に、組み込まれてもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、１以上の予測ユニットに対する予測処理と、前記１以上の予測ユニットを含む領域に含まれる複数の変換ユニットに対する周波数変換処理とを含む符号化処理によって符号化された画像を復号するための処理を実行する画像処理方法であって、前記複数の変換ユニットに対して予め定められている変換順序に依存させて、前記１以上の予測ユニットの予測画像に関する画像処理を実行する画像処理方法を実行させる。

以上、一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。

また、本発明は、画像処理装置として実現できるだけでなく、画像処理装置を構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現できる。

また、本発明に係る画像処理装置および画像処理方法は、画像符号化装置、画像復号装置、画像符号化方法および画像復号方法にも適用可能である。

また、画像処理装置に含まれる複数の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全部を含むように１チップ化されてもよい。例えば、メモリ以外の構成要素が、１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、画像処理装置に含まれる構成要素の集積回路化を行ってもよい。

（実施の形態１３）
上記各実施の形態で示した画像符号化方法および画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらに、ここで、上記各実施の形態で示した画像符号化方法および画像復号方法の応用例とそれを用いたシステムを説明する。

図３４は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。

このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。

しかし、コンテンツ供給システムｅｘ１００は、図３４のような構成に限定されず、いずれかの要素を組み合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。

コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。

なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用のソフトウェアまたは画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画像データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。

また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムｅｘ１００の例に限らず、図３５に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の少なくとも画像符号化装置または画像処理装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した画像符号化方法により符号化された符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号して再生する。

また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号する再生装置ｅｘ２１２にも上記実施の形態で示した画像処理装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。

また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した画像処理装置または画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像処理装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に画像処理装置を組み込んでもよい。

図３６は、上記各実施の形態で説明した画像復号方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。

また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。

インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。

テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。

まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。

次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。

なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図３７に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。

光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。

システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図３８に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。

情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図３６に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。

このように、上記各実施の形態で示した画像符号化方法あるいは画像復号方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態１４）
本実施の形態では、実施の形態１に示した画像処理装置を、典型的には半導体集積回路であるＬＳＩとして実現する。実現した形態を図３９に示す。フレームメモリ５０２をＤＲＡＭ上に実現し、その他の回路およびメモリをＬＳＩ上に構成している。符号化ストリームを格納するビットストリームバッファをＤＲＡＭ上に実現してもよい。

これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。

さらに加えて、本実施の形態の画像処理装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。

また、本実施の形態におけるＬＳＩは、符号化ストリームを蓄積するビットストリームバッファ、および、画像を蓄積するフレームメモリ等を備えるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と連携することにより、符号化処理または復号処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携しても構わない。

（実施の形態１５）
上記各実施の形態で示した画像符号化装置、画像処理装置、画像符号化方法および画像復号方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図４０に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。

また、例えば、復号処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号および／または映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶ Ｉ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。

なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明は、様々な用途に利用可能である。例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ等の高解像度の情報表示機器、または、撮像機器に利用可能であり、利用価値が高い。

５０１、ｅｘ３１０ 制御部
５０２ フレームメモリ
５０３ 可変長復号部
５０４ 逆量子化部
５０５ 逆周波数変換部
５０６ 動き補償部
５０７ 面内予測部
５０８ 再構成部
５０９ 再構成画像メモリ
５１０ インループフィルタ部
５１１ 動きベクトル演算部
５１２ ＤＭＡ制御部
５１３ 参照画像記憶部
５１４ 予測画像記憶部
５１５ 予測モード演算部
２３０２、２３０３ 参照周辺画素
２４００、２５００、２６００、２８００、２９００、３０００、３１００、３２００ 画像処理装置
２４０１、２５０１、２６０２、２８０１、２９０１ 予測部
２５１１ 情報取得部
２５１２ 予測画像生成部
２５１３ 予測画像出力部
２６０１、３００１、３２０１ 分割部
２８０２、２９０２ 再構成処理部
２９０３ インループフィルタ処理部
３００２、３１０１、３２０２ 処理部
ｅｘ１００ コンテンツ供給システム
ｅｘ１０１ インターネット
ｅｘ１０２ インターネットサービスプロバイダ
ｅｘ１０３ ストリーミングサーバ
ｅｘ１０４ 電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０ 基地局
ｅｘ１１１ コンピュータ
ｅｘ１１２ ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３、ｅｘ１１６ カメラ
ｅｘ１１４ 携帯電話
ｅｘ１１５ ゲーム機
ｅｘ１１７ マイク
ｅｘ２００ デジタル放送用システム
ｅｘ２０１ 放送局
ｅｘ２０２ 放送衛星（衛星）
ｅｘ２０３ ケーブル
ｅｘ２０４、ｅｘ２０５ アンテナ
ｅｘ２１０ 車
ｅｘ２１１ カーナビゲーション（カーナビ）
ｅｘ２１２ 再生装置
ｅｘ２１３、ｅｘ２１９ モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６ 記録メディア
ｅｘ２１７ セットトップボックス（ＳＴＢ）
ｅｘ２１８ リーダ／レコーダ
ｅｘ２２０ リモートコントローラ
ｅｘ２３０ 情報トラック
ｅｘ２３１ 記録ブロック
ｅｘ２３２ 内周領域
ｅｘ２３３ データ記録領域
ｅｘ２３４ 外周領域
ｅｘ３００ テレビ（受信機）
ｅｘ３０１ チューナ
ｅｘ３０２ 変調／復調部
ｅｘ３０３ 多重／分離部
ｅｘ３０４ 音声信号処理部
ｅｘ３０５ 映像信号処理部
ｅｘ３０６、ｅｘ５０７ 信号処理部
ｅｘ３０７ スピーカ
ｅｘ３０８ 表示部
ｅｘ３０９ 出力部
ｅｘ３１１、ｅｘ５０５ 電源回路部
ｅｘ３１２ 操作入力部
ｅｘ３１３ ブリッジ
ｅｘ３１４ スロット部
ｅｘ３１５ ドライバ
ｅｘ３１６ モデム
ｅｘ３１７ インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４ バッファ
ｅｘ４００ 情報再生／記録部
ｅｘ４０１ 光ヘッド
ｅｘ４０２ 変調記録部
ｅｘ４０３ 再生復調部
ｅｘ４０５ ディスクモータ
ｅｘ４０６ サーボ制御部
ｅｘ４０７ システム制御部
ｅｘ５００ ＬＳＩ
ｅｘ５０２ マイコン（マイクロコンピュータ）
ｅｘ５０３ メモリコントローラ
ｅｘ５０４ ストリームＩ／Ｏ
ｅｘ５０９ ＡＶ Ｉ／Ｏ
ｅｘ５１０ バス
ｅｘ５１１ メモリ

Claims (6)

1. １以上の予測ユニットに対する予測処理と、１以上の変換ユニットに対する周波数変換処理とを含む符号化処理によって符号化された符号化ユニットを入力として画像を復号するための処理を実行する画像処理装置であって、
   符号化ユニットは、１以上の予測ユニットと１以上の変換ユニットを含み、
   符号化ユニットに含まれる
   １以上の予測ユニットに対応する画素領域の出現順序と
   １以上の変換ユニットに対応する画素領域の出現順序が異なる場合、
   符号化ユニットに含まれる１以上の予測ユニットに対応する画素領域の予測画像を、１以上の変換ユニットに対応する画素領域の出現順序で出力する処理部を備える
   画像処理装置。
2. 前記処理部は、
   前記１以上の予測ユニットに対応する画素領域の予測画像と、
   前記１以上の変換ユニットに対応する復号画像を用いて、
   前記１以上の変換ユニットに対応する画素領域の出現順序で再構成画像を出力する
   請求項１に記載の画像処理装置。
3. 前記処理部は、
   前記再構成画像を用いて、さらに、前記再構成画像に対するフィルタ処理であるインループフィルタ処理を実施して得られた復号画像を、前記１以上の変換ユニットに対応する画素領域の出現順序で出力する
   請求項２に記載の画像処理装置。
4. １以上の予測ユニットに対する予測処理と、１以上の変換ユニットに対する周波数変換処理とを含む符号化処理によって符号化された符号化ユニットを入力として画像を復号するための処理を実行する画像処理方法であって、
   符号化ユニットは、１以上の予測ユニットと１以上の変換ユニットを含み、
   符号化ユニットに含まれる
   １以上の予測ユニットに対応する画素領域の出現順序と
   １以上の変換ユニットに対応する画素領域の出現順序が異なる場合、
   符号化ユニットに含まれる１以上の予測ユニットに対応する画素領域の予測画像を、１以上の変換ユニットに対応する画素領域の出現順序で出力する
   画像処理方法。
5. 請求項４に記載の画像処理方法をコンピュータに実行させるための
   プログラム。
6. １以上の予測ユニットに対する予測処理と、１以上の変換ユニットに対する周波数変換処理とを含む符号化処理によって符号化された符号化ユニットを入力として画像を復号するための処理を実行する集積回路であって、
   符号化ユニットは、１以上の予測ユニットと１以上の変換ユニットを含み、
   符号化ユニットに含まれる
   １以上の予測ユニットに対応する画素領域の出現順序と
   １以上の変換ユニットに対応する画素領域の出現順序が異なる場合、
   符号化ユニットに含まれる１以上の予測ユニットに対応する画素領域の予測画像を、１以上の変換ユニットに対応する画素領域の出現順序で出力する処理部を備える
   集積回路。