JP2014195324A - 動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法 - Google Patents

Abstract

【課題】動画像のマクロブロックをさらにパーティションに分割した場合に、パーティション境界を挟んで隣接する領域が高い空間相関を有する場合に符号化効率を向上させる。
【解決手段】動画像符号化装置１０において、周波数変換決定部１０５が、パーティション境界を挟んで隣接する変換対象領域を統合するか否かを判断する。変換係数生成部１０７は、周波数変換決定部１０５が統合すると判断した変換対象領域に対して１つの周波数変換を適用して変換係数を生成する。
【選択図】図２

Description

本発明は、動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法に関する。
本願は、２００９年１０月２０日に日本に出願された特願２００９−２４１９０４号、および、２００９年１１月１３日に日本に出願された特願２００９−２５９８５６号に基づき優先権を主張し、その内容をここに援用する。

Ｈ．２６４／ＡＶＣ（Advanced Video Coding）に規定される動画像符号化方式（非特許文献１参照）など、ブロックベースの動画像符号化方式においては、動画像符号化装置は、符号化対象である入力動画像を、マクロブロック（Macro Block；ＭＢ）と呼ばれる所定の処理単位に分割し、マクロブロック毎に符号化処理を行なって符号化データを生成する。動画像の再生時には、動画像復号装置は、復号対象である符号化データをマクロブロック単位で処理して復号することによって復号画像を生成する。
Ｈ．２６４／ＡＶＣに規定される動画像符号化方式では、動画像符号化装置は、マクロブロック単位に分割された入力動画像を近似する予測画像を生成し、入力動画像と予測画像の差分である予測残差を算出する。さらに、動画像符号化装置は、算出された予測残差に、離散コサイン変換（Discrete Cosign Transform；ＤＣＴ）に代表される周波数変換を適用して変換係数を生成する。動画像符号化装置は、生成された変換係数を、ＣＡＢＡＣ(Context-based Adaptive Binary Arithmetic Coding)やＣＡＶＬＣ(Context-based Adaptive Variable Length Coding)と呼ばれる方法で可変長符号化する。
ここで、予測画像は、動画像の空間的な相関を利用するイントラ予測や、動画像の時間的な相関を利用するインター予測（動き補償予測）により生成される。

Ｈ．２６４／ＡＶＣのインター予測では、動画像符号化装置は、マクロブロックを分割した領域であるパーティション毎に、入力動画像を近似する画像を生成し、生成した画像を結合して符号化対象のマクロブロックの入力動画像を近似する予測画像を生成する。具体的には、動画像符号化装置は、まず、入力動画像のマクロブロックをパーティションに分割する。そして、動画像符号化装置は、フレームメモリに記録されている局所復号画像と呼ばれる画像の中から、パーティション毎に１つの画像を選択し、選択した画像中のパーティションを近似する領域を決定する。この、局所復号画像の中から選択される画像は、参照画像と呼ばれる。また、パーティションを近似する領域は元のパーティションと同じ大きさの領域である。さらに、動画像符号化装置は、入力動画像のマクロブロックにおけるパーティションの位置と参照画像中のパーティションを近似する領域の位置とのずれを示す動きベクトルを、パーティション毎に１個または２個生成する。また、動画像符号化装置は、各パーティションを近似する画像を結合して予測画像を生成する。
Ｈ．２６４／ＡＶＣでは、横１６画素×縦１６画素、横１６画素×縦８画素、横８画素×縦１６画素、横８画素×縦８画素、横８画素×縦４画素、横４画素×縦８画素、横４画素×縦４画素のパーティションサイズが規定されている。小さいパーティションサイズを利用すれば細かい単位で動きベクトルを指定して予測画像を生成できる。このため、動きの空間的な相関が小さい場合であっても入力動画像に近い予測画像を生成できる。一方、大きいパーティションサイズを利用すれば、動きの空間的な相関が大きい場合に、動きベクトルの符号化に要する符号量を低減できる。

Ｈ．２６４／ＡＶＣでは、動画像符号化装置が、入力動画像と予測画像との差分である予測残差を生成することによって入力動画像の画素値の空間的または時間的冗長性を削減することができ、符号量を削減できる。さらに、予測残差に対して離散コサイン変換を適用することで、低周波成分にエネルギーを集中させられる。このエネルギーの偏りを利用して、人の目が感知しやすい低周波成分は細かい粒度で符号化し、人の目が感知しにくい高周波成分は粗い粒度で符号化して、符号化データの符号量を削減できる。
この離散コサイン変換を行う際、Ｈ．２６４／ＡＶＣでは、複数種の変換サイズの離散コサイン変換から動画像の局所的性質に適合した離散コサイン変換を選択する方式（ブロック適応変換選択）が採用されている。例えば、インター予測により予測画像を生成する場合は、８×８ＤＣＴと４×４ＤＣＴの二種類の離散コサイン変換から、予測残差の変換に適用する離散コサイン変換を選択する。８×８ＤＣＴは、横８画素×縦８画素の領域に離散コサイン変換を行う変換であり、４×４ＤＣＴは、横４画素×縦４画素の領域に離散コサイン変換を行う変換である。８×８ＤＣＴは、広い範囲で画素値の空間相関を利用できるため、高周波成分が比較的少ない平坦な領域に対して有効である。一方、４×４ＤＣＴは、物体の輪郭を含むような高周波成分の多い領域で有効である。なお、Ｈ．２６４／ＡＶＣでは、パーティションの面積が８×８画素以上の場合に８×８ＤＣＴと４×４ＤＣＴとのいずれかを選択できる。パーティションの大きさが横８画素×縦８画素未満の場合には４×４ＤＣＴを選択する。
このように、Ｈ．２６４／ＡＶＣでは、動画像の局所的性質である画素値の空間相関や動きベクトルの空間相関の高低に応じて好適なパーティションサイズや変換サイズを選択することにより、符号化データの符号量を削減できる。

ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４、ＩＳＯ／ＩＥＣ １４４９６−１０

上述のように、Ｈ．２６４／ＡＶＣでは、周波数変換を８×８ＤＣＴと４×４ＤＣＴの２種類のサイズからパーティション毎に適応的に選択して利用できる。これにより、パーティション内の空間相関を利用して符号化効率を向上させることができる。しかし、Ｈ．２６４／ＡＶＣ等の従来の動画像符号化技術では、周波数変換の対象として決定された領域間の空間相関、特にパーティション間の空間相関は符号化効率に反映されていない。このため、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合であっても、符号化効率を向上させることができないという問題があった。また、同じパーティション内にあっても、空間相関の高い領域が隣接している場合は、それを統合して周波数変換を行うことにより、更に符号化効率を向上させることができる。ところが、Ｈ．２６４／ＡＶＣでは、周波数変換が行われるサイズは、８×８ＤＣＴと４×４ＤＣＴの２種類のサイズに限られていた。
さらに、８×８ＤＣＴと４×４ＤＣＴのどちらのサイズの周波数変換を適用するかについては、実際に周波数変換を実行した結果のレート歪コストを評価して決定しており、符号化の計算処理量が増大してしまうという課題があった。

本発明は、このような事情に鑑みてなされたもので、その目的は、隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる動画像符号化装置、動画像復号装置、動画像符号化・復号システム、動画像符号化方法および動画像復号方法を提供することにある。

［１］この発明は上述した課題を解決するためになされたもので、本発明の一態様による動画像符号化装置は、入力動画像のフレームをマクロブロック単位に分割する画像入力部と、前記マクロブロックをさらにパーティションに分割するパーティション構造決定部と、前記マクロブロックを、少なくとも一つの変換対象領域が前記パーティションをまたぐ領域を含む変換対象領域に分割する周波数変換領域分割部と、前記周波数変換領域分割部が分割した変換対象領域の各々に周波数変換を適用して変換係数を生成する変換係数生成部と、前記変換係数を可逆符号化した符号化データを出力する符号化データ出力部と、を具備することを特徴とする。
この動画像符号化装置は、パーティションをまたぐ変換対象領域に周波数変換を適用するので、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。

［２］また、本発明の一態様による動画像符号化装置は変換係数を生成済みの前記マクロブロックの復号画像である局所復号画像を記憶する局所復号画像記憶部と、前記局所復号画像記憶部が記憶する局所復号画像の中から前記パーティション毎に参照画像を選択し、選択した参照画像に基づいて予測画像を生成する予測画像生成部と、前記予測画像と前記マクロブロックとの各画素値の差分である予測残差を生成する予測残差生成部と、を具備することを特徴とする。

［３］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、前記パーティション毎に適用する周波数変換に応じた変換対象領域に分割し、互いに隣接し、かつ、互いに異なるパーティションに含まれる変換対象領域を統合した領域における前記予測残差の空間相関が高いと判断したときは、前記統合した領域を、前記パーティションをまたぐ変換対象領域の１つとすることを特徴とする。
この動画像符号化装置は、互いに異なるパーティションに含まれる変換対象領域を統合した領域を、上述のパーティションをまたぐ変換対象領域の１つとするので、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。

［４］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、前記パーティションをまたぐ変換対象領域を示す変換統合情報を生成し、前記符号化データ出力部は、前記変換統合情報を前記符号化データに含めて出力することを特徴とする。
この動画像符号化装置は、変換統合情報を出力するので、動画像復号装置は、出力された変換統合情報に基づいて復号動画像を生成することができる。

［５］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、前記パーティションをまたぐ変換対象領域における前記予測残差の空間相関が高いか否かを、前記予測画像上で当該変換対象領域に対応する領域画像の特徴量に基づいて判断することを特徴とする。
この動画像符号化装置は、予測画像上で変換対象領域に対応する領域画像の特徴量に基づいて、パーティションをまたぐ変換対象領域における予測残差の空間相関が高いか否かを判断するので、空間相関が高いと判断した変換対象領域に１つの周波数変換を適用することによって、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。

［６］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、前記パーティションをまたぐ変換対象領域における前記予測残差の空間相関が高いか否かを、前記予測画像上で当該変換対象領域に対応する領域内の画素のうち、互いに隣接し、かつ、異なるパーティションに属する画素の画素値の差分に基づいて判断することを特徴とする。
この動画像符号化装置は、予測画像の画素値に基づいて、パーティションをまたぐ変換対象領域における予測残差の空間相関が高いか否かを判断するので、空間相関が高いと判断した変換対象領域に１つの周波数変換を適用することによって、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。
また、空間相関が高いか否かを、予測画像を用いて判断するので、動画像復号装置においても同一の判断を行うことができ、動画像符号化装置が動画像復号装置に対して統合した変換対象領域のデータ送信を省略できる。したがって、送信データの符号量を低減させることができる。

［７］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、前記パーティションをまたぐ変換対象領域における前記予測残差の空間相関が高いか否かを、前記予測画像上で当該変換対象領域に対応する領域内における予測モードが等しいか否かと、該予測モードが特定の予測モードに等しいか否かと、該予測モードが示す予測方向の類似性と、一方の変換対象領域に対応する領域における参照画素が他方の変換対象領域に対応する領域に含まれるか否かの、いずれかまたは複数に基づいて判断することを特徴とする。
この動画像符号化装置は、予測モードが等しいか否かと、該予測モードが特定の予測モードに等しいか否かと、該予測モードが示す予測方向の類似性と、一方の変換対象領域に対応する領域における参照画素が他方の変換対象領域に対応する領域に含まれるか否かの、いずれかまたは複数に基づいて、パーティションをまたぐ変換対象領域における予測残差の空間相関が高いか否かを判断するので、空間相関が高いと判断した変換対象領域に１つの周波数変換を適用することによって、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。
また、空間相関が高いか否かを、予測モードを用いて判断するので、動画像復号装置においても同一の判断を行うことができ、動画像符号化装置が動画像復号装置に対して統合した変換対象領域のデータ送信を省略できる。したがって、送信データの符号量を低減させることができる。

［８］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、前記互いに隣接し、かつ、互いに異なるパーティションに含まれる変換対象領域を統合した領域における前記予測残差の空間相関が高いか否かを、前記統合した領域が含まれる２つのパーティションの各々に対して、前記選択されている参照画像が同一か否かと、前記統合した領域が含まれる２つのパーティションの動きベクトルの大きさの差と、前記動きベクトルの大きさの比率との、いずれかまたは複数に基づいて判断することを特徴とする。
この動画像符号化装置は、参照画像の同一性や動きベクトルを用いて、互いに異なるパーティションに含まれる変換対象領域を統合した領域における予測残差の空間相関が高いか否かを判断するので、空間相関が高いと判断した変換対象領域に１つの周波数変換を適用することによって、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。
また、空間相関が高いか否かを、参照画像の同一性や動きベクトルを用いて判断するので、参照画像の情報や動きベクトルの出力を受けた動画像復号装置においても同一の判断を行うことができ、動画像符号化装置が動画像復号装置に対して統合した変換対象領域のデータ送信を省略できる。したがって、送信データの符号量を低減させることができる。

［９］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、前記互いに隣接し、かつ、互いに異なるパーティションに含まれる変換対象領域を統合した領域における前記予測残差の空間相関が高いか否かを、前記互いに隣接し、かつ、互いに異なるパーティションに含まれる変換対象領域の各々に対して周波数変換を適用して得られる変換係数に基づいて、あるいは、前記変換対象領域を統合した場合と統合しない場合との符号量またはレート歪コストのいずれかまたは両方を比較した結果に基づいて判断することを特徴とする。
この動画像符号化装置は、統合するか否かを判断する領域の変換係数、あるいは、統合した場合と統合しない場合とにおける符号量またはレート歪コストのいずれかまたは両方を比較した結果に基づいて、互いに異なるパーティションに含まれる変換対象領域を統合した領域における予測残差の空間相関が高いか否かを判断するので、空間相関が高いと判断した変換対象領域に１つの周波数変換を適用することによって、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。

［１０］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、マクロブロック内における変換対象領域の構成および各変換対象領域に適用する周波数変換を示す統合済み変換選択情報を生成し、前記符号化データ出力部は、前記統合済み変換選択情報を前記符号化データに含めて出力することを特徴とする。
この動画像符号化装置は、統合済み変換選択情報を生成する。この動画像符号化装置が統合済み変換選択情報を出力することにより、動画像復号装置は、出力された統合済み変換選択情報に基づいて復号動画像を生成することができる。

［１１］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、周波数変換を適用する領域毎に前記マクロブロックを分割する分割パターンの集合であって、前記周波数変換を適用する領域のいずれかが前記パーティションをまたぐ分割パターンを含む集合の中からマクロブロックに適用する分割パターンを選択することによって、前記マクロブロックを前記パーティションをまたぐ領域を含む領域に分割することを特徴とする。
この動画像符号化装置は、分割パターンを用いることによって、マクロブロックをパーティションをまたぐ領域を含む領域に分割するので、分割された領域に周波数変換を適用する際に、パーティションをまたぐ領域に１つの周波数変換を適用することができ、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。

［１２］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記符号化データ出力部は、前記周波数変換領域分割部が選択した分割パターンを示す情報を前記符号化データに含めて出力することを特徴とする。
この動画像符号化装置は分割パターンを示す情報を出力するので、動画像復号装置は、出力された分割パターンに基づいて復号動画像を生成することができる。

［１３］また、本発明の一態様による動画像符号化装置は、入力動画像のフレームをマクロブロック単位に分割する画像入力部と、前記マクロブロックをさらにパーティションに分割するパーティション構造決定部と、前記マクロブロックを、周波数変換を適用する領域である変換対象領域に分割し、空間相関を示す指標に基づき、互いに隣接する変換対象領域を少なくとも一つ統合して新たな変換対象領域を生成する周波数変換領域分割部と、前記周波数変換領域分割部が分割した変換対象領域の各々に周波数変換を適用して変換係数を生成する変換係数生成部と、前記変換係数を可逆符号化した符号化データを出力する符号化データ出力部と、を具備することを特徴とする。
この動画像符号化装置は、空間相関を示す指標に基づいて互いに隣接する変換対象領域を統合した領域を変換対象領域の１つとするので、符号化効率を高めることができる。

［１４］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、変換係数を生成済みの前記マクロブロックの復号画像である局所復号画像を記憶する局所復号画像記憶部と、前記局所復号画像記憶部が記憶する局所復号画像の中から前記パーティション毎に参照画像を選択し、選択した参照画像に基づいて予測画像を生成する予測画像生成部と、前記予測画像と前記マクロブロックとの各画素値の差分である予測残差を生成する予測残差生成部と、を具備することを特徴とする。

［１５］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記空間相関を示す指標は、前記予測画像上で当該変換対象領域に対応する領域内の画素のうち、互いに隣接する画素の画素値の差分に基づいて判断することを特徴とする。
この動画像符号化装置は、予測画像上で、前記互いに隣接する変換対象領域に対応する領域内の画素のうち、互いに隣接する画素の画素値の差分に基づいて、前記互いに隣接する変換対象領域を統合するので、空間相関が高いと判断した領域を統合し、統合した領域に１つの周波数変換を適用することにより、符号化効率を高めることができる。

［１６］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記空間相関を示す指標は、前記予測画像上で当該変換対象領域に対応する領域における予測モードが等しいか否かと、該予測モードが特定の予測モードに等しいか否かと、予測モードが示す予測方向の類似性と、一方の変換対象領域に対応する領域における参照画素が他方の変換対象領域に対応する領域に含まれるか否かの、いずれかまたは複数に基づいて判断することを特徴とする。
この動画像符号化装置は、予測画像上で当該互いに隣接する変換対象領域に対応する領域における予測モードが等しいか否かと、該予測モードが特定の予測モードに等しいか否かと、予測モードが示す予測方向の類似性と、一方の変換対象領域に対応する領域における参照画素が他方の変換対象領域に対応する領域に含まれるか否かの、いずれかまたは複数に基づいて、当該変換対象領域を統合するので、空間相関が高いと判断した領域を統合し、統合した領域に１つの周波数変換を適用することにより、符号化効率を高めることができる。

［１７］また、本発明の一態様による動画像符号化装置は上述の動画像符号化装置であって、前記周波数変換領域分割部は、前記空間相関を示す指標に基づき、互いに隣接する変換対象領域を統合して生成された新たな変換対象領域を示す変換統合情報を生成し、前記符号化データ出力部は、前記変換統合情報を前記符号化データに含めて出力することを特徴とする。
この動画像符号化装置は、変換統合情報を出力するので、動画像復号装置は、この変換統合情報に基づいて逆周波数変換を行うことができる。

［１８］また、本発明の一態様による動画像復号装置は、動画像を符号化した符号化データについて、可逆符号の復号と、前記マクロブロックへの分割とを行う可逆符号復号部と、前記マクロブロックを分割した変換対象領域であって、少なくとも一つの変換対象領域が前記パーティションをまたぐ変換対象領域を含む変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用した局所復号画像を生成する局所復号画像生成部と、前記局所復号画像を結合して動画像を生成し、出力する動画像出力部と、を具備することを特徴とする。
この動画像復号装置は、パーティションをまたぐ変換対象領域に逆周波数変換を適用して局所復号画像を生成するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［１９］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、マクロブロック単位で前記符号化データを復号した画像である局所復号画像を記憶する局所復号画像記憶部と、前記マクロブロックをさらに分割したパーティション毎に前記局所復号画像記憶部が記憶する前記局所復号画像の中から参照画像を選択し、選択した参照画像に基づいて予測画像を生成する予測画像生成部と、前記変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用して予測残差を生成する予測残差再構築部と、前記局所復号画像生成部は、前記予測画像と前記予測残差とを画素毎に足し合わせて局所復号画像を生成することを特徴とする。

［２０］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記符号化データには、前記パーティションをまたぐ変換対象領域を示す変換統合情報が含まれ、前記動画像復号装置は、前記変換統合情報に基づいて前記変換対象領域を決定する変換対象領域決定部をさらに具備し、前記予測残差再構築部は、前記変換対象領域決定部が決定した変換対象領域毎に逆周波数変換を適用して前記予測残差を生成することを特徴とする。
この動画像復号装置は、符号化データに含まれる変換統合情報に基づいて逆周波数変換を適用するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２１］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、当該領域の空間相関を示す指標に基づき、前記パーティションをまたぐ変換対象領域を決定する変換対象領域決定部をさらに具備し、前記予測残差再構築部は、前記変換対象領域決定部が決定した変換対象領域毎に逆周波数変換を適用して前記予測残差を生成することを特徴とする。
この動画像復号装置は、変換対象領域決定部が、パーティションをまたぐ変換対象領域を、当該領域の空間相関を示す指標に基づいて決定するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２２］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記変換対象領域決定部は、対象領域中の互いに隣接し、かつ、異なるパーティションに属する画素各々に対応する前記予測画像上の画素値の差分を、前記空間相関を示す指標とすることを特徴とする。
この動画像復号装置は、変換対象領域決定部が、対象領域中の互いに隣接し、かつ、異なるパーティションに属する画素各々に対応する予測画像上の画素値の差分を、この対象領域の空間相関を示す指標とする。この指標に基づいてパーティションをまたぐ変換対象領域を決定することにより、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２３］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記変換対象領域決定部は、対象領域中の互いに隣接し、かつ、異なるパーティションに属する変換対象領域に対応する前記予測画像上で、当該変換対象領域における予測モードが等しいか否かと、該予測モードが特定の予測モードに等しいか否かと、予測モードが示す予測方向の類似性と、一方の変換対象領域に対応する領域における参照画素が他方の変換対象領域に対応する領域に含まれるか否かの、いずれかまたは複数を、前記空間相関を示す指標とすることを特徴とする。
この動画像復号装置は、変換対象領域決定部が、対象領域中の互いに隣接し、かつ、異なるパーティションに属する画素各々に対応する予測画像上で、当該変換対象領域における予測モードが等しいか否かと、該予測モードが特定の予測モードに等しいか否かと、予測モードが示す予測方向の類似性と、一方の変換対象領域に対応する領域における参照画素が他方の変換対象領域に対応する領域に含まれるか否かの、いずれかまたは複数を、この対象領域の空間相関を示す指標とする。この指標に基づいてパーティションをまたぐ変換対象領域を決定することにより、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２４］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記変換対象領域決定部は、対象領域が含まれる２つのパーティションの各々に対して、選択されている参照画像が同一か否かと、前記対象領域が含まれる２つのパーティションの動きベクトルの大きさの差と、前記動きベクトルの大きさの比率との、いずれかを、前記空間相関を示す指標とすることを特徴とする。
この動画像復号装置は、変換対象領域決定部が、対象領域が含まれる２つのパーティションの各々に対して、選択されている参照画像が同一か否かと、この対象領域が含まれる２つのパーティションの動きベクトルの大きさの差と、前記動きベクトルの大きさの比率との、いずれかを、この対象領域の空間相関を示す指標とする。この指標に基づいてパーティションをまたぐ変換対象領域を決定することにより、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２５］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記符号化データには、前記符号化データを生成した動画像符号化装置が周波数変換を適用した変換対象領域の、マクロブロック内における構成を示す統合済み変換選択情報が含まれ、前記予測残差再構築部は、前記統合済み変換選択情報が示す変換対象領域毎に逆周波数変換を適用して前記予測残差を生成することを特徴とする。
この動画像復号装置は、統合済み変換選択情報に基づいて逆周波数変換を適用するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２６］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記予測残差再構築部は、周波数変換を適用する領域毎に前記マクロブロックを分割する分割パターンの集合であって、前記周波数変換を適用する領域のいずれかが前記パーティションをまたぐ分割パターンを含む集合の中からマクロブロックに適用する分割パターンを、前記符号化データを生成した動画像符号化装置と同一の基準で選択し、選択した分割パターンに基づいて前記マクロブロックに逆周波数変換を適用することを特徴とする。
この動画像復号装置は、分割パターンに基づいて逆周波数変換を適用するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２７］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記符号化データには、前記符号化データを生成した動画像符号化装置が前記マクロブロックに適用した分割パターンを示す情報が含まれ、前記予測残差再構築部は、前記符号化データに含まれる情報が示す分割パターンを、前記処理対象のマクロブロックに適用する分割パターンとすることを特徴とする。
この動画像復号装置は、入力データに含まれる分割パターンに基づいて逆周波数変換を適用するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２８］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記予測画像再構築部は、前記マクロブロック内における前記パーティションの構成と前記マクロブロックとに基づいて、前記分割パターンの集合の中から前記マクロブロックに適用する分割パターンを選択することを特徴とする。
この動画像復号装置は、予測画像再構築部が選択する分割パターンに基づいて逆周波数変換を適用するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［２９］また、本発明の一態様による動画像復号装置は、動画像を符号化した符号化データについて、可逆符号の復号と、前記マクロブロックへの分割とを行う可逆符号復号部と、前記マクロブロックを分割した変換対象領域であって、空間相関を示す指標に基づいて、少なくとも一つ統合された変換対象領域を含む変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用した局所復号画像を生成する局所復号画像生成部と、前記局所復号画像を結合して動画像を生成し、出力する動画像出力部と、を具備することを特徴とする。
この動画像復号装置は、統合された変換対象領域に逆周波数変換を適用して局所復号画像を生成するので、動画像符号化装置が領域を統合した場合にも、復号動画像を生成することができる。

［３０］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、マクロブロック単位で前記符号化データを復号した画像である局所復号画像を記憶する局所復号画像記憶部と、前記マクロブロックをさらに分割したパーティション毎に前記局所復号画像記憶部が記憶する前記局所復号画像の中から参照画像を選択し、選択した参照画像に基づいて予測画像を生成する予測画像生成部と、前記変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用して予測残差を生成する予測残差再構築部と、前記局所復号画像生成部は、前記予測画像と前記予測残差とを画素毎に足し合わせて局所復号画像を生成することを特徴とする。

［３１］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記符号化データには、空間相関を示す指標に基づいて統合された変換対象領域を示す変換統合情報が含まれ、前記動画像復号装置は、前記変換統合情報に基づいて前記変換対象領域を決定する変換対象領域決定部をさらに具備し、前記予測残差再構築部は、前記変換対象領域決定部が決定した変換対象領域毎に逆周波数変換を適用して前記予測残差を生成することを特徴とする。
この動画像復号装置は、変換対象領域決定部が、変換統合情報に基づいて変換対象領域を決定することにより、動画像符号化装置が領域を統合した場合にも、復号動画像を生成することができる。

［３２］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、当該領域の空間相関を示す指標に基づいて統合された変換対象領域を決定する変換対象領域決定部をさらに具備し、前記予測残差再構築部は、前記変換対象領域決定部が決定した変換対象領域毎に逆周波数変換を適用して前記予測残差を生成することを特徴とする。
この動画像復号装置は、変換対象領域決定部が、空間相関を示す指標に基づいて変換対象領域を決定するので、動画像符号化装置が領域を統合し、かつ、変換統合情報を出力しない場合にも、復号動画像を生成することができる。

［３３］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記変換対象領域決定部は、対象領域中の互いに隣接する画素各々に対応する前記予測画像上の画素値の差分を、前記空間相関を示す指標とすることを特徴とする。
この動画像復号装置は、互いに隣接する変換対象領域中の互いに隣接する画素各々に対応する予測画像上の画素値の差分を、空間相関を示す指標とすることにより、動画像符号化装置が領域を統合し、かつ、変換統合情報を出力しない場合にも、復号動画像を生成することができる。

［３４］また、本発明の一態様による動画像復号装置は上述の動画像復号装置であって、前記変換対象領域決定部は、対象領域中の互いに隣接する変換対象領域に対応する前記予測画像上で、当該変換対象領域における予測モードが等しいか否かと、該予測モードが特定の予測モードに等しいか否かと、予測モードが示す予測方向の類似性と、一方の変換対象領域に対応する領域における参照画素が他方の変換対象領域に対応する領域に含まれるか否かの、いずれかまたは複数を、前記空間相関を示す指標とすることを特徴とする。
この動画像復号装置は、対象領域中の互いに隣接する変換対象領域に対応する予測画像上で、当該変換対象領域における予測モードが等しいか否かと、該予測モードが特定の予測モードに等しいか否かと、予測モードが示す予測方向の類似性と、一方の変換対象領域に対応する領域における参照画素が他方の変換対象領域に対応する領域に含まれるか否かの、いずれかまたは複数を、空間相関を示す指標とすることにより、動画像符号化装置が領域を統合し、かつ、変換統合情報を出力しない場合にも、復号動画像を生成することができる。

［３５］また、本発明の一態様による動画像符号化・復号システムは、動画像の入力を受けて符号化データを出力する動画像符号化装置と、前記動画像符号化装置が出力する符号化データを復号して動画像を生成する動画像復号装置とを具備する動画像符号化・復号システムであって、前記動画像符号化装置は、入力動画像のフレームをマクロブロック単位に分割する画像入力部と、前記マクロブロックをさらにパーティションに分割するパーティション構造決定部と、前記マクロブロックを、少なくとも一つの変換対象領域が前記パーティションをまたぐ領域を含む変換対象領域に分割する周波数変換領域分割部と、前記周波数変換領域分割部が分割した変換対象領域の各々に周波数変換を適用して変換係数を生成する変換係数生成部と、前記変換係数を可逆符号化した符号化データを出力する符号化データ出力部と、を具備し、前記動画像復号装置は、前記符号化データについて、可逆符号の復号と、前記マクロブロックへの分割とを行う可逆符号復号部と、前記マクロブロックを分割した変換対象領域であって、少なくとも一つの変換対象領域が前記パーティションをまたぐ変換対象領域を含む変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用した局所復号画像を生成する局所復号画像生成部と、前記局所復号画像を結合して動画像を生成し、出力する動画像出力部と、を具備することを特徴とする。
この動画像符号化・復号システムでは、動画像符号化装置は、パーティションをまたぐ領域に周波数変換を適用するので、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。また、動画像復号装置は、動画像符号化装置が周波数変換を適用したパーティションをまたぐ領域を示す情報に基づいて逆周波数変換を適用するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［３６］また、本発明の一態様による動画像符号化・復号システムは、動画像の入力を受けて符号化データを出力する動画像符号化装置と、前記動画像符号化装置が出力する符号化データを復号して動画像を生成する動画像復号装置とを具備する動画像符号化・復号システムであって、前記動画像符号化装置は、入力動画像のフレームをマクロブロック単位に分割する画像入力部と、前記マクロブロックをさらにパーティションに分割するパーティション構造決定部と、前記マクロブロックを、周波数変換を適用する領域である変換対象領域に分割し、空間相関を示す指標に基づき、互いに隣接する変換対象領域を少なくとも一つ統合して新たな変換対象領域を生成する周波数変換領域分割部と、前記周波数変換領域分割部が分割した変換対象領域の各々に周波数変換を適用して変換係数を生成する変換係数生成部と、前記変換係数を可逆符号化した符号化データを出力する符号化データ出力部と、を具備し、前記動画像復号装置は、動画像を符号化した符号化データについて、可逆符号の復号と、前記マクロブロックへの分割とを行う可逆符号復号部と、前記マクロブロックを分割した変換対象領域であって、空間相関を示す指標に基づいて、少なくとも一つ統合された変換対象領域を含む変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用した局所復号画像を生成する局所復号画像生成部と、前記局所復号画像を結合して動画像を生成し、出力する動画像出力部と、を具備することを特徴とする。
この動画像符号化・復号システムでは、動画像符号化装置は、互いに隣接する領域に周波数変換を適用するので、互いに隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。また、動画像復号装置は、動画像符号化装置が周波数変換を適用した互いに隣接する領域を示す情報に基づいて逆周波数変換を適用するので、動画像符号化装置が互いに隣接する領域を統合した場合にも、復号動画像を生成することができる。

［３７］また、本発明の一態様による動画像符号化方法は、動画像符号化装置が、入力動画像のフレームをマクロブロック単位に分割する画像入力ステップと、前記動画像符号化装置が、前記マクロブロックをさらにパーティションに分割するパーティション構造決定ステップと、前記動画像符号化装置が、前記マクロブロックを、少なくとも一つの変換対象領域が前記パーティションをまたぐ領域を含む変換対象領域に分割する周波数変換領域分割ステップと、前記動画像符号化装置が、前記周波数変換領域分割ステップにて分割した変換対象領域の各々に周波数変換を適用して変換係数を生成する変換係数生成ステップと、前記動画像符号化装置が、前記変換係数を可逆符号化した符号化データを出力する符号化データ出力ステップと、を有することを特徴とする。

［３８］また、本発明の一態様による動画像符号化方法は、動画像符号化装置が、入力動画像のフレームをマクロブロック単位に分割する画像入力ステップと、前記動画像符号化装置が、前記マクロブロックをさらにパーティションに分割するパーティション構造決定ステップと、前記動画像符号化装置が、前記マクロブロックを、周波数変換を適用する領域である変換対象領域に分割し、空間相関を示す指標に基づき、互いに隣接する変換対象領域を少なくとも一つ統合して新たな変換対象領域を生成する周波数変換領域分割ステップと、前記動画像符号化装置が、前記周波数変換領域分割ステップにて分割した変換対象領域の各々に周波数変換を適用して変換係数を生成する変換係数生成ステップと、前記動画像符号化装置が、前記変換係数を可逆符号化した符号化データを出力する符号化データ出力ステップと、を有することを特徴とする。
この動画像符号化方法では、動画像符号化装置が、互いに隣接する変換対象領域を統合して周波数変換を適用するので、互いに隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。

［３９］また、本発明の一態様による動画像復号方法は、動画像復号装置が、動画像を符号化した符号化データについて、可変長符号の復号と、前記マクロブロックへの分割とを行う可変長復号ステップと、前記動画像復号装置が、前記マクロブロックを分割した変換対象領域であって、少なくとも一つの変換対象領域が前記パーティションをまたぐ変換対象領域を含む変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用した局所復号画像を生成する局所復号画像生成ステップと、前記動画像復号装置が、前記局所復号画像を結合して動画像を生成し、出力する動画像出力ステップと、を有することを特徴とする。
この動画像復号方法では、動画像復号装置が、パーティションをまたぐ変換対象領域に逆周波数変換を適用して局所復号画像を生成するので、動画像符号化装置が互いに異なるパーティションに含まれる領域を統合した場合にも、復号動画像を生成することができる。

［４０］また、本発明の一態様による動画像復号方法は、動画像復号装置が、動画像を符号化した符号化データについて、可変長符号の復号と、前記マクロブロックへの分割とを行う可変長復号ステップと、前記動画像復号装置が、前記マクロブロックを分割した変換対象領域であって、空間相関を示す指標に基づいて、少なくとも一つ統合された変換対象領域を含む変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用した局所復号画像を生成する局所復号画像生成ステップと、前記動画像復号装置が、前記局所復号画像を結合して動画像を生成し、出力する動画像出力ステップと、を有することを特徴とする。
この動画像復号方法では、動画像復号装置が、互いに隣接する変換対象領域に逆周波数変換を適用して局所復号画像を生成するので、動画像符号化装置が互いに隣接する領域を統合した場合にも、復号動画像を生成することができる。

本発明によれば、動画像符号化の符号化効率を向上させることができる。

本発明の第１の実施形態における動画像符号化・復号システム１の概略構成を示す構成図である。 同実施形態における動画像符号化装置１０の機能ブロック構成を示す機能ブロック構成図である。 同実施形態において、動画像符号化装置１０が符号化データを生成する処理手順を示すフローチャートである。 同実施形態において、画像入力部６１が入力される動画像のフレームをマクロブロック単位に分割し、分割した画像を出力する順位を示す図である。 同実施形態において、予測パラメータ決定部１０２がマクロブロック単位の画像データを分割するパーティションの構成を示す図である。 同実施形態において、予測パラメータ決定部１０２が生成する予測パラメータのデータ構成を示すデータ構成図である。 同実施形態において、予測画像生成部１０３が、処理対象のマクロブロックに用いる予測画像を生成する処理手順を示すフローチャートである。 同実施形態において、周波数変換決定部１０５が選択した周波数変換によって決定される変換対象領域の構成例を示す図である。 同実施形態において、周波数変換決定部１０５が生成する変換選択情報のデータ構成を示すデータ構成図である。 同実施形態において、周波数変換決定部１０５が、マクロブロック内の各パーティションについて周波数変換を選択する手順を示すフローチャートである。 同実施形態における統合された変換対象領域の例を示す図である。 同実施形態における変換統合情報のデータ構成を示すデータ構成図である。 同実施形態において、周波数変換決定部１０５が、マクロブロック内の変換対象領域を統合するか否かを判定する処理手順を示すフローチャートである。 同実施形態において、周波数変換決定部１０５が判断の対象とする、予測画像の画素の例を示す図である。 同実施形態において、変換係数生成部１０７がパーティション内の変換対象領域に周波数変換を適用する処理を示す擬似コードである。 同実施形態において、可変長符号化部１０８が、処理対象のマクロブロックに含まれる各パーティションの変換選択情報及び変換統合情報を符号化する処理手順を示すフローチャートである。 同実施形態における動画像復号装置２０の機能ブロック構成の概略を示す機能ブロック構成図である。 同実施形態において、周波数変換導出部１１１が生成する統合済み変換選択情報のデータ構成を示すデータ構成図である。 同実施形態において、動画像復号装置２０が復号動画像を生成する処理手順を示すフローチャートである。 同実施形態において、動画像符号化装置１０が変換対象領域の境界付近の画素値の変化に基づいて統合の適否を判定し、かつ、変換統合情報を出力しない場合に、動画像復号装置２０が統合済み変換選択情報を生成する処理手順を示すフローチャートである。 本発明の第２の実施形態における動画像符号化装置１１の機能ブロック構成の概略を示す機能ブロック構成図である。 同実施形態において、周波数変換決定部１１２が用いる分割パターンの例を示す図である。 同実施形態において、周波数変換決定部１１２が、処理対象のマクロブロックに適用する分割パターンおよび周波数変換を決定する処理手順を示すフローチャートである。 同実施形態において、動画像符号化装置が符号化データを生成する処理手順を示すフローチャートである。 同実施形態における動画像復号装置２１の機能ブロック構成の概略を示す機能ブロック構成図である。 同実施形態において、動画像復号装置２１が復号動画像を生成する処理手順を示すフローチャートである。 同実施形態における分割パターンを選択する動画像復号装置２２の構成を示す構成図である。 本発明の第３の実施形態における動画像符号化装置１６の構成を示す構成図である。 同実施形態において、予測パラメータ決定部１５２が決定する予測モードを示す図である。 同実施形態において、動画像符号化装置１６が符号化データを生成する処理手順を示すフローチャートである。 同実施形態における動画像復号装置２６の機能ブロック構成の概略を示す機能ブロック構成図である。 同実施形態において、動画像復号装置２６が復号動画像を生成する処理手順を示すフローチャートである。

＜第１の実施形態＞
以下、図面を参照して、本発明の実施の形態について説明する。
以下では、本発明の実施形態における動画像符号化装置および動画像復号装置が行う処理とＨ．２６４／ＡＶＣで規定される処理との異同を適宜示すが、本発明はＨ．２６４／ＡＶＣに限らず、ＶＣ−１やＭＰＥＧ−２（Moving Picture Experts Group phase 2）やＡＶＳ（Audio Video Coding Standard）等、マクロブロック単位で画像を処理し動き補償予測および周波数変換を行う様々な動画像符号化・復号方式を用いた動画像符号化装置及び動画像復号装置に適用できる。ここでいう周波数変換とは、二次元行列をサンプリングデータとして離散コサイン変換などにより同形の二次元行列のデータに変換する変換であり、画素値を周波数領域のデータに変換することによって、画素値の空間相関性によるデータの冗長性を排除して符号量を減少されるために行われる。
図１は、本発明の第１の実施形態における動画像符号化・復号システム１の概略構成を示す構成図である。
同図において、動画像符号化・復号システム１は、動画像符号化装置１０と動画像復号装置２０とを含んで構成される。動画像符号化装置１０は、画像入力部６１と中央処理装置（Central Processing Unit；ＣＰＵ）６２と、メモリ６３と符号化データ出力部６４とバス６５とを含んで構成される。動画像復号装置２０は、符号化データ入力部７１と中央処理装置７２とメモリ７３と画像出力部７４とバス７５とを含んで構成される。

動画像符号化装置１０は、入力動画像をフレーム単位で符号化して符号化データを出力する。動画像符号化装置１０において、画像入力部６１は、動画像が入力されると、入力された動画像をマクロブロック単位に分割し、バス６５を介して中央処理装置６２に出力する。中央処理装置６２は、画像入力部６１から出力されるマクロブロック単位の入力動画像の各々を符号化し、バス６５を介して符号化データ出力部６４に出力する。メモリ６３は、中央処理装置６２が符号化データを生成するために用いる画像であって後述するように変換係数を生成済みのマクロブロックの復号画像である局所復号画像を記憶する。また、メモリ６３は中央処理装置６２が実行するプログラムを記憶する。さらに、メモリ６３は、中央処理装置６２が動作する際のワーキングメモリとして、中央処理装置６２が生成する演算結果を一時記憶する。符号化データ出力部６４は、中央処理装置６２が出力する符号化データを動画像符号化装置１０の外部へ出力する。

動画像復号装置２０は、動画像符号化装置１０が出力する符号化データを復号して復号動画像を出力する。動画像復号装置２０において、符号化データ入力部７１は、符号化データが入力されると、入力された符号化データを、バス７５を介して中央処理装置７２に出力する。中央処理装置７２は、符号化データ入力部７１から出力される符号化データを復号してマクロブロック単位の復号画像である局所復号画像を生成し、生成した局所復号画像を、バス７５を介して画像出力部７４に出力する。メモリ７３は、中央処理装置７２が復号画像を生成するために用いる復号済みのマクロブロックの局所復号画像を記憶する。また、メモリ７３は中央処理装置７２実行するプログラムを記憶する。さらに、メモリ７３は、中央処理装置７２が動作する際のワーキングメモリとして、中央処理装置７２が生成する演算結果を一時記憶する。画像出力部７４は、中央処理装置７２が出力するマクロブロック単位の復号画像を結合してフレーム単位の復号画像を生成し、動画像復号装置２０の外部に出力する。

なお、動画像符号化装置１０の符号化データ出力部６４が出力した符号化データを、動画像復号装置２０の符号化データ入力部７１に入力する方法は、符号化データ入力部７１が当該符号化データを読み取れる方法であれば任意の方法でよい。例えば、符号化データ出力部６４が、有線又は無線の通信路を用いて符号化データ入力部７１に符号化データを送信するようにしてもよい。あるいは、符号化データ出力部６４が、半導体メモリ等の記憶媒体に符号化データを書き込み、符号化データ入力部７１が、この記憶媒体から符号化データを読み出すようにしてもよい。

図２は、動画像符号化装置１０の機能ブロック構成を示す機能ブロック構成図である。
同図において、動画像符号化装置１０は、画像入力部６１と、符号化部３２と、局所復号画像記憶部３３と、符号化データ出力部６４とを含んで構成される。符号化部３２は、予測パラメータ決定部（パーティション構造決定部）１０２と予測画像生成部１０３と予測残差生成部１０６と周波数変換決定部（周波数変換領域分割部）１０５と変換係数生成部１０７と可変長符号化部１０８と予測残差再構築部１０９と局所復号画像生成部１１０とを含んで構成される。
同図において、図１の各部と対応する部分には同一の符号（６１、６４）を付す。
画像入力部６１は、図１で説明したように、動画像が入力されると、入力された動画像をマクロブロック単位に分割する。画像入力部６１は、分割した画像をマクロブロック毎に、符号化部３２の予測パラメータ決定部１０２と予測残差生成部１０６とに出力する。

符号化部３２は、図１の中央処理装置６２がプログラムを実行することにより実現する。なお、図１の中央処理装置６２は、図面を見やすくするために図２には示していない。符号化部３２は、画像入力部６１がマクロブロック単位に分割して出力する画像から、マクロブロック毎の符号化データを生成する。
符号化部３２において、予測パラメータ決定部１０２と予測画像生成部１０３と予測残差生成部１０６とは、Ｈ．２６４／ＡＶＣと同様のフレーム間予測を行う。
予測パラメータ決定部１０２は、画像入力部６１から出力されるマクロブロック単位の画像の画素値に基づいて、局所復号画像記憶部３３が記憶する局所復号画像の中から参照画像を選択し、参照画像から予測画像を生成するためのパラメータである予測パラメータを生成する。予測パラメータについては後述する。動画像符号化装置１０は、動画像復号装置２０と同一の局所復号画像を記憶するために、処理対象のマクロブロックの画像と予測画像との差分である予測残差に対して、周波数変換を行った後、逆周波数変換を行って予測残差を再構築し、再構築した予測残差に予測画像を足し合わせて局所復号画像を生成し、局所復号画像記憶部３３に記憶する。予測パラメータ決定部１０２は、生成した予測パラメータを周波数変換決定部１０５と予測画像生成部１０３と可変長符号化部１０８とに出力する。

予測画像生成部１０３は、予測パラメータ決定部１０２が出力する予測パラメータに基づいて、予測パラメータ決定部１０２が選択した参照画像から予測画像を生成する。予測画像は、入力動画像における処理対象のマクロブロックの各画素値を近似する画像である。予測残差生成部１０６が、入力動画像における処理対象マクロブロックの画素値と予測画像の画素値とについて、画素毎に差分を取ることによって予測残差を生成するので、この予測残差について入力動画像の画素値の冗長性を削減することができ、動画像符号化装置１０が生成する符号化データの符号量を抑えることができる。
予測画像生成部１０３は、生成した予測画像を予測残差生成部１０６と局所復号画像生成部１１０とに出力する。
予測残差生成部１０６は、画像入力部６1から出力されるマクロブロック単位の画像と、予測画像生成部１０３から出力される予測画像との画素毎の値の差を取って、予測残差を生成し、生成した予測残差を周波数変換決定部１０５と変換係数生成部１０７とに出力する。

周波数変換決定部１０５は、予測パラメータ決定部１０２から出力される予測パラメータに基づいて、予測残差生成部１０６から出力される予測残差の周波数変換方法を決定し、決定した周波数変換方法を示す変換選択情報と変換統合情報とを、変換係数生成部１０７と予測残差再構築部１０９と可変長符号化部１０８とに出力する。
変換係数生成部１０７は、周波数変換決定部１０５が出力する周波数変換方法に基づいて、予測残差生成部１０６が出力する予測残差を周波数変換して変換係数を生成する。変換係数生成部１０７は、生成した変換係数を可変長符号化部１０８と予測残差再構築部１０９とに出力する。

可変長符号化部（可逆符号化部）１０８は、予測パラメータ決定部１０２から出力される予測パラメータと周波数変換決定部１０５から出力される変換選択情報及び変換統合情報と、変換係数生成部１０７から出力される変換係数とを可変長符号化して符号化データを生成する。なお、後述するように、可変長符号化部１０８が行う符号化は可変長符号化に限らず、可逆符号化であればよい。ここでいう可逆符号化とは、情報の損失無しに復号できる符号化である。
可変長符号化部１０８は、生成した符号化データを符号化データ出力部６４に出力する。
予測残差再構築部１０９は、周波数変換決定部１０５から入力される変換選択情報及び変換統合情報に基づいて、変換係数生成部１０７から出力される変換係数を逆周波数変換して予測残差を再構築する。予測残差再構築部１０９は、再構築した予測残差を局所復号画像生成部１１０に出力する。
局所復号画像生成部１１０は、予測画像生成部１０３から出力される予測画像と予測残差再構築部１０９が出力する再構築した予測残差との画素毎の値の和を取って局所復号画像を生成する。局所復号画像生成部１１０は、生成した局所復号画像を局所復号画像記憶部３３に書き込む。

局所復号画像記憶部３３は、図１のメモリ６３を用いて実現され、局所復号画像生成部１１０から出力される局所復号画像を記憶する。動画像符号化装置１０が、入力動画像の特定フレームの特定のマクロブロックを処理する時点では、処理対象のフレームより先に符号化されたフレームの局所復号画像、および、処理対象のマクロブロックと同一フレーム内の、先に符号化されたマクロブロックの局所復号画像が局所復号画像記憶部３３に記憶されている。
符号化データ出力部６４は、図１で説明したように、可変長符号化部１０８から出力される符号化データを動画像符号化装置１０の外部に出力する。

次に、動画像符号化装置１０の動作について説明する。
図３は、動画像符号化装置１０が符号化データを生成する処理手順を示すフローチャートである。動画像符号化装置１０は、画像入力部６１に動画像が入力されると、符号化データを生成する処理を開始する。
ステップＳ１０１において画像入力部６１は、入力される動画像をマクロブロック単位に分割する。動画像符号化装置１０は、入力される動画像のフレームをマクロブロック単位に分割し、マクロブロック毎に符号化データを作成する。そのために、画像入力部６１は、入力される動画像のフレームを横１６画素×縦１６画素のマクロブロックに分割する。

図４は、画像入力部６１が入力される動画像のフレームをマクロブロック単位に分割し、分割した画像を出力する順位を示す図である。同図の全体は動画像中の１フレームを示す。同図において、ｘ軸を横に取り、向かって右向きをｘ軸の正の向きとする。またｙ軸を縦に取り、上向きをｙ軸の正の向きとする。画像入力部６１は、１つのフレームを１６画素毎の行及び１６画素毎の列に分割し、行と列で分割された横１６画素×縦１６画素の領域の各々がマクロブロックに相当する。矢印で示すように、画像入力部６１は、同一行内の左から右へ順にマクロブロック単位で画像データを出力し、これを上から下へ１行毎に行う。画像入力部６１は、この処理を入力動画像中の各フレームに対して入力されるフレーム順に行う。
画像入力部６１は、分割したデータを予測パラメータ決定部１０２と予測残差生成部１０６とに出力する。
なお、画像入力部６１が、横１６画素×縦１６画素以外の大きさのマクロブロック単位に画像データを分割するようにしてもよい。例えば、横１２画素×縦１２画素でもよいし、横１６画素×縦１２画素など、縦と横の画素数が異なっていてもよい。また、画像入力部６１が、図４に示す以外の順序で、マクロブロック単位の画像データを出力するようにしてもよい。例えば、画像入力部６１が、同一列内で上から下へ順に画像データを出力し、これを左から右へ１列毎に行うようにしてもよい。

図３に戻って、ステップＳ１０２において、動画像符号化装置１０は、画像入力部６１が分割した入力画像のマクロブロック毎に符号化データを生成するループを開始する。
ステップＳ１０３〜Ｓ１０５において、予測パラメータ決定部１０２と予測画像生成部１０３と予測残差生成部１０６とは、Ｈ．２６４／ＡＶＣで規定されるフレーム間予測（動き補償予測、インター予測）と同様のフレーム間予測を行う。
ステップＳ１０３において、予測パラメータ決定部１０２は、画像入力部６１から出力される画像データの画素値に基づいて、画像データをさらに分割するパーティション構造を決定し、パーティション毎に参照画像を選択し、参照画像から予測画像を生成するための予測パラメータを生成する。ここでいうパーティションは、予測画像を生成する際の単位領域であり、後述するように、予測画像生成部１０３はパーティション毎に予測画像を生成し、生成した予測画像を結合してマクロブロックの予測画像を生成する。また、参照画像は予測画像を生成する元となる画像であり、予測パラメータ決定部１０２は、局所復号画像記憶部３３が記憶する局所復号画像の中から参照画像を選択する。上述したように、局所復号画像は、処理済みのマクロブロックの復号画像である。

図５は、予測パラメータ決定部１０２がマクロブロック単位の画像データを分割するパーティションの構成を示す図である。同図のパーティション構造は、Ｈ．２６４／ＡＶＣにて規定されるパーティション構造であり、予測パラメータ決定部１０２は、このＨ．２６４／ＡＶＣにて規定されるパーティション構造の何れかを選択する。
同図のパーティション構成ＭＢ１は、マクロブロックを分割しない一分割の場合のパーティション構成を示す。この場合、マクロブロックは、横１６画素×縦１６画素の１個のパーティションで構成され、このパーティションにはパーティションインデックス「ｐ０」が付される。ここで、パーティションインデックスは、マクロブロック内のパーティションを識別するインデックスである。
また、パーティション構成ＭＢ２は、マクロブロックを水平方向に二等分する水平二分割の場合のパーティション構成を示す。このパーティション構造では、マクロブロックは横１６画素×縦８画素の２個のパーティションで構成される。上のパーティションにはパーティションインデックス「ｐ０」が付され、下のパーティションにはパーティションインデックス「ｐ１」が付される。

パーティション構成ＭＢ３は、マクロブロックを垂直方向に二等分する垂直二分割の場合のパーティション構造を示す。このパーティション構造では、マクロブロックは横８画素×縦１６画素の２個のパーティションで構成される。左のパーティションにはパーティションインデックス「ｐ０」が付され、右のパーティションにはパーティションインデックス「ｐ１」が付される。
パーティション構造ＭＢ４は、マクロブロックを水平方向及び垂直方向に各々二等分する四分割の場合のパーティション構造を示す。このパーティション構造では、マクロブロックは横８画素×縦８画素の４個のパーティションで構成される。左上のパーティションにはパーティションインデックス「ｐ０」が付され、右上のパーティションにはパーティションインデックス「ｐ１」が付され、左下のパーティションにはパーティションインデックス「ｐ２」が付され、右下のパーティションにはパーティションインデックス「ｐ３」が付される。

また、パーティション構造ＭＢ４のパーティションの各々を、サブマクロブロックともいう。予測パラメータ決定部１０２は、このサブマクロブロックをさらにパーティションに分割する。以下ではサブマクロブロックを構成するパーティションを、「サブパーティション」とも言う。
パーティション構造ＳＢＭ１は、サブマクロブロックを分割しない一分割の場合のパーティション構造を示す。このパーティション構造では、サブマクロブロックは横８画素×縦８画素の１個のサブパーティションで構成され、このサブパーティションにはサブパーティションインデックス「ｐ０」が付される。ここで、サブパーティション番号は、パーティション内のサブパーティションを識別するインデックスである。
また、パーティション構造ＳＭＢ２は、サブマクロブロックを水平方向に二等分する水平二分割の場合のパーティション構造を示す。このパーティション構造では、サブマクロブロックは横８画素×縦４画素の２個のパーティションで構成される。上のサブパーティションにはサブパーティションインデックス「ｐ０」が付され、下のサブパーティションにはサブパーティションインデックス「ｐ１」が付される。

パーティション構造ＳＭＢ３は、サブマクロブロックを垂直方向に二等分する垂直二分割の場合のパーティション構造を示す。このパーティション構造では、サブマクロブロックは横４画素×縦８画素の２個のサブパーティションで構成される。左のサブパーティションにはサブパーティションインデックス「ｐ０」が付され、右のサブパーティションにはサブパーティションインデックス「ｐ１」が付される。
パーティション構造ＳＭＢ４は、サブマクロブロックを水平方向及び垂直方向に各々二等分する四分割の場合のパーティション構造を示す。このパーティション構造では、サブマクロブロックは横４画素×縦４画素の４個のサブパーティションで構成される。左上のサブパーティションにはサブパーティションインデックス「ｐ０」が付され、右上のサブパーティションにはサブパーティションインデックス「ｐ１」が付され、左下のサブパーティションにはサブパーティションインデックス「ｐ２」が付され、右下のサブパーティションにはサブパーティションインデックス「ｐ３」が付される。

動画像符号化装置１０及び動画像復号装置２０の各部は、マクロブロック内の各パーティションに対して処理を行う場合は、同図のパーティション構造ＭＢ１〜ＭＢ４に示すパーティションインデックスの番号順に処理する。すなわち、左のパーティションから右のパーティションへと処理を行い、これを上から下と繰り返す。なお、マクロブロックが４分割されている場合は、サブマクロブロック内の各サブパーティションを同図のパーティション構造ＳＭＢ1〜ＳＭＢ４に示すサブパーティションインデックスの番号順に処理し、これを同図のパーティション構造ＭＢ４に示すパーティションインデックスの番号順にサブマクロブロック毎に繰り返す。

図６は、予測パラメータ決定部１０２が生成する予測パラメータのデータ構成を示すデータ構成図である。
同図に示すように、予測パラメータは、パーティション構造情報と、各パーティションの動き情報として参照画像インデックスと動きベクトルの情報とを含んで構成される。
パーティション構造情報は、予測パラメータ決定部が選択したパーティション構造を示す情報である。例えば、同図の「Ｐ＿Ｌ０＿Ｌ０＿１６×８」の、「１６×８」は、当該マクロブロックが、横１６画素×縦８画素大きさの２個のパーティションに分割されることを示す。すなわち、当該マクロブロックは、図５のパーティション構造ＭＢ２が示す各パーティションに分割される。「Ｌ０＿Ｌ０」は２個のパーティションが、いずれも参照画像リスト０を用いることを示す。なお、「Ｐ」は、前方向予測のみを用いて符号化されるブロックであることを示す。

参照画像インデックスは、各パーティションの参照画像として用いる局所復号画像のインデックスを示す。例えば、同図の「２，０」の、「２」は、１番目のパーティション（図５のパーティション構造ＭＢ２で、パーティションインデックス「ｐ０」が付されたパーティション）の参照画像として、参照画像リスト（上述のとおり、ここでは参照画像リスト０）においてインデックス２が付された局所復号画像を用いることを示す。同様に、「０」は、２番目のパーティション（図５のパーティション構造ＭＢ２で、パーティションインデックス「ｐ１」が付されたパーティション）の参照画像として、参照画像リスト０においてインデックス０が付された局所復号画像を用いることを示す。
動きベクトルは、動き補償において、参照画像の画素をずらす量を示す。例えば、同図の「（０．２５，−１．２５），（０．０，０．７５）」の、「（０．２５，−１．２５）」は、予測画像のうち１番目のパーティションの部分は、参照画像を右に０．２５画素分ずらし、下に１．２５画素分ずらして生成することを示す。また、「（０．０，０．７５）」は、予測画像のうち２番目のパーティションの部分は、参照画像を左右には動かさず、上に０．７５画素分ずらして生成することを示す。

なお、前方向予測に加えて後方向予測も行うマクロブロックに対しては、予測パラメータ決定部１０２は、パーティション毎に２個の参照画像番号と２個の動きベクトルとを含む予測パラメータを生成する。
なお、予測パラメータ決定部１０２は、イントラ予測を行うことを決定した場合は、イントラ予測における予測画像生成方法を示す予測パラメータを生成するが、ここでは説明を省略する。ここでいう、イントラ予測とは、フレーム間予測を用いないマクロブロックに対して、入力動画像の同一フレーム内で当該マクロブロックに隣接し、符号化および復号済みの画素からの補間によって予測画像を生成する方法である。
予測パラメータ決定部１０２は、レート歪判定を用いて予測パラメータを生成する。具体的には、予測パラメータ決定部１０２は、パーティション構造と参照画像と動きベクトルとの、可能なあらゆる組み合わせで得られる予測パラメータ候補を生成する。予測パラメータ決定部１０２は、生成した予測パラメータ候補の各々に対して、式（１）に基づいてレート歪コストＣを算出し、レート歪コストＣが最小となる予測パラメータの候補を予測パラメータとして選択する。

ここで、Ｒは、当該予測パラメータ候補に基づいて符号化を行った場合の符号量を示す。また、Ｄは、マクロブロック単位の入力画像の画素値と、当該予測パラメータ候補に基づいて符号化および復号を行った場合に得られる局所復号画像の画素値との、平均二乗誤差を示す。また、λは、予め決められた値で有り、符号量Ｒと誤差Ｄとの間の重み係数を示す。予測パラメータ決定部は、例えば、予測パラメータ候補に基づいて実際に符号化および復号を行うことにより符号量Ｒおよび誤差Ｄを算出する。
なお、予測パラメータ決定部１０２がレート歪コストＣを算出する際に、適用可能な周波数変換が複数存在する場合は、適用可能な全ての周波数変換についてレート歪コストを算出し、最小のレート歪コストを、当該予測パラメータ候補のレート歪コストとする。あるいは、予め定められた特定の周波数変換を適用して得られるレート歪コストを当該予測パラメータ候補のレート歪コストとするようにしてもよい。
予測パラメータ決定部１０２は、生成した予測パラメータを周波数変換決定部１０５と予測画像生成部１０３と可変長符号化部１０８とに出力する。

図３に戻って、ステップＳ１０４において、予測画像生成部１０３は、予測パラメータ決定部１０２から出力される予測パラメータに基づいて予測画像を生成する。上述したように、予測画像は処理対象のマクロブロックの画像を近似する画像である。

図７は、予測画像生成部１０３が、図３のステップＳ１０４において、処理対象のマクロブロックに用いる予測画像を生成する処理手順を示すフローチャートである。
ステップＳ１２１において、予測画像生成部１０３は、予測パラメータからパーティション構造情報を読み出す。
ステップＳ１２２において、予測画像生成部１０３は、ステップＳ１２３、１２４からなるパーティション毎の処理のループを開始する。予測画像生成部１０３は、各パーティションを図６で説明した順に処理する（以下のフローチャートにおいても同様である）。
ステップＳ１２３において、予測画像生成部１０３は、予測パラメータから処理対象のパーティションの参照画像インデックスを読み出し、読み出した参照画像インデックスに基づいて、局所復号画像記憶部３３から参照画像を読み出す。
ステップＳ１２４において、予測画像生成部１０３は、予測パラメータから処理対象のパーティションの動きベクトルを読み出し、読み出した動きベクトルに基づいて参照画像に対する動き補償を行う。具体的には、予測画像生成部１０３は、動きベクトルが示す画素分だけ参照画像をずらす。
ステップＳ１２５において、未処理のパーティションがあればステップＳ１２２からのループを繰り返し、無ければステップＳ１２６に進む。
ステップＳ１２６において、予測画像生成部１０３は、動き補償を行った各参照画像の当該パーティション部分をつなぎ合わせて予測画像を生成し、生成した予測画像を、予測残差生成部１０６と局所復号画像生成部１１０とに出力する。
その後、当該マクロブロックに用いる予測画像を生成する処理を終了する。

図３に戻って、ステップＳ１０５において、予測残差生成部１０６は、画像入力部６１から出力されるマクロブロック単位の入力画像の各画素の画素値から、予測画像生成部１０３から出力される予測画像の対応する各画素の画素値を引いて、予測残差を生成する。予測残差はマクロブロックと同サイズの２次元データである。前述したように、入力画像における処理対象マクロブロックの画素値と予測画像の画素値とを、画素毎に差分を取って予測残差を生成することによって、入力画像の画素値の冗長性を削減することができ、動画像符号化装置１０が生成する符号化データの符号量を抑えることができる。
予測残差生成部１０６は、生成した予測残差を、周波数変換決定部１０５と変換係数生成部１０７とに出力する。

ステップＳ１０６において、周波数変換決定部１０５は、予測残差生成部１０６から出力される予測残差を、予測パラメータ決定部１０２が決定したパーティション構造に分割した各パーティションに適用する周波数変換を選択し、選択した周波数変換を示す変換選択情報を生成する。
図８は、周波数変換決定部１０５が選択した周波数変換によって決定される変換対象領域の構成例を示す図である。ここでいう変換対象領域とは、１回の周波数変換により変換係数に変換されるマクロブロック内の領域である。同図は、周波数変換決定部１０５が、マクロブロックを横８画素×縦８画素の４個のパーティションｐ０〜ｐ３のうち、パーティションｐ０及びｐ１に対しては４×４ＤＣＴを適用し、パーティションｐ２及びｐ３に対しては８×８ＤＣＴを適用することを決定した場合の例を示す。
同図のパーティションｐ０やｐ１のように、パーティションの大きさよりも周波数変換の大きさが小さい場合は、周波数変換決定部１０５は、予測残差のパーティションを周波数変換の大きさの各領域に分割し、分割された各領域が変換対象領域となる。例えば、同図のパーティションｐ０は、４つの変換対象領域ｒ０〜ｒ３に分割される。一方、同図のパーティションｐ２やｐ３のように、パーティションの大きさと周波数変換の大きさが同じ場合は、パーティションによって分割された領域全体が１個の変換対象領域となる。動画像符号化装置１０及び動画像復号装置２０の各部は、同一パーティション内の変換対象領域を、左の変換対象領域から右の変換対象領域へ順に処理し、これを上から下に順に繰り返す。さらに、複数のパーティションにわたって変換対象領域を処理する場合は、左のパーティションから右のパーティションへ順に上記の処理を行い、これを上のパーティションから下のパーティションに順に繰り返す。
以下で説明する動画像符号化装置及び動画像復号装置も同様である。

図９は、周波数変換決定部１０５が生成する変換選択情報のデータ構成を示すデータ構成図である。変換選択情報は、マクロブロック内の各パーティションに適用する周波数変換を示す。
同図に示すように、変換選択情報は、各パーティションに適用する周波数変換を示す情報がパーティションの順番に従って並べられて構成される。同図では、周波数変換決定部１０５が、各パーティションに適用する周波数変換として、図８で説明した周波数変換を選択した場合の変換選択情報の例が示されている。パーティションｐ０及びｐ１の欄の「４×４」は、パーティションｐ０及びｐ１に４×４ＤＣＴを適用することを示し、パーティションｐ２及びｐ３の欄の「８×８」は、パーティションｐ２及びｐ３に８×８ＤＣＴを適用することを示している。

図１０は、周波数変換決定部１０５が、マクロブロック内の各パーティションについて周波数変換を選択する手順を示すフローチャートである。
ステップＳ１４１において、周波数変換決定部１０５は、パーティション毎の処理のループを開始する。
すなわち、まず、ステップＳ１４２〜ステップＳ１４５において、周波数変換決定部１０５は、パーティションに適用する周波数変換の候補を選択する。
ステップＳ１４２において、周波数変換決定部１０５は、変換プリセットの各要素に対する処理のループを開始する。ここでいう、変換プリセットとは、動画像符号化装置１０がマクロブロックに適用可能な全ての周波数変換の集合である。動画像符号化装置１０は、変換プリセットの要素として、Ｈ．２６４／ＡＶＣと同じ４×４ＤＣＴと８×８ＤＣＴとに加えて４×８ＤＣＴと８×４ＤＣＴと１６×１６ＤＣＴと１６×８ＤＣＴと８×１６ＤＣＴとの７種類の周波数変換を具備する。ここで、ｍ×ｎＤＣＴは、横ｍ画素×縦ｎ画素を周波数変換のサイズ（周波数変換の対象領域の縦横の画素数。以下、「変換サイズ」ともいう）とする離散コサイン変換を示す。
なお、動画像符号化装置１０の変換プリセットは上記の集合に限らず、上記の集合の部分集合であってもよい。あるいは、別の変換サイズの離散コサイン変換、例えば４×１６ＤＣＴや１６×４ＤＣＴを含む周波数変換を変換プリセットに含めてもよいし、離散コサイン変換以外の周波数変換、例えばアダマール変換やサイン変換やウェーブレット変換、またはそれらの変換を近似する変換を含む周波数変換を変換プリセットに含めてもよい。

ステップＳ１４３において、周波数変換決定部１０５は、ステップＳ１４２からのループにおいて処理対象となっている周波数変換のサイズが、縦横共にパーティションのサイズ以下か否かを判断する。パーティションのサイズ以下の場合（ステップＳ１４３：ＹＥＳ）はステップＳ１４４に進み、そうでない場合（ステップＳ１４３：ＮＯ）はステップＳ１４５に進む。
ステップＳ１４４において、周波数変換決定部１０５は、ステップＳ１４２からのループにおいて処理対象となっている周波数変換を、パーティションに適用する周波数変換の候補（以下では、「変換候補」ともいう）に加える。例えば、横１６画素×縦８画素のパーティションに対して、周波数変換決定部１０５は、変換プリセットの中から横１６画素×縦８画素以下の、４×４ＤＣＴと８×８ＤＣＴと４×８ＤＣＴと８×４ＤＣＴと１６×８ＤＣＴとを変換候補とする。
なお、周波数変換決定部１０５が選択する変換候補の数を減らすようにしてもよい。例えば、横１６画素×縦８画素のパーティションに対し、４×４ＤＣＴと８×８ＤＣＴのみを変換候補とするようにしてもよい。例えば、変換プリセットの要素数を減らすことにより、変換候補の数を減らすことができる。変換候補の数を減らすことにより、以後の処理量を削減することができる。また、変換プリセットの要素数を減らすことにより、周波数変換を示すインデックスの符号長を短くして符号量の増加を抑制できる。

ステップＳ１４５において、変換プリセットの要素のうち未処理の周波数変換があればステップＳ１４２からのループを繰り返し、無ければステップＳ１４６に進む。
ステップＳ１４６〜ステップＳ１４９において、周波数変換決定部１０５は、変換候補の各々のレート歪コストを算出し、レート歪コストが最小の周波数変換をパーティションに適用する周波数変換として選択する。
すなわち、まず、ステップＳ１４６において、周波数変換決定部１０５は、ステップＳ１４２〜ステップＳ１４５のループで選択した各変換候補に対する処理のループを開始する。
ステップＳ１４７において、周波数変換決定部１０５は、ステップＳ１４６からのループにおいて処理対象となっている周波数変換のレート歪コストを、前述の式（１）に基づいて算出する。

ステップＳ１４８において、変換候補の要素のうち未処理の周波数変換があればステップＳ１４６からのループを繰り返し、無ければステップＳ１４９に進む。
ステップＳ１４９において、周波数変換決定部１０５は、レート歪コストが最小となる周波数変換を当該パーティションに適用する周波数変換として選択する。
ステップＳ１５０において、未処理のパーティションがあればステップＳ１４１からのループを繰り返し、無ければマクロブロック内の各パーティションについて周波数変換を選択する処理を終了する。

図３に戻って、ステップＳ１０７において、周波数変換決定部１０５は、互いに異なるパーティションに含まれる変換対象領域を統合した領域、すなわちパーティションをまたぐ変換対象領域を示す変換統合情報を生成する。具体的には、周波数変換決定部１０５は、ステップＳ１０６で周波数変換を選択することによって決定される変換対象領域を統合するか否かを、マクロブロック内の隣接する２個の変換対象領域の組み合わせの各々について判定し、統合する変換対象領域を示す変換統合情報を生成する。
周波数変換決定部１０５が、パーティション境界を挟んで隣接する複数の領域を統合することを決定し、変換係数生成部１０７が、周波数変換決定部１０５の決定に従って予測残差を周波数変換することにより、動画像符号化装置１０は、パーティション境界を挟んで隣接する複数の領域を統合した領域に対して周波数変換を行って符号化効率を向上させることができる。

図１１は、統合された変換対象領域の例を示す図である。同図（ａ）では、マクロブロックが４つのパーティション（サブマクロブロック）ｐ０〜ｐ３に分割されている。周波数変換決定部１０５は、パーティションｐ０およびｐ１に４×４ＤＣＴを適用することを決定しており、これによって、パーティションｐ０およびｐ１は横４画素×縦４画素の４つの変換対象領域ｒ０〜ｒ３に分割されている。また、周波数変換決定部１０５は、パーティションｐ２に８×４ＤＣＴを適用することを決定しており、パーティションｐ２は横８画素×縦４画素の２つの変換対象領域に分割されている。また、周波数変換決定部１０５は、パーティションｐ３に４×８ＤＣＴを適用することを決定しており、パーティションｐ３は横４画素×縦８画素の２つの変換対象領域に分割されている。
同図（ｂ）は、周波数変換決定部１０５が、同図（ａ）に示される変換対象領域のうち、パーティションｐ０の変換対象領域ｒ１とパーティションｐ１の変換対象領域ｒ０とを統合することを決定した例を示している。

同図（ｃ）〜（ｆ）は、統合された変換対象領域の他の例を示す。同図（ｃ）では、パーティションｐ２とパーティションｐ３とが共に横８画素×縦４画素の２つの変換対象領域ｒ０とｒ１とに分割され、パーティションｐ２の変換対象領域ｒ０とパーティションｐ３の変換対象領域ｒ１とが統合されている。同図（ｄ）では、パーティションｐ０とパーティションｐ１とが共に横８画素×縦４画素の４つの変換対象領域ｒ０とｒ１とｒ２とｒ３とに分割され、パーティションｐ０の変換対象領域ｒ２とパーティションｐ１の変換対象領域ｒ０とが統合されている。同図（ｅ）では、パーティションｐ１〜パーティションｐ３のそれぞれが変換対象領域を構成し、パーティションｐ１とパーティションｐ３とが統合されている。同図（ｆ）では、パーティションｐ０〜パーティションｐ３が共に横４画素×縦４画素の４つの変換対象領域ｒ０とｒ１とｒ２とｒ３とに分割され、パーティションｐ０の変換対象領域ｒ３とパーティションｐ１の変換対象領域ｒ２とパーティションｐ２の変換対象領域ｒ１とパーティションｐ３の変換対象領域ｒ０とが統合されている。なお、同図に示す変換対象領域の統合は一例であり、周波数変換決定部１０５が決定する変換対象領域の統合は、これらに限定されない。

図１２は、変換統合情報のデータ構成を示すデータ構成図である。変換統合情報は、周波数変換決定部１０５が、統合することに決定した領域と当該領域に適用する周波数変換とを示す情報である。
同図に示すように、変換統合情報は、パーティションインデックスと統合対象領域インデックスと、統合方向インデックスと周波数変換の情報とを含んで構成される。周波数変換決定部１０５は、変換対象領域の統合毎に変換統合情報を生成する。
パーティションインデックスは、統合される領域のうち処理される順序が早い方が含まれるパーティションを示すインデックスである。統合対象領域インデックスは、統合される領域のうち処理される順序が早い方の、パーティション内での位置を示すインデックスである。パーティションインデックスと統合対象領域インデックスとによって、統合される領域のうち処理される順序が早い方の、マクロブロック内における位置が示される。統合方向インデックスは、統合される領域のうち処理される順序が早い方から見た、統合される領域のうち処理される順序が遅い方の方向を示すインデックスである。

例えば、図１２の変換統合情報は、図１１（ｂ）の場合において、パーティションｐ０が統合される領域ｒ１を含み、このパーティションｐ０の領域ｒ１とその右隣の領域とを統合することを示している。
周波数変換の情報は、統合される領域に適用する周波数変換を示す情報である。図１２の例では、統合される領域に対して８×４ＤＣＴを適用することが示されている。
なお、周波数変換決定部１０５が生成する変換統合情報は、図１２の構造のものに限らず、統合される領域を示すものであればよい。例えば、変換統合情報が、統合される領域全てのパーティションインデックスと統合対象領域インデックスとの組と、統合される領域に適用する周波数変換の情報とを含んで構成されるようにしてもよい。

図１３は、周波数変換決定部１０５が、マクロブロック内の変換対象領域のうち統合する領域を決定する手順を示すフローチャートである。周波数変換決定部１０５は、マクロブロック単位の予測残差の変換対象領域のうち統合する領域を、予測画像生成部１０３から出力されるマクロブロック単位の予測画像の画素値に基づいて決定する。予測残差の画素値ではなく予測画像の画素値を用いるのは、動画像復号装置２０が同一の判定を行えるようにするためである。
ステップＳ１６１において、周波数変換決定部１０５は、変換対象領域ｉ（ｉは０〜（Ｎ−２）の整数、Ｎはマクロブロック内の変換対象領域の個数）に対する処理を行うループを開始する。ここで変換対象領域に付されている番号は、図８で説明した変換対象領域の処理順序に応じた番号である。
ステップＳ１６２において、周波数変換決定部１０５は、変換対象領域ｊ（ｊは（ｉ＋１）〜Ｎの整数）に対する処理を行うループを開始する。

ステップＳ１６３において、周波数変換決定部１０５は、以下の条件Ｃ１３１が成立するか否かを判断する。
条件Ｃ１３１：変換対象領域ｉおよび変換対象領域ｊは互いに隣接する。かつ、変換対象領域ｉと変換対象領域ｊとは、互いに異なるパーティションに含まれる。かつ、変換対象領域ｉと変換対象領域ｊとを合わせた領域が、矩形を成す。
この判断により、周波数変換決定部１０５は、パーティションをまたぐ領域のみを以下のステップＳ１６５およびステップＳ１６７の処理対象とする。
条件Ｃ１３１が成立すると判断した場合（ステップＳ１６３：ＹＥＳ）はステップＳ１６４に進み、成立しないと判断した場合（ステップＳ１６３：ＮＯ）はステップＳ１６７に進む。

ステップＳ１６４において、周波数変換決定部１０５は、変換対象領域ｉと変換対象領域ｊとが統合に適した特性を有するか否かを判断する。周波数変換決定部１０５は、変換対象領域ｉと変換対象領域ｊとに対応する予測画像の領域の画素値の類似性に基づいて、変換対象領域ｉと変換対象領域ｊとの予測残差の空間相関が高いか否かを判断する。具体的には、予測画像生成部１０３から入力されるマクロブロック単位の予測画像を、予測残差と同じパーティション及び変換対象領域に分割する。そして周波数変換決定部１０５は、予測画像の変換対象領域ｒ１と変換対象領域ｒ２との境界ｂの画素単位の長さをＭ、変換対象領域ｒ１に属し境界ｂに接する画素の画素値をｂｒｖ１［ｉ］（ｉは１〜Ｍの正整数）、変換対象領域ｒ２に属し境界ｂに接する画素の画素値をｂｒｖ２［ｉ］、判定の閾値をＴｈとして、式（２）を満たすか否かを判断する。

式（２）において、隣接する画素の画素値の差の絶対値｜ｂｒｖ１［ｉ］−ｂｒｖ２［ｉ］｜が小さいほど、変換対象領域ｉと変換対象領域ｊとの空間相関が高いことが期待される。そこで、周波数変換決定部１０５は、式（２）を空間相関を示す指標として用いて、対象とする領域内の空間相関が高いか否かを判断する。式（２）を満たすと判断した場合は、周波数変換決定部１０５は、変換対象領域ｉと変換対象領域ｊとは空間相関が高く、統合に適した領域であると判断し、変換対象領域ｉと変換対象領域ｊとを統合することを決定する。

図１４は、周波数変換決定部１０５が判断の対象とする、予測画像の画素の例を示す図である。
同図は、パーティションｐ０の変換対象領域ｒ３とパーティションｐ１の変換対象領域ｒ２とが、統合に適した特性を有するか否かを判断する場合の例を示している。また、両変換対象領域間の境界が境界ｂであり、境界ｂの画素単位の長さは４画素分である。パーティションｐ０の変換対象領域ｒ３は、境界ｂに接する画素ｂｒ１［１］〜ｂｒ１［４］を含み、パーティションｐ１の変換対象領域ｒ２は、境界ｂに接する画素ｂｒ２［１］〜ｂｒ２［４］を含む。周波数変換決定部１０５は、式（２）に従って、互いに接する画素ｂｒ１［ｋ］（ｋは０〜３の整数）とｂｒ２［ｋ］との画素値の差の絶対値｜ｂｒｖ１［ｋ］−ｂｒｖ２［ｋ］｜の合計値を算出し、算出した合計値が閾値Ｔｈより小さいか否かを判断する。

図１３に戻って、ステップＳ１６４において、式（２）を満たすと判断した場合（ステップＳ１６４：ＹＥＳ）はステップＳ１６５へ進み、満たさないと判断した場合（ステップＳ１６４：ＮＯ）はステップＳ１６７へ進む。
ステップＳ１６５において、周波数変換決定部１０５は、予測残差の変換対象領域ｉと変換対象領域ｊとに適用する新たな周波数変換ｔ’を選択する。周波数変換決定部１０５は、統合後の変換対象領域の大きさと同じ変換サイズの離散コサイン変換を新たな周波数変換ｔ’として選択する。例えば、元の２個の変換対象領域が横Ｗ画素×縦Ｈ画素であり、これらの変換対象領域が上下に並んでいる場合は、横Ｗ画素×縦２Ｈ画素の周波数変換を選択する。一方、これらの変換対象領域が左右に並んでいる場合は、横２Ｗ画素×縦Ｈ画素の周波数変換を選択する。これにより、新たに選択される周波数変換ｔ’は、元の２個の変換対象領域を合わせた領域を変換対象領域とする。

周波数変換決定部１０５は、周波数変換ｔ’が変換プリセットに含まれない場合には統合は行わない。例えば、図１１（ｃ）において、パーティションｐ０とパーティションｐ１に適用する周波数変換は共に８×４ＤＣＴであり、上記の横２Ｗ画素×縦Ｈ画素の周波数変換は１６×４ＤＣＴとなるが、この周波数変換は変換プリセットに含まれない。したがって、周波数変換決定部１０５は、この統合を行わない。これにより、周波数変換の種類が増加し周波数変換を示すインデックスの符号長が長くなることを抑制できる。
なお、周波数変換ｔ’が変換プリセットに含まれない場合でも、周波数変換決定部１０５が統合を行うようにしてもよい。この場合は、例えば、周波数変換決定部１０５が変換プリセットに新たな周波数変換を加え、動画像符号化装置１０は、動画像復号装置２０に新たな周波数変換を加えた周波数プリセットを出力する。このように、周波数変換ｔ’が変換プリセットに含まれない場合でも、統合を行うことにより、隣接する変換対象領域間の空間相関を利用して変換係数の符号長を短くすることができる。

ステップＳ１６６において、周波数変換決定部１０５は、変換統合情報を生成する。
ステップＳ１６７において、変換対象領域（ｉ＋１）〜Ｎのうち、未処理の変換対象領域があれば、ステップＳ１６２からのループを繰り返し、無ければステップＳ１６８に進む。
ステップＳ１６８において、変換対象領域０〜（Ｎ−２）のうち、未処理の変換対象領域があれば、ステップＳ１６１からのループを繰り返し、無ければパーティション内の変換対象領域を統合するか否かを判定する処理を終了する。
周波数変換決定部１０５は、生成した変換選択情報と変換統合情報とを、変換係数生成部１０７と可変長符号化部１０８と予測残差再構築部１０９とに出力する。
以上のように、周波数変換決定部１０５は、処理対象のマクロブロックを変換対象領域に分割し、さらに変換対象領域を統合することにより、処理対象のマクロブロックをパーティションをまたぐ領域（ステップＳ１６５で統合される変換対象領域）を含む変換対象領域に分割する。

なお、ステップＳ１６４において、境界に接する画素だけでなく境界から離れた画素についても、判断の対象に加えるようにしてもよい。例えば、周波数変換決定部１０５が、境界から１画素分離れた画素も式（２）に含めて判断を行う。これにより、判断の精度を上げることができる。
なお、図１３のフローチャートでは、変換対象領域の全ての組み合わせに対してステップＳ１６３の判定を行っているが、このステップＳ１６３において、まず、明らかに条件Ｃ１３１を満たさない組み合わせか否かを判断した後に、条件Ｃ１３１を満たすか否かを判断するようにしてもよい。例えば、図１１（ｂ）のパーティションｐ０の変換対象領域ｒ０のように、マクロブロック内の他のパーティションと接しない変換対象領域が判断対象となっている場合は、明らかに条件Ｃ１３１を満たさない。そこで、周波数領域１０５が、マクロブロック内の他のパーティションと接しない変換対象領域を予め記憶しておき、この変換対象領域が判断対象となっている場合は、ステップＳ１６３において、条件Ｃ１３１を満たすか否かを判断せずにステップＳ１６７に進む。これにより、処理量を抑制することができる。

あるいは、条件Ｃ１３１を、より成立しにくい条件にすることによって処理量を抑制してもよい。例えば、変換対象領域ｒ１の周波数変換と変換対象領域ｒ２の周波数変換が、同一の周波数変換ｔであるとの条件を追加する。このように、条件Ｃ１３１を、より成立しにくい条件にすることによって、ステップＳ１６４およびステップＳ１６５における処理を行う回数を減らし、処理量を抑制することができる。
なお、周波数変換決定部１０５が、統合が決定された後の変換対象領域を再度選択してさらに統合するようにしてもよい。この統合によって、より大きい領域を変換対象領域とし、動画像符号化装置１０が出力する符号化データの符号化率を向上させることができる。例えば、図１１の領域（ｆ）において、パーティションｐ０の領域ｒ３とパーティションｐ１の領域ｒ２とを統合し、また、パーティションｐ２の領域ｒ１とパーティションｐ３の領域ｒ０とを統合することを決定している場合に、周波数変換決定部１０５は、パーティションｐ０の領域ｒ３とパーティションｐ１の領域ｒ２とを統合した領域と、パーティションｐ２の領域ｒ１とパーティションｐ３の領域ｒ０とを統合した領域をさらに統合して横８画素×縦８画素の変換対象領域を生成する。
一方、周波数変換決定部１０５が、統合を１段階のみとすれば、統合を表すために必要な符号量や統合判定の処理量の増加を抑制することができる。

なお、ステップＳ１６４で行う統合適否の判定は、上述の式（２）を用いるものに限らない。例えば、周波数変換決定部１０５が、変換対象領域ｒ１の属するパーティションの動きベクトルｍｖ１と、変換対象領域ｒ２の属するパーティションの動きベクトルｍｖ２を比較し、所定の条件を満たす場合に、空間相関が高く統合に適していると判定するようにしてもよい。例えば、ｒ１およびｒ２の参照画像が同一であり、ｍｖ１とｍｖ２のベクトルの大きさの差あるいは比率が閾値以下であることを条件とする。前記条件を満たす場合、変換対象領域ｒ１および変換対象領域ｒ２は同一参照画像内の十分に近い領域を参照しており、したがって領域内の空間相関も高い可能性が高いので、統合することにより符号化率の向上が期待される。そこで、周波数変換決定部１０５は、前記条件を空間相関を示す指標として用いて、対象とする領域内の空間相関が高いか否かを判断する。

なお、周波数変換決定部１０５が変換対象領域ｒ１およびｒ２の統合適否を判定する方法は、上記で説明した、パーティション境界付近の予測画像の画素値の類似性を評価する方法や動きベクトルの類似性を評価する方法に限らない。例えば、変換対象領域ｒ１およびｒ２それぞれの予測残差を周波数変換して得られた係数分布の類似度を評価する方法、あるいは、類似度の判定によらず、実際に変換して符号量やレート歪コストの低さを評価する方法など、周波数変換決定部１０５が、変換対象領域ｒ１およびｒ２から得られる上記以外の特徴量を用いる方法によって統合適否を判定するようにしてもよい。
さらには、周波数変換決定部１０５が、変換対象領域ｒ１とｒ２との各々に対して周波数変換を適用し、この周波数変換の結果として得られる変換係数に基づいて、ｒ１およびｒ２の統合適否を判定するようにしてもよい。例えば、ｒ１から得られる変換係数とｒ２から得られる変換係数とが全て、予め設定された閾値以下である場合は、両者の空間相関が高く、統合に適していると判断する。あるいは、変換対象領域ｒ１とｒ２とを統合した場合と統合しない場合との符号量またはレート歪コストを比較して、ｒ１およびｒ２の統合適否を判定するようにしてもよい。
なお、処理対象のマクロブロック内のパーティションｐがサブパーティションを有する場合、サブパーティションにおける変換対象領域については統合を行わないようにしてもよい。あるいは、マクロブロックをサブマクロブロックと読み替え、パーティションをサブパーティションと読み替えて、周波数変換決定部１０５が、図１３の処理を再帰的に適用するようにしてもよい。さらには、パーティションｐがサブパーティションを有する場合に限らず、処理単位が１６画素×１６画素と異なるブロックである場合、たとえば３２画素×３２画素のブロックである場合などについても、周波数変換決定部１０５が、図１３の処理を行うことにより統合適否を判定することができる。

図３のステップＳ１０８において、変換係数生成部１０７は、予測残差生成部１０６から出力される予測残差と、周波数変換決定部１０５から入力される変換選択情報および変換統合情報とに基づいて、予測残差を周波数変換し、変換係数を生成する。
具体的には、変換係数生成部１０７は、変換選択情報および変換統合情報に基づいて各変換対象領域に適用する周波数変換を選択して、選択した周波数変換を予測残差の各変換対象領域に適用する。変換選択情報によって示される周波数変換は、変換プリセットに含まれる周波数変換のいずれかである。
図１５は、変換係数生成部１０７がパーティション内の変換対象領域に周波数変換を適用する処理を示す擬似コードである。ここで、領域Ｒ（ｘ，ｙ，Ｗ，Ｈ）は、パーティション内の左上隅を起点として右方向にｘ画素、下方向にｙ画素移動した位置を左上隅とする横Ｗ画素×縦Ｈ画素の変換対象領域を示す。
変換係数生成部１０７は、パーティション内に含まれる横Ｍ個×縦Ｎ個の変換対象領域に対して、同図の擬似コードで示されるように、左の変換対象領域から右の変換対象領域へと順に、変換対象領域毎に横Ｗ画素×縦Ｈ画素の変換サイズを有する周波数変換を適用する。これを上から下へ順次繰り返す。
なお、変換係数生成部１０７が予測残差から変換係数を生成する処理に量子化を行う過程が含まれていてもよい。例えば、変換係数生成部１０７が、生成した変換係数を量子化するようにしてもよい。

図３のステップＳ１０９において、予測残差再構築部１０９は、変換係数生成部１０７から出力される変換係数と周波数変換決定部１０５から出力される変換選択情報及び変換統合情報とに基づいて、変換係数を逆周波数変換することで予測残差を再構築する。なお、ステップＳ１０９において、変換係数生成部１０７が量子化を行った場合は、予測残差再構築部１０９は、量子化に対応する逆量子化を行う。例えば、変換係数生成部１０７が、生成した変換係数を量子化する場合は、予測残差再構築部１０９は、変換係数を逆量子化した後、変換係数を逆周波数変換する。
予測残差再構築部１０９は、再構築した予測残差を局所復号画像生成部１１０へ出力する。

ステップＳ１１０において、局所復号画像生成部１１０は、予測画像生成部１０３から出力される予測画像と、予測残差再構築部１０９から出力される予測残差とに基づいて、局所復号画像を生成する。局所復号画像生成部１１０は、局所復号画像の各画素値として、予測画像の画素値と予測残差の画素値とを、画素毎に足し合わせることにより、局所復号画像を生成する。
なお、局所復号画像生成部１１０が、生成した局所復号画像に対してフィルタを適用することによって、ブロック境界に発生するブロック歪や量子化誤差を低減させるようにしてもよい。この場合は、動画像復号装置２０も、生成した局所復号画像に対して同一のフィルタを適用し、動画像符号化装置１０と動画像復号装置２０とが同一の局所復号画像を生成するようにする。
局所復号画像生成部１１０は、生成した局所復号画像を局所復号画像記憶部３３に書き込む。

ステップＳ１１１において、可変長符号化部１０８は、変換係数生成部１０７から出力される変換係数と、予測パラメータ決定部１０２から出力される予測パラメータと、周波数変換決定部１０５から出力される変換選択情報及び変換統合情報とを符号化して、符号化データを生成し、生成した符号化データを符号化データ出力部６４に出力する。符号化データ出力部６４は、可変長符号化部１０８から出力される符号化データを動画像符号化装置１０の外部に出力する。
可変長符号化部１０８は、まず、変換係数と予測パラメータとを、Ｈ．２６４／ＡＶＣに定められた方法で可変長符号化する。その際、可変長符号化部１０８は、パーティションをまたぐ領域の周波数変換によって生成された変換係数をパーティション境界に基づいて分割することにより、Ｈ．２６４／ＡＶＣに定められた方法と同様にパーティション毎に可変長符号化する。

次に、可変長符号化部１０８は、変換選択情報と変換統合情報とを可変長符号化する。
まず、可変長符号化部１０８は、変換選択情報に含まれる、各パーティションに適用する周波数変換を示すインデックスを、例えばハフマン符号を用いて可変長符号化する。なお、可変長符号化部１０８が行う符号化は、可変長符号化に限らず、動画像復号装置２０が情報の損失無しに復号可能な符号化、すなわち可逆符号化であれば任意のものでよい。例えば、可変長符号化部１０８は、変換プリセットの要素数をｓとした場合に２のｔ乗がｓ以上となる最小の正整数ｔを用いて、インデックスをｔビットで２進化して得られるビット列を符号化データとする。変換係数や予測パラメータ等、変換選択情報以外のデータについても同様に、可変長符号化部１０８が行う符号化は、可逆符号化であれば任意のものでよい。
次に、可変長符号化部１０８は、変換統合情報の各々について、統合された領域の位置を示すパーティションインデックスと統合対象領域インデックスと統合方向インデックスと、統合された領域に適用された周波数変換を示すインデックスとを符号化する。例えば、パーティションインデックスは、ｐ０〜ｐ３の何れかの値をとっており、可変長符号化部１０８は、このパーティションインデックスを、例えばハフマン符号を用いて可変長符号化データにする。また、統合対象領域インデックスはｒ０〜ｒ７のいずれかの値をとり、可変長符号化部１０８は、この統合対象領域インデックスを、例えばハフマン符号を用いて可変長符号化データにする。また、統合方向インデックスは、rightまたはdownのいすれかの値をとり、可変長符号化部１０８は、この統合方向インデックスを、例えば１ビットの符号化データにする。

なお、動画像符号化装置１０が変換統合情報を出力しないようにしてもよい。上述したように、周波数変換決定部１０５は、変換対象領域を統合するか否かを、予測画像の画素値に基づいて決定する。これにより、後述するように、動画像復号装置２０は、動画像符号化装置１０の周波数変換決定部１０５が行う変換対象領域を統合するか否かの判定と同じ判定を行って、統合された領域を推定することができる。さらに、上記のように、統合された領域の大きさと同じ変換サイズの周波数変換を適用することにより、動画像復号装置２０が、統合された領域に適用された周波数変換を推定することができる。従って動画像符号化装置１０が変換統合情報を出力しなくても、動画像復号装置２０が動画像を復号できる。
一方、動画像符号化装置１０が変換統合情報を出力するようにすれば、動画像復号装置２０は、統合された領域の推定を行う必要がなく、演算量を削減できる。

なお、動画像符号化装置１０が変換統合情報を出力する場合において、変換統合情報の一部の符号化および出力を省略するようにしてもよい。
まず、パーティション内に統合の対象となり得る変換対象領域が１つしかない場合は、統合対象領域インデックスを省略できる。例えば、図１１（ｅ）のパーティションｐ１には変換対象領域が１つしかないので、統合対象領域インデックスを省略できる。
また、統合可能な方向が１方向のみの場合は、統合方向インデックスを省略できる。例えば、図１１（ｂ）のパーティションｐ０の領域ｒ１は、右方向のみマクロブロック内の他のパーティションと接するので、統合方向インデックスを省略できる。
また、上述のように、統合された領域の大きさから周波数変換を決定できるので、周波数変換の情報を省略できる。逆に、周波数変換の情報から変換対象領域が決定可能な場合には、変換対象領域に関する情報、例えば、パーティションインデックスや統合対象領域インデックス、統合方向インデックスのいずれかあるいは全てを省略してもよい。

図１６は、可変長符号化部１０８が、処理対象のマクロブロックに含まれる各パーティションの変換選択情報及び変換統合情報を符号化する処理手順を示すフローチャートである。
ステップＳ２０１において、可変長符号化部１０８は、周波数変換決定部１０５が処理対象のマクロブロックに対して決定したパーティション構造が四分割か否かを判断する。四分割であると判断した場合（ステップＳ２０１：ＹＥＳ）はステップＳ２０３に進み、四分割以外であると判断した場合（ステップＳ２０１：ＮＯ）はステップＳ２０２に進む。
ステップＳ２０２において、可変長符号化部１０８は、処理対象のマクロブロック内の各パーティションに適用する変換選択情報および変換統合情報を符号化する。その後、変換選択情報及び変換統合情報を符号化する処理を終了する。

ステップＳ２０３において、可変長符号化部１０８は、マクロブロックを四分割した横８画素×縦８画素のサブマクロブロック０〜３の各々に対する処理のループを開始する。
ステップＳ２０４において、可変長符号化部１０８は、処理対象のサブマクロブロック内の各サブパーティションに適用する変換選択情報を符号化する。
ステップＳ２０５において、未処理のサブマクロブロックが残っていればステップＳ２０３からのループを繰り返し、残っていなければステップＳ２０６へ進む。
ステップＳ２０６において、可変長符号化部１０８は、マクロブロックを四分割した横８画素×縦８画素のサブマクロブロック０〜３の各々に対する処理のループを開始する。
ステップＳ２０７において、可変長符号化部１０８は、処理対象のサブマクロブロック内の各サブパーティションに適用する変換統合情報を符号化する。
ステップＳ２０８において、未処理のサブマクロブロックが残っていればステップＳ２０６からのループを繰り返し、残っていなければ変換選択情報及び変換統合情報を符号化する処理を終了する。

図３のステップＳ１１２において、動画像符号化装置１０に入力された動画像のうち未処理の部分があればステップＳ１０１からのループを繰り返し、動画像符号化装置１０に入力された動画像の処理が完了していれば、動画像符号化装置１０が符号化データを生成する処理を終了する。
以上により、動画像符号化装置１０は、パーティション境界を挟んで隣接する変換対象領域を統合して、１つの周波数変換を適用する。

次に、動画像符号化装置１０が符号化した符号化データを復号して復号動画像を生成する動画像復号装置２０について説明する。
図１７は、動画像復号装置２０の機能ブロック構成の概略を示す機能ブロック構成図である。
同図において、動画像復号装置２０は、符号化データ入力部７１と復号部４２と局所復号画像記憶部４３と画像出力部７４とを含んで構成される。復号部４２は、可変長符号復号部（可逆符号復号部）２０１と予測画像生成部１０３と周波数変換導出部（変換対象領域決定部）１１１と予測残差再構築部１０９と局所復号画像生成部１１０とを含んで構成される。
同図において、図１の各部に対応する部分および図２の各部に対応する部分には同一の符号（７１、７４、１０３、１０９、１１０）を付し、説明を省略する。
符号化データ入力部７１は、動画像符号化装置１０の符号化データ出力部６４（図２）が出力するマクロブロック毎の符号化データが入力されると、入力された符号化データを、復号部４２の可変長符号復号部２０１に出力する。

復号部４２は、図１の中央処理装置７２がプログラムを実行することにより実現する。復号部４２は、符号化データ入力部７１から入力されるマクロブロック毎の符号化データから、マクロブロック毎に分割された復号画像である局所復号画像を生成する。
復号部４２において、可変長符号復号部２０１は、符号化データ入力部７１から出力される符号化データから、予測パラメータと変換選択情報と変換統合情報とを復号する。可変長符号復号部２０１は、復号した予測パラメータを予測画像生成部１０３と周波数変換導出部１１１とに出力し、復号した変換選択情報と変換統合情報とを周波数変換導出部１１１に出力する。また、可変長符号復号部２０１は、符号化データ入力部７１から出力される符号化データから変換係数を復号する。可変長符号復号部２０１は、復号した変換係数を予測残差再構築部１０９に出力する。

周波数変換導出部１１１は、可変長符号復号部２０１から入力される変換選択情報および変換統合情報に基づいて、統合後の処理対象のマクロブロック内における変換対象領域の構成および各変換対象領域に適用する周波数変換を示す統合済み変換選択情報を生成する。すなわち、周波数変換導出部１１１は、変換選択情報および変換統合情報に基づいて、変換対象領域を決定する。周波数変換導出部１１１は、生成した統合済み変換選択情報を予測残差再構築部１０９に入力する。
局所復号画像記憶部４３は、図１のメモリ７３を用いて実現される。局所復号画像記憶部４３は、局所復号画像生成部１１０が生成する局所復号画像、すなわち、動画像符号化装置１０が動画像を分割したマクロブロックを、符号化データから複合した画像である局所復号画像を記憶する。
画像出力部７４は、局所復号画像生成部１１０から出力される局所復号画像を結合してフレーム単位の復号画像を生成し、動画像復号装置２０の外部に出力する。

図１８は、周波数変換導出部１１１が生成する統合済み変換選択情報のデータ構成を示すデータ構成図である。同図は、図１１（ｂ）の統合が行われた場合の統合済み変換選択情報の例を示している。
同図に示すように、統合済み変換選択情報には、マクロブロック内の各変換対象領域の大きさが示される。統合済み変換選択情報には、各変換対象領域の左上端の画素の位置を基準として、上に位置する変換対象領域から順に変換対象領域の大きさが示され、上下関係が同じ場合は、左に位置する変換対象領域から順に変換対象領域の大きさが示される。
周波数変換導出部１１１は、予測パラメータからパーティション構造を読み出し、変換選択情報から各パーティションに適用する周波数変換を読み出して、統合前の変換対象領域の構成を取得する。そして、周波数変換導出部１１１は、変換統合情報に基づいて、統合後の変換対象領域の構成を取得し、統合済み変換選択情報を生成する。

次に、動画像復号装置２０の動作について説明する。
図１９は、動画像復号装置２０が復号動画像を生成する処理手順を示すフローチャートである。動画像復号装置２０は、マクロブロック単位の符号化データが外部から順次入力されると、入力された符号化データをマクロブロック毎に処理する同図の処理を開始する。
ステップＳ２２１において、動画像復号装置２０は、符号化データをマクロブロック毎に処理するループを開始する。
ステップＳ２２２において、符号化データ入力部７１は、外部から１マクロブロック分の符号化データの入力を受けて、可変長符号復号部２０１に出力する。可変長符号復号部２０１は、符号化データ入力部７１から出力された符号化データから、処理対象のマクロブロックの予測パラメータを復号する。可変長符号復号部２０１は、復号した予測パラメータを予測画像生成部１０３と周波数変換導出部１１１とに出力する。

ステップＳ２２３において、可変長符号復号部２０１は、符号化データ入力部７１から出力された符号化データから、処理対象のマクロブロックの変換選択情報および変換統合情報を復号する。可変長符号復号部２０１は、復号した変換選択情報および変換統合情報を周波数変換導出部１１１に出力する。
ステップＳ２２４において、周波数変換導出部１１１は、可変長符号復号部２０１から出力された予測パラメータと変換選択情報と変換統合情報とに基づいて、統合済み変換選択情報を生成する。周波数変換導出部１１１は、生成した統合済み変換選択情報を予測残差再構築部１０９に出力する。
ステップＳ２２５において、可変長符号復号部２０１は、符号化データ入力部７１から出力された符号化データから変換係数を復号する。可変長符号復号部２０１は、復号した変換係数を予測残差再構築部１０９に出力する。

ステップＳ２２６において、予測画像生成部１０３は、可変長符号復号部２０１から出力された予測パラメータと、フレームメモリ１０１に記録されている局所復号画像とに基づいて、処理対象のマクロブロックに対応する予測画像を生成する。予測画像生成部１０３は、生成した予測画像を局所復号画像生成部１１０に出力する。
ステップＳ２２７において、予測残差再構築部１０９は、周波数変換導出部１１１から出力された統合済み変換選択情報により規定される周波数変換に対応する逆周波数変換を、可変長符号復号部２０１から出力された変換係数に適用して、処理対象のマクロブロックに対応する予測残差を生成する。したがって、可変長符号復号部２０１から出力される変換係数に、動画像符号化装置１０が、互いに異なるパーティションに含まれる領域を統合した領域を対象として予測残差を周波数変換して生成した変換係数が含まれる場合には、予測残差再構築部１０９は、互いに異なるパーティションに含まれる領域を統合した領域を示す情報である変換統合情報に基づいて、周波数変換導出部１１１は統合済み変換対象領域を決定し、統合済み変換選択情報にて示す変換対象領域毎に逆周波数変換を適用して予測残差を生成する。
予測残差再構築部１０９は、生成した予測残差を局所復号画像生成部１１０に出力する。

ステップＳ２２８において、局所復号画像生成部１１０は、予測残差再構築部１０９から出力された予測残差と、予測画像生成部１０３から出力された予測画像とに基づいて、局所復号画像を生成する。局所復号画像生成部１１０は、生成した局所復号画像を、局所復号画像記憶部４３に書き込む。また、局所復号画像生成部１１０は、生成した局所復号画像を画像出力部７４に出力する。画像出力部７４は、局所復号画像生成部１１０から出力された局所復号画像を結合してフレーム単位の復号画像を生成し、動画像復号装置２０の外部に出力する。
ステップＳ２２９において、入力される符号化データの全てを処理した場合は復号動画像を生成する処理を終了し、残りの符号化データがある場合はステップＳ２２１からのループを繰り返す。入力される符号化データの全てを処理したか否かは、例えば、動画像符号化装置１０が、符号化データの終わりを示す信号を出力し、符号化データ入力部７１がこのデータを検出することにより判定する。

以上のように、動画像復号装置２０によれば、動画像符号化装置１０で生成された符号化データから復号動画像を生成することができる。
なお、周波数変換決定部１０５の説明で述べたように、動画像符号化装置１０が変換統合情報を出力しない場合も、動画像復号装置２０が復号動画像を生成することができる。この場合は、周波数変換導出部１１１は、可変長符号復号部２０１が復号する予測パラメータや、局所復号画像記憶部４３が記憶する局所復号画像を用いて変換統合情報を生成し、生成した変換統合情報と可変長符号復号部２０１が復号する変換選択情報とに基づいて統合済み変換選択情報を生成する。

図２０は、動画像符号化装置１０が変換対象領域の境界付近の画素値の変化に基づいて統合の適否を判定し、かつ、変換統合情報を出力しない場合に、動画像復号装置２０が統合済み変換選択情報を生成する処理手順を示すフローチャートである。同図の処理は、図１９のステップＳ２２３の処理に対応する。
ステップＳ２４１において、可変長符号復号部２０１は、変換選択情報を復号する。可変長符号復号部２０１は、復号した変換選択情報を周波数変換導出部１１１に出力する。ステップＳ２４２において、周波数変換導出部１１１は、図１３で説明した周波数変換決定部１０５が変換統合情報を生成する処理と同じ処理を行って変換統合情報を生成する。ステップＳ２４３において、周波数変換導出部１１１は、生成した変換統合情報と可変長符号復号部２０１から出力される変換選択情報とに基づき、統合済み変換選択情報を生成する。その後、統合済み変換選択情報を生成する処理を終了する。
なお、周波数変換決定部１０５が、図１３で説明した処理以外の処理によって統合の適否を判定する場合も、ステップＳ２４２において、周波数変換導出部１１１は、周波数変換決定部１０５と同じ処理を行う。例えば、周波数変換決定部１０５が、変換対象領域ｒ１の参照画像と変換対象領域ｒ２の参照画像とが同一であり、変換対象領域ｒ１の動きベクトルｍｖ１と換対象領域ｒ２の動きベクトルｍｖ２との大きさの差が閾値以下であることを条件とする場合は、周波数変換導出部１１１も同一の条件を用いて変換統合情報を生成する。

以上のようにすれば、動画像符号化装置１０が変換統合情報を出力しない場合でも、動画像復号装置２０は変換統合情報を生成し、動画像を復号することができる。これにより、変換統合情報の符号化データを省略して、動画像符号化装置１０から動画像復号装置２０に出力する符号量を低減できる。
なお、動画像符号化装置１０が統合済み変換選択情報を生成して符号化して出力するようにしてもよい。動画像復号装置２０は、動画像符号化装置１０が生成する統合済み変換選択情報を用いて符号化データを復号することができる。
この場合、動画像符号化装置１０の周波数変換決定部１０５は、変換選択情報と変換統合情報を可変長符号化部に出力する代わりに、周波数変換導出部１１１が統合済み変換選択情報を生成するのと同じ手順で統合済み変換選択情報を生成して可変長符号化部１０８に出力する。可変長符号化部１０８は、周波数変換決定部１０５から出力された統合済み変換選択情報を符号化して符号化データとして出力する。このようにすれば、動画像復号装置２０は、統合済み変換選択情報を生成する必要がなくなるので、周波数変換導出部１１１を具備する必要がなく、装置の構成を簡単化できる。

以上のように、動画像符号化装置１０は、パーティション境界を挟んで隣接する変換対象領域を統合するか否かを決定し、統合した変換対象領域を１回の周波数変換で変換するので、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。
また、動画像復号装置２０は、動画像符号化装置１０が統合した変換対象領域に基づいて周波数逆変換を行うので、動画像符号化装置１０が生成した符号化データを復号して復号動画像を生成することができる。

なお、動画像符号化装置１０が、同一パーティション内に含まれ、互いに隣接する変換対象領域の空間相関が高いか否かを判断し、空間相関が高いと判断した変換対象領域を統合するようにしてもよい。同一パーティション内に含まれ、互いに隣接する変換対象領域の空間相関が高いか否かを判断する処理、および、空間相関が高いと判断した変換対象領域を統合する処理は、上述したパーティション境界を挟んで隣接する変換対象領域の場合と同様の処理によって行うことができる。
具体的には、図１３のステップＳ１６３で、条件Ｃ１３１から、互いに異なるパーティション領域に含まれる変換対象領域とする条件を除いた条件「変換対象領域ｉおよび変換対象領域ｊは互いに隣接する。かつ、変換対象領域ｉと変換対象領域ｊとを合わせた領域が、矩形を成す。」を適用することにより、同一のパーティションに含まれるか、異なるパーティションに含まれるかに関わらず、互いに隣接する変換対象領域を対象とすることができる。同一パーティション内に含まれる変換対象領域に対する上記判定および統合を行うことで、符号化効率をさらに高めることができる。
動画像符号化装置１０は、パーティション境界を挟んで隣接する変換対象領域を統合するか否かに関わらず、同一パーティション内に含まれ、互いに隣接する変換対象領域の空間相関が高いか否かを判断し、空間相関が高いと判断した変換対象領域を統合する。あるいは、動画像符号化装置１０が、パーティション境界を挟んで隣接する変換対象領域を統合した場合に、さらに同一パーティション内に含まれ、互いに隣接する変換対象領域の空間相関が高いか否かを判断し、空間相関が高いと判断した変換対象領域を統合するようにしてもよい。パーティション境界を挟んで隣接する変換対象領域を統合するか否かに関わらず、同一パーティション内に含まれる変換対象領域に対する上記判定および統合を行うことで、符号化効率をより高めることができる。一方パーティション境界を挟んで隣接する変換対象領域を統合する場合に、同一パーティション内に含まれる変換対象領域に対する上記判定および統合を行うことで、動画像符号化装置１０が行う処理量の増大を抑えることができる。

＜第２の実施形態＞
図２１は、本発明の第２の実施形態における動画像符号化装置１１の機能ブロック構成の概略を示す機能ブロック構成図である。
同図において、動画像符号化装置１１は、画像入力部６１と、符号化部５２と、局所復号画像記憶部３３と、符号化データ出力部６４とを含んで構成される。符号化部５２は、予測パラメータ決定部（パラメータ構造決定部）１０２と予測画像生成部１０３と予測残差生成部１０６と周波数変換決定部（周波数変換領域分割部）１１２と変換係数生成部１０７と可変長符号化部１１３と予測残差再構築部１０９と局所復号画像生成部１１０とを含んで構成される。
同図において、図２の動画像符号化装置１０の各部に対応する部分には同一の符号（３３、６１、６４、１０２、１０３、１０６、１０７、１０９、１１０）を付し、説明を省略する。
動画像符号化装置１１は、周波数変換決定部１１２が、予測画像の各パーティションに対する周波数変換選択後の統合処理を行わずに、予測画像のパーティション境界にわたる分割パターンを用いて周波数変換の決定を行う点で図２の動画像符号化装置１０と異なる。

図２２は、周波数変換決定部１１２が用いる分割パターンの例を示す図である。
同図に示すように、分割パターンは、マクロブロックを横または縦に分割してできる領域のパターンである。分割パターンは、マクロブロック内の同一の周波数変換を適用する領域を表す。周波数変換決定部１１２は、動き補償のためにマクロブロックを分割するパーティションとは独立に分割パターンを選択する。
周波数変換決定部１１２は、図２２（ａ）〜（ｇ）に示す分割パターンを使用する。
同図（ａ）は、マクロブロックを分割しない一分割の場合の分割パターンを示す。同図（ｂ）は、マクロブロックを横１６画素×縦８画素の２つの領域に分割する二分割の場合の分割パターンを示す。同図（ｃ）は、マクロブロックを横８画素×縦１６画素の２つの領域に分割する二分割の場合の分割パターンを示す。同図（ｄ）は、マクロブロックを横８画素×縦８画素の４つの領域に分割する四分割の場合の分割パターンを示す。同図（ｅ）は、マクロブロックを上下には８画素毎に二分割し、左右には４画素、８画素、４画素の順に三分割することにより、マクロブロックを６つの領域に分割する場合の分割パターンを示す。同図（ｆ）は、マクロブロックを上下には４画素、８画素、４画素の順に三分割し、左右には８画素毎に二分割することにより、マクロブロックを６つの領域に分割する場合の分割パターンを示す。同図（ｇ）は、マクロブロックを上下、左右共に４画素、８画素、４画素の順に三分割することにより、マクロブロックを９つの領域に分割する場合の分割パターンを示す。
さらに、周波数変換決定部１１２が、図２２（ｈ）〜（ｊ）に示す分割パターンや、これらの分割パターンを左または右に９０度回転した分割パターンや１８０度回転した分割パターンも用いるようにしてもよい。
同図（ｈ）は、マクロブロックを上下に８画素毎に分割し、下の領域をさらに左右に８画素毎に分割することにより、マクロブロックを３つの領域に分割する場合の分割パターンを示す。同図（ｉ）は、マクロブロックを上下に８画素毎に分割し、下の領域をさらに左右に４画素、８画素、４画素の順に三分割することにより、マクロブロックを４つの領域に分割する場合の分割パターンを示す。同図（ｊ）は、マクロブロックを上下に８画素毎に分割し、上の領域をさらに左右に８画素毎に分割し、下の領域をさらに左右に４画素、８画素、４画素の順に三分割することにより、マクロブロックを５つの領域に分割する場合の分割パターンを示す。
Ｈ．２６４／ＡＶＣでは、マクロブロックを４分割したパーティションにおいては４×４ＤＣＴと８×８ＤＣＴのいずれかを選択する。図２２に示した分割パターンでは、同図（ｄ）の分割パターンにて上記のパーティション選択および周波数変換の適用に対応できる。
なお、分割パターンは図２２に例示したものに限らないが、分割してできる各領域の画素数が縦横共に、変換プリセットに含まれるいずれかの周波数変換のサイズの倍数（以下では「充填可能」ともいう）であることが望ましい。また、周波数変換決定部１１２が、パーティション構造や予測パラメータや画素値に基づいて分割パターンの集合を動的に生成あるいは変更するようにしてもよい。この場合、動画像符号化装置１０は、動画像復号装置２０に分割パターンの集合の情報を出力する。

図２３は、周波数変換決定部１１２が、処理対象の予測残差のマクロブロックに適用する分割パターンおよび周波数変換を決定する処理手順を示すフローチャートである。
ステップＳ２６１において、周波数変換決定部１１２は、予め定められた分割パターンの集合の各分割パターンについて処理を行うループを開始する。
ステップＳ２６２において、周波数変換決定部１１２は、ステップＳ２６１からのループで処理対象となっている分割パターンＰ内の領域毎に処理を行うループを開始する。
ステップＳ２６３において、周波数変換決定部１１２は、ループにおいて処理対象となっている領域ｕに適用する周波数変換を、変換プリセットから選択する。具体的には、充填可能な各周波数変換を適用した場合のレート歪コストを前述式（１）に基づいて計算して、レート歪コストを最小とする周波数変換を、領域ｕに適用する周波数変換とする。
ステップＳ２６４において、分割パターンＰ内に未処理の領域があれば、ステップＳ２６２からの処理のループを繰り返す。分割パターンＰ内の領域すべてについて処理済みであれば、ステップＳ２６５に進む。
ステップＳ２６５において、未処理の分割パターンがあれば、ステップＳ２６１からの処理のループを繰り返す。未処理の分割パターンが無い場合は、ステップＳ２６６に進む。
ステップＳ２６６において、周波数変換決定部１１２は、処理中のマクロブロックに最適な分割パターンを選択する。具体的には、ステップＳ２６１〜ステップＳ２６５において得られたレート歪コストを分割パターン毎に合計し、マクロブロック内でのレート歪コストの合計が最小となる分割パターンを選択する。
ステップＳ２６７において、周波数変換決定部１１２は、ステップＳ２６６において選択した分割パターンおよび、分割パターン内の領域において選択された周波数変換の情報を、変換選択情報として変換係数生成部１０７と予測残差再構築部１０９と可変長符号化部１１３とに出力する。その後、処理対象のマクロブロックに適用する周波数変換を決定する処理を終了する。
以上のようにして、周波数変換決定部１１２は、各マクロブロックにおいて適用する、分割パターンおよび各領域の周波数変換を決定する。多くの分割パターンを選択可能な場合、計算量が膨大になるが、例えば、ステップＳ２６３で行った周波数変換の結果を記憶し、後に同一の領域に同一の周波数変換を行う際に参照することにより計算量を削減できる。

可変長符号化部１１３は、動画像符号化装置１０の可変長符号化部１０８と同様に、マクロブロック内の各パーティションにおける変換係数と予測パラメータとを可変長符号化する。また、可変長符号化部１１３は、分割パターンを示すインデックスと、分割パターンによって分割される予測残差の各領域に適用する周波数変換を示すインデックスとを符号化する。
可変長符号化部１１３は、生成した符号化データを符号化データ出力部６４に出力する。

続いて、動画像符号化装置１１の動作について説明する。
図２４は、動画像符号化装置が符号化データを生成する処理手順を示すフローチャートである。
ステップＳ２８１〜ステップＳ２８５は、図３のステップＳ１０１〜ステップＳ１０５と同様である。
ステップＳ２８６において、周波数変換決定部１１２は、予測パラメータ決定部１０２から出力される予測パラメータと予測残差生成部１０６から出力される予測残差とに基づいて、処理対象のマクロブロックに適用する分割パターンと分割パターン内の各領域に適用する周波数変換とを決定し、分割パターンと各領域に適用する周波数変換とを示す変換選択情報を生成して、変換係数生成部１０７と可変長符号化部１１３と予測残差再構築部１０９とに出力する。

ステップＳ２８７において、変換係数生成部１０７は、周波数変換決定部１１２が決定した分割パターンと周波数変換とに基づいて、予測残差生成部１０６から出力される予測残差を周波数変換して変換係数を生成し、可変長符号化部１０８と予測残差再構築部１０９とに出力する。
ステップＳ２８８において、予測残差再構築部１０９は、周波数変換決定部１１２が決定した分割パターンと周波数変換とに基づいて、変換係数生成部１０７が行った周波数変換の逆周波数変換を、変換係数生成部１０７から出力される変換係数に適用して、処理対象のマクロブロックの予測残差を再構築する。予測残差再構築部１０９は再構築した予測残差を局所復号画像生成部１１０に出力する。ステップＳ２８９は、図３のステップＳ１１０と同様である。
ステップＳ２９０において、可変長符号化部１１３は、変換係数と予測パラメータと分割パターンと変換選択情報とを符号化して符号化データを生成する。可変長符号化部１１３は、図２の可変長符号化部１０８と同様に、変換係数をパーティション毎に符号化する。可変長符号化部１１３は、生成した符号化データを符号化データ出力部６４に出力する。符号化データ出力部６４は、可変長符号化部１１３から出力された符号化データを動画像符号化装置１１の外部に出力する。ステップＳ２９１は、図３のステップＳ１１２と同様である。
上記の手順により、動画像符号化装置１１は、入力された動画像を符号化して符号化データを生成し、外部に出力する。

なお、周波数変換決定部１１２が上記のレート歪コストを用いる方法以外の方法によって分割パターンを決定し、あるいは絞り込むようにしてもよい。例えば、周波数変換決定部１１２は、図２２（ｃ）のような垂直な境界線に対し、当該境界線の左右の領域における類似度あるいは動きベクトルの類似性や参照画像のインデックスなどを判定する。境界線の左右の領域の類似性が高いと判定した場合は、周波数変換決定部１１２は、マクロブロックを左右に二分する、図２２（ｃ）（ｄ）（ｆ）の分割パターンを候補から除外する。ここで、周波数変換決定部１１２は、動画像符号化装置１０の周波数変換決定部１０５と同様に、分割パターンの左右の画素に対して式（２）を適用することにより、上記の判定を行う。

次に、本実施形態における動画像復号装置について説明する。
図２５は、動画像復号装置２１の機能ブロック構成の概略を示す機能ブロック構成図である。
同図において、動画像復号装置２１は、符号化データ入力部７１と復号部８２と局所復号画像記憶部４３と画像出力部７４とを含んで構成される。復号部８２は、可変長符号復号部２０２と予測画像生成部１０３と予測残差再構築部１０９と局所復号画像生成部１１０とを含んで構成される。
同図において、図１７の各部に対応する部分には同一の符号（４３、７１、７４、１０３、１０９、１１０）を付し、説明を省略する。
可変長符号復号部２０２は、符号化データ入力部７１から出力される符号化データを復号して、予測パラメータと分割パターンと変換選択情報と変換係数とを生成する。具体的には、可変長符号復号部２０２は、まず、符号化データから予測パラメータおよび分割パターンを復号する。次に、可変長符号復号部２０２は、復号した分割パターンを利用して、符号化データから変換選択情報を復号する。そして、可変長符号復号部２０２は、復号した予測パラメータからパーティションの構造を読み出して、符号化データから変換係数を復号する。
可変長符号復号部２０２は、生成した予測パラメータと分割パターンと変換選択情報と変換係数とを、予測残差再構築部１０９と予測画像生成部１０３とに出力する。

図２６は、動画像復号装置２１が復号動画像を生成する処理手順を示すフローチャートである。
ステップＳ３０１〜ステップＳ３０２は、図１９のステップＳ２２1〜ステップＳ２２２と同様である。
ステップＳ３０３において、可変長符号復号部２０２は、入力された符号化データから、処理対象のマクロブロックに対応する分割パターンおよび変換選択情報を復号する。可変長符号復号部２０２は、復号した分割パターンおよび変換選択情報を、予測残差再構築部１０９へ出力する。
ステップＳ３０４〜ステップＳ３０５は図１９のステップＳ２２５〜ステップＳ２２６と同様である。
ステップＳ３０６において、予測残差再構築部１０９は、可変長符号復号部２０２から出力される分割パターンおよび変換選択情報により規定される周波数変換に対応する逆周波数変換を、可変長符号復号部２０２から出力される変換係数に適用して、処理対象のマクロブロックの予測残差を再構築する。予測残差再構築部１０９は、再構築した予測残差を局所復号画像生成部１１０に出力する。
ステップＳ３０７〜ステップＳ３０８は、図１９のステップＳ２２８〜ステップＳ２２９と同様である。
以上により、動画像復号装置２１によれば、動画像符号化装置１１が生成した符号化データから復号動画像を生成することができる。

なお、第１の実施形態で動画像符号化装置１０が変換統合情報を出力せずに、動画像復号装置２０が変換統合情報を生成するようにしてもよいのと同様、本実施形態でも、動画像符号化装置１１が分割パターンを示す情報を出力せずに、動画像復号装置が分割パターンを選択するようにしてもよい。
図２７は、分割パターンを選択する動画像復号装置２２の構成を示す構成図である。
同図において、動画像復号装置２２は、符号化データ入力部７１と復号部９２と局所復号画像記憶部４３と画像出力部７４とを含んで構成される。復号部９２は、可変長符号復号部２０２と予測画像生成部１０３と予測残差再構築部２０９と局所復号画像生成部１１０とを含んで構成される。予測残差再構築部２０９は、分割パターン導出部２０３を含んで構成される。
同図において、図１７の各部に対応する部分には同一の符号（４３、７１、７４、１０３、１１０、２０２）を付し、説明を省略する。
分割パターン導出部２０３は、局所復号画像や予測パラメータに基づいて、動画像符号化装置１１の周波数変換決定部１１２と同一の処理を行って分割パターンを選択する。
予測残差再構築部２０９は、分割パターン導出部２０３が選択した分割パターンを用いて、動画像復号装置２１の予測残差再構築部１０９と同様に、処理対象のマクロブロックの予測残差を再構築する。予測残差再構築部２０９は、再構築した予測残差を局所復号画像生成部１１０に出力する。
これにより、動画像符号化装置１１が分割パターンを示す情報を出力しない場合でも、動画像復号装置２２は復号動画像を生成することができる。

以上のように、本実施形態の動画像符号化装置１１は、分割パターンを用いて符号化を行うことにより、パーティション境界を挟んで隣接する領域が分割パターンの同一の領域に含まれる場合に、この領域に対して１つの周波数変換を適用することができる。これにより、分割パターン内の領域の空間相関が高い場合に、パーティション毎に周波数変換を行うよりも符号化効率を向上させることができる。
また動画像復号装置２１や動画像復号装置２２は、動画像符号化装置１１が生成した符号化データから復号動画像を生成することができる。

＜第３の実施形態＞
図２８は、本発明の第３の実施形態における動画像符号化装置１６の構成を示す構成図である。
同図において、動画像符号化装置１６は、画像入力部６１と、符号化部３６と、局所復号画像記憶部３３と、符号化データ出力部６４とを含んで構成される。符号化部３６は、予測パラメータ決定部（パーティション構造決定部、予測モード決定部）１５２と予測画像生成部１５３と予測残差生成部１０６と周波数変換決定部（周波数変換領域分割部）１５５と変換係数生成部１０７と可変長符号化部１０８と予測残差再構築部１０９と局所復号画像生成部１１０とを含んで構成される。

同図において、図２の各部と対応する部分には同一の符号（６１、１０６〜１１０、３３、６４）を付し、説明を省略する。
動画像符号化装置１６は、マクロブロック毎にインター予測を行うかイントラ予測を行うかを決定し、決定に従って処理を行う。インター予測（動き補償予測）は、上記で説明したように、処理対象のマクロブロックと異なるフレームに含まれるマクロブロックの局所復号画像を用いて、処理対象のマクロブロックに類似する予測画像を生成することにより、符号化効率を高める方法である。一方、イントラ予測は、処理対象のマクロブロックと同一フレームに含まれる画素（処理対象のマクロブロック内で生成済みの予測画像の画素、または、処理対象のマクロブロックに隣接するマクロブロックの局所復号画像内の画素）を用いて、処理対象のマクロブロックに類似する予測画像を生成することにより、符号化効率を高める方法である。インター予測を行うと決定した場合に動画像符号化装置１６が行う処理は、動画像符号化装置１０と同様であり、予測パラメータ決定部１５２と予測画像生成部１５３と周波数変換決定部１５５とは、それぞれ図２の予測パラメータ決定部１０２と予測画像生成部１５３と周波数変換決定部１５５と同様に動作する。動画像符号化装置１６が、イントラ予測を行うと決定した場合の処理については、以下で説明する。
予測パラメータ決定部１５２は、画像入力部６１からマクロブロック単位の画像が入力されると、インター予測を行うかイントラ予測を行うかをマクロブロック毎に決定する。インター予測を行うかイントラ予測を行うかの決定は、公知の方法を用いることができる。例えば、予測パラメータ決定部１５２は、インター予測を行った場合のレート歪コストとイントラ予測を行った場合のレート歪コストとを式（１）に基づいて算出し、レート歪コストが小さいほうを選択する。なお、インター予測を行うかイントラ予測を行うかを動的に決定せず、予め決められたフレームまたは位置でのみイントラ予測を選択するようにしてもよい。また、イントラ予測を用いるかどうかをフレーム単位で決定するようにしてもよい。

イントラ予測を行うと決定した場合は、予測パラメータ決定部１５２は、パーティションまたはサブパーティション（以下、特にパーティションとサブパーティションを区別する必要が無い場合は、単にパーティションという）のサイズを、図５で説明したパーティションのうち、横１６画素×縦１６画素（図５のパーティション構造ＭＢ１）、横８画素×縦８画素（パーティション構造ＭＢ４）、横４画素×縦４画素（パーティション構造ＭＢ４およびサブパーティション構造ＳＭＢ４）の何れかに決定し、決定したパーティションのサイズに応じて定まるパーティション毎に予測モードを決定する。予測モードについては後述する。予測パラメータ決定部１５２は、イントラ予測を選択したことと、決定したパーティションのサイズと、各パーティションに適用する予測モードとを示す予測パラメータを生成し、予測画像生成部１５３と周波数変換決定部１５５と可変長符号化部１０８とに出力する。

予測画像生成部１５３は、予測パラメータ決定部１５２が決定した予測モードに従って、局所復号画像記憶部３３から読み出す局所復号画像を用いて予測画像を生成する。予測画像生成部１５３は、生成した予測画像を予測残差生成部１０６と局所復号画像生成部１１０とに出力する。
周波数変換決定部１５５は、予測パラメータ決定部１５２から出力される予測パラメータに基づいて、予測残差生成部１０６から出力される予測残差に適用する周波数変換の変換対象領域を決定し、また、変換対象領域を統合するか否かを決定する。周波数変換決定部１５５は、決定した変換対象領域（周波数変換のサイズ）を示す変換選択情報と、統合する変換対象領域を示す変換統合情報とを生成し、変換係数生成部１０７と、予測残差再構築部１０９と、可変長符号化部１０８とに出力する。

図２９は、予測パラメータ決定部１５２が決定する予測モードを示す図である。予測パラメータ決定部１５２は、Ｈ．２６４／ＡＶＣで規定された予測モードと同様の予測モードの中からパーティションに適用する予測モードを選択する。予測モードは、パーティションに隣接する画素からパーティションの予測画像を生成する方法を示す情報である。
同図は、パーティションのサイズが横４画素×縦４画素の場合の予測モードを示す。同図（ａ）に示すモード０では、パーティションの上に隣接する画素に基づいて縦方向に補間を行い、パーティションの予測画像を生成する。同図（ｂ）に示すモード１では、パーティションの左に隣接する画素に基づいて横方向に補間を行い、パーティションの予測画像を生成する。同図（ｃ）に示すモード２では、パーティションの左および上に隣接する画素値の平均を用いて補間を行い、パーティションの予測画像を生成する。同図（ｄ）に示すモード３では、パーティションの上に隣接する画素に基づいて右上から左下方向に補間を行い、パーティションの予測画像を生成する。以下同様に、同図（ｅ）に示すモード４と、同図（ｆ）に示すモード５と、同図（ｇ）に示すモード６と、同図（ｈ）に示すモード７と、同図（ｉ）に示すモード８とでは、図に矢印で示すように斜め方向に補間を行い、パーティションの予測画像を生成する。

パーティションのサイズが横８画素×縦８画素の場合も、予測パラメータ決定部１５２は、上記と同様の９つの予測モードの中からパーティションに適用する予測モードを選択する。パーティションのサイズが横１６画素×縦１６画素の場合は、予測パラメータ決定部１５２は、図２９（ａ）と同様に、パーティションの上に隣接する画素に基づいて縦方向に補間を行うモードと、図２９（ｂ）と同様に、パーティションの左に隣接する画素に基づいて横方向に補間を行うモードと、図２９（ｃ）と同様に、パーティションの左および上に隣接する画素値の平均を用いて補間を行うモードと、パーティションの左および上に隣接する画素に基づいて右上から左下への斜め方向に補間を行うモードとの、４つの予測モードの中からパーティションに適用する予測モードを選択する。
予測パラメータ決定部１５２は、予測モードの各々について、パーティションに適用した場合のレート歪コストを式（１）に基づいて算出し、レート歪コストが最小となる予測モードを選択する。

図３０は、動画像符号化装置１６が符号化データを生成する処理手順を示すフローチャートである。動画像符号化装置１６は、画像入力部６１に動画像が入力されると、符号化データを生成する処理を開始する。
ステップＳ３２１〜Ｓ３２２は、図３のステップＳ１０１〜Ｓ１０２と同様である。
ステップＳ３２３において、予測パラメータ決定部１５２は、イントラ予測を行うかインター予測を行うかを決定する。イントラ予測を行うと決定した場合（ステップＳ３２３：ＹＥＳ）はステップＳ３２４に進み、インター予測を行うと決定した場合（ステップＳ３２３：ＮＯ）はステップＳ３４１に進む。

ステップＳ３２４において、予測パラメータ決定部１５２は、第１の実施形態の予測パラメータ決定部１０２（図２）と同様に、パーティションのサイズ毎にレート歪コストを算出し、レート歪コストが最小となるパーティションのサイズを選択する。
さらに、予測パラメータ決定部１５２は、パーティション毎に予測モードを決定し、イントラ予測を選択したことと、決定したパーティションのサイズと、予測モードとを示す予測パラメータを生成する。予測パラメータ決定部１５２は生成した予測パラメータを周波数変換決定部１５５と、予測画像生成部１５３と、可変長符号化部１０８とに出力する。

ステップＳ３２５において、予測画像生成部１５３は、予測パラメータ決定部１５２が決定したパーティションのサイズと予測モードとに従って、パーティション毎に予測画像を生成する。具体的には、予測画像生成部１５３は、マクロブロック内の各パーティションについて、処理対象のパーティションに隣接する画素の画素値を、（参照する画素が他のマクロブロックに含まれる場合は、）局所復号画像記憶部３３が記憶する局所復号画像から読み出し、または、（参照する画素が同一のマクロブロックに含まれる場合は、）予測画像生成部１５３の内部に記憶する、予測画像を生成済みのパーティションの予測画像から読み出し、予測モードに応じた補間を行って、パーティションの予測画像を生成する。そして、予測画像生成部１５３は、マクロブロック内の各パーティションの予測画像を結合してマクロブロックの予測画像を生成する。予測画像生成部１５３は、生成した予測画像（マクロブロックの予測画像）を予測残差生成部１０６と局所復号画像生成部１１０とに出力する。

ステップＳ３２６は、図３のステップＳ１０５と同様である。
ステップＳ３２７において、周波数変換決定部１５５は、図３のステップＳ１０６と同様に、パーティション毎に周波数変換を選択する。具体的には、周波数変換決定部１５５は、パーティションのサイズ以下の領域を変換対象領域とする周波数変換を、第１の実施形態の場合と同様の変換プリセットの中から選択する。
なお、Ｈ．２６４／ＡＶＣでは、パーティションが横４画素×縦４画素、横８画素×縦８画素、横１６画素×縦１６画素の場合に、それぞれ４×４ＤＣＴ、８×８ＤＣＴ、４×４ＤＣＴを適用するというように、パーティションのサイズに応じて周波数変換が一意に決定される。周波数変換決定部１５５が、このＨ．２６４／ＡＶＣと同様に周波数変換を決定するようにしてもよい。この場合は、ステップＳ３２４において予測パラメータ決定部１５２が横１６画素×縦１６画素のパーティションを選択した場合に、周波数変換決定部１５５は、ステップＳ３２７において周波数変換として４×４ＤＣＴを選択し、次に述べるステップ変換Ｓ３２８において対象領域の統合を行う。

また、第１の実施形態の場合と同様、動画像符号化装置１６が用いる周波数変換は、Ｈ．２６４／ＡＶＣで用いられる周波数変換に限らない。また、マクロブロックのサイズも横１６画素×縦１６画素に限らない。
さらには、パーティションのサイズも、上述した横４画素×縦４画素、横８画素×縦８画素、横１６画素×縦１６画素以外のサイズを用いるようにしてもよい。

ステップＳ３２８において、周波数変換決定部１５５は、図３のステップＳ１０７と同様に、互いに隣接する変換対象領域を統合した領域を示す変換統合情報を生成する。周波数変換決定部１５５は、第１の実施形態の周波数変換決定部１０５と同様に、予測画像内の互いに隣接する画素の画素値の類似性に基づいて、これらの変換対象領域の空間相関が高いか否かを判断し、これらの変換対象領域を統合するか否かを決定する。
ここで、周波数変換決定部１５５は、互いに隣接する変換対象領域が、同一のパーティションに含まれるか異なるパーティションに含まれるかにかかわらず、互いに隣接する変換対象領域を統合するか否かを決定する。具体的には、第１の実施形態のなお書きで説明したのと同様に、周波数変換決定部１５５は、前述の条件Ｃ１３１から、互いに異なるパーティション領域に含まれる変換対象領域とする条件を除いた条件「変換対象領域ｉおよび変換対象領域ｊは互いに隣接する。かつ、変換対象領域ｉと変換対象領域ｊとを合わせた領域が、矩形を成す。」を適用する。

なお、第１の実施形態の場合と同様、周波数変換決定部１５５が、条件Ｃ１３１を用いて、互いに異なるパーティションに含まれる変換対象領域のみを対象として、統合するか否かを決定するようにしてもよい。
なお、周波数変換決定部１５５が、上記以外の方法で変換対象領域を統合するか否かを決定するようにしてもよい。例えば、周波数変換決定部１５５が、互いに隣接する変換対象領域の予測モードが等しいか否か、あるいは、予測モードが特定の予測モードと等しいか否か、すなわち、図２９に示されるような予測モードの種類のうちのいずれか特定の予測モードと等しいか否か、あるいは、予測モードの示す補間方向が互いに同一または類似するか否か、あるいは、一方の変換対象領域が他方の変換対象領域の画素を参照しているか否か、あるいは、これらを組み合わせた基準を、空間相関を示す指標とし、この空間相関を示す指標に基づいて統合する領域を決定するようにしてもよい。

ステップＳ３２９〜Ｓ３３３は、図３のステップＳ１０８〜Ｓ１１２と同様である。
ステップＳ３４１〜Ｓ３４９は、動画像符号化装置１６がインター予測を行う場合の処理である。ステップＳ３４１にて、予測パラメータ決定部１５２は、インター予測を選択したことを示す情報を含む予測パラメータを生成する。それ以外は、ステップＳ３４１〜Ｓ３４９は図３のステップＳ１０３〜Ｓ１１１と同様である。ステップＳ３４９の後は、ステップＳ３３３に進む。

なお、周波数変換決定部１５５が、予測画像内の互いに隣接する画素の画素値に基づいて変換対象領域を統合するか否かを決定する場合は、第１の実施形態の場合と異なり、動画像符号化装置１６は、変換統合情報の出力を省略できない。なぜなら、イントラ予測では、インター予測の場合と予測画像の生成方法が異なり、後述するように、動画像復号装置が予測画像を生成するためには、既に変換係数が逆周波数変換されている必要があるので、周波数変換決定部１５５が処理対象のマクロブロックに適用する周波数変換を決定する時点では未だ予測画像は生成されておらず、動画像符号化装置１６が行った変換対象領域の統合を予測画像に基づいて推定することはできないからである。
一方、周波数変換決定部１５５が、予測モードに基づいて変換対象領域を統合するか否かを決定する場合は、動画像復号装置も、動画像符号化装置１６から出力される予測モードを示す情報を用いて動画像符号化装置１６と同様の判定を行い、統合された変換対象領域を推定できるので、動画像符号化装置１６が、変換統合情報を出力しないようにしてもよい。

なお、Ｈ．２６４／ＡＶＣでは、マクロブロック毎ではなくパーティション毎に、予測残差に対して周波数変換および逆周波数変換を行って、パーティション毎の局所復号画像を生成することにより、予測誤差を補償している。これにより、同一マクロブロック内の他のパーティションの予測画像を生成する際に、予測誤差を補償した局所復号画像を用いることで、符号化効率の向上を図っている。これに対して、動画像符号化装置１６では、周波数変換決定部１５５が変換対象領域を統合した後に、変換係数生成部１０７がマクロブロック毎に周波数変換を行う。このために、予測画像生成部１５３は、上述のステップＳ３２５で説明したように、予測誤差を補償していない画像を用いて予測画像を生成する。しかし、以下の場合には、予測誤差は大きな問題とはなりにくい。

例えば、マクロブロックの左上端のパーティションの予測画像を生成する場合など、イントラ予測で参照する画素が隣接マクロブロックに属する場合は、局所復号画像記憶部３３が記憶する周波数変換および逆周波数変換済みの局所復号画像を参照するので、上記の予測誤差の問題は生じない。また、変換係数生成部１０７が行う周波数変換に可逆の変換を用いる場合も、予測誤差は問題にならない。また、図２９（ｃ）で示したモード２のように、パーティションの上や左の参照画素の平均値に基づいて予測画像を生成する直流成分予測モード（ＤＣ予測モード）を用いる場合も、平均値を取ることによって予測誤差の影響が軽減され、予測誤差は問題となりにくい。また、変換係数生成部１０７が変換係数を量子化する場合に、量子化幅が小さければ、量子化による予測誤差の拡大が小さく、予測誤差は問題となりにくい。

なお、予測誤差を軽減するために、予測画像生成部１５３が、内部に記憶する予測誤差補償を行っていない予測画像を用いる際に、フィルタをかけるようにしてもよい。この場合は、動画像復号装置も、予測画像を生成する際に同様のフィルタをかける。例えば、平滑化フィルタをかけることにより、突出した予測誤差を軽減することができる。なお、直流成分予測モードの場合は上述のように誤差が問題となりにくいので、予測残差生成部１０６が、他のモードの場合よりも弱いフィルタをかけるか、あるいは、フィルタをかけないようにしてもよい。また、量子化幅が小さい場合も、予測残差生成部１０６が弱いフィルタをかけるか、あるいは、フィルタをかけないようにしてもよい。

なお、動画像符号化装置１６が、同一のパーティションに含まれる複数の変換対象領域のみを統合するようにしてもよい。この場合は、Ｈ．２６４／ＡＶＣで規定されるイントラ予測と同様に、パーティション毎の予測残差に対して周波数変換および逆周波数変換を行って、パーティション毎の局所復号画像を生成することができる。これにより、Ｈ．２６４／ＡＶＣの場合と同様に符号化効率の向上を図ることができる。
なお、Ｈ．２６４／ＡＶＣに規定されるイントラ予測では、予測残差を周波数変換した後に、変換係数の直流（ＤＣ）成分の冗長性を取り除くために、さらにアダマール変換を行う場合がある。これに対して、動画像符号化装置１６では、変換係数生成部１０７が、統合された変換対象領域に対して周波数変換を行うことにより、互いに隣接する領域の空間相関が変換係数に反映されているので、変換係数に、さらにアダマール変換を行う必要は無く、アダマール変換を行うことによる処理量の増大は無い。

次に、動画像符号化装置１６が符号化した符号化データを復号して復号動画像を生成する動画像復号装置２６について説明する。
図３１は、動画像復号装置２６の機能ブロック構成の概略を示す機能ブロック構成図である。
同図において、動画像復号装置２６は、符号化データ入力部７１と復号部４６と局所復号画像記憶部４３と画像出力部７４とを含んで構成される。復号部４６は、可変長符号復号部（可逆符号復号部）２０１と予測画像生成部１６３と周波数変換導出部（変換対象領域決定部）１１１と予測残差再構築部１０９と局所復号画像生成部１７０とを含んで構成される。
同図において、図１７の各部に対応する部分には同一の符号（４３、７１、７４、２０１、１１１、１０９）を付し、説明を省略する。

予測画像生成部１６３は、可変長符号復号部２０１から出力されるパーティションのサイズの情報と予測モードの情報とを用いて、局所復号画像記憶部４３から読み出す隣接するマクロブロックの画素値や、局所復号画像生成部１７０から出力される、同一マクロブロック内で処理済みのパーティションの局所復号画像に基づいて、パーティション毎に予測画像を生成し、局所復号画像生成部１７０に出力する。
局所復号画像生成部１７０は、予測画像生成部１６３から出力されるパーティションの予測画像と、予測残差再構築部１０９から出力される予測残差とに基づいて、パーティションの局所復号画像を生成する。具体的には、局所復号画像生成部１７０は、パーティションの予測画像の各画素に、予測残差のうち対応する画素を足し合わせてパーティションの局所復号画像を生成する。局所復号画像生成部１７０は、生成したパーティションの局所復号画像を予測画像生成部１６３に出力する。これにより、予測画像生成部１６３は、同一マクロブロック内の他のパーティションの予測画像を生成する際に、局所復号画像生成部１７０から出力された画像を参照することができる。
また、局所復号画像生成部１７０は、パーティションの局所復号画像を結合して（マクロブロック単位の）局所復号画像を生成し、生成した局所復号画像を局所復号画像記憶部４３と画像出力部７４とに出力する。

図３２は、動画像復号装置２６が復号動画像を生成する処理手順を示すフローチャートである。動画像復号装置２６は、マクロブロック単位の符号化データが外部から順次入力されると、入力された符号化データをマクロブロック毎に処理する同図の処理を開始する。
ステップＳ３８１〜Ｓ３８５は、図１９のステップＳ２２１〜Ｓ２２５と同様である。ステップＳ３８６は図１９のステップＳ２２７と同様である。イントラ予測では、ステップＳ３８６で予測残差再構築部１０９が生成する予測残差を用いて、局所復号画像生成部１７０がパーティション毎に局所復号画像を生成し、生成したパーティション毎の局所復号画像を用いて、予測画像生成部１６３がパーティション毎に予測画像を生成するため、図１９の場合と異なり、動画像復号装置２６は、予測画像を生成する前に変換係数を逆周波数変換する。

ステップＳ３８７において、予測画像生成部１６３は、可変長符号復号部２０１から出力される予測パラメータから、動画像符号化装置１６がイントラ予測を行ったかインター予測を行ったかを示す情報を読み出す。読み出した情報がイントラ予測を行ったことを示す場合（ステップＳ３８７：ＹＥＳ）はステップＳ３８８に進み、インター予測を行ったことを示す場合（ステップＳ３８７：ＮＯ）はステップＳ３９０に進む。
ステップＳ３８８において、予測画像生成部１６３は予測画像を生成する。具体的には、上述したように、パーティション毎に予測画像を生成して局所復号画像生成部１７０に出力する。局所復号画像生成部１７０は、予測画像生成部１６３から出力されるパーティション毎の予測画像と予測残差生成部１０９から出力される予測残差とに基づいて、パーティションの局所復号画像を生成して予測画像生成部１６３に出力する。
ステップＳ３８９において、局所復号画像生成部１７０は、上述したように、パーティションの局所復号画像を結合して（マクロブロック単位の）局所復号画像を生成し、局所復号画像記憶部４３と画像出力部７４とに出力する。その後、ステップＳ３９２に進む。
ステップＳ３９０は、図１９のステップＳ２２６と同様である。ステップＳ３９１〜Ｓ３９２は、図１９のステップＳ２２８〜Ｓ２２９と同様である。

なお、上述したように、動画像符号化装置１６が、変換対象領域を統合するか否かを予測モードに基づいて決定し、かつ、変換統合情報を出力しない場合は、第１の実施形態において図２０で説明したのと同様に、動画像復号装置２６の周波数変換導出部１１１は、動画像符号化装置１６の周波数変換決定部１６５が変換統合情報を生成する処理と同じ処理を行って変換統合情報を生成する。これにより、動画像符号化装置１６から変換統合情報が出力されない場合でも、動画像復号装置２６は、復号動画像を生成することができる。

以上のように、動画像符号化装置１６は、イントラ予測を行う際にも、隣接する変換対象領域を統合するか否かを決定し、統合した変換対象領域を１回の周波数変換で変換するので、パーティション境界を挟んで隣接する複数領域が高い空間相関を有する場合に符号化効率を向上させることができる。
また、動画像復号装置２６は、動画像符号化装置１６が統合した変換対象領域に基づいて周波数逆変換を行うので、動画像符号化装置１６が生成した符号化データを復号して復号動画像を生成することができる。

なお、第２の実施形態の動画像符号化装置１１と同様に、動画像符号化装置１６の周波数変換決定部１５５が、予測画像の各パーティションに対する周波数変換選択後の統合処理を行わずに、予測画像のパーティション境界にわたる分割パターンを用いて周波数変換の決定を行うようにしてもよい。具体的には、周波数変換決定部１５５は、図２３のフローチャートで示した手順に従って分割パターンを選択する。そして、動画像符号化装置１６は、分割パターンを示すインデックスと予測パラメータ（パーティションのサイズおよび予測モードを示す情報）と変換選択情報と変換係数とを符号化して出力し、動画像復号装置２６は、これらのデータを復号する。動画像復号装置２６の予測残差再構築部１０９は、復号された分割パターンおよび変換選択情報に従って変換係数に対して逆周波数変換を行い、予測残差を再構築する。なお、動画像復号装置２６は、動画像符号化装置１６から分割パターンを受信するので、統合済み変換選択情報の生成は行わない。従って、動画像復号装置２６は、周波数変換導出部１１１を具備する必要がない。
この場合も第２の実施形態の場合と同様に、動画像符号化装置１６は、分割パターンに従って決定される各変換対象領域の空間相関が高い場合に、パーティション毎に周波数変換を行うよりも符号化効率を向上させることができる。また動画像復号装置２１や動画像復号装置２２は、動画像符号化装置１１が生成した符号化データから復号動画像を生成することができる。

なお、動画像符号化装置１０、１１、１６や、動画像復号装置２０、２１、２２、２６の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明は、動画像符号化装置や動画像復号装置や動画像符号化・復号システムや動画像符号化方法や動画像復号方法に用いて好適である。例えば、動画像の送受信を行う場合や、動画像の保存および再生を行う場合に適用することができる。

１ 動画像符号化・復号システム
１０、１１、１６ 動画像符号化装置
２０、２１、２２、２６ 動画像復号装置
６１ 画像入力部
３２、３６、５２ 符号化部
３３、４３ 局所復号画像記憶部
６４ 符号化データ出力部
７１ 符号化データ入力部
４２、４６、８２、９２ 復号部
７４ 画像出力部
１０２、１５２ 予測パラメータ決定部
１０３、１５３、１６３ 予測画像生成部
１０５、１１２、１５５ 周波数変換決定部
１０６ 予測残差生成部
１０７ 変換係数生成部
１０８、１１３ 可変長符号化部
１０９ 予測残差再構築部
１１０、１７０ 局所復号画像生成部
１１１ 周波数変換導出部
２０１、２０２ 可変長符号復号部
２０３ 分割パターン導出部

Claims (4)

1. 入力動画像のフレームを符号化対象ブロック単位に分割する画像入力部と、
   前記符号化対象ブロックをさらに予測単位に分割する予測単位構造決定部と、
   前記符号化対象ブロックを、少なくとも一つの変換対象領域が前記予測単位をまたぐ領域を含む変換対象領域に分割する周波数変換領域分割部と、
   前記周波数変換領域分割部が分割した変換対象領域の各々に周波数変換を適用して変換係数を生成する変換係数生成部と、
   前記変換係数を可逆符号化した符号化データを出力する符号化データ出力部とを具備する動画像符号化装置であって、
   前記周波数変換領域分割部は、前記予測単位構造決定部により分割された一つの予測単位の一部のみと一つの変換対象領域の一部のみが重なり、前記一つの予測単位に隣接した予測単位の一部と前記一つの変換対象領域の他の部分が重なるように前記一つの変換対象領域を分割することを特徴とする動画像符号化装置。
2. 動画像を符号化した符号化データについて、可逆符号の復号と、復号対象ブロック単位への分割とを行う可逆符号復号部と、
   前記復号対象ブロックを分割した変換対象領域であって、少なくとも一つの変換対象領域が予測単位をまたぐ変換対象領域を含む変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用した局所復号画像を生成する局所復号画像生成部と、
   前記局所復号画像を結合して動画像を生成し、出力する動画像出力部と、を具備する動画像復号装置であって、
   前記局所復号画像生成部は、一つの予測単位の一部のみと一つの変換対象領域の一部のみが重なり、前記一つの予測単位に隣接した予測単位の一部と前記一つの変換対象領域の他の部分が重なるように前記一つの変換対象領域を分割することを特徴とする動画像復号装置。
3. 動画像符号化装置が、入力動画像のフレームを符号化対象ブロック単位に分割する画像入力ステップと、
   前記動画像符号化装置が、前記符号化対象ブロックをさらに予測単位に分割する予測単位構造決定ステップと、
   前記動画像符号化装置が、前記符号化対象ブロックを、少なくとも一つの変換対象領域が前記予測単位をまたぐ領域を含む変換対象領域に分割する周波数変換領域分割ステップと、
   前記動画像符号化装置が、前記周波数変換領域分割ステップにて分割した変換対象領域の各々に周波数変換を適用して変換係数を生成する変換係数生成ステップと、
   前記動画像符号化装置が、前記変換係数を可逆符号化した符号化データを出力する符号化データ出力ステップと、を有する動画像符号化方法であって、
   前記周波数変換領域分割ステップで、前記予測単位構造決定ステップで分割された一つの予測単位の一部のみと一つの変換対象領域の一部のみが重なり、前記一つの予測単位に隣接した予測単位の一部と前記一つの変換対象領域の他の部分が重なるように前記一つの変換対象領域を分割することを特徴とする動画像符号化方法。
4. 動画像復号装置が、動画像を符号化した符号化データについて、可変長符号の復号と、復号対象ブロック単位への分割とを行う可変長復号ステップと、
   前記動画像復号装置が、前記復号対象ブロックを分割した変換対象領域であって、少なくとも一つの変換対象領域が予測単位をまたぐ変換対象領域を含む変換対象領域毎に、当該変換対象領域に応じた逆周波数変換を適用した局所復号画像を生成する局所復号画像生成ステップと、
   前記動画像復号装置が、前記局所復号画像を結合して動画像を生成し、出力する動画像出力ステップと、を有する動画像復号方法であって、
   前記局所復号画像生成ステップで、一つの予測単位の一部のみと一つの変換対象領域の一部のみが重なり、前記一つの予測単位に隣接した予測単位の一部と前記一つの変換対象領域の他の部分が重なるように前記一つの変換対象領域を分割することを特徴とする動画像復号方法。

Images