JP2006109053A - 復号化装置及び復号化プログラム - Google Patents

Abstract

【課題】 従来の符号化信号は復号化におけるサブバンド合成を行う際に、多重参照関係にある画素間や係数情報間には、ある特定の係数間で処理を行った後、その結果を利用して他の係数間の処理を行うといった処理の依存関係が存在するような信号である。
【解決手段】 フレーム間復号化部２０３は、入力管理部２０１からのＨ成分フレームと、ＭＣ部２０２からのＬ成分フレームに対してＭＣを行ったＭＣフレームとに対して、所定のサブバンド合成によってフレーム間復号化を行う。逆ＭＣ部２０５は、エントロピー復号化部１０３からの動きベクトル情報を逆方向に適用して、フレーム間符号化部２０２からのＮ−１フレームに対して、所定の各基準領域の重なり順序に基づいて制御する重なり順序制御部２０４の制御に応じて逆ＭＣを行う。画素補間部１０９は、逆ＭＣによって画素が埋められていない領域に関する画素補間領域情報に基づいて画素の補間を行う。
【選択図】 図１

Description

本発明は復号化装置及び復号化プログラムに係り、特に動画像に対して符号化を行う際に、動画像の時間方向に存在するフレーム間に対して動き補償を行うと共に、フレーム間のサブバンド合成を行う、動き補償時間方向逆フィルタ処理（以降、逆ＭＣＴＦ）を行う復号化装置及び復号化プログラムに関する。

従来の動画像符号化に代表されるＭＰＥＧ（Moving Picture Experts Group）−１，ＭＰＥＧ−２，ＭＰＥＧ−４などで用いられる動き補償は、ＭＰＥＧ−４ Ｐａｒｔ１０のように複数の参照フレームを持つことで参照フレームの選択に自由度を持たせ、符号化効率の向上を図っているが、特定のフレーム間の動き補償を行った後に差分を符号化するという基本的な構成において大きな変化を遂げてはいない。

近年、３次元ＤＣＴ（Discrete Cosine Transform:離散コサイン変換）や３次元ウェーブレット変換（wavelet transformation）などに代表されるように、動き補償予測を行いつつ、時間方向の直交変換を行う符号化方式の検討が各種行われている（例えば、特許文献１、特許文献２参照）。

更に、従来の構成とは違う構成によってフレーム間の符号化を行う動き補償時間方向フィルタ処理（ＭＣＴＦ）という方法が検討されている（例えば、非特許文献１、非特許文献２参照）。このＭＣＴＦは、複数のフレームによって構成されたＧＯＰ（Group of Picture）を単位として処理を行い、このＧＯＰに対してフレーム間の動き補償、及びフレーム間のサブバンド分割を行うことにより、より効率的な符号化を目指している。

図２０は従来の一般的な逆ＭＣＴＦを用いた復合化装置のブロック図を示す。図２０に示す復号化装置は、ＤＥＭＵＸ部１０２、エントロピー復号化部１０３、逆量子化部１０４及び逆ＭＣＴＦ部１００から構成される。また、逆ＭＣＴＦ部１００は、入力管理部１０５、対応関係特定部１０６、第１フレーム間復号化部１０７、第２フレーム間復号化部１０８、画素補間部１０９、及びフレーム間復号化管理部１１０により構成される。

ＤＥＭＵＸ部１０２は、取得したビットストリームを多重化分離（以後、ＤＥＭＵＸ）して、サブバンド分割後の係数情報ビット列（以後、サブバンド係数情報ビット列）、動きベクトル情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列を後述するエントロピー復号化部１０３に通知する機能を有する。

エントロピー復号化部１０３は、ＤＥＭＵＸ部１０２から通知されるサブバンド係数情報ビット列、動きベクトル情報ビット列を取得し、その取得したサブバンド係数情報ビット列、動きベクトル情報ビット列に対してエントロピー復号化を行い、サブバンド分割後の係数情報（以後、サブバンド係数情報）と動きベクトル情報をそれぞれ生成して、生成したサブバンド係数情報を後述する逆量子化部１０４に通知する。また、エントロピー復号化部１０３は、生成した動きベクトル情報を対応関係特定部１０６に通知する機能を有する。

逆量子化部１０４は、エントロピー復号化部１０３からサブバンド係数情報を取得し、取得したサブバンド係数情報に対して所定の逆量子化を行い、その逆量子化後のサブバンド係数情報を後述の入力管理部１０５に通知する機能を有する。

入力管理部１０５は、逆量子化部１０４から逆量子化後のサブバンド係数情報を取得し、取得した逆量子化後のサブバンド係数情報を、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとすると共に、各成分フレームを復号後のＧＯＰ（Group of Picture）内のフレーム位置に対応付けて管理する機能を有する。一般に、この入力管理部１０５は、ＧＯＰを再構成するために必要なフレーム数を構成できるだけのサブバンド係数情報を逆量子化部１０４から取得し、後述する対応関係特定部１０６、画素補間部１０９に対して処理対象となるフレームを通知する機能を有する。

対応関係特定部１０６は、エントロピー復号化部１０３から動きベクトル情報を取得すると共に、入力管理部１０５から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得する機能を有する。ここで、Ｌ成分フレームは復号後のＮ−１フレーム側の位置に対応し、Ｈ成分フレームは復号後のＮフレーム側の位置に対応しているものとする。

そして、対応関係特定部１０６は、取得した動きベクトル情報を利用してＨ成分フレーム内の各Ｈ成分のサブバンド係数情報が、Ｌ成分フレーム内のどのＬ成分のサブバンド係数情報と対応関係にあるかを特定し、サブバンド係数対応関係情報を生成する。上記のサブバンド係数対応関係情報には、各Ｌ成分のサブバンド係数情報がＬ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。同様に、対応関係にある各Ｈ成分のサブバンド係数情報がＨ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。

また、対応関係特定部１０６は、ある特定のＬ成分のサブバンド係数情報が複数のＨ成分のサブバンド係数情報との間に多重参照関係がある場合には、所定の方法に基づいて最初に復号すべきＬ成分のサブバンド係数情報とＨ成分のサブバンド係数情報を特定し、サブバンド係数対応関係情報に復号化を行う際の優先順位を反映する。更に、対応関係特定部１０６は、取得したＬ成分フレーム、Ｈ成分フレーム及び生成したサブバンド係数対応関係情報を第１フレーム間復号化部１０７に通知する。

第１フレーム間復号化部１０７は、対応関係特定部１０６からＮ−１フレーム側のＬ成分フレーム、Ｎフレーム側のＨ成分フレーム及び生成したサブバンド係数対応関係情報を取得し、取得したサブバンド係数対応関係情報から最初に復号すべきＬ成分のサブバンド係数情報と、Ｎフレーム側のＨ成分のサブバンド係数情報を特定し、所定のサブバンド合成によって帯域合成を行った後、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいてＮ−１フレーム側、Ｎフレーム側の対応する空間位置に格納する機能を有する。また、第１フレーム間復号化部１０７は、帯域合成後のＮ−１フレーム間及びＮフレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を第２フレーム間復号化部１０８に通知する機能を有する。

第２フレーム間復号化部１０８は、第１フレーム間復号化部１０７から帯域合成後のＮ−１フレーム側及びＮフレーム側に格納したＬ成分のサブバンド係数情報と、帯域合成を行っていないサブバンド係数情報と、サブバンド係数対応関係情報とを取得し、第１フレーム間復号化部１０７によって既に復号したＮ−１フレーム側のＬ成分のサブバンド係数情報と、第１フレーム間復号化部１０７で復号対象とならなかったＨ成分のサブバンド係数情報との対応関係をサブバンド係数対応関係情報から特定し、所定のサブバンド合成によって帯域合成を行った後、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいてＮ−１フレーム側、Ｎフレーム側の対応する空間位置に格納する機能を有する。また、第２フレーム間復号化部１０８は、帯域合成後のＮ−１フレーム側に格納したＬ成分のサブバンド係数情報を、画素補間部１０９に通知し、Ｎフレーム側に格納したＬ成分のサブバンド係数情報をフレーム間復号化管理部１１０に通知する機能を有する。

画素補間部１０９は、第２フレーム間復号化部１０８からＮ−１フレーム側に格納したＬ成分のサブバンド係数情報を取得し、Ｎ−１フレーム内においてサブバンド合成による復号が行われていない画素補間領域を特定し、所定の画素補間方法に基づいて画素を補間し、生成したＮ−１フレームをフレーム間復号化管理部１１０に通知する機能を有する。

フレーム間復号化管理部１１０は、画素補間部１０９から画素補間を行ったＮ−１フレームを取得すると共に、第２フレーム間復号化部１０８からＮフレームを取得して、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、取得したＮ−１フレーム及びＮフレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部１０５に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する機能を有する。

次に、図２０に示した従来の一般的な逆ＭＣＴＦを用いた復号化装置の動作について、図２１のフローチャートを用いて説明する。まず、ＤＥＭＵＸ部１０２は、入力されるビットストリームを取得し（ステップＳ１０１）、取得したビットストリームに対してＤＥＭＵＸを行い（ステップＳ１０２）、生成したサブバンド係数情報ビット列、動きベクトル情報ビット列をエントロピー復号化部１０３に供給する。

次に、エントロピー復号化部１０３は、ＤＥＭＵＸ部１０２からサブバンド係数情報ビット列、動きベクトル情報ビット列を取得し、それぞれの情報に対して所定のエントロピー復号化を行って、エントロピー符号化後に得られるサブバンド係数情報を逆量子化部１０４に供給し、また、動きベクトル情報を対応関係特定部１０６に供給する（ステップＳ１０３）。

その後、逆量子化部１０４は、エントロピー復号化部１０３から取得したサブバンド係数情報に対して逆量子化を行う（ステップＳ１０４）。逆量子化後のサブバンド係数情報は、入力管理部１０５に供給する。入力管理部１０５は、逆量子化部１０４から逆量子化後のサブバンド係数情報を取得し、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとすると共に、これらのフレームを１ＧＯＰ分の情報として蓄積することで、各成分フレームを復号後のＧＯＰ内のフレーム位置に対応付けて管理する（ステップＳ１０５）。その後、入力管理部１０５は、対応関係特定部１０６及び画素補間部１０９に対して処理対象となるフレームをそれぞれ供給する（ステップＳ１０６）。

対応関係特定部１０６は、エントロピー復号化部１０３から動きベクトル情報を取得すると共に、入力管埋部１０５から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得し、取得した動きベクトル情報を利用してＨ成分フレーム内の各Ｈ成分のサブバンド係数情報が、Ｌ成分フレーム内のどのＬ成分のサブバンド係数情報と対応関係にあるかを特定し（ステップＳ１０７）、サブバンド係数対応関係情報を生成する。

ここで、サブバンド係数対応関係情報には、各Ｌ成分のサブバンド係数情報がＬ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。同様に、対応関係にある各Ｈ成分のサブバンド係数情報がＨ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。また、ある特定のＬ成分のサブバンド係数情報が複数のＨ成分のサブバンド係数情報との間に多重参照関係がある場合には、所定の方法に基づいて最初に復号すべきＬ成分のサブバンド係数情報とＨ成分のサブバンド係数情報を特定し、サブバンド係数対応関係情報に復号化を行う際の優先順位を反映する。対応関係特定部１０６は、取得したＬ成分フレーム、Ｈ成分フレーム及び生成したサブバンド係数対応関係情報を第１フレーム間復号化部１０７に通知する。

次に、第１フレーム間復号化部１０７は、対応関係特定部１０６からＮ−１フレーム側のＬ成分フレーム、Ｎフレーム側のＨ成分フレーム及び生成したサブバンド係数対応関係情報を取得し、取得したサブバンド係数対応関係情報から最初に復号すべきＬ成分のサブバンド係数情報と、Ｎフレーム側のＨ成分のサブバンド係数情報を特定し、所定のサブバンド合成によって帯域合成を行うことで、第１のフレーム間復号化を行う（ステップＳ１０８）とともに、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいてＮ−１フレーム側、Ｎフレーム側の対応する空間位置に格納する。帯域合成後のＮ−１フレーム側及びＮフレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を第２フレーム間復号化部１０８に通知する。

そして、第２フレーム間復号化部１０８は、第１フレーム間復号化部１０７から帯域合成後のＮ−１フレーム側及びＮフレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を取得する。第１フレーム間復号化部１０７によって既に復号したＮ−１フレーム側のＬ成分のサブバンド係数情報と、第１フレーム間復号化部１０７で復号対象とならなかったＨ成分のサブバンド係数情報との対応関係をサブバンド係数対応関係情報から特定し、所定のサブバンド合成によって帯域合成を行うことで、第１のフレーム間復号化の結果を利用して第２のフレーム間復号化を行う（ステップＳ１０９）と共に、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいてＮ−１フレーム側、Ｎフレーム側の対応する空間位置に格納する。

その後、第２フレーム間復号化部１０８は、帯域合成後のＮ−１フレーム側に格納したＬ成分のサブバンド係数情報を、画素補間部１０９に供給し、また、Ｎフレーム側に格納したＬ成分のサブバンド係数情報をフレーム間復号化管理部１１０に供給する。画素補間部１０９は、第２フレーム間復号化部１０８からＮ−１フレーム側に格納したＬ成分のサブバンド係数情報を取得し、Ｎ−１フレーム内においてサブバンド合成による復号が行われていない画素補間領域を特定し、所定の画素補間方法に基づいて画素を補間することで、第１のフレーム間復号化で埋めきれなかった画素の補間を行う（ステップＳ１１０）。また、画素補間部１０９は、生成したＮ−１フレームをフレーム間復号化管理部１１０に供給する。

その後、フレーム間復号化管理部１１０は、画素補間部１０９から画素補間を行ったＮ−１フレームを取得すると共に、第２フレーム間復号化部１０８からＮフレームを取得して、所定のオクターブ分割数で帯域合成を継続するかどうか判定し（ステップＳ１１１）、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、Ｎ−１フレーム、Ｎフレームを再度ＧＯＰ内の入力フレームとして扱うために対応関係特定部１０６及び画素補間部１０９にそれぞれ供給し（ステップＳ１０６）、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する。以上のような処埋を行うことで、一連の逆ＭＣＴＦを用いた復号化処理が完了する。

特開平６−１４１３０１号公報 特開平６−２１７２９１号公報 Jens-Rainer Ohm,鄭dvanced Packet Video Coding Based on Layered VQ and SBC Techniques IEEE Trans.Circuits Syst.Video Technol.,VOL.3,JUNE 1993 Seung-Jong Choi and John W.Woods,溺otion-Compensated 3-D Subband Coding of Video IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.8,NO.2,FEBRUARY 1999

従来の動き補償時間方向フィルタ処理（ＭＣＴＦ）においては、Ｎ−１フレーム側が動き補償（ＭＣ）される側のフレーム、Ｎフレーム側が動き推定（ＭＥ）及びＭＣを行う際の基準となるフレームであるものとすると、まず、Ｎ−１フレーム、Ｎフレームに対してＭＥを行うことで、動きベクトル情報を取得する。次に、取得した動きベクトル情報を用いてＮ−１フレームからＭＣを行い、Ｎ−１フレーム内の各画素とＮフレーム内の各画素との対応関係を求める。その後、この対応関係にある各画素に対してサブバンド分割を行う。サブバンド分割によって得られるＬ成分の係数情報をＮ−１フレームの対応する位置に格納し、Ｈ成分の係数情報をＮフレームの対応する位置に格納する。この操作をフレーム内の全画素に対して行う。

ここで、Ｌ成分の係数情報をＮ−１フレームに対応する位置に格納する際に、Ｎ−１フレーム内の同じ位置の画素に対して、複数のＬ成分の係数情報が対応している場合がある。これは、ＭＣを行う際に、Ｎ−１フレーム内の同じ領域が、ＭＣによって多重に参照されて、Ｎフレーム内の複数の領域との対応関係をもつことに起因する。このような多重参照領域において、サブバンド分割によって得られる複数のＬ成分の係数情報は、一般に、複数のＬ成分の係数情報から所定の選択方法に基づいて選択され、多重参照領域に格納される。

この場合、通常は、格納先となる多重参照領域の画素に対して、空間方向の位置に最も近いＮフレーム内の画素とサブバンド分割を行って生成したＬ成分の係数情報を格納する。Ｈ成分の係数情報はＮフレーム側に格納する。このようにして、Ｌ成分の係数情報が格納されたＬ成分フレームであるＮ−１フレームと、Ｈ成分の係数情報が格納されたＨ成分フレームであるＮフレームをＭＣＴＦの結果として出力する。

次に、多重参照領域に対して上述の方法を採用して符号化を行い、復号化を行うことを考える。復号化側では、図２０の対応関係特定部１０６のように、取得した動きベクトル情報を利用してＨ成分フレーム内の各Ｈ成分のサブバンド係数情報が、Ｌ成分フレーム内のどのＬ成分のサブバンド係数情報と対応関係にあるか特定し、サブバンド係数対応関係情報を生成する。その後、ある特定のＬ成分のサブバンド係数情報が複数のＨ成分のサブバンド係数情報との間に多重参照関係がある場合には、所定の方法に基づいて最初に復号すべきＬ成分のサブバンド係数情報とＨ成分のサブバンド係数情報を特定し、サブバンド係数対応関係情報に復号化を行う際の優先順位を反映する。

上記の所定の方法は、通常、空間方向の位置から最も近い領域を示す動きベクトル情報を特定し、多重参照領域に最も近いＮフレーム側の対応するサブバンド係数情報とサブバンド合成する。その後、図２０の第１フレーム間復号化部１０７は、最初に復号すべきサブバンド係数情報同士のサブバンド合成を行う。その後、残りの多重参照領域に関係するＮフレーム側のＨ成分のサブバンド係数情報に対しては、図２０の第２フレーム間復号化部１０８のように、サブバンド合成の変換式を変形して利用することで、既に図２０の第１フレーム間復号化部１０７によって復号化されたＮ−１フレーム側のサブバンド係数情報と、対応するＮフレーム側のＨ成分のサブバンド係数情報とからＮフレーム側の画素を合成することで、可逆復号を可能にしている。

このように、従来は復号化におけるサブバンド合成を行う際に、多重参照関係にあるサブバンド係数情報間には、ある特定のサブバンド係数情報間で処理を行った後、その結果を利用して他のサブバンド係数情報間の処理を行うといった処理の依存関係が存在する。

よって、従来は、ある特定のサブバンド係数情報間での処理が完了するまでは、その結果を利用しなければならない他のサブバンド係数情報間の処理を行うことはできないため、通常行われる画面の左上から右下方向のラスタ順によって各領域に対して順次サブバンド合成を行うことができないという問題が生じる。同様に、このような処理の依存関係により、それぞれの領域を単独でサブバンド合成することが困難であるという問題が生じる。

また、従来は、ある特定のサブバンド係数情報間での処理が完了するまで他の処理を待避させる必要があるため、単独でサブバンド合成を行う場合と比較してメモリの利用効率が低下するという問題が生じる。また、それぞれの領域を単独でサブバンド合成することが困難であるため、復号化時の処理の流れや復号化装置の構成が複雑になる。

更に、それぞれの領域を単独でサブバンド合成することが困難であるため、サブバンド合成の処理を並列化することが難しく、並列化によって単位時間当りの処理量を増やして復号化処理の高速化を図ることができないという問題が生じる。

本発明は以上の点に鑑みなされたもので、サブバンド合成を行う際に、多重参照関係にあるサブバンド係数情報間に存在する処理の依存関係を考慮することなく、各領域のサブバンド合成を単独で行うことができる復号化装置及び復号化プログラムを提供することを目的とする。

本発明は上記の目的を達成するため、符号化対象の動画像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動き補償を行い、動き補償後の上記他方のフレームと基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された、低域側分割周波数帯域のＬ成分のサブバンド係数情報を格納したＬ成分フレームと高域側分割周波数帯域のＨ成分のサブバンド係数情報を格納したＨ成分フレームとを生成し、これらＬ成分フレーム及びＨ成分フレームと動き補償で用いた動きベクトル情報を含むフレーム列信号を少なくとも量子化して得られたビットストリームを復号するための復号化装置であって、
入来するビットストリームからＬ成分フレームとＨ成分フレームと動きベクトル情報とを得る第１の復号化手段と、第１の復号化手段から取得した動きベクトル情報に基づいて、第１の復号化手段から取得したＬ成分フレームの動き補償を行う動き補償手段と、第１の復号手段から取得したＨ成分フレームと、動き補償手段により動き補償されたＬ成分フレームとに対して、フレーム間のサブバンド合成を行ってフレーム間復号化を行う第２の復号化手段と、第２の復号化手段から出力されるサブバンド合成後のフレームに対して、第１の復号化手段から取得した動きベクトル情報を逆方向に適用して動き補償すると共に、その動き補償では画素が埋められない領域を示す画素補間領域情報を生成して出力する逆動き補償手段と、第１の復号化手段から取得したＬ成分フレーム中の画素補間領域情報で示される領域の係数情報で、逆動き補償手段から出力される逆動き補償後のフレームに対して画素補間し、逆動き補償後のフレームと共に動画像信号の復号化信号を得る画素補間手段とを有する構成としたものである。

また、本発明の復号化プログラムは、符号化対象の動画像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動き補償を行い、動き補償後の上記他方のフレームと基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された、低域側分割周波数帯域のＬ成分のサブバンド係数情報を格納したＬ成分フレームと高域側分割周波数帯域のＨ成分のサブバンド係数情報を格納したＨ成分フレームとを生成し、これらＬ成分フレーム及びＨ成分フレームと動き補償で用いた動きベクトル情報を含むフレーム列信号を少なくとも量子化して得られたビットストリームを復号するための復号化装置をコンピュータにより実現させるための復号化プログラムであって、コンピュータを、上記の第１の発明の各構成手段として機能させるプログラムであることを特徴とする。

本発明によれば、ある特定のサブバンド係数情報間での処理が完了するまでは、その結果を利用しなければならない他のサブバンド係数情報間の処理を実行することができないため、通常行われる画面の左上から右下にかけてラスタ順によって各領域に対して順次サブバンド合成を行うことができないという従来方法における処理の依存関係を解決し、サブバンド合成を行う際に、多重参照関係にあるサブバンド係数情報間に存在する処理の依存関係を考慮することなく、各領域のサブバンド合成を単独で行うことができる。

また、本発明によれば、それぞれの領域を単独でサブバンド合成することができるため、復号化時の処理の流れや復号化装置の構成を簡単にでき、また、サブバンド合成の処理を並列化することができることから、並列化によって単位時間当りの処理量を増やして復号化処理の高速化を図ることができる。

更に、本発明によれば、ある特定のサブバンド係数情報間での処理が完了するまで他の処理を待避させる必要がなく、単独でサブバンド合成を行う場合と比較してメモリの利用効率を向上できる。

次に、本発明を実施するための最良の形態について、図１から図１３を用いて説明する。図１は本発明になる復号化装置の一実施の形態のブロック図を示す。同図中、図２０と同一構成部分には同一符号を付し、その説明を省略する。図１に示すように、本実施の形態の動き補償時間方向逆フィルタ処理（以降、逆ＭＣＴＦ）を行う復号化装置は、ＤＥＭＵＸ部１０２、エントロピー復号化部１０３、逆量子化部１０４及び逆ＭＣＴＦ部２００とから構成される。また、逆ＭＣＴＦ部２００は、入力管理部２０１、ＭＣ部２０２、フレーム間復号化部２０３、重なり順序制御部２０４、逆ＭＣ部２０５、画素補間部１０９及びフレーム間復号化管理部１１０とから構成される。

ここで、本実施の形態の復号化装置を説明する前に、復号化装置に入力されるビットストリーム１０１を動き補償時間方向フィルタ処理（以降、ＭＣＴＦ）にて生成する符号化装置についてまず説明する。図２はこの符号化装置の一例のブロック図を示す。 この符号化装置は、図２に示すように、入力管理部３０２、ＭＣＴＦ部２００、量子化部３１２、エントロピー符号化部３１３及びＭＵＸ部３１４から構成されている。また、ＭＣＴＦ部２００は、ＭＥ部３０３、ＭＣ部３０４、フレーム間符号化部３０５、制御部３０６、重なり特定部３０７、誤差補正部３０８、フレーム間符号化管理部３０９、逆ＭＣ部３１０及び画素補間部３１１によって構成される。

図２において、入力管理部３０２は、入力される動画像フレーム１０１の管理を行う機能を有する。一般に、この入力管理部３０２は、入力される動画像フレーム１０１からＧＯＰを構成するために必要なフレーム数を取得し、後述するＭＥ部３０３、ＭＣ部３０４、フレーム間符号化部３０５、画素補間部３１１に対して、処理対象となるフレームを供給する機能を有する。

ＭＥ部３０３は、入力管理部３０２から取得した少なくとも２フレーム（Ｎ−１フレームとＮフレーム）を利用して、動き推定（ＭＥ）を行う。ここで、Ｎ−１フレーム側は動き推定を行う際に動きベクトル探索される側のフレームであるものとし、Ｎフレーム側は動き推定を行う際の基準となるフレームであるものとする。一般に、ＭＥ部３０３は、動き推定（ＭＥ）を行う際に、Ｎ−１フレームに対して領域外参照を許容するために、フレームの外側の領域を拡張するための所定のパディング処理を行う。しかし、動き推定（ＭＥ）を行う際に領域外参照を禁止するようにしてもよい。領域外参照を禁止した場合には、必ずしも所定のパディング処理を行わなくてもよい。

また、ＭＥ部３０３は、Ｎフレーム側では、フレームを所定の領域分割方法に基づいて各領域間が重複しないように複数の基準領域に分割する。所定の領域分割方法によって分割される基準領域の形状は、一般には所定の矩形ブロックであり、基準フレームは、この複数に分割された矩形ブロック基準領域の集合で表現できる。そして、ＭＥ部３０３は、このＮフレーム側で分割した各基準領域に対して、対応する領域の位置をＮ−１フレーム内からそれぞれの基準領域に対して最も適合した領域を探索することで動きベクトル情報を求める。

ＭＥ部３０３は、求めた動きベクトル情報をＭＣ部３０４、重なり特定部３０７、逆ＭＣ部３１０、エントロピー符号化部３１３にそれぞれ供給する。また、ＭＥ部３０３は、パディング処理後のＮ−１フレームをＭＣ部３０４、逆ＭＣ部３１０に供給する機能を有してもよい。更に、ＭＥ部３０３は、Ｎフレームにおける基準領域の形状に関する情報をＭＣ部３０４、重なり特定部３０７、逆ＭＣ部３１０にそれぞれ供給する機能を有してもよい。

ただし、ここでは以後の説明を簡単にするため、基準領域の形状は予め符号化装置及び復号化装置で決められた所定の４画素×４画素のブロック形状であるものとし、基準領域の形状情報の授受に関しては言及する必要がないものとする。

ＭＣ部３０４は、入力管理部３０２からＮフレームとＮ−１フレームを取得する機能と、ＭＥ部３０３から動きベクトル情報を取得する機能を有する。また、ＭＣ部３０４は、必要であれば、ＭＥ部３０３からパディング処理後のＮ−１フレームを取得する機能を有してもよい。また、ＭＣ部３０４は、通常は、領域外参照を許容するために、フレームの外側の領域を拡張するための所定のパディング処理を、取得したＮ−１フレームに対して行う。しかし、領域外参照を禁止してもよく、その場合には、必ずしも所定のパディング処理を行わなくてもよく、入力管理部３０２から取得したＮ−１フレームをパディング後のＮ−１フレームとして利用する。

ＭＣ部３０４は、パディング処理後のＮ−１フレーム、対応する領域の形状情報、動きベクトル情報に基づいて動き補償フレーム（以降、ＭＣフレーム）を生成する機能を有する。ＭＣ部３０４は、フレーム間符号化部３０５に対してＮ−１フレームを基に生成したＭＣフレームを供給する機能を有する。

フレーム間符号化部３０５は、入力管理部３０２からＮフレーム、ＭＣ部３０４からＭＣフレームを取得し、その取得したＭＣフレームとＮフレームに対して、所定のサブバンド分割によって帯域分割（ここでは、２分割）を行うと共に、得られるＬ成分をＭＣフレーム側に格納し、得られるＨ成分をＮフレーム側に格納する。更に、フレーム間符号化部３０５は、Ｎフレーム側に格納したＨ成分フレームを誤差補正部３０８に通知すると共に、ＭＣフレーム側に格納したＬ成分フレームを逆ＭＣ部３１０に通知する。

制御部３０６は、少なくともフレーム間符号化部３０５、誤差補正部３０８、フレーム間符号化管理部３０９、逆ＭＣ部３１０、画素補間部３１１の動作をそれぞれ制御する機能を有する。制御部３０６は、誤差補正部３０８と逆ＭＣ部３１０に対しては、逆ＭＣする際の各基準領域の重なり順序情報を通知する機能を有してもよい。ただし、ここでは以後の説明を簡単にするため、各基準領域の重なり順序情報は、予め符号化装置及び復号化装置で決められた所定の順序であるものとし、各基準領域の重なり順序情報の授受に関しては言及する必要がないものとする。ここでの所定の順序は、画面の左上に配置される基準領域から右下に向かってラスタ順に処理を行うものとする。

制御部３０６は、現在処理しているフレームのＧＯＰ内の位置とフレーム間の帯域分割の状態から、処理後のフレームの格納位置を管理する。また、制御部３０６は、フレーム間符号化管理部３０９に対して、帯域分割の状態を示す帯域分割状態情報とフレーム格納位置情報を通知する。制御部３０６は、画素補間部３１１に対して、画素を補間する方法を切り替えるための画素補間モード情報を通知してもよい。

ただし、ここでは以後の説明を簡単にするため、画素補間モード情報は、予め符号化装置及び復号化装置で決められた所定の画素補間方法であるものとし、画素補間モード情報の授受に関しては言及する必要がないものとする。ここでの画素補間方法は、Ｎ−１フレーム側の補間対象となる位置の画素を用いるものとする。

重なり特定部３０７は、入力管理部３０２からＮフレーム、ＭＥ部３０３から動きベクトル情報を取得し、その取得した動きベクトル情報と基準領域の形状情報から、ＭＥ部３０３でＮ−１フレームの動き補償を行った際に、多重参照される領域（以降、多重参照領域とする）を特定し、多重参照領域情報を生成する。

また、重なり特定部３０７は、サブバンド分割された２つの分割周波数帯域のうちの低域分割周波数帯域のＬ成分フレームに対して、取得した動きベクトル情報を逆方向に適用した動き補償、つまり逆動き補償（以降、逆ＭＣ）を行った際に、どの基準領域が、どの多重参照領域に逆ＭＣされるかを特定し、対応する多重参照領域と複数の基準領域との関連を表すための情報である多重参照領域−基準領域関係情報を生成する。

更に、重なり特定部３０７は、多重参照領域に逆ＭＣされる各基準領域において、各基準領域内におけるどの部分が多重参照領域に関与しているかを特定し、後述する誤差補正部３０８が誤差を補正する対象となる部分を示すための情報として誤差補正対象領域情報を生成する。重なり特定部３０７は、このようにして生成した多重参照領域情報、多重参照領域−基準領域関係情報及び誤差補正対象領域情報を、それぞれ誤差補正部３０８に供給する。

誤差補正部３０８は、重なり特定部３０７から供給された多重参照領域情報、多重参照領域−基準領域関係情報及び誤差補正対象領域情報を入力として受け、これらの入力情報からサブバンド分割された２つの分割周波数帯域のうちの高域分割周波数帯域のＨ成分フレームの多重参照領域と関係している基準領域中の誤差補正対象領域に対して、誤差を補正するための誤差情報を算出する。誤差情報の算出過程の詳細は後述するためここでは省略する。

また、誤差補正部３０８は、算出した誤差情報を、フレーム間符号化部３０５から取得したＨ成分フレームの誤差補正が必要な領域に対して付加し、その誤差補正を行ったＨ成分フレームをフレーム間符号化管理部３０９に通知する。

フレーム間符号化管理部３０９は、誤差補正部３０８から誤差補正を行ったＨ成分フレームを取得し、画素補間部３１１から画素補間を行ったＬ成分フレームを取得し、制御部３０６から帯域分割状態情報とフレーム格納位置情報とを取得する。その後、フレーム間符号化管理部３０９は、帯域分割状態情報とフレーム格納位置情報とに基づいて、Ｌ成分フレーム、Ｈ成分フレームの正しい位置への格納及び通知を行う。

フレーム間符号化管理部３０９は、上記の各フレームの通知先を帯域分割状態情報に基づいて決定し、ＧＯＰ内のフレーム間に対して帯域分割を行う必要がある場合には、再度入力フレームとして入力管理部３０２に通知し、帯域分割を行う必要がない場合には出力フレームとして量子化部３１２に通知する。

逆ＭＣ部３１０は、入力管理部３０２からＮフレーム、ＭＥ部３０３から動きベクトル情報、フレーム間符号化部３０５からＬ成分フレームを取得し、取得した動きベクトル情報と基準領域の形状情報から、帯域分割後のＬ成分フレームに対して、所定の各基準領域の重なり順序に基づき、取得した動きベクトル情報を逆方向に適用して動き補償を行う機能、つまり逆ＭＣを行い、逆ＭＣ後のＬ成分フレームを生成する。ここで、逆ＭＣを行う際に用いる各基準領域の重なり順序情報を、制御部３０６から取得するようにしてもよい。

そして、逆ＭＣ部３１０は、生成した逆ＭＣ後のＬ成分フレームを画素補間部３１１に供給する。逆ＭＣによって画素が埋められていない（配置されていない）領域に対しては、画素補間部３１１に対して画素補間領域情報を供給するようにしてもよい。ここでは、処理を簡単にするために、画素補間領域情報は、逆ＭＣ後のＬ成分フレームに−１の値を格納し、画素補間部３１１では、この情報を基にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。

画素補間部３１１は、入力管理部３０２からＮ−１フレーム、逆ＭＣ部３１０から逆ＭＣ後のＬ成分フレームを取得し、その取得した逆ＭＣ後のＬ成分フレームにおいて、逆ＭＣによって画素が埋められていない領域に関する情報である画素補間領域情報に基づいて画素の補間を行う。画素が埋められていない領域の判定は、制御部３０６から取得する、もしくは逆ＭＣ部３１０から前記画素補間領域情報を取得してもよい。画素補間部３１１による画素補間後のＬ成分フレームは、フレーム間符号化管理部３０９に供給される。

量子化部３１２は、フレーム間符号化管理部３０９から出力フレームとして得られる係数情報を取得し、その取得した係数情報に対して、所定の量子化を行う。量子化後の係数情報は、エントロピー符号化部３１３に出力される。

エントロピー符号化部３１３は、量子化部３１２からの量子化後の係数情報と、ＭＥ部３０３からの動きベクトル情報とを入力として受け、その入力された各情報に対して各所定のエントロピー符号化を行い、係数情報ビット列、動きベクトル情報ビット列を生成した後、ＭＵＸ部３１４に対して生成した係数情報ビット列及び動きベクトル情報ビット列を出力する。

ＭＵＸ部３１４は、エントロピー符号化部３１３から出力された係数情報ビット列と動きベクトル情報ビット列を取得し、その取得した係数情報ビット列と動きベクトル情報ビット列とに、復号時に必要となる各種の制御情報を多重化（ＭＵＸ）してビットストリーム１０７を生成し、符号化装置の出力信号として出力する。

図３は図２に示した符号化装置の一実施の形態の動作説明用フローチャートを示す。次に、この図３を用いて図２に示した符号化装置の一実施の形態の動作を説明する。まず、入力管理部３０２は、入力される動画像フレーム１０１から動画像フレームを取得し（ステップＳ２０１）、１ＧＯＰを満たす分の動画像フレームを蓄積する（ステップＳ２０２）。

続いて、入力管理部３０２は、ＭＣＴＦの対象となるフレーム群であるＮ−１フレームとＮフレームをセットし（ステップＳ２０３）、それらをＭＥ部３０３、ＭＣ部３０４、フレーム間符号化部３０５、重なり特定部３０７、逆ＭＣ部３１０及び画素補間部３１１にそれぞれ供給する。

ＭＥ部３０３は、入力管理部３０２から取得したＮ−１フレームとＮフレームを用いてＭＥを行い、動きベクトルを求める（ステップＳ２０４）。ここで、Ｎ−１フレーム側は動き推定を行う際に動きベクトル探索される側のフレームであるものとし、Ｎフレーム側は動き推定を行う際の基準となるフレームであるものとする。ＭＥ部３０３によって求めた動きベクトル情報は、ＭＣ部３０４、重なり特定部３０７、逆ＭＣ部３１０及びエントロピー符号化部２１２にそれぞれ出力される。

ＭＥ部３０３によって動きベクトル情報が求まると、ＭＣ部３０４は、ＭＥ部３０３から取得した動きベクトル情報に基づいて、入力管理部３０２から取得したＮ−１フレームに対して必要に応じてパディング処理を行った後に、ＭＣを行ってＭＣフレームを作成する（ステップＳ２０５）。ＭＣ部３０４は、作成したＭＣフレームをフレーム間符号化部３０５に出力する。

フレーム間符号化部３０５は、ＭＣ部３０４から供給されたＭＣフレームと、入力管理部３０２から取得したＮフレームとを用いてフレーム間符号化を行い、Ｌ成分フレームとＨ成分フレームを生成する（ステップＳ２０６）。生成したＨ成分フレームは、誤差補正部３０８に供給され、生成したＬ成分フレームは、逆ＭＣ部３１０に供給される。

重なり特定部３０７は、入力管理部３０２からＮフレーム、ＭＥ部３０３から動きベクトル情報を取得する。必要であれば、Ｎフレームを用いて基準領域の形状情報を求める。これらの情報から重なり特定部３０７は、多重参照領域を特定し（ステップＳ２０７）、多重参照領域情報、多重参照領域−基準領域関係情報及び誤差補正対象領域情報をそれぞれ生成する。その後、重なり特定部３０７は、生成した多重参照領域情報、多重参照領域−基準領域関係情報及び誤差補正対象領域情報を誤差補正部３０８に出力する。

次に、誤差補正部３０８は、重なり特定部３０７から取得した各情報に基づき、フレーム間符号化部３０５からのＨ成分フレームの多重参照領域内の画素に対して誤差成分の補正を行う（ステップＳ２０８）。誤差成分の補正を行う際に、必要であれば、制御部３０６から逆ＭＣする際の各基準領域の重なり順序情報を取得し、各基準領域の重なり順序情報を用いて誤差成分の補正を行う。誤差補正部３０８は、誤差成分の補正を行ったＨ成分フレームをフレーム間符号化管理部３０９に出力する。

その後、フレーム間符号化部３０５によって生成された帯域分割後のＬ成分フレームに対して、逆ＭＣ部３１０は、ＭＥ部３０３から取得した動きベクトル情報を逆方向に適用して動き補償を行い（つまり、逆ＭＣを行い）、逆ＭＣ後のＬ成分フレームを生成する（ステップＳ２０９）。ここで、逆ＭＣ部３１０は、逆ＭＣによって画素が埋められていない領域に対しては、逆ＭＣ後のＬ成分フレームに−１の値を格納したものを画素補間領域情報として出力する。逆ＭＣを行う際に、必要であれば、制御部３０６から逆ＭＣする際の各基準領域の重なり順序情報を取得し、各基準領域の重なり順序情報に従って逆ＭＣを行う。逆ＭＣ部３１０は、逆ＭＣ後のＬ成分フレーム及び画素補間領域情報を画素補間部３１１に出力する。

これにより、画素補間部３１１は、逆ＭＣ部３１０から取得した逆ＭＣ後のＬ成分フレームに対して、逆ＭＣで埋めきれなかった画素の補間を行う（ステップＳ２１０）。すなわち、画素補間部３１１は、逆ＭＣ後のＬ成分フレームにおいて、−１の値が格納された位置に対して画素の補間を行う。画素補間部３１１は、画素補間後のＬ成分フレームをフレーム間符号化管理部３０９に供給する。

フレーム間符号化管理部３０９は、誤差補正部３０８からの誤差補正後のＨ成分フレームと、画素補間部３１１からの画素補間後のＬ成分フレームとを取得すると、制御部３０６から取得した帯域分割状態情報とフレーム格納位置情報のうち、帯域分割状態情報に基づいてＬ成分フレーム、Ｈ成分フレームの正しい位置への通知先を決定して格納し、フレーム格納位置情報に基づいて、ＧＯＰ内のフレーム間に対して帯域分割を行うかどうか、すなわち、所定のオクターブ分割数であるかを判定する（ステップＳ２１１）。

フレーム間符号化管理部３０９は、所定のオクターブ分割数に達していない場合には、再度入力フレームとして入力管理部３０２に通知する。また、所定のオクターブ分割数に達しており帯域分割を行う必要がない場合には、係数情報を出力フレームとして量子化部３１２に通知する。

量子化部３１２は、フレーム間符号化管理部３０９から取得した出力フレームとして得られる係数情報に対して、所定の量子化を行う（ステップＳ２１２）。エントロピー符号化部３１３は、ＭＥ部３０３から入力された動きベクトル情報と、量子化部３１２から入力された量子化後の係数情報に対してそれぞれ所定のエントロピー符号化を行い（ステップＳ２１３）、動きベクトル情報ビット列と係数情報ビット列とを生成して、それら生成した動きベクトル情報ビット列と係数情報ビット列をＭＵＸ部３１４に供給する。

ＭＵＸ部３１４は、動きベクトル情報ビット列と係数情報ビット列とを、復号時に必要となる各種の制御情報と共に、符号化出力を行うために多重化し、ビットストリーム１０７を構成する（ステップＳ２１４）。ＭＵＸ部３１４は、生成したビットストリーム１０７を出力することで、一連の符号化処理が完了する。

以上のようなステップＳ２０１〜Ｓ２１４からなる符号化方法に基づいて動作する、図２のような構成を備えた符号化装置を提供することで、ＭＣＴＦを行う際に画素間の多重参照によって生じる誤差成分を考慮して、時間方向に対するサブバンド分割による帯域分割を行う際に、この誤差成分を帯域分割法の係数に反映し、復号時に発生する誤差を相殺することで、復号化側で逆ＭＣＴＦを行った場合でも可逆復号を可能とする構成を維持しつつ、復号時に係数間の依存関係を極力排除できるような符号化出力を得ることができる符号化装置を提供することが可能となる。

次に、図１の本発明になる逆ＭＣＴＦ処理を行う復号化装置の一実施の形態について説明する。図１において、ＤＥＭＵＸ部１０２は、取得したビットストリームを多重化分離（以後、ＤＥＭＵＸ）して、サブバンド係数情報ビット列、動きベクトル情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列を後述するエントロピー復号化部１０３に通知する機能を有する。

エントロピー復号化部１０３は、ＤＥＭＵＸ部１０２から通知されるサブバンド係数情報ビット列及び動きベクトル情報ビット列をそれぞれ取得し、取得したサブバンド係数情報ビット列及び動きベクトル情報ビット列に対してエントロピー復号化を行い、サブバンド係数情報及び動きベクトル情報をそれぞれ生成し、生成したサブバンド係数情報を後述する逆量子化部１０４に供給し、また、生成した動きベクトル情報を後述するＭＣ部２０２と逆ＭＣ部２０５にそれぞれ供給する。

逆量子化部１０４は、エントロピー復号化部１０３からサブバンド係数情報を取得し、取得したサブバンド係数情報に対して所定の逆量子化を行い、逆量子化後のサブバンド係数情報を後述の入力管理部２０１に通知する。

入力管理部２０１は、逆量子化部１０４から逆量子化後のサブバンド係数情報を取得し、取得した逆量子化後のサブバンド係数情報を、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとして管理する機能を有する。一般に、この入力管理部２０１は、ＧＯＰを再構成するために必要なフレーム数を構成できるだけのサブバンド係数情報を逆量子化部１０４から取得し、後述するＭＣ部２０２、フレーム間復号化部２０３及び画素補間部１０９に対して処理対象となるフレームを通知する機能を有する。

ＭＣ部２０２は、入力管理部２０１から少なくとも復号後のＮ−１フレームに対応するサブバンド分割後のＬ成分情報を格納したＬ成分フレームを取得する機能を有する。ここで、Ｎ−１フレームは符号化側において、動き推定を行う際に動きベクトル探索される側のフレームであるものとする。また、Ｎフレームは符号化側において、動き推定を行う際の基準となるフレームであるものとする。ＭＣ部２０２は、通常Ｎ−１フレームに対応するＬ成分フレームに対して領域外参照を許容するためにフレームの外側の領域を拡張するための所定のパディング処理を行う機能を有する。

ここで、符号化側において領域外参照を禁止した場合には、ＭＣ部２０２において領域外参照を禁止するようにしてもよい。領域外参照を禁止した場合には、必ずしも所定のパディング処理を行わなくてもよい。また、ＭＣ部２０２は、エントロピー復号化部１０３から動きベクトル情報を取得し、パディング後のＬ成分フレーム、対応する領域の形状情報、動きベクトル情報に基づいて動き補償フレーム（以降、ＭＣフレーム）を生成する機能を有する。

ここで、ＭＣを行う際に利用する基準領域の形状情報は、符号化側の動き推定部（以降、ＭＥ部とする）において、Ｎフレームを所定の領域分割方法に基づいて各領域間が重複しないように複数の基準領域に分割するため、この基準領域の形状情報を取得する必要がある。ただし、ここでは以後の説明を簡単にするため、基準領域の形状は予め符号化装置及び復号化装置で決められた所定の４画素×４画素のブロック形状であるものとし、基準領域の形状情報の授受に関しては言及する必要がないものとする。更に、ＭＣ部２０２は、フレーム間復号化部２０３に対してＬ成分フレームを元に生成したＭＣフレームを通知する機能を有する。

フレーム間復号化部２０３は、入力管理部２０１から復号化時のＮフレームに対応するＨ成分フレームを取得し、ＭＣ部２０２からＬ成分フレームに対してＭＣを行ったＭＣフレームを取得し、取得したＭＣフレームとＨ成分フレームに対して、所定のサブバンド合成によって帯域合成を行うと共に、帯域合成によって得られる時間方向に異なる２フレームのＬ成分フレームを対応するＮ−１フレーム、Ｎフレームに格納し、Ｎ−１フレームを後述する逆ＭＣ部２０５に通知すると共に、Ｎフレームを後述するフレーム間復号化管理部１１０に通知する。

重なり順序制御部２０４は、逆ＭＣ部２０５に対して、逆ＭＣする際の各基準領域の重なり順序情報を通知する機能を有する。ただし、ここでは以後の説明を簡単にするため、各基準領域の重なり順序情報は、予め符号化装置及び復号化装置で決められた所定の順序であるものとし、各基準領域の重なり順序情報の授受に関しては言及する必要がないものとする。ここでの所定の順序は、画面の左上に配置された基準領域から右下に向かってラスタ順に処理を行うようにすることで、重なり順序制御部２０４は逆ＭＣ部２０５を制御するものとする。

逆ＭＣ部２０５は、エントロピー復号化部１０３から動きベクトル情報を取得し、フレーム間復号化部２０３からＮ−１フレームを取得し、取得した動きベクトル情報、基準領域の形状情報から、帯域合成後のＮ−１フレームに対して、所定の各基準領域の重なり順序に基づいて制御する重なり順序制御部２０４の制御に応じて、取得した動きベクトル情報を逆方向に適用して動き補償を行う機能、つまり逆ＭＣを行い、逆ＭＣ後のＮ−１フレームを生成する機能と、生成した逆ＭＣ後のＮ−１フレームを画素補間部１０９に通知する機能とを有する。逆ＭＣによって画素が埋められていない領域に対しては、画素補間部１０９に対して画素補間領域情報を通知する機能を有してもよい。ここでは、処理を簡単にするために、画素補間領域情報は、逆ＭＣ後のＮ−１フレームに−１の値を格納し、画素補間部１０９では、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。

画素補間部１０９は、入力管理部２０１から復号前のＮ−１フレームに対応するＬ成分フレーム、逆ＭＣ部２０５から逆ＭＣ後のＮ−１フレームを取得し、取得した逆ＭＣ後のＮ−１フレームにおいて、逆ＭＣによって画素が埋められていない領域に関する情報である画素補間領域情報に基づいて画素の補間を行う機能と、画素補間後のＮ−１フレームをフレーム間復号化管理部１１０に通知する機能とを有する。

画素が埋められていない領域の判定は、逆ＭＣ部２０５から画素補間領域情報を取得する機能を有してもよい。処理を簡単にするために、ここでは画素補間領域情報は、逆ＭＣ後のＮ−１フレームに−１の値が格納されるものとし、この情報を基にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。

フレーム間復号化管理部１１０は、画素補間部１０９から画素補間を行ったＮ−１フレームを取得し、また、フレーム間復号化部２０３からＮフレームを取得し、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、Ｎ−１フレーム、Ｎフレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２０１に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する機能を有する。

次に、図１に示す本発明の逆ＭＣＴＦ復号化装置の動作について、図４のフローチャートと共に説明する。まず、ＤＥＭＵＸ部１０２は、入力されるビットストリームを取得し（ステップＳ３０１）、取得したビットストリームに対してＤＥＭＵＸを行う（ステップＳ３０２）ことで、サブバンド係数情報ビット列、動きベクトル情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列を後述するエントロピー復号化部１０３に通知する。

エントロピー復号化部１０３は、ＤＥＭＵＸ部１０２から通知されるサブバンド係数情報ビット列、動きベクトル情報ビット列を取得し、各情報に対してエントロピー復号化を行い（ステップＳ３０３）、エントロピー復号化により生成したサブバンド係数情報は、逆量子化部１０４に通知し、生成した動きベクトル情報はＭＣ部２０２と逆ＭＣ部２０５に通知する。逆量子化部１０４は、エントロピー復号化部１０３からサブバンド係数情報を取得し、逆量子化を行い（ステップＳ３０４）、逆量子化後のサブバンド係数情報を、入力管理部２０１に通知する。

入力管理部２０１は逆量子化部１０４から逆量子化後のサブバンド係数情報を取得し、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとして管理する。また、入力管理部２０１は、ＧＯＰを再構成するために必要なフレーム数を構成できるだけのサブバンド係数情報を逆量子化部１０４から取得することで、１ＧＯＰを構成するための情報を蓄積する（ステップＳ３０５）。その後、入力管理部２０１は、ＭＣ部２０２、フレーム間復号化部２０３、逆ＭＣ部２０５、画素補間部１０９に対して逆ＭＣＴＦの処理対象となるフレームを通知する（ステップＳ３０６）。

ＭＣ部２０２は、入力管理部２０１から少なくとも復号後のＮ−１フレームに対応するサブバンド分割後のＬ成分情報を格納したＬ成分フレームを取得し、取得したＬ成分フレーム対して領域外参照を許容するためにフレームの外側の領域を拡張するための所定のパディング処理を行う。ここで、符号化側において領域外参照を禁止した場合には、ＭＣ部２０２において領域外参照を禁止するようにしてもよい。領域外参照を禁止した場合には、必ずしも所定のパディング処理を行わなくてもよい。

また、ＭＣ部２０２は、エントロピー復号化部１０３から動きベクトル情報を取得する。ＭＣ部２０２は、パディング後のＬ成分フレーム、対応する領域の形状情報、動きベクトル情報に基づいてＭＣを行い（ステップＳ３０７）、動き補償フレーム（以降、ＭＣフレーム）を生成し、フレーム間復号化部２０３に対してＬ成分フレームを基に生成したＭＣフレームを通知する。

フレーム間復号化部２０３は、入力管理部２０１から復号化時のＮフレームに対応するＨ成分フレームを取得し、ＭＣ部２０２からＬ成分フレームに対してＭＣを行ったＭＣフレームを取得し、取得したＭＣフレームとＨ成分フレームに対して、所定のサブバンド合成によってフレーム間復号化を行い（ステップＳ３０８）、生成した時間方向に異なる２フレームのＬ成分フレームを対応するＮ−１フレーム、Ｎフレームに格納し、Ｎ−１フレームを逆ＭＣ部２０５に通知すると共に、Ｎフレームをフレーム間復号化管理部１１０に通知する。

逆ＭＣ部２０５は、エントロピー復号化部１０３から動きベクトル情報を取得し、フレーム間符号化部２０２からＮ−１フレームを取得し、取得した動きベクトル情報と基準領域の形状情報から、帯域合成後のＮ−１フレームに対して、所定の各基準領域の重なり順序に基づいて制御する重なり順序制御部２０４の制御に応じて、取得した動きベクトル情報を逆方向に適用して逆ＭＣを行い（ステップＳ３０９）、逆ＭＣ後のＮ−１フレームを生成した後、生成した逆ＭＣ後のＮ−１フレームを画素補間部１０９に供給する。

逆ＭＣ部２０５は、逆ＭＣによって画素が埋められていない領域に対しては、画素補間部１０９に対して画素補間領域情報を通知する機能を有してもよい。ここでは、処理を簡単にするために、画素補間領域情報は、逆ＭＣ後のＮ−１フレームに−１の値を格納し、画素補間部１０９では、この情報を基にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。

画素補間部１０９は、入力管理部２０１から復号前のＮ−１フレームに対応するＬ成分フレームを取得し、逆ＭＣ部２０５から逆ＭＣ後のＮ−１フレームを取得し、取得した逆ＭＣ後のＮ−１フレームにおいて、逆ＭＣによって画素が埋められていない領域に関する情報である画素補間領域情報に基づいて画素の補間を行う（ステップＳ３１０）。画素が埋められていない領域の判定は、逆ＭＣ部２０５から画素補間領域情報を取得する機能を有してもよい。処理を簡単にするために、ここで画素補間領域情報は、逆ＭＣ後のＮ−１フレームに−１の値が格納されるものとし、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。画素補間後のＮ−１フレームは、フレーム間復号化管理部１１０に通知する。

フレーム間復号化管理部１１０は、画素補間部１０９から画素補間を行ったＮ−１フレームを取得すると共に、フレーム間復号化部２０３からＮフレームを取得する。フレーム間復号化管理部１１０は、所定のオクターブ分割であるかを取得したフレームの位置から特定して帯域合成を継続するかどうか判定し（ステップＳ３１１）、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、Ｎ−１フレーム、Ｎフレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２０１に通知し、ステップＳ３０６からステップＳ３１１までの処理を繰り返す。帯域合成を行う必要がない場合には復号結果として動画像フレームを出力することで一連の復号化処理が完了する。

以上のようなステップＳ３０１からステップＳ３１１までからなる方法に基づいて動作する、図１のような構成を備えた逆ＭＣＴＦ復号化装置を提供することで、復号時に係数間の依存関係を排除し、効率の良い復号化が可能となる。

次に、フレーム間に対して行われるサブバンド分割において、直交ウェーブレット（ｗａｖｅｌｅｔ）変換のＨａａｒ基底を用いた場合の一般的なオクターブ分割の過程について、図５と共に説明する。まず、図５（Ａ）から同図（Ｃ）までがオクターブ分割の１階分解を行う際の処理過程を示している。ここで、図５に示されているフレームは、０から７番目までの８フレームを１ＧＯＰとし、フレーム間のオクターブ分割はこの１ＧＯＰを単位として行うものとする。また、最初のオクターブ分割１階分解を行う際の対象となるフレーム区間は、１ＧＯＰ全体であるものとする。

まず、ここではｗａｖｅｌｅｔの直交基底にＨａａｒ基底を用いているため、図５（Ａ）において、２フレームを単位として対応する空間位置同士の画素間で直交変換を行う。この直交変換により、Ｌ成分フレームとＨ成分フレームが、図５（Ｂ）に示すように生成される。ここで、「Ｌ１」はオクターブ分割１階分解のＬ成分フレームであり、「Ｈ１」はオクターブ分割１階分解のＨ成分フレームであることを表し、その後の「−番号」は、ＧＯＰ内のフレーム位置を表す。

従って、例えば、「Ｌ１−０」は、Ｌ成分フレーム、オクターブ分割１階分解、ＧＯＰ内の０番目のフレームであり、また、例えば、「Ｈ１−３」は、Ｈ成分フレーム、オクターブ分割１階分解、ＧＯＰ内の３番目のフレームであることを表す。通常、Ｈａａｒ基底による直交変換では、２フレームを単位として変換を行い、図５（Ｂ）に示すように、偶数番目（フレーム位置が０を含む偶数番号）のフレームにＬ成分、奇数番目（フレーム位置が奇数番号）のフレームにＨ成分を格納する。

その後、必要であれば、フレームインターリーブを行う。フレームインターリーブは、図５（Ｃ）に示すように、偶数番目に格納されているＬ成分フレームを現在オクターブ分割の対象となっているフレーム区間の半分から前半に配置し、奇数番目に格納されているＨ成分フレームを現在オクターブ分割の対象となっているフレーム区間の後半に配置する。その後、次のオクターブ分割の対象となるフレーム区間を、図５（Ｄ）に示すようにＬ成分フレームが格納されている０から３フレーム目までとする。

次の、図５（Ｄ）から同図（Ｆ）までは、オクターブ２階分解の処理過程を示している。このオクターブ２階分解では、オクターブ１階分解の場合と同様に、図５（Ｄ）に示す４フレーム分のＬ成分フレームに対して、２フレームを単位として対応する空間位置同士の画素間で直交変換を行い、図５（Ｅ）に示すようにＬ２−０、Ｈ２−１、Ｌ２−２、Ｈ２−３を生成する。

その後、必要であれば、フレームインターリーブを行う。このフレームインターリーブは、図５（Ｆ）に示すように偶数番目に格納されているＬ成分フレームを現在オクターブ分割の対象となっているフレーム区間の半分から前半に配置し、奇数番目に格納されているＨ成分フレームを現在オクターブ分割の対象区間となっているフレーム区間の後半に配置する。

以下同様に、図５（Ｇ）、（Ｈ）に示すようにＬ成分フレームＬ２−０及びＬ２−１に対してオクターブ３階分解を行い、最終的に図５（Ｉ）に示すような１つのＬ成分フレームＬ３−０と７つのＨ成分フレームＨ３−１、Ｈ２−１、Ｈ２−３、Ｈ１−１、Ｈ１−３、Ｈ１−５及びＨ１−７からなる１ＧＯＰ分の係数フレーム列を得ることで、１ＧＯＰのフレーム間符号化が完了する。

次に、本発明の逆ＭＣＴＦに対応する、符号化側におけるＭＣＴＦの処理過程について図６と共に説明する。図６では、図５に示したような一般的なオクターブ分割の処理過程とは異なり、図６（Ａ）に示すように２フレームを単位として、まず偶数フレームに対して奇数フレームを利用してＭＥ及びＭＣを行う。なお、ここでは、図５と同様に、０から７番目までの８フレームを１ＧＯＰとする。

図６（Ａ）に示す１ＧＯＰを構成する８フレームに対してＭＥ及びＭＣを行い、そのうちＭＣ後のフレームは、図６（Ｂ）に示すように、偶数番号０，２，４，６のフレーム位置に格納する。その後は、ＭＥ及びＭＣを行った後の８フレームに対して、図５で示した通常のオクターブ分割と同様に２フレームを単位として直交変換を行って図６（Ｃ）に示すように、４つのＬ成分フレームと４つのＨ成分フレームを得る。ここで、偶数番号０，２，４，６のフレーム位置のＬ成分フレームは、図６（Ｂ）に示したように偶数番号のフレーム位置に格納されたＭＣ後のフレームである。

その後、図６（Ｄ）に示すようにフレームインターリーブを行う。このフレームインターリーブにより、偶数番号のフレーム位置に格納されているＬ成分フレームが、現在ＭＣＴＦの対象となっているフレーム区間の半分から前半に配置され、奇数番号のフレーム位置に格納されているＨ成分フレームが、現在ＭＣＴＦの対象となっているフレーム区間の半分から後半に配置される。

次に、図６（Ｅ）に示すように、フレームインターリーブ後のＬ成分フレーム列に対して２フレームを単位として逆ＭＣを行う。続いて、この逆ＭＣ後のＬ成分フレーム列に対して、上記と同様にしてＭＥ及びＭＣ、直交変換、フレームインターリーブ、逆ＭＣの処理を繰り返すことで、最終的に図６（Ｆ）に示すような、１つのＬ成分フレームＬ３−０と７つのＨ成分フレームＨ３−１、Ｈ２−１、Ｈ２−３、Ｈ１−１、Ｈ１−３、Ｈ１−５及びＨ１−７からなる１ＧＯＰ分の係数フレーム列を得ることで、１ＧＯＰのフレーム間符号化が完了する。

ここで、従来法との主な相違は、フレーム間の直交変換を行う前後にＭＥ／ＭＣ及び逆ＭＣを行うところにある。オクターブ分割後のＬ成分フレーム列を利用して、時間方向のスケーラビリティを実現しようとした場合、従来法が生成するＬ成分フレームは、フレーム間の動きを考慮して直交変換が行われないため、フレーム間で動きが大きかった部分では輪郭がはっきりとしない、ぶれた画像となるため、フレームレートを落として表示する際のフレームとしては必ずしも有効なフレームとはいえなかった。

これに対し、本発明の逆ＭＣＴＦに対応するＭＣＴＦでは、ＭＥ／ＭＣ及びフレーム間の直交変換を行うことでフレーム間の動きによる影響を最小限に止めると共に、直交変換後のＬ成分フレームに対してそれぞれのフレームが属していたフレーム位置、ここでは偶数番目のフレームの状態に戻すために逆ＭＣを行う。このＭＥ／ＭＣ及び逆ＭＣにより直交変換後のフレーム内の劣化を抑え、逆ＭＣ後のＬ成分フレームは、ぶれのない良好な画像を得ることができる。このようにして生成した逆ＭＣ後のＬ成分フレーム列は、従来法と比べてフレームレートを落として表示する際のフレームとして、より適したフレームとなる。

次に、本発明の復号化装置の逆ＭＣＴＦ処理過程について、図７と共に説明する。図７（Ａ）から（Ｅ）までは、オクターブ分割３階分解から２階分解へのオクターブ合成の処理過程を示している。ここで、図７に示されているフレームは、０から７番目までの８フレームを１ＧＯＰとし、フレーム間のオクターブ合成はこの１ＧＯＰを単位として行うものとする。

本発明の復号化装置において、入力されるビットストリームに対してＤＥＭＵＸ、エントロピー復号化、逆量子化することで、図７（Ａ）に示すように、図６（Ｆ）で示したようなフレーム列を得ることができる。ここで、図７（Ａ）で示されるフレーム列のうちのＬ成分フレームＬ３−０のみに対して、ＭＣを行う。ＭＣを行った結果が、図７（Ｂ）に斜線で表したＬ３−０である。

続いて、逆直交変換を行う。ここではｗａｖｅｌｅｔの直交基底にＨａａｒ基底を用いているため、図７（Ｂ）において、２フレームを単位として対応する空間位置同士のサブバンド係数情報間で逆直交変換を行う。図７（Ｂ）では、オクターブ合成の対象となるフレーム区間は０から１フレーム目までであることから、Ｌ３−０、Ｈ３−１に対して逆直交変換を行う。逆直交変換により、オクターブ分割２階分解のＬ成分フレームであるＬ２−０、Ｌ２−１が、図７（Ｃ）のように生成される。

続いて、図７（Ｃ）に示すＬ成分フレームＬ２−０に対して、動きベクトル情報をＭＣの時とは逆に利用して逆ＭＣを行う。この逆ＭＣによって動きのある２枚のＬ成分フレームＬ２−０、Ｌ２−１を再構成している。

その後、必要であれば、図７（Ｅ）に示すように、逆フレームインターリーブを行う。逆フレームインターリーブは、復号したＬ成分フレームを偶数番目（０を含む偶数番号のフレーム位置）０，２に配置すると共に、オクターブ分割２階分解後のＨ成分フレームＨ２−１、Ｈ２−３を奇数番目（奇数番号のフレーム位置）１，３に配置する。その後、次のオクターブ合成の対象となるフレーム区間を０から３フレーム目までとする。

同様に、得られる逆フレームインターリーブ後のＬ成分フレーム列及びＨ成分フレーム列に対して、ＭＣ、逆直交変換、逆ＭＣ、逆フレームインターリーブの処理を繰り返すことで、最終的に図７（Ｆ）に示すような１ＧＯＰ分の動画像フレーム列を得ることで、１ＧＯＰのフレーム間復号化が完了する。

次に、より詳細なＭＣＴＦの処理過程を示すため、図８及び図９を用いて以下に説明する。図８は、ＭＣＴＦの処理過程において、Ｎ−１フレームに対してＭＣを行い、ＭＣ後のフレームとＮフレーム間において空間方向のフレーム間で対応するブロック内の対応する画素同士を直交変換するまでの過程を表す。

図８（Ａ）において、元のＮ−１フレーム６０１の周囲に、フレームの領域外参照を可能にするために拡張したパディング領域６０２がある。このＮ−１フレーム６０１、パディング領域６０２は、ＭＣフレームを作成する際に参照される側のフレームである。一方、図８（Ｂ）はＮフレーム６０７を示しており、ブロック６０８、６１０などを含む。

図８（Ａ）に示すＮ−１フレーム６０１には、ＭＥにより特定したＮフレーム６０７内のブロック６０８の参照領域６０３や、ＭＥにより特定したＮフレーム６０７内のブロック６１０の参照領域６０４がある。また、参照領域６０３と６０４には共に参照する多重参照領域６０５がある。また、Ｎ−１フレーム６０１には、Ｎフレーム６０７の各基準領域によって参照されることのない非参照領域６０６がある。この非参照領域６０６は、逆ＭＣ後に画素の補間が行われる領域である。

一方、図８（Ｂ）に示すＮフレーム６０７は、ＭＣを行う際の基準となるフレームである。Ｎフレーム６０７内のブロック６０８は参照領域６０３に対する基準領域、ブロック６１０は参照領域６０４に対する基準領域である。ここで説明を簡単にするために、基準領域の形状は４画素×４画素の矩形形状であるものとする。

Ｎ−１フレーム６０１に対してＭＣを行った後のフレームは、図８（Ｃ）に６１２で示される。このＭＣ後のフレーム６１２内の領域６１３は、参照領域６０３がＭＣによって再配置された領域であり、領域６１５は、参照領域６０４がＭＣによって再配置された領域である。また、ＭＣ後のフレーム６１２内の領域６１４、６１６は、それぞれＭＣによって多重参照領域６０５が複製された領域である。

また、図８（Ｂ）に示すＮフレーム６０７内の領域６０９は、上記の多重参照領域複製領域６１４に対応する領域であり、複製された多重参照領域と直交変換を行う基準領域である。同様に、Ｎフレーム６０７内の領域６１１は、上記の多重参照領域複製領域６１６に対応する領域であり、複製された多重参照領域と直交変換を行う基準領域である。

以上のような各領域に対し、まず、図８（Ａ）に示すＮ−１フレーム６０１に対してＭＣを行うと、図８（Ｃ）に６１２で示すようなＭＣフレームを得る。ＭＣでは、Ｎフレーム６０７の基準領域６０８に対応する参照領域６０３を、ＭＥによって求めた動きベクトルにより特定し、基準領域６０８に対応する空間位置の領域６１３に再配置する。同様に、基準領域６１０に対応する参照領域６０４を、基準領域６１０に対応する空間位置の領域６１５に再配置する。Ｎフレーム６０７に含まれる各基準領域に対して同様にＭＣを行うことにより、ＭＣフレーム６１２を得ることができる。

このようにして得られたＭＣフレーム６１２と、Ｎフレーム６０７に対して、対応するブロックの画素同士を直交変換する。直交変換後のＬ成分及びＨ成分の格納や、逆ＭＣの処理過程については、図９を用いて説明する。

図９において、直交変換後のＨ成分の係数情報を格納したフレーム（Ｈ成分フレーム）は（Ｂ）に７０１で示され、図８のＮフレーム６０７の位置に格納する。図９（Ｂ）の各領域７０２〜７０５の空間位置は、図８（Ｂ）の各領域６０８〜６１１に対応し、図９の領域７０２は領域６０８に、領域７０３は領域６０９に、領域７０４は領域６１０に、領域７０５は領域６１１にそれぞれ対応する。格納されている情報は、直交変換後のＨ成分の係数情報となっている。

また、直交変換後のＬ成分の係数情報を格納したフレーム（Ｌ成分フレーム）は、図９（Ｃ）に７０６で示され、図８（Ｃ）に示したＭＣ後のフレーム６１２に格納しているものとする。Ｌ成分フレーム７０６の各領域７０７〜７１０の空間位置は、図８（Ｃ）に示したＭＣ後のフレーム６１２の各領域６１３〜６１５に対応し、領域７０７は領域６１３に、領域７０８は領域６１４に、領域７０９は領域６１５に、領域７１０は領域６１６にそれぞれ対応する。Ｌ成分フレーム７０６の各領域７０７〜７１０に格納されている情報は、直交変換後のＬ成分の係数情報となっている。

また、Ｌ成分フレーム７０６を逆ＭＣして生成したＬ成分フレームは、図９（Ａ）に７１１で示され、そのＬ成分フレーム７１１内の領域７１２、７１３、７１４及び７１５のうち、領域７１２は、Ｌ成分フレーム７０６内の領域７０７が逆ＭＣによって再配置された領域であり、領域７１３は、領域７０９が逆ＭＣによって再配置された領域である。また、領域７１４は、ＭＣを行う前のＮ−１フレームの多重参照領域６０５に対応する領域であり、逆ＭＣを行う際に、この領域に対して領域７０８及び７１０の領域が重複する領域である。また、領域７１５は、逆ＭＣによって領域が再配置されず、何らかの画素補間が必要な領域である。

図８（Ｃ）、（Ｂ）に示したＭＣフレーム６１２とＮフレーム６０７との間で、対応するブロックの画素同士で直交変換を行い、直交変換によって生成したＬ成分は、図９（Ｃ）に示すＬ成分フレーム７０６に格納する。また、直交変換によって生成したＨ成分は、図９（Ｂ）に示すＨ成分フレーム７０１に格納する。その後、Ｌ成分フレーム７０６に対して逆ＭＣを行うと、図９（Ａ）に７１１で示すような逆ＭＣ後のＬ成分フレームが得られる。逆ＭＣでは、ＭＥによって求めた動きベクトルをＭＣの時とは逆方向に利用することでＬ成分フレーム７０６内の領域７０７を再配置先である領域７１２に格納する。同様に、Ｌ成分フレーム７０６内の領域７０９を再配置先である領域７１３に格納する。

ここで、逆ＭＣによって領域７０７と領域７０９が重複する領域７１４は、重複している領域７０８と領域７１０に基づいて所定の方法により重複領域７１４に格納する係数情報を決定し、重複領域７１４に格納する。通常は、逆ＭＣによって再配置する領域の所定の重ね合わせ順序に従って、重複領域７１４に対応する領域の画素は上書きすることで格納する係数情報を決定する。

本発明において、逆ＭＣによって再配置する領域の所定の重ね合わせ順序は、画面では左上に配置される基準領域から右下に配置される基準領域へ向かってラスタ順に処理を行うものとする。よって、重複領域７１４は、所定の重ね合わせ順序がラスタ順であるため、領域７０８が格納された後、領域７１０によって上書きされることで格納する係数情報が確定する。その後、領域７１５のような領域に対して、所定の画素補間方法に基づいて画素補間を行う。ここでは、元のＮ−１フレーム６０１内に存在する、領域７１５と同じ空間方向の位置に対応する非参照領域６０６の画素を補間画素として利用する。以上のような処理を行うことで、フレーム間のＭＣＴＦ符号化が完了する。

次に、より詳細な逆ＭＣＴＦの処理過程を示すため、図１０、図１１を用いて以下に説明する。図１０は、逆ＭＣＴＦの処理過程において、Ｌ成分フレームに対してＭＣを行い、ＭＣ後のフレームとＨ成分フレーム間において空間方向のフレーム間で対応するブロック内の、対応するサブバンド係数情報同士を逆直交変換するまでの過程を表す。

図１０（Ａ）において、元のＬ成分フレーム８０１の周囲に、フレームの領域外参照を可能にするために拡張したパディング領域８０２がある。このＬ成分フレーム８０１及びパディング領域８０２は、ＭＣフレームを作成する際に参照される側のフレームである。一方、図１０（Ｂ）はＨ成分フレーム８０７を示しており、ブロック８０８、８１０などを含む。

また、図１０（Ａ）に示すＬ成分フレーム８０１には、ＭＥにより特定した同図（Ｂ）に示すＬ成分フレーム８０７内のブロック８０８の参照領域８０３や、ＭＥにより特定したＬ成分フレーム８０７内のブロック８１０の参照領域８０４がある。また、参照領域８０３と８０４には共に参照する多重参照領域８０５がある。また、Ｌ成分フレーム８０１には、Ｈ成分フレーム８０７の各基準領域によって参照されることのない非参照領域８０６がある。この非参照領域８０６は、逆ＭＣ後に画素の補間が行われる領域である。

一方、図１０（Ｂ）に示すＨ成分フレーム８０７は、ＭＣを行う際の基準となるフレームである。Ｈ成分フレーム８０７内のブロック８０８は参照領域８０３に対する基準領域、ブロック８１０は参照領域８０４に対する基準領域である。ここで説明を簡単にするために、基準領域の形状は４画素×４画素の矩形形状であるものとする。

また、図１０（Ｃ）はＬ成分フレーム８０１に対してＭＣを行った後のフレーム８１２を示す。このＭＣ後のフレーム８１２内の領域８１３は、参照領域８０３がＭＣによって再配置された領域であり、領域８１５は、参照領域８０４がＭＣによって再配置された領域である。また、ＭＣ後のフレーム８１２内の領域８１４、８１６は、それぞれＭＣによって多重参照領域８０５が複製された領域である。

また、図１０（Ｂ）に示すＨ成分フレーム８０７内の領域８０９は、上記の多重参照領域複製領域８１４に対応する領域であり、複製された多重参照領域と逆直交変換を行う基準領域である。同様に、Ｈ成分フレーム８０７内の領域８１１は、上記の多重参照領域複製領域８１６に対応する領域であり、複製された多重参照領域と逆直交変換を行う基準領域である。

以上のような各領域に対し、まず、図１０（Ａ）に示すＬ成分フレーム８０１に対してＭＣを行うと、図１０（Ｃ）に８１２で示すようなＭＣフレームを得る。ＭＣでは、Ｈ成分フレーム８０７の基準領域８０８に対応する参照領域８０３を、ＭＥによって求めた動きベクトルにより特定し、基準領域８０８に対応する空間位置の領域８１３に再配置する。同様に、基準領域８１０に対応する参照領域８０４を、基準領域８１０に対応する空間位置の領域８１５に再配置する。Ｈ成分フレーム８０７に含まれる各基準領域に対して同様にＭＣを行うことにより、ＭＣフレーム８１２を得ることができる。

このようにして得られたＭＣフレーム８１２と、Ｈ成分フレーム８０７に対して、対応するブロックの画素同士を逆直交変換する。逆直交変換後の各サブバンド係数情報の格納や、逆ＭＣの処理過程については、図１１を用いて説明する。

図１１において、逆直交変換後のＮフレームは（Ｂ）に９０１で示され、その各領域９０２〜９０５の空間位置は、図１０（Ｂ）の各領域８０８〜８１１に対応し、図１１の領域９０２は領域８０８に、領域９０３は領域８０９に、領域９０４は領域８１０に、領域９０５は領域８１１にそれぞれ対応する。格納されている情報は、逆直交変換後のＨ成分のサブバンド係数情報となっている。

また、逆直交変換後のＮ−１フレームは、図１１（Ｃ）に９０６で示され、図１０（Ｃ）に示したＭＣ後のフレーム８１２に格納しているものとする。Ｎ−１フレーム９０６の各領域９０７〜９１０の空間位置は、図１０（Ｃ）に示したＭＣ後のフレーム８１２の各領域８１３〜８１５に対応し、領域９０７は領域８１３に、領域９０８は領域８１４に、領域９０９は領域８１５に、領域９１０は領域８１６にそれぞれ対応する。Ｎ−１フレーム９０６の各領域９０７〜９１０に格納されている情報は、逆直交変換後のＬ成分のサブバンド係数情報となっている。

また、Ｎ−１フレーム９０６を逆ＭＣして生成したＮ−１フレームは、図１１（Ａ）に９１１で示され、そのＮ−１フレーム９１１内の領域９１２、９１３、９１４及び９１５のうち、領域９１２は、Ｎ−１フレーム９０６内の領域９０７が逆ＭＣによって再配置された領域であり、領域９１３は、領域９０９が逆ＭＣによって再配置された領域である。また、領域９１４は、ＭＣを行う前のＬ成分フレームの多重参照領域８０５に対応する領域であり、逆ＭＣを行う際に、この領域に対して領域９０８及び９１０が重複する領域である。また、領域９１５は、逆ＭＣによって領域が再配置されず、何らかの画素補間が必要な領域である。

図１０（Ｃ）、（Ｂ）に示したＭＣフレーム８１２とＨ成分フレーム８０７との間で、対応するブロックの画素同士で逆直交変換を行い、逆直交変換による帯域合成によって得られる時間方向に異なる２フレームのＬ成分フレームを、対応する図１１（Ｃ）に示すＮ−１フレーム９０６、図１１（Ｂ）に示すＮフレーム９０１に格納する。その後、逆直交変換後のＮ−１フレーム９０６に対して逆ＭＣを行うと、図１１（Ａ）に９１１で示すような逆ＭＣ後のＬ成分フレームが得られる。

逆ＭＣでは、ＭＥによって求めた動きベクトルをＭＣの時とは逆方向に利用することでＮ−１フレーム９０６内の領域９０７を再配置先である領域９１２に格納する。同様に、Ｎ−１フレーム９０６内の領域９０９を再配置先である領域９１３に格納する。ここで、逆ＭＣによって領域９０７と領域９０９が重複する領域９１４は、重複している領域９０８と領域９１０に基づいて所定の方法により重複領域９１４に格納するサブバンド係数情報を決定し、重複領域９１４に格納する。通常は、逆ＭＣによって再配置する領域の所定の重ね合わせ順序に従って、重複領域９１４に対応する領域の画素は上書きすることで格納するサブバンド係数情報を決定する。

本発明において、逆ＭＣによって再配置する領域の所定の重ね合わせ順序は、画面では左上に配置される基準領域から右下に配置される基準領域へ向かってラスタ順に処理を行うものとする。よって、重複領域９１４は、所定の重ね合わせ順序がラスタ順であるため、領域９０８が格納された後、領域９１０によって上書きされることで格納する係数情報が確定する。その後、領域９１５のような領域に対して、所定の画素補間方法に基づいて画素補間を行う。ここでは、元のＬ成分フレーム８０１内に存在する、領域９１５と同じ空間方向の位置に対応する非参照領域８０６の画素を補間画素として利用する。以上のような処理を行うことで、フレーム間の逆ＭＣＴＦ復号化が完了する。

次に、逆ＭＣＴＦの多重参照領域に対する処理過程において従来法との違いを明確にするため、図１２から図１８を用いて以下に説明する。まず、従来法による多重参照領域の処理過程について、図１２、図１３及び図１４を用いて以下に説明する。図１２は、従来法におけるＭＣＴＦ符号化の処理過程を表している。図１２（Ａ）は２つの基準領域１００１と１００２からなるＮ−１フレームを示しており、このＮ−１フレームに対してＭＣを行うと、図１２（Ｂ）に示すようになる。

ここで、図１２（Ａ）に示すＮ−１フレームは、２つの基準領域１００１及び１００２から参照されているため、多重参照領域が存在する。この多重参照領域内のある１画素をここではｄとする。この画素ｄは、多重参照領域内の画素であるため、ＭＣにより図１２（Ｂ）に示すように、ｄ_ａとｄ_ｂに複製される。これらの画素ｄ、ｄ_ａ及びｄ_ｂの間では次式の関係が成り立つ。

ｄ＝ｄ_ａ＝ｄ_ｂ （１）
一方、図１２（Ｃ）に示すＮフレームの画素のうち、図１２（Ｂ）に示したＭＣ後のＮ−１フレーム中の画素ｄ_ａ及びｄ_ｂに対応する画素を、それぞれａ及びｂとすると、それらの画素ａ及びｂの間には、通常、次式（２）が成り立っているものとして話を進める。

ａ≠ｂ （２）
ここで、図１２（Ｂ）に示したＭＣ後のＮ−１フレームと、図１２（Ｃ）に示したＮフレームとの間で直交変換を行うと、ｄ_ａとａ、ｄ_ｂとｂとの間で直交変換が行われる。それぞれのＬ成分及びＨ成分は、式（３）〜式（６）を適用してｄ_ａとａからはＬａとＨａ、ｄ_ｂとｂからはＬｂとＨｂがそれぞれ求まる。

ここで、直交変換の変換基底はＨａａｒ基底であるものとする。求めたＬ成分は図１２（Ｄ）に示すように、Ｌａ、Ｌｂの位置に格納する。また、求めたＨ成分は図１２（Ｅ）に示すように、Ｈａ、Ｈｂの位置に格納する。ここで、式（１）及び式（２）であることから、ＬａとＬｂの間には式（７）が成り立つ。また、ＨａとＨｂの間には、式（８）が成り立つ。

Ｌａ≠Ｌｂ （７）
Ｈａ≠Ｈｂ （８）
その後、図１２（Ｄ）に示した直交変換後のＬ成分フレームに対して逆ＭＣを行う。この逆ＭＣを行う際に、ＬａとＬｂは格納先が重複するため、所定の方法により重複領域に格納する係数情報を決定する。図１２（Ｆ）は、重複領域に格納する係数情報としてＬａを採用した場合のＬ成分フレームである。また、図１２（Ｇ）は、重複領域に格納する係数情報としてＬｂを採用した場合のＬ成分フレームである。以上のような符号化処理を行うことで、従来法におけるＭＣＴＦ符号化が完了する。

図１３は従来法のＭＣＴＦ復号化において、重複領域の係数情報としてＬａを採用した場合の処理過程を示す図である。図１３（Ａ）は、（Ｎ−１）フレーム側のＬ成分フレームを示しており、このＬ成分フレームに対してＭＣを行うと、図１３（Ｂ）に示すようになる。ここで、図１３（Ａ）のＬ成分フレーム中の画素Ｌａは、符号化時に複数の領域から格納される多重領域に格納された画素であるため、図１３（Ｂ）に１１０２で示すようにＭＣによってＬａが複製される。本来であれば、画素１１０１の右側の画素１１０２はＬｂであるが、符号化の逆ＭＣによりＬａとなっている。

一方、図１３（Ｃ）は、Ｎフレーム側のＨ成分フレームを示しており、領域１１０３内の画素Ｈａと領域１１０４内の画素Ｈｂは、それぞれ図１３（Ｃ）の画素１１０１、１１０２のＬａに対応する。ここで、図１３（Ｂ）及び（Ｃ）に示したフレーム間で逆直交変換を行うと、画素１１０１のＬａと領域１１０３内の画素Ｈａとの間で、画素１１０２のＬａと領域１１０４内の画素Ｈｂとの間でそれぞれ逆直交変換が行われる。

この場合、それぞれの逆直交変換後の各画素は、通常、次式（９）〜（１２）を適用することで求まる。

しかし、本来の対応関係ではないＬａとＨｂからは、正しい復号結果を得ることができない。そこで、まず、正しい対応関係である画素１１０１のＬａと領域１１０３の対応する画素Ｈａとから、式（１０）を適用して図１３（Ｄ）に示すように、ｄ_ａを復号化する。同様に、正しい対応関係である画素１１０１のＬａと領域１１０３の対応する画素Ｈａとから、式（９）を適用して図１３（Ｅ）に示すように、ａを復号化する。このようにして得られたｄ_ａを次式（１３）を適用することでｂを復号化することができる。

ここで、式（１０）及び式（９）は本来の逆直交変換の式であるが、式（１３）はｄ_ａからｂを復号化するために、本来の逆直交変換の式（１１）を変形したものになっているため、従来の逆直交変換をそのまま利用することが難しい。また、復号化する際に、復号する係数の順序に依存関係が存在するという問題がある。

上記の逆直交変換が完了すると、図１３（Ｄ）に示したフレームに対して逆ＭＣを行うことにより、図１３（Ｆ）に示したようなフレームを得る。逆ＭＣを行う際に、重複領域に対しては、復号化したｄ_ａを採用するような所定の方法により重複領域に格納する係数情報を決定する必要がある。以上のような処理を行うことで、従来法のＭＣＴＦ復号化において、重複領域の係数情報としてＬａを採用した場合の復号化が完了する。

次に、従来法のＭＣＴＦ復号化において、重複領域の係数情報としてＬｂを採用した場合の処理過程について、図１４と共に説明する。図１４（Ａ）は、（Ｎ−１）フレーム側のＬ成分フレームを示しており、このＬ成分フレームに対してＭＣを行うと、図１４（Ｂ）に示すようになる。ここで、図１４（Ａ）のＬ成分フレーム中の画素Ｌｂは、符号化時に複数の領域から格納される多重領域に格納された画素である。Ｌｂは多重領域の画素であるため、図１４（Ｂ）に示す画素１２０２としてＭＣによってＬｂが複製される。本来であれば、画素１２０２の左側の画素１２０１はＬａであるが、符号化の逆ＭＣによりＬｂとなっている。

一方、図１４（Ｃ）は、Ｎフレーム側のＨ成分フレームを示しており、領域１２０３内の画素Ｈａと領域１２０４内の画素Ｈｂは、それぞれ図１４（Ｃ）の画素１２０１、１２０２のＬｂに対応する。ここで、図１４（Ｂ）及び（Ｃ）に示したフレーム間で逆直交変換を行うと、画素１２０１のＬｂと領域１２０３内の画素Ｈａとの間で、画素１２０２のＬｂと領域１２０４内の画素Ｈｂとの間でそれぞれ逆直交変換が行われる。

この場合、それぞれの逆直交変換後の各画素は、通常、前記式（９）〜（１２）を適用することで求まる。しかし、本来の対応関係ではないＬｂとＨａからは、正しい復号結果を得ることができない。そこで、まず、正しい対応関係である画素１２０２のＬｂと領域１２０４の対応する画素Ｈｂとから、式（１２）を適用して図１４（Ｄ）に示すように、ｄ_ｂを復号化する。同様に、正しい対応関係である画素１２０２のＬｂと領域１２０４の対応する画素Ｈｂとから、式（１１）を適用して図１４（Ｅ）に示すように、ｂを復号化する。

このようにして得られたｄ_ｂを次式（１４）を適用することでａを復号化することができる。

ここで、式（１２）及び式（１１）は本来の逆直交変換の式であるが、式（１４）はｄ_ｂからａを復号化するために、本来の逆直交変換の式（９）を変形したものになっているため、従来の逆直交変換をそのまま利用することが難しい。また、復号化する際に、復号する係数の順序に依存関係が存在するという問題がある。

ここでは、逆直交変換を行う際に、復号順序がラスタ順で行われているとすると、ａの復号を何らかの手段で一時的に処理をスキップしなければならないことを検知し、処理をスキップした上でｄ_ｂとｂを復号化し、ａの復号を行うための情報が得られたことを確認する何らかの手段によって復号できるかどうかを判定した後に、復号化を行わなければならない。

逆直交変換が完了すると、図１４（Ｄ）に示した逆直交変換されたフレームに対して逆ＭＣを行って同図（Ｆ）に示す復号化されたフレームを得る。ここで、逆ＭＣを行う際に、重複領域に対しては、復号化したｄ_ｂを採用するような所定の方法により重複領域に格納する係数情報を決定する必要がある。以上のような処理を行うことで、従来法のＭＣＴＦ復号化において、重複領域の係数情報としてＬｂを採用した場合の復号化が完了する。

上述した従来法の逆ＭＣＴＦ復号化における各種の問題を改善するため、本発明では、図１のような逆ＭＣＴＦ復号化装置の構成をとると共に、多重参照領域部分に対して符号化側では図１５及び図１６、復号化側では図１７及び図１８のような処理を行う。

図１５（Ａ）は２つの基準領域１３０１と１３０２からなるＮ−１フレームを示しており、このＮ−１フレームに対してＭＣを行うと、図１５（Ｂ）に示すようになる。ここで、図１５（Ａ）に示すＮ−１フレームは、２つの基準領域１３０１及び１３０２から参照されているため、多重参照領域が存在する。この多重参照領域内のある１画素を、ここでは図１５（Ａ）に示すようにｄとする。この画素ｄは、多重参照領域内の画素であるため、ＭＣにより図１５（Ｂ）に示すように、ｄ_ａとｄ_ｂに複製される。これらの画素ｄ、ｄ_ａ及びｄ_ｂの間では、前記式（１）の関係が成り立つ。

一方、図１５（Ｃ）に示すＮフレームの画素のうち、図１５（Ｂ）に示したＭＣ後のＮ−１フレーム中の画素ｄ_ａ及びｄ_ｂに対応する画素を、それぞれａ及びｂとすると、それらの画素ａ及びｂの間には、通常、前記式（２）が成り立っているものとして話を進める。

ここで、図１５（Ｂ）に示したＭＣ後のＮ−１フレームと、図１５（Ｃ）に示したＮフレームとの間で直交変換を行うと、ｄ_ａとａ、ｄ_ｂとｂとの間で直交変換が行われる。それぞれのＬ成分及びＨ成分は、前記式（３）〜式（６）を適用してｄ_ａとａからはＬａとＨａ、ｄ_ｂとｂからはＬｂとＨｂがそれぞれ求まる。ここで、直交変換の変換基底はＨａａｒ基底であるものとする。求めたＬ成分は図１５（Ｄ）に示すように、Ｌａ、Ｌｂの位置に格納し、求めたＨ成分は図１５（Ｅ）に示すように、Ｈａ、Ｈｂの位置に格納する。ここで、図８の場合と同様に、式（１）及び式（２）であることから、ＬａとＬｂの間には前記式（７）が成り立ち、ＨａとＨｂの間には、前記式（８）が成り立つ。

その後、図１５（Ｄ）に示した直交変換後のＬ成分フレームに対して逆ＭＣを行う。この逆ＭＣを行う際に、ＬａとＬｂは格納先が重複するため、所定の方法により重複領域に格納する係数情報を決定する。図１５（Ｆ）は、重複領域に格納する係数情報としてＬａを採用した場合のＬ成分フレームである。

本来であれば、復号化時にＬｂとＨｂに対して逆直交変換を行うことでｄ_ｂとｂを得ることができるが、Ｌａを採用したことにより、次式（１５）で表わされる誤差ｅ_ｂが生じる。

そこで、式（１５）を用いて誤差ｅ_ｂを求め、この誤差ｅ_ｂをＨｂに対して次式（１６）を用いて補正することでＨｂ’を得る。

Ｈｂ’＝Ｈｂ＋ｅ_ｂ （１６）
その後、補正後のＨｂ’を図１５（Ｇ）に示すように、元のＨｂの位置に格納する。このような誤差補正処理を行うことで、復号化時に発生する誤差を相殺することができる。

図１６は図１５の逆ＭＣを行う際の重複領域にＬｂを採用した場合の処理過程を示した図である。同図中、図１５と同一部分には同一符号を付し、その説明を省略する。図１６（Ｆ）は、重複領域に格納する係数情報としてＬｂを採用した場合のＬ成分フレームを示す。

本来であれば、復号化時にＬａとＨａに対して逆直交変換を行うことでｄ_ａとａを得ることができるが、Ｌｂを採用したことにより、次式（１７）で表わされる誤差ｅ_ａが生じる。

そこで、式（１７）を用いて誤差ｅ_ａを求め、この誤差ｅ_ａをＨａに対して次式（１８）を用いて補正することでＨａ’を得る。

Ｈａ’＝Ｈａ＋ｅ_ａ （１８）
その後、補正後のＨａ’を図１６（Ｇ）に示すように、元のＨａの位置に格納する。このような誤差補正処理を行うことで、復号化時に発生する誤差を相殺することができる。以上のような符号化処理を行うことで、ＭＣＴＦ符号化が完了する。

次に、本発明の逆ＭＣＴＦ復号化側における、多重参照領域部分に対する処理について図１７及び図１８と共に説明する。図１７は重複領域のサブバンド係数情報としてＬａを採用した場合の処理過程を示し、図１８は重複領域のサブバンド係数情報としてＬｂを採用した場合の処理過程を示す。

まず、図１７について説明するに、図１７（Ａ）は、（Ｎ−１）フレーム側のＬ成分フレームを示しており、このＬ成分フレームに対してＭＣを行うと、図１７（Ｂ）に示すようになる。ここで、図１７（Ａ）のＬ成分フレーム中の画素Ｌａは、符号化時に複数の領域から格納される多重領域に格納された画素であるため、図１７（Ｂ）に１４０２で示すようにＭＣによってＬａが複製される。本来であれば、画素１４０１の右側の画素１４０２はＬｂであるが、符号化の逆ＭＣによりＬａとなっている。

一方、図１７（Ｃ）は、Ｎフレーム側のＨ成分フレームを示しており、領域１４０３内の画素Ｈａと領域１４０４内の画素Ｈｂ’は、それぞれ図１７（Ｂ）の画素１４０１、１４０２のＬａに対応する。ここで、本発明の復号化に対応する符号化によって、次式
Ｌａ＝Ｌｂ−ｅ_ｂ （１９）
を満たすような誤差ｅ_ｂを求め、この誤差ｅ_ｂを本来のＨ成分のサブバンド係数情報であるＨｂに対して、次式を用いて補正することでＨｂ’を得る。

Ｈｂ’＝Ｈｂ＋ｅ_ｂ （２０）
このようにして求めたＨｂ’が図１７（Ｃ）に示すＨ成分フレームの領域１４０３内の画素Ｈａの右側の領域１４０４内の画素（Ｈ成分）に格納されていることに注意する。

図１７（Ｂ）及び（Ｃ）に示したフレーム間で逆直交変換を行うと、画素１４０１のＬａと領域１４０３内の画素Ｈａとの間で、画素１４０２のＬａと領域１４０４内の画素Ｈｂ’との間でそれぞれ逆直交変換が行われる。

この場合、それぞれの逆直交変換後の各サブバンド係数情報は、通常、前記の式（９）〜（１２）を適用することで求まる。この場合、本来の対応関係ではないＬａと誤差が補正されていない通常のＨｂとからは、正しい復号結果を得ることができない。

しかし、本実施の形態では、画素１４０２のＬａとの間で逆直交変換する領域１４０４内の画素は、前記式（２０）で誤差ｅ_ｂで補正された画素Ｈｂ’であるため、式（１９）及び式（２０）を通常の逆直交変換のｂを求める式である式（１１）に適用することで、式（２１）が得られ、これにより、結果として誤差ｅ_ｂが相殺されることから式（１１）と同じ結果を得ることができる。

このことは、本発明において、可逆復号が可能であることを示している。また、正しい対応関係である画素１４０１のＬａと領域１４０３の対応する画素Ｈａとから、式（９）を適用してａが復号化されるため、上記の逆直交変換により図１７（Ｅ）に示したように正しい復号結果が得られる。

また、上記の逆直交変換により図１７（Ｄ）に示す、ｄａは正しい対応関係である画素１４０１のＬａと領域１４０３の対応する画素Ｈａとから式（１０）により復号化され、画素１４０２のＬａと領域１４０４の対応する画素Ｈｂ’とから、数８に示す式（２２）を適用してｄｂが復号化され、これらｄａ、ｄｂは単独に復号化することが可能である。

このように、本発明の復号化に対応する符号化において、誤差ｅ_ｂによってＨｂ’が補正されていることを考慮した復号化構成をとることでｄａ、ｄｂ、ａ、ｂそれぞれ単独の復号化が可能となり、従来法のようにｂを求めるために、まず正しい対応関係であるＬａとＨａとから式（１０）を用いることでｄａを復号化し、得られたｄａを式（１３）に適用することで、ｂを復号化するといった処理の依存関係を排除することが可能となる。

また、本実施の形態では、ｄａ、ｄｂ、ａ、ｂを単独に復号した後に、図１７（Ｄ）に示したフレームに対して逆ＭＣを行うことにより、同図（Ｆ）に示すフレームを復号化できる。ここで、逆ＭＣを行う際の各基準領域の重なり順序情報は、予め符号化装置及び復号化装置で決められた所定の順序に従って行われる。ここでは所定の順序によって図１７（Ｆ）のｄにはｄａが採用される。従って、予めｄｂの計算を行わないような構成をとるようにしてもよい。

次に、本発明の逆ＭＣＴＦ復号化において、重複領域のサブバンド係数情報としてＬｂを採用した場合の処理過程について、図１８と共に説明する。図１８（Ａ）は、（Ｎ−１）フレーム側のＬ成分フレームを示しており、このＬ成分フレームに対してＭＣを行うと、図１８（Ｂ）に示すようになる。ここで、図１８（Ａ）のＬ成分フレーム中の画素Ｌｂは、符号化時に複数の領域から格納される多重領域に格納された画素である。Ｌｂは多重領域の画素であるため、図１８（Ｂ）に示す画素１４１２としてＭＣによってＬｂが複製される。本来であれば、画素１４１２の左側の画素１４１１はＬａであるが、符号化の逆ＭＣによりＬｂとなっている。

一方、図１８（Ｃ）は、Ｎフレーム側のＨ成分フレームを示しており、領域１４１３内の画素Ｈａ’と領域１４１４内の画素Ｈｂは、それぞれ図１８（Ｂ）の画素１４１１、１４１２のＬｂに対応する。ここで、本発明の復号化に対応する符号化によって、次式（２３）
Ｌｂ＝Ｌａ−ｅ_ａ （２３）
を満たすような誤差ｅ_ａを求め、この誤差ｅ_ａを本来のＨ成分のサブバンド係数情報であるＨａに対して、次式（２４）を用いて補正することでＨａ’を得る。

Ｈａ’＝Ｈａ＋ｅ_ａ （２４）
このようにして求めたＨａ’が図１８（Ｃ）に示すＨ成分フレームの領域１４１４内の画素Ｈｂの左側の領域１４１３内の画素（Ｈ成分）に格納されていることに注意する。

図１８（Ｂ）及び（Ｃ）に示したフレーム間で逆直交変換を行うと、画素１４１１のＬｂと領域１４１３内の画素Ｈａ’との間で、画素１４１２のＬｂと領域１４１４内の画素Ｈｂとの間でそれぞれ逆直交変換が行われる。

この場合、それぞれの逆直交変換後の各サブバンド係数情報は、通常、前記の式（９）〜（１２）を適用することで求まる。この場合、本来の対応関係ではないＬｂと誤差が補正されていない通常のＨａとからは、正しい復号結果を得ることができない。

しかし、本実施の形態では、画素１４１１のＬｂとの間で逆直交変換する領域１４１３内の画素は、前記式（２４）で求められた誤差ｅ_ａで補正された画素Ｈａ’であるため、式（２３）及び式（２４）を通常の逆直交変換のａを求める式である式（９）に適用することで、式（２５）が得られ、これにより、結果として誤差ｅ_ａが相殺されることから式（９）と同じ結果を得ることができる。

このことは、本発明において可逆復号が可能であることを示している。また、正しい対応関係である画素１４１２のＬｂと領域１４１４の対応する画素Ｈｂとから、式（１１）を適用してｂが復号化されるため、上記の逆直交変換により図１８（Ｅ）に示したように正しい復号結果が得られる。

また、上記の逆直交変換により図１８（Ｄ）に示す、ｄｂは正しい対応関係である画素１４１２のＬｂと領域１４１４の対応する画素Ｈｂとから式（１２）により復号化され、画素１４１１のＬｂと領域１４１３の対応する画素Ｈａ’とから、数１０に示す式（２６）を適用してｄａが復号化され、これらｄａ、ｄｂは単独に復号化することが可能である。

このように、本発明の復号化に対応する符号化において、誤差ｅ_ａによってＨａ’が補正されていることを考慮した復号化構成をとることでｄａ、ｄｂ、ａ、ｂそれぞれ単独の復号化が可能となり、従来法のようにａを求めるために、まず正しい対応関係であるＬｂとＨｂとから式（１２）を用いることでｄｂを復号化し、得られたｄｂを式（１４）に適用することで、ａを復号化するといった処理の依存関係を排除することが可能となる。

また、本実施の形態では、ｄａ、ｄｂ、ａ、ｂを単独に復号した後に、図１８（Ｄ）に示したフレームに対して逆ＭＣを行うことにより、同図（Ｆ）に示すフレームを復号化できる。ここで、逆ＭＣを行う際の各基準領域の重なり順序情報は、予め符号化装置及び復号化装置で決められた所定の順序に従って行われる。ここでは所定の順序によって図１８（Ｆ）のｄにはｄｂが採用される。従って、予めｄａの計算を行わないような構成をとるようにしてもよい。以上のような復号化処理を行うことで、本発明における逆ＭＣＴＦ復号化が完了する。

図１９は本発明になる復号化装置の他の実施の形態を備えた情報処理装置の一例のブロック図を示す。同図において、情報処理装置１５００は、入力装置１５０１、出力装置１５０２、中央処理制御装置１５０３、外部記憶装置１５０４、一時記憶装置１５０５、通信装置１５０６から構成されており、コンピュータである中央処理制御装置１５０３により逆ＭＣＴＦ処理を行う復号化装置の機能をプログラムにより実現させるものである。

ここで、上記のプログラムは、記録媒体から読み取られて中央処理制御装置１５０３に取り込まれてもよいし、ネットワークを介して通信装置１５０６により受信されて中央処理制御装置１５０３に取り込まれてもよい。

中央処理制御装置１５０３は、上記のプログラムにより、図１のＤＥＭＵＸ部１０２に相当するＤＥＭＵＸ手段１６０１、エントロピー復号化部１０３に相当するエントロピー復号手段１６０２、逆量子化部１０４に相当する逆量子化手段１６０３、入力管理部２０１に相当する入力管理手段１６０４、ＭＣ部２０２に相当するＭＣ手段１６０５、フレーム間復号化部２０３に相当するフレーム間復号化手段１６０６、重なり順序制御部２０４に相当する重なり順序制御手段１６０７、画素補間部１０９に相当する画素補間手段１６０９、フレーム間復号化管理手段１１０に相当するフレーム間復号手段１６１０をソフトウェア処理にて実現する。

本発明の復号化装置の一実施の形態のブロック図である。 本発明の復号化装置に対応するＭＣＴＦ符号化装置の一例のブロック図である。 図２に示す符号化装置の基本動作説明用フローチャートである。 図１の本発明装置の動作説明用フローチャートである。 Ｈａａｒ基底を用いたフレーム間のオクターブ分割の一例の説明図である。 本発明における、フレーム間のオクターブ分割の例を示すための図である。 本発明における、フレーム間のオクターブ合成の例を示すための図である。 多重参照領域に対するＭＣ及びサブバンド分割の過程を示すための図である。 多重参照領域を逆ＭＣする過程を示すための図である。 逆ＭＣＴＦの処理過程において、Ｌ成分フレームに対してＭＣを行い、ＭＣ後のフレームとＨ成分フレーム間において空間方向のフレーム間で対応するブロック内の、対応するサブバンド係数情報同士を逆直交変換するまでの過程を表す図である。 逆直交変換後の各サブバンド係数情報の格納や、逆ＭＣの処理過程を説明するための図である。 逆ＭＣを利用した従来法による多重参照領域の符号化を行う過程を示すための図である。 逆ＭＣを利用した従来法による多重参照領域の復号化を行う過程を示すための図（その１）である。 逆ＭＣを利用した従来法による多重参照領域の復号化を行う過程を示すための図（その２）である。 逆ＭＣを利用した多重参照領域の符号化を行う過程を示すための図（その１）である。 逆ＭＣを利用した多重参照領域の符号化を行う過程を示すための図（その２）である。 逆ＭＣを利用した本発明による多重参照領域の復号化を行う過程を示すための図（その１）である。 逆ＭＣを利用した本発明による多重参照領域の復号化を行う過程を示すための図（その２）である。 本発明の逆ＭＣＴＦ復号化プログラムを実行する情報処理装置の一例のブロック図である。 従来の逆ＭＣＴＦ復号化装置の一例のブロック図である。 図２０の動作説明用フローチャートである。

符号の説明

１０１ ビットストリーム
１０２ ＤＥＭＵＸ部
１０３ エントロピー復号化部
１０４ 逆量子化部
１０９ 画素補間部
１１０ フレーム間復号化管理部
２００ 逆ＭＣＴＦ部
２０１ 入力管理部
２０２ ＭＣ部
２０３ フレーム間復号化部
２０４ 重なり順序制御部
２０５ 逆ＭＣ部
１５００ 情報処理装置
１５０１ 入力装置
１５０２ 出力装置
１５０３ 中央処理制御装置
１６０１ ＤＥＭＵＸ手段
１６０２ エントロピー復号化手段
１６０３ 逆量子化手段
１６０４ 入力管理手段
１６０５ ＭＣ手段
１６０６ フレーム間復号化手段
１６０７ 重なり順序制御手段
１６０８ 逆ＭＣ手段
１６０９ 画素補間手段
１６１０ フレーム間復号化管理手段

Claims (2)

1. 符号化対象の動画像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動き補償を行い、動き補償後の前記他方のフレームと前記基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された、低域側分割周波数帯域のＬ成分のサブバンド係数情報を格納したＬ成分フレームと高域側分割周波数帯域のＨ成分のサブバンド係数情報を格納したＨ成分フレームとを生成し、これらＬ成分フレーム及びＨ成分フレームと前記動き補償で用いた動きベクトル情報を含むフレーム列信号を少なくとも量子化して得られたビットストリームを復号するための復号化装置であって、
   入来する前記ビットストリームから前記Ｌ成分フレームと前記Ｈ成分フレームと前記動きベクトル情報とを得る第１の復号化手段と、
   前記第１の復号化手段から取得した前記動きベクトル情報に基づいて、前記第１の復号化手段から取得した前記Ｌ成分フレームの動き補償を行う動き補償手段と、
   前記第１の復号手段から取得した前記Ｈ成分フレームと、前記動き補償手段により動き補償されたＬ成分フレームとに対して、フレーム間のサブバンド合成を行ってフレーム間復号化を行う第２の復号化手段と、
   前記第２の復号化手段から出力されるサブバンド合成後のフレームに対して、前記第１の復号化手段から取得した前記動きベクトル情報を逆方向に適用して動き補償すると共に、その動き補償では画素が埋められない領域を示す画素補間領域情報を生成して出力する逆動き補償手段と、
   前記第１の復号化手段から取得した前記Ｌ成分フレーム中の前記画素補間領域情報で示される領域の係数情報で、前記逆動き補償手段から出力される逆動き補償後のフレームに対して画素補間し、前記逆動き補償後のフレームと共に前記動画像信号の復号化信号を得る画素補間手段と
   を有することを特徴とする復号化装置。
2. 符号化対象の動画像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動き補償を行い、動き補償後の前記他方のフレームと前記基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された、低域側分割周波数帯域のＬ成分のサブバンド係数情報を格納したＬ成分フレームと高域側分割周波数帯域のＨ成分のサブバンド係数情報を格納したＨ成分フレームとを生成し、これらＬ成分フレーム及びＨ成分フレームと前記動き補償で用いた動きベクトル情報を含むフレーム列信号を少なくとも量子化して得られたビットストリームを復号するための復号化装置をコンピュータにより実現させるための復号化プログラムであって、
   前記コンピュータを、
   入来する前記ビットストリームから前記Ｌ成分フレームと前記Ｈ成分フレームと前記動きベクトル情報とを得る第１の復号化手段と、
   前記第１の復号化手段から取得した前記動きベクトル情報に基づいて、前記第１の復号化手段から取得した前記Ｌ成分フレームの動き補償を行う動き補償手段と、
   前記第１の復号手段から取得した前記Ｈ成分フレームと、前記動き補償手段により動き補償されたＬ成分フレームとに対して、フレーム間のサブバンド合成を行ってフレーム間復号化を行う第２の復号化手段と、
   前記第２の復号化手段から出力されるサブバンド合成後のフレームに対して、前記第１の復号化手段から取得した前記動きベクトル情報を逆方向に適用して動き補償すると共に、その動き補償では画素が埋められない領域を示す画素補間領域情報を生成して出力する逆動き補償手段と、
   前記第１の復号化手段から取得した前記Ｌ成分フレーム中の前記画素補間領域情報で示される領域の係数情報で、前記逆動き補償手段から出力される逆動き補償後のフレームに対して画素補間し、前記逆動き補償後のフレームと共に前記動画像信号の復号化信号を得る画素補間手段と
   して機能させることを特徴とする復号化プログラム。
   

Images