JP2007088833A - 符号化装置及び復号装置 - Google Patents

Abstract

【課題】 フレームＮ−１とフレームＮの相関が非常に低いような動画像に対してＭＣＴＦ処理を行う場合、フレームＮと似たＭＣ画像フレームを作成することが困難となり、結果としてＭＣＴＦの符号化効率を向上させることが困難になる。
【解決手段】 ＭＣＴＦ部１０６は、Ｎフレームを基準フレームとし、Ｎ−１フレームを参照フレームとするが、更にＮ−１フレームと補助参照フレームのうち、基準フレームとの間で最も効率の高い領域を選択して基準フレームと共にＭＣ処理を行うことにより、Ｎフレーム画像と同位相のＭＣ画像を作成する。続いて、ＭＣＴＦ部１０６は作成したＭＣ画像とＮフレームとの間で、動き補償時間方向フィルタ処理を行い、Ｈ成分フレーム画像を作成し、更にＭＣ処理で得た動きベクトルを基に、Ｈ成分フレーム画像の各画素をＮ−１フレームの対応する画素位置に重ね合わせることにより、Ｌ成分フレームを作成する。【選択図】 図１

Description

本発明は符号化装置及び復号装置に係り、特に動画像の時間方向に存在するフレーム間に対して動き補償を行うと共に、フレーム間のサブバンド分割を行って動画像信号を符号化する符号化装置、及び符号化された動画像信号を復号する復号装置に関する。

ＭＰＥＧ−１（Moving Picture Experts Group phase 1）、ＭＰＥＧ−２（Moving Picture Experts Group phase 2）、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）に代表される従来の符号化方式では、符号化対象の信号の時間方向の冗長性を排除するため、動き補償を用いた予測符号化を行っている。また、これらとは異なる符号化方式であるＡＶＣ／Ｈ２６４（MPEG-4 Part10 Advanced Video Coding/H264）では、複数の参照フレームを持つことで参照フレームの選択に自由度を持たせ、符号化効率の向上を図っているが、特定のフレーム間の動き補償を行った後に差分を符号化するという基本的な構成において従来の動画像符号化方式と同様である。

また、近年、３次元ＤＣＴ（Discrete Cosine Transform）や３次元ウェーブレット変換（wavelet transformation）などに代表されるように、動き補償予測を行いつつ、時間方向の直交変換を行う符号化方式の検討が各種行われている（例えば、特許文献１参照）。更に、従来の構成とは違う構成によってフレーム間の符号化を行う動き補償時間方向フィルタ処理（以降、ＭＣＴＦ）を行う符号化方式も検討されている（例えば、非特許文献１参照）。このＭＣＴＦを行う符号化方式は、複数のフレームによって構成されたＧＯＰ（Group Of Picture）を単位として処理を行い、このＧＯＰに対してフレーム間の動き補償、及びフレーム間のサブバンド分割を行うことにより、より効率的な符号化を目指している。

図１１は従来の一般的なＭＣＴＦを用いた符号化装置の一例のブロック図を示す。同図に示すように、この従来の符号化装置は、少なくとも、入力管理部２０２、ＭＣＴＦ部２０３、量子化部２０４、エントロピー符号化部２０５、及び多重化（ＭＵＸ）部２０６により構成される。入力管理部２０２は、入力される動画像フレーム２０１の管理を行う機能を有する。一般に、この入力管理部２０２は、ＧＯＰを構成するために必要なフレーム数を、入力される動画像フレーム２０１から取得し、後述するＭＣＴＦ部２０３に対して処理対象となるフレームを通知する機能を有する。

ＭＣＴＦ部２０３は、入力管理部２０２によって管理されているＧＯＰ内のフレームから、処理対象となる少なくとも２枚のフレーム（Ｎ−１フレームとＮフレーム）を取得する機能を有する。ここで、Ｎ−１フレーム側は動き補償される側のフレームであるものとし、Ｎフレーム側は動き推定（以降、ＭＥとする）及び動き補償（以降、ＭＣとする）を行う際の基準となるフレームであるものとする。ＭＣＴＦ部２０３は、Ｎ−１フレーム、Ｎフレームに対してＭＥを行うことで、動きベクトル情報を取得して、後述のエントロピー符号化部２０５に対し通知する機能を有する。

また、ＭＣＴＦ部２０３は、取得した動きベクトル情報を用いてＮ−１フレームからＭＣを行い、Ｎ−１フレーム内の各画素とＮフレーム内の各画素との対応関係を求めた後、この対応関係にある各画素に対してサブバンド分割を行い、更に、サブバンド分割によって得られる低周波数成分（Ｌ成分）をＮ−１フレームの対応する位置に格納し、高周波数成分（Ｈ成分）をＮフレームの対応する位置に格納する機能を有する。ＭＣＴＦ部２０３は、この操作をフレーム内の全画素に対して行うことでＭＣＴＦの処理が完了する。次の処理対象となる少なくとも２枚のフレームが存在する場合には、入力管理部２０２からそれらのフレームを取得し、上述の処理を繰り返すことでＭＣＴＦの処理を継続する。

量子化部２０４は、ＭＣＴＦ部２０３から出力されるＭＣＴＦ後の係数情報に対して所定の量子化を行い、量子化後の係数情報を後述のエントロピー符号化部２０５に対し通知する。エントロピー符号化部２０５は、量子化部２０４から通知される係数情報と、ＭＣＴＦ部２０３から通知される動きベクトル情報を取得し、取得した係数情報と動きベクトル情報に対してエントロピー符号化を行い、係数情報ビット列、動きベクトル情報ビット列をそれぞれ生成し、生成した係数情報ビット列及び動きベクトル情報ビット列を後述のＭＵＸ部２０６に対し通知する機能を有する。

ＭＵＸ部２０６は、エントロピー符号化部２０５から取得した係数情報ビット列及び動きベクトル情報ビット列と、復号時に必要となる各種の制御情報を多重化してビットストリーム２０７を生成し、符号化出力する機能を有する。

図１２は、図１１に示した一般的なＭＣＴＦを用いた従来の符号化装置の動作を表すフローチャートである。以下に図１２を用いて図１１に示した従来の符号化装置の動作を説明する。まず、入力管理部２０２は、入力される動画像フレーム２０１から１ＧＯＰを満たす分の動画像フレームを蓄積する（ステップＳ３０１）。１ＧＯＰの処理に必要なフレーム数を蓄積すると、入力管理部２０２は、ＭＣＴＦ部２０３に処理対象となる少なくとも２フレームを通知する。

ＭＣＴＦ部２０３は、入力管理部２０２から処理対象となる少なくとも２フレーム（Ｎ−１フレームとＮフレーム）を取得し、ＭＣＴＦ処理を行う（ステップＳ３０２）。１ＧＯＰ内で必要なＭＣＴＦ処理が完了すると、ＭＣＴＦ部２０３は、サブバンド分割後の係数情報を量子化部２０４に通知すると共に、ＭＥによって取得したベクトル情報を、エントロピー符号化部２０５に通知する。

量子化部２０４は、ＭＣＴＦ部２０３から取得したサブバンド分割後の係数情報の量子化を行う（ステップＳ３０３）。量子化後の係数情報は、エントロピー符号化部２０５に供給する。エントロピー符号化部２０５は、量子化部２０４から量子化後の係数情報を取得すると共に、ＭＣＴＦ部２０３から動きベクトル情報を取得し、取得したそれぞれの情報に対して所定のエントロピー符号化を行う（ステップＳ３０４）。その後、エントロピー符号化後に得られる係数情報ビット列、動きベクトル情報ビット列をＭＵＸ部２０６に供給する。

ＭＵＸ部２０６は、エントロピー符号化部２０５から入力された係数情報ビット列、動きベクトル情報ビット列を、復号時に必要となる各種の制御情報を多重化してビットストリームを生成する（ステップＳ３０５）。ＭＵＸ部２０６は、生成したビットストリームを符号化結果として出力することで、一連の符号化処理が完了する。

図１３は図１１の符号化装置により得られたビットストリームを復号する一般的なＭＣＴＦ復号装置の一例のブロック図を示す。図１３に示す従来の復号装置は、少なくとも分離部（ＤＥＭＡＸ部）１１０２、エントロピー復号部１１０３、逆量子化部１１０４、逆ＭＣＴＦ部１１０５、復号フレームバッファ１１０６により構成される。

ＤＥＭＵＸ部１１０２は、取得したビットストリーム１１０１から、動画像信号を復号するための係数情報ビット列と、動きベクトル情報ビット列を取得する機能と、取得した係数情報ビット列と動きベクトル情報ビット列をエントロピー復号部１１０３に対し通知する機能を有する。

エントロピー復号部１１０３は、ＤＥＭＵＸ部１１０２から動きベクトル情報ビット列と係数情報ビット列を取得する機能と、取得した動き情報ビット列と係数情報ビット列に対し、エントロピー復号を行い、動きベクトル情報と係数情報を生成する機能と、生成した動きベクトル情報を後述する逆ＭＣＴＦ部１１０５に通知する機能と、生成した係数情報を後述する逆量子化部１１０４に対し通知する機能を有する。

逆量子化部１１０４は、ＤＥＭＵＸ部１１０２から取得した係数情報に対して所定の逆量子化を行う機能と、逆量子化後の係数情報を後述する逆ＭＣＴＦ部１１０５に対し通知する機能を有する。逆ＭＣＴＦ部１１０５は、エントロピー復号部１１０３から動きベクトル情報を取得する機能と、逆量子化部１１０４から係数情報を取得する機能と、後述する復号フレームバッファ１１０６から参照フレームとして用いる復号済み画像フレームを取得する機能を有する。また、逆ＭＣＴＦ部１１０５は、動きベクトル情報と、係数情報と、復号済み画像フレームを用い、逆ＭＣＴＦ処理を行い、画像フレームを作成する機能を有する。また、逆ＭＣＴＦ部１１０５は作成した画像フレームを後述する復号フレームバッファ１１０６に通知する機能を有する。

復号フレームバッファ１１０６は、逆ＭＣＴＦ部１１０５から画像フレームを取得し、少なくとも１ＧＯＰ分の復号済み画像フレームを蓄積し、参照フレームとして用いる復号済み画像フレームを逆ＭＣＴＦ部１１０５に対し通知する機能を有する。また、復号フレームバッファ１１０６は、蓄積した復号済み画像フレームを動画像フレームとして出力する機能を有する。

図１４は図１３に示した一般的なＭＣＴＦを用いた従来の復号装置の動作を表すフローチャートを示す。以下に図１４を用いて図１３に示した従来の復号装置の動作を説明する。まず、ＤＥＭＵＸ部１１０２は、入力されるビットストリーム１１０１から動きベクトル情報ビット列と係数情報ビット列を取り出した後（ステップＳ４０１）、動きベクトル情報ビット列と係数情報ビット列をそれぞれエントロピー復号部１１０３に対し供給する。

エントロピー復号部１１０３は、ＤＥＭＵＸ部１１０２から供給された動きベクトル情報ビット列と係数情報ビット列を取得し、それぞれのビット列に対して所定のエントロピー復号を行い（ステップＳ４０２）、その後、エントロピー復号後に得られた動きベクトル情報をＭＣＴＦ部１１０５に対し供給し、係数情報を逆量子化部１１０４に対し供給する。

逆量子化部１１０４は、エントロピー復号部１１０３から取得した係数情報に対し所定の逆量子化を行い（ステップＳ４０３）、得られた逆量子化後の係数情報を逆ＭＣＴＦ部１１０５に供給する。逆ＭＣＴＦ部１１０５は、エントロピー復号部１１０３から動きベクトル情報を取得し、逆量子化部１１０４から係数情報を取得し、復号フレームバッファ１１０６から復号済み画像フレームを取得して、逆ＭＣＴＦ処理を行い、画像フレームの復号を行う（ステップＳ４０４）。そして、復号した画像フレームを復号フレームバッファ１１０６に供給する。復号フレームバッファ１１０６は、逆ＭＣＴＦ部１１０５から出力された復号済み画像フレームを一時保持した後、復号された動画像信号として出力する（ステップＳ４０５）。これにより、一連の復号処理が終了する。

特開平６−２１７２９１号公報 Seung-Jong Choi and W.Woods,"Motion-Compensated 3-D Subband Coding of Video",IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL.8,NO.2,FEBRUARY 1999

従来の符号化装置のＭＣＴＦ部２０３による動き補償時間方向フィルタ処理（ＭＣＴＦ）においては、Ｎ−１フレーム側が動き補償（ＭＣ）される側のフレーム、Ｎフレーム側が動き推定（ＭＥ）及びＭＣを行う際の基準となるフレームであるものとすると、まず、Ｎ−１フレーム、Ｎフレームに対してＭＥを行うことで、動きベクトル情報を取得する。次に、取得した動きベクトル情報を用いてＮ−１フレームからＭＣを行い、Ｎ−１フレーム内の各画素とＮフレーム内の各画素との対応関係を求める。その後、この対応関係にある各画素に対してサブバンド分割を行う。サブバンド分割によって得られるＬ成分の係数情報をＮ−１フレームの対応する位置に格納し、Ｈ成分の係数情報をＮフレームの対応する位置に格納する。この操作をフレーム内の全画素に対して行う。

図１５はフレーム間に対して行われるサブバンド分割において、直交ウェーブレット変換のＨａａｒ基底を用いた場合の一般的なオクターブ分割の過程を示したものである。まず、図１５（Ａ）から（Ｃ）までがオクターブ分割の１階分解を行う際の処理過程を示している。ここで、図１５に示されているフレームは、フレーム番号０から７までの８フレームを１ＧＯＰとし、フレーム間のオクターブ分割はこの１ＧＯＰを単位として行うものとする。また、最初のオクターブ分割１階分解を行う際の対象となるフレーム区間は、１ＧＯＰ全体であるものとする。

まず、ここではウェーブレットの直交基底にＨａａｒ基底を用いるため、図１５（Ａ）において、２フレームを単位として対応する空間位置同士の画素間で直交変換を行う。直交変換により、Ｌ成分フレーム、Ｈ成分フレームが、図１５（Ｂ）に示すように生成される。ここで、「Ｌ１」はオクターブ分割１階分解のＬ成分フレームであることを表し、その後の「−番号」は、ＧＯＰ内のフレーム位置を表す。従って、例えば、「Ｌ１−０」は、Ｌ成分フレーム、オクターブ分割１階分解、ＧＯＰ内の０番目のフレームであることを表す。通常、Ｈａａｒ基底による直交変換では、２フレームを単位として変換を行い、図１５（Ｂ）に示すように偶数番目のフレームにＬ成分、奇数番目のフレームにＨ成分を格納する。

次に、図１５（Ｃ）から（Ｄ）までは、オクターブ分割２階分解の処理過程を示している。オクターブ分割２階分解は、１階分解後Ｌ成分フレームであるフレーム、すなわちＬ１−０、Ｌ１−２、Ｌ１−４、Ｌ１−６について行う。オクターブ分割２階分解では、オクターブ分割１階分解の場合と同様に、２フレームを単位として直交変換を行い、図１５（Ｄ）に示すように、Ｌ２−０、Ｈ２−２およびＬ２−４、Ｈ２−６を生成する。

以下、同様に、図１５（Ｅ）、（Ｆ）に示すように、Ｌ成分フレームＬ２−０及びＬ２−４に対してオクターブ３階分解を行って、Ｌ３−０及びＨ３−４を生成し、最終的に図１５（Ｇ）に示すような１つのＬ成分フレームＬ３−０と、７つのＨ成分フレームＨ３−４、Ｈ２−２、Ｈ２−６、Ｈ１−１、Ｈ１−３、Ｈ１−５、Ｈ１−７からなる１ＧＯＰ分の係数フレーム列を得ることで、１ＧＯＰのフレーム間符号化が完了する。

図１６は従来の各Ｎフレーム、Ｎ−１フレーム間のＭＣＴＦ処理の過程の説明図を示す。まず、Ｎ−１フレーム画像（Ｎ−１フレーム目の画像）６０１とＮフレーム画像（Ｎフレーム目の画像）６０２とからＭＣ画像を作成する。ここで、Ｎフレーム画像６０２が基準フレーム、Ｎ−１フレーム画像６０１が参照フレームとなり、ＭＥ処理及びＭＣ処理を行うことにより、Ｎフレーム画像６０２と同位相のＭＣ画像フレーム６０３が作成される。

次に、ＭＣ画像フレーム６０３とＮフレーム画像６０２との間で、動き補償時間方向フィルタ処理を行い、Ｈ成分フレーム画像６０４を作成する。次に、Ｈ成分フレーム画像６０４に対して逆ＭＣ処理を行う。すなわち、ＭＣ処理で得た動きベクトルを基に、Ｈ成分フレーム画像６０４の各画素をＮ−１フレーム画像６０１の対応する画素位置に重ね合わせることにより、Ｌ成分フレーム画像６０５を作成する。

図１７は従来の各Ｎフレーム、Ｎ−１フレーム間の逆ＭＣＴＦ処理の過程の説明図を示す。まず、図示しない動きベクトルＭＶが入力され、Ｌ成分フレーム７０１及びＨ成分フレーム７０２のうち、Ｈ成分フレーム７０２を動きベクトルＭＶを用いてＬ成分フレーム７０１と同位相のＭＣ画像を作成し、Ｌ成分フレーム７０１と作成した上記ＭＣ画像との差分を取り、Ｎ−１フレーム７０３を作成する。

次に、上記の動きベクトルＭＶを逆に使い、上記のＮ−１フレーム７０３を参照フレームとしてＨ成分フレーム７０２と同位相のＭＣ画像７０４を作成する。続いて、Ｈ成分フレーム７０２とＭＣ画像７０４に対し、動き補償時間方向フィルタ処理を行い、Ｎフレーム７０５を作成する。

ここで、ＭＣＴＦの符号化効率を向上するためには、できるだけ高周波成分を取り除くこと、すなわち、Ｈ成分フレームの情報量をできるだけ少なくすることが重要である。これは以下の理由による。上述したように、ＭＣＴＦでは２つのフレームを、Ｌ成分フレームとＨ成分フレームに分解するが、Ｌ成分フレームには大まかな情報が、Ｈ成分フレームにはディテールが含まれることになる。通常、隣接する２フレームは、相関が非常に強く、多くの情報がＬ成分フレームに集中されるべきである。その際、Ｈ成分フレーム内の情報も必然的に小さくなる。

符号化対象は、Ｌ成分フレーム１枚と情報量の少ないＨ成分フレーム１枚である。ところが、上記のＬ成分フレームへの情報の集中がうまくいかない場合、Ｈ成分フレームに多くの情報が残ってしまい、この場合はＬ成分フレーム１枚と、情報量をあまり削れなかったＨ成分フレーム１枚とを符号化することになる。この場合よりも、多くの情報が集中されたＬ成分フレーム１枚と、情報量の少ないＨ成分フレーム１枚とを符号化した方が有利であるのは明らかであり、そのためにできるだけＨ成分フレームの情報量を少なくすることが必要となる。

Ｈ成分フレームの情報量を削減するには、図１６に示したＭＣ画像フレーム６０３と、Ｎフレーム画像６０２との誤差が小さくなればよいが、そのためにはできるだけＮフレーム画像６０２に近いＭＣ画像フレーム６０３を作成すればよいことになる。

ところが、従来の符号化装置では、フレームＮ−１とフレームＮの相関が非常に低いような動画像に対してＭＣＴＦ処理を行う場合、参照フレームとなるＮ−１フレーム画像６０１内に基準フレームとなるＮフレーム画像６０２と似たブロックがある確率は低く、Ｎフレーム画像６０２と似たＭＣ画像フレーム６０３を作成することが困難となる問題が生じ、結果としてＭＣＴＦの符号化効率を向上させることが困難になる。

本発明は上記の点に鑑みなされたもので、基準フレームであるＮフレームと、参照フレームであるＮ−１フレームとの間の相関が低い場合に、基準フレームと似た参照フレームを用意することにより、基準フレームと似たＭＣ画像フレームを作成し、ＭＣＴＦの符号化効率を向上させることができる符号化装置を提供することを目的とする。

また、本発明の他の目的は、本発明の符号化装置により得られた符号化出力を復号することのできる復号装置を提供することにある。

上記の目的を達成するため、第１の発明は、符号化対象の動画像信号の時間方向に存在する異なる２つのフレームのうち、一方のフレームを基準フレームとして他方のフレームの動き補償を行い、動き補償後の他方のフレームと基準フレームとの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を得る動き補償時間方向フィルタ処理を行い、フレーム列信号に対して量子化を行う符号化装置であって、
動き補償時間方向フィルタ処理されたＬ成分フレームを補助参照フレームとして蓄積する補助参照フレーム格納手段と、符号化対象の動画像信号の時間方向に存在する異なる２つのフレームのうち、一方のフレームを基準フレームとし、かつ、他方のフレームを参照フレームとし、基準フレームに基づき、参照フレームと補助参照フレーム格納手段からの２つのフレームとは異なる補助参照フレームとの動きをそれぞれ推定して、基準フレームと参照フレームと補助参照フレームとの対応する各ブロックの相対位置関係を示す動きベクトル情報を取得する動き推定手段と、動きベクトル情報に基づいて、参照フレームと補助参照フレームのうち、ブロック毎に符号化効率の高い方のフレームを選択して動き補償を行い動き補償画像を生成すると共に、ブロック毎に選択したフレームを示す参照フレーム制御情報を生成する動き補償手段と、動き補償画像に対して動き補償時間方向フィルタ処理を行って、２つの分割周波数帯域のうち高域側分割周波数帯域のＨ成分の係数情報を格納したＨ成分フレームを生成するＨ成分フレーム生成手段と、Ｈ成分フレーム生成手段で生成されたＨ成分フレームに対して、動き推定手段によって取得した動きベクトル情報を逆方向に適用して参照フレームとの対応する画素同士で直交変換して、２つの分割周波数帯域のうち低域側分割周波数帯域のＬ成分の係数情報を格納したＬ成分フレームを生成すると共に、生成したそのＬ成分フレームを補助参照フレーム格納手段に蓄積するＬ成分フレーム生成手段と、Ｈ成分フレーム生成手段で生成されたＨ成分フレームとＬ成分フレーム生成手段で生成されたＬ成分フレームとからなるフレーム列信号に対して量子化を行う量子化手段とを少なくとも備え、量子化後のフレーム列信号と参照フレーム制御情報と動きベクトル情報とを少なくとも出力することを特徴とする。

この発明では、あるフレームのペアを符号化する際に、通常の参照フレームとは別に、既に符号化を終えたＬ成分フレームから得た補助参照フレームを参照可能とし、マクロブロック毎に通常の参照フレーム、又は補助参照フレーム、又は両者の中から、最も効率の高いと思われる領域を選択し、動き補償に使用することにより、通常の動き補償時間方向フィルタ処理（ＭＣＴＦ）では相関が高くないペア（基準フレームであるＮフレームと参照フレームであるＮ−１フレーム）で動き推定（ＭＣ）精度が低く、符号化効率が悪くなるような場合でも、基準フレームと似たＭＣ画像を作成することにより、動き補償時間方向フィルタ処理（ＭＣＴＦ）後のＨ成分フレームの情報を削減することができる。

また、上記の目的を達成するため、第２の発明は、第１の発明の量子化後のフレーム列信号と参照フレーム制御情報と動きベクトル情報とを少なくとも入力として受け、量子化後のフレーム列信号から基準フレームの動画像信号を復号する復号装置であって、量子化後のフレーム列信号を逆量子化して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を復号する逆量子化手段と、動きベクトル情報を用いて逆量子化手段からのフレーム列信号中のＨ成分フレームに対して動き補償を行って、フレーム信号中のＬ成分フレームと同位相の動き補償画像を生成し、その動き補償画像とフレーム列信号中のＬ成分フレームとの差分をとり、第１の発明の符号化装置で用いた参照フレームを復号する参照フレーム復号手段と、復号された基準フレーム及び参照フレームを蓄積するフレーム格納手段と、動きベクトル情報を逆方向に適用して、復号された参照フレームと参照フレーム制御情報に基づいてフレーム格納手段から補助参照フレームとして読み出された基準フレームとのうち、ブロック毎に符号化効率の高い方のフレームを選択して動き補償を行い、逆量子化手段からのＨ成分フレームと同位相の動き補償画像を生成する動き補償手段と、逆量子化手段からのＨ成分フレームと動き補償手段で生成された動き補償画像との対応する画素同士で直交変換して、参照フレームとは異なるフレームである基準フレームを復号する逆方向の動き補償時間方向フィルタ処理を行うと共に、復号した基準フレームを補助参照フレーム格納手段に蓄積する処理手段とを少なくとも有することを特徴とする。

この発明では、量子化後のフレーム列信号と参照フレーム制御情報と動きベクトル情報とを少なくとも入力として受け、量子化後のフレーム列信号から基準フレームの動画像信号を復号するに際し、符号化装置で用いた参照フレームを復号し、その参照フレームと参照フレーム制御情報に基づいてフレーム格納手段から補助参照フレームとして読み出された基準フレームとのうち、ブロック毎に符号化効率の高い方のフレームを選択して動き補償を行い、逆量子化手段からのＨ成分フレームと同位相の動き補償画像を生成するようにしたため、符号化装置側で削減されたＨ成分フレームの情報量を復元することができる。

本発明の符号化装置によれば、基準フレーム及び参照フレームとなるＮフレームとＮ−１フレームとの間の相関が低い場合においても、基準フレームと似たＭＣ画像を作成することにより、動き補償時間方向フィルタ処理（ＭＣＴＦ）後のＨ成分フレームの情報を削減することができ、その結果、ＭＣＴＦの符号化効率を向上させることができる。

また、本発明の復号装置によれば、符号化装置側で削減されたＨ成分フレームの情報量を復元するようにしたため、通常のＭＣＴＦ処理では相関が高くないペア（ＮフレームとＮ−１フレーム）であっても、基準フレーム（Ｎフレーム）の動画像信号を正常に復号できる。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる符号化装置の一実施の形態のブロック図を示す。本実施の形態は、符号化対象の動画像信号の時間方向に存在するＮフレーム及びＮ−１フレームのうちのＮフレームを基準フレームとしてＮ−１フレームの動き補償（ＭＣ）を行い、動き補償後のＮ−１フレームとＮフレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を得る動き補償時間方向フィルタ処理（ＭＣＴＦ）を行い、上記のフレーム列信号に対して量子化及びエントロピー符号化を行う符号化装置であって、図１に示すように、入力管理部１０２、補助参照フレームバッファ１０３、補助参照フレーム制御部１０４、符号化方向制御部１０５、ＭＣＴＦ部１０６、量子化部１０７、エントロピー符号化部１０８、多重化部（ＭＵＸ部）１０９によって構成される。

入力管理部１０２は、入力される符号化対象の動画像信号である動画像フレーム１０１の管理を行う機能を有し、入力される動画像フレーム１０１からＧＯＰを構成するために必要な数のフレームを取得、格納し、後述するＭＣＴＦ部１０６に対して処理対象となるフレームを供給する。また、入力管理部１０２は後述する補助参照フレームバッファ１０３に対し補助参照フレームとして用いる動画像フレームを供給する機能も有する。

補助参照フレームバッファ１０３は、入力管理部１０２から補助参照フレームとして用いる動画像フレームを取得して、その補助参照フレームを少なくとも１フレーム分格納する機能を有する。また、補助参照フレームバッファ１０３は、後述する補助参照フレーム制御部１０４から補助参照フレーム制御情報を取得する機能や、後述するＭＣＴＦ部１０６に対し補助参照フレームを供給する機能も有する。補助参照フレームバッファ１０３に格納される動画像フレームは、現在符号化処理中のＧＯＰ内のフレームであってもよいし、既に符号化を終えたＧＯＰ内のフレームであってもよい。

補助参照フレーム制御部１０４は、後述するＭＣＴＦ部１０６において、ＭＣＴＦ処理を行う際に用いる補助参照フレームを決定する補助参照フレーム制御情報を生成し、生成した補助参照フレーム制御情報を、補助参照フレームバッファ１０３と、後述するＭＣＴＦ部１０６に対し通知する機能を有する。また、補助参照フレーム制御部１０４は、後述するＭＣＴＦ部１０６からＭＣＴＦ処理過程情報を取得する機能を有する。上記の補助参照フレームの決定には、所定の方法を用いる。例えば、ＧＯＰの最初で予め決定してもよいし、ＭＣＴＦ部１０６から取得したＭＣＴＦ処理過程情報を用い、適応的に決定してもよい。

符号化方向制御部１０５は、ＭＣＴＦ処理を行う方向を決定してＭＣＴＦ部１０６に通知する機能を有する。符号化方向の決定には所定の方法を用いる。例えば、ＧＯＰの最初で符号化方向を予め決定してもよいし、各ＧＯＰで、両方向の符号化を行い、処理結果に応じて符号化方向の決定を行ってもよい。両方向符号化を行う場合は、符号化方向制御部１０５は一方向の処理結果を記憶する機能を有する。

ＭＣＴＦ部１０６は、入力管理部１０２より取得した処理対象フレームと、補助参照フレームバッファ１０３より取得した補助参照フレームと、符号化方向制御部１０５より取得した符号化方向情報とにより、補助参照フレーム制御部１０４より取得した補助参照フレーム制御情報を基に、基準フレームと参照フレーム又は補助参照フレームの対応する各ブロックの相対位置関係を示す動きベクトル情報を生成し、ＭＣＴＦ処理を行い、係数情報を生成する。

また、ＭＣＴＦ部１０６は、補助参照フレーム制御部１０４に対しＭＣＴＦ処理の処理過程情報を出力する機能と、後述する量子化部１０７に対し係数情報を出力する機能と、エントロピー符号化部１０８に対し動きベクトル情報と符号化方向情報と参照フレーム制御情報を出力する機能を有する。

量子化部１０７は、ＭＣＴＦ部１０６から出力フレームとして得られる係数情報（換言すると、動き補償後の参照フレーム又は補助参照フレームと基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分の係数情報を格納したＬ成分フレームと、高域側分割周波数帯域のＨ成分の係数情報を格納したＨ成分フレームとからなるフレーム列信号）を取得し、その取得した係数情報に対して所定の量子化を行い、得られた量子化後の係数情報をエントロピー符号化部１０８に対して出力する。

エントロピー符号化部１０８は、量子化部１０７から量子化後の係数情報を取得し、ＭＣＴＦ部１０６から動きベクトル情報と符号化方向情報と参照フレーム制御情報を取得し、これら取得した各情報に対して各々所定のエントロピー符号化を行い、係数情報ビット列と、動きベクトル情報ビット列と、符号化方向情報ビット列と、参照フレーム制御情報ビット列を生成する。

また、エントロピー符号化部１０８は、生成した係数情報ビット列と動きベクトル情報ビット列と符号化方向情報ビット列と参照フレーム制御情報を後述するＭＵＸ部１０９に出力する。ＭＵＸ部１０９は、エントロピー符号化部１０８から出力された、係数情報ビット列と、動きベクトル情報ビット列と、符号化方向情報ビット列と、参照フレーム制御情報ビット列を取得し、取得したこれら係数情報ビット列と、動きベクトル情報ビット列と、符号化方向情報ビット列と、参照フレーム制御情報ビット列と共に、復号時に必要となる各種の制御情報を多重化してビットストリーム１１０を生成し、符号化出力する。

次に、本実施の形態の動作について、図２の動作説明用フローチャートと共に説明する。まず、図１の入力管理部１０２は、入力される動画像フレーム１０１を取得し（ステップＳ１）、１ＧＯＰを満たす分の動画像フレーム１０１を蓄積する（ステップＳ２）。符号化方向制御部１０５は、入力管理部１０２に蓄積されている動画像フレームに基づいて、例えば、複数の動画像フレームからなるＧＯＰの最初で予め決定した、ＭＣＴＦ処理を行う符号化方向、あるいは各ＧＯＰで、両方向の符号化を行い、処理結果に応じて決定した、ＭＣＴＦ処理を行う符号化方向を示す符号化方向情報を生成し、ＭＣＴＦ部１０６に供給する（ステップＳ３）。

また、入力管理部１０２は、ＭＣＴＦの対象となるフレーム群であるＮ−１フレームとＮフレームをセットし（ステップＳ４）、ＭＣＴＦ部１０６に供給する。補助参照フレーム制御部１０４は、ＭＣＴＦ部１０６からのＭＣＴＦの処理過程情報に基づいて、補助参照フレームバッファ１０３に蓄積されている動画像フレームの中からＭＣＴＦ処理に使用する補助参照フレームを決定し、決定した補助参照フレームを指示する補助参照フレーム制御情報を補助参照フレームバッファ１０３に供給する。補助参照フレームバッファ１０３は、補助参照フレーム制御部１０４で決定した補助参照フレームをＭＣＴＦ部１０６に対し出力する（ステップＳ５）。

ＭＣＴＦ部１０６は、入力管理部１０２から取得したＭＣＴＦ対象フレーム群（Ｎ−１フレームとＮフレーム）と、符号化方向制御部１０５から取得した符号化方向情報と、補助参照フレームバッファ１０３から取得した補助参照フレームとを使用し、上記のＮフレームを基準フレーム、上記のＮ−１フレームを参照フレームとし、これらフレームと補助参照フレームのＭＥ及びＭＣを行い、ＭＣ後のＮ−１フレーム又は補助参照フレームと基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を得るＭＣＴＦ処理を行う。その後、ＭＣＴＦ部１０６は、動きベクトル情報、符号化方向情報、参照フレーム制御情報をエントロピー符号化部１０８に供給し、フレーム列信号である係数情報を量子化部１０７に供給する（ステップＳ６）。

入力管理部１０２は、ＭＣＴＦ部１０６によるＭＣＴＦ処理が所定のオクターブ分割数に至ったかどうかを判定し、所定のオクターブ分割数に至っていなければ前記ステップＳ４へ戻り、ＭＣＴＦの対象となるフレーム群をＭＣＴＦ部１０６に再びセットし、所定のオクターブ分割数に至っていれば次のステップＳ８へ進む（ステップＳ７）。ステップＳ８では、量子化部１０７による係数情報に対する所定の量子化処理を行い、エントロピー符号化部１０８に対し量子化後の係数情報を出力する。

エントロピー符号化部１０８は、ＭＣＴＦ部１０６から取得した動きベクトル情報、符号化方向情報、参照フレーム制御情報と、量子化部１０７から取得した量子化後の係数情報それぞれに対し、所定のエントロピー符号化を行い（ステップＳ９）、動きベクトル情報ビット列、係数情報ビット列、符号化方向情報ビット列、参照フレーム制御情報ビット列を生成する。その後、生成した動きベクトル情報ビット列、係数情報ビット列、符号化方向情報ビット列、参照フレーム制御情報ビット列をＭＵＸ部１０９に出力する。

ＭＵＸ部１０９は、エントロピー符号化部１０８から上記の動きベクトル情報ビット列、係数情報ビット列、符号化方向情報ビット列及び参照フレーム制御情報ビット列を取得すると、復号時に必要となる各種の制御情報と共に、符号化出力を行うために多重化を行い、ビットストリーム１１０を構成する（ステップＳ１０）。ＭＵＸ部１０９は、生成したビットストリーム１１０を出力することで、一連の符号化処理が完了する。

次に、本実施の形態のＭＣＴＦの処理過程について更に説明する。図３は本実施の形態のＭＣＴＦの処理過程の説明図を示す。本実施の形態では図３に示すように、図１６に示した従来のＭＣＴＦの処理過程とは異なり、ＭＣの際に、補助参照フレーム３０１を用いることにより、従来に比べＭＣ画像フレームの精度を高め、これによりＬ成分フレームの情報量を削減し、ＭＣＴＦ処理の符号化効率を向上させるようにしたものである。

図１６を用いて従来のＭＣＴＦ処理の問題点について説明する。図１６は、Ｎ−１フレーム６０１とＮフレーム６０２の相関が低い場合の例である。このような場合、Ｎフレーム６０２の網掛け部分と類似したブロックがＮフレーム６０１内に存在しないため、Ｎ−１フレーム６０１を参照フレームとして用いたＭＣ画像フレーム６０３の精度はそれほど高くならない。そのため、通常のＭＣＴＦ処理ではＨ成分フレーム６０４の情報量が多くなり、符号化効率が下がってしまう問題が存在することは前述した通りである。

それに対し、本実施の形態では、図３に示すように、まず、図１６と同じ相関が低いＮ−１フレーム画像６０１とＮフレーム画像６０２のうち、Ｎフレーム画像６０２を基準フレームとし、Ｎ−１フレーム画像６０１を参照フレームとするが、更にＮ−１フレーム画像６０１と補助参照フレーム３０１のうち、基準フレーム（Ｎフレーム画像）６０２との間で最も効率の高い領域を選択して基準フレーム６０２と共にＭＣ処理を行うことにより、Ｎフレーム画像６０２と同位相のＭＣ画像３０３を作成する。

ここで、補助参照フレーム３０１は、後述するように、Ｎ−１フレーム画像６０１とＮフレーム画像６０２の処理の際に、既に処理の終了したＬ成分フレームから取られる。従って、符号化方向がフレーム番号昇順であれば、補助参照フレーム３０１は時間的に前の方からとることになり、フレーム番号降順であれば、補助参照フレーム３０１は時間的に後の方からとることになる。

また、Ｎ−１フレーム画像６０１と補助参照フレーム３０１のうち、基準フレーム（Ｎフレーム画像）６０２と最も効率の高い領域とは、基準フレームとの間で得られた動きベクトルによる発生符号量と残差（予測誤差）による発生符号量との合計発生符号量が最も小さい領域ということであり、多くの場合、周りのマクロブロックと同じ動きをしており、かつ、基準マクロブロックとの差分が小さい領域であり、その領域の選択はＭＰＥＧで公知のＭＥ処理により行われる。更に、補助参照フレーム３０１が複数ある場合は、予め定めた１以上の数又は全てを使用する。

次に、本実施の形態では、ＭＣ画像フレーム３０３とＮフレーム画像６０２との間で、動き補償時間方向フィルタ処理を行い、Ｈ成分フレーム画像３０４を作成する。次に、Ｈ成分フレーム画像３０４に対して逆ＭＣ処理を行う。すなわち、ＭＣ処理で得た動きベクトルを基に、Ｈ成分フレーム画像３０４の各画素をＮ−１フレーム画像６０１の対応する画素位置に重ね合わせることにより、Ｌ成分フレーム画像３０５を作成する。

本実施の形態では、Ｎフレーム画像６０２内の図３に示した網掛け部分と類似した部分が、補助参照フレーム画像３０１内に存在するため、図１６に示した従来のＭＣＴＦ処理に比べ、本実施の形態の構成をとることにより、ＭＣ画像フレーム３０３の精度を高くすることができる。そのため、ＭＣＴＦ処理により生成されるＨ成分フレーム３０４の情報量を削減することができ、Ｈ成分フレーム画像３０４の各画素をＮ−１フレーム画像６０１の対応する画素位置に重ね合わせることにより、Ｌ成分フレーム画像３０５を作成する際に、Ｈ成分フレーム３０４の情報量が従来より少なく、ＭＣＴＦの符号化効率を向上させることができる。

次に、本実施の形態を用いたオクターブ分割について説明する。図４は図１の実施の形態の構成を用いた３階オクターブ分割を示す図である。図４において、フレーム１００１からフレーム１００８は入力されたフレーム番号０〜７の動画像フレームである。また、フレーム１０２３は既に符号化を終えたＧＯＰ内のフレームである。ここで、図４に示されているフレームは、フレーム番号０から７までの８フレームを１ＧＯＰとし、フレーム間のオクターブ分割はこの１ＧＯＰを単位として行うものとする。また、最初のオクターブ分割１階分解を行う際の対象となるフレーム区間は、１ＧＯＰ全体であるものとする。

まず、ここではウェーブレットの直交基底にＨａａｒ基底を用いるため、２フレームを単位として対応する空間位置同士の画素間で直交変換を行う。また、本実施の形態では、符号化順をＧＯＰ内フレーム番号の降順であるとする。ただし、本実施の形態では、同時に２枚以上の参照フレーム（１枚の通常の参照フレームと１枚以上の補助参照フレーム）を用いてＨ成分フレームを作成する。Ｈ成分フレーム作成時には、動き検出処理において、各マクロブロックに対し通常の参照フレームと補助参照フレームから最も符号化効率の高いと思われる領域を検出する。ただし、本発明は動き検出に係るものではないので、その詳細な説明は省略する。

そして、通常の参照フレームに対応するフレームに対してのみ逆ＭＣを行い、Ｌ成分フレームとする。なお、補助参照フレームは既に処理の完結したＬ成分フレームであれば、どれを使っても構わないが、ここでは、前ＧＯＰの時間的に一番最後のＬ成分フレームと、現ＧＯＰ内の既に処理の終了したＬ成分フレームをとるものとする。

すなわち、まず、フレーム１００７と１００８についてＭＣＴＦ処理を行って、Ｈ成分フレームであるフレーム１０１６を生成する。このとき、同一ＧＯＰ内に符号化処理を開始しているフレームがないため、補助参照フレームは既に符号化を完了した前ＧＯＰ内のフレーム１０２３のみである。ＭＣＴＦ処理の結果、Ｈ成分フレームであるフレーム１０１６を生成する。

次に、フレーム１００５とフレーム１００６についてＭＣＴＦ処理を行う。この時点では既にフレーム１００７の符号化を開始しているため、補助参照フレームとして、フレーム１０２３のほかにフレーム１００７をとることができる。これにより、フレーム１００６を基準フレームとし、フレーム１００５を参照フレームとし、フレーム１０２３と基準フレームよりも時間的に後のフレーム１００７とを補助参照フレームとしてＭＣＴＦ処理を行ってＨ成分フレームである１０１４を生成する。

以下同様の手続きを行い、フレーム１００１とフレーム１００２のＭＣＴＦ処理については補助参照フレームの候補は、フレーム１００３とフレーム１００５とフレーム１００７とフレーム１０２３の４つとなる。ここでは、フレーム１００１を基準フレームとし、フレーム１００２を参照フレームとする。そして、上記の４つの補助参照フレームと参照フレーム１００２のうち最も符号化効率の高いと思われるフレームと基準フレーム１００１とに基づいてＭＣＴＦ処理を行い、Ｈ成分フレーム１０１０を生成する。このようにして、１階分解のＨ成分フレームをすべて生成したら、続いて１階分解のＬ成分フレームの符号化を開始する。１階分解では、フレーム１００３、フレーム１００５、フレーム１００７、フレーム１０２３を補助参照フレームの候補とする。なお、補助参照フレームが２以上ある場合は、予め定めた数の補助参照フレームを使用してもよいし、全ての補助参照フレームを使用してもよいが、予め設定する必要がある。

Ｌ成分フレームの符号化もＨ成分フレームの符号化と同様に、フレーム番号の降順に行う。すなわち、Ｈ成分フレーム１０１６から逆ＭＣによりＬ成分フレーム１０１５を生成し、次にＨ成分フレーム１０１４から逆ＭＣによりＬ成分フレーム１０１３を生成し、次にＨ成分フレーム１０１２から逆ＭＣによりＬ成分フレーム１０１１を生成し、次にＨ成分フレーム１０１０から逆ＭＣによりＬ成分フレーム１００９を生成する。Ｌ成分フレーム１００９の符号化が終了したら、１階分解処理を終了し、２階分解処理を行う。以下同様の手続きをとるものとする。

２階分解処理では、Ｌ成分フレーム１０１５を基準フレームとし、Ｌ成分フレーム１０１３を参照フレームとし、前ＧＯＰのＬ成分フレーム１０２４を補助参照フレームとしてＭＣＴＦ処理を行い、Ｈ成分フレーム１０２０を作成する。また、Ｌ成分フレーム１０１１を基準フレームとし、Ｌ成分フレーム１００９を参照フレームとし、基準フレームよりも時間的に後のＬ成分フレーム１０１５と前ＧＯＰのＬ成分フレーム１０２４を補助参照フレームとしてＭＣＴＦ処理を行い、Ｈ成分フレーム１０１８を作成する。その後、Ｈ成分フレーム１０２０を逆ＭＣ処理してＬ成分フレーム１０１９を作成し、Ｈ成分フレーム１０１８を逆ＭＣ処理してＬ成分フレーム１０１７を作成する。

３階分解処理においても同様の手続きを取ることにより、Ｌ成分フレーム１０１９を基準フレームとし、Ｌ成分フレーム１０１７を参照フレームとし、前ＧＯＰのＬ成分フレーム１０２５を補助参照フレームとしてＭＣＴＦ処理を行い、Ｈ成分フレーム１０２２を作成し、Ｈ成分フレーム１０２２を逆ＭＣ処理してＬ成分フレーム１０２１を作成しＭＣＴＦ処理を完了する。

このようなフレーム番号降順の構成をとるのは以下の理由による。Ｎ−１フレームとＮフレームとの相関が低い場合の理由の一つとして、Ｎ−１フレームとＮフレーム間でシーン切り替えがあった場合が考えられる。そのような動画像の場合、補助参照フレームと本来の参照フレームであるＮ−１フレームを、基準フレームであるＮフレームから見て同一時間方向にとったときは、補助参照フレームと本来の参照フレームとの相関が高く、補助参照フレームと基準フレームとの相関が高くないことが予想される。

一方、上記の実施の形態のように、フレーム番号降順の構成をとると、上記の補助参照フレームと本来の参照フレームであるＮ−１フレームが、基準フレームであるＮフレームを時間的に挟み込むような構成をとることができる。すなわち、参照フレームは既に処理の終了したＬ成分フレームから取る必要がある。あるフレームをデコード中、その時点で処理の終了していない（始まっていない）デコードフレームはまだ存在せず、参照できない。通常の参照フレームは時間的に基準フレームがＮフレームであるときは、その一つ前のＮ−１フレームであり、時間的に基準フレームを通常の参照フレームと補助参照フレームとで挟み込むためには、補助参照フレームが時間的に基準フレームの後にある必要がある。

フレーム番号昇順に処理を行った場合、常に時間的に前から処理が完了していくため、補助参照フレームも常に時間的に前からしかとることができない。これに対し、フレーム番号降順に処理を行えば、時間的に後のフレームから処理が完了し、補助参照フレームを時間的に後からとることができるため、上記のように時間的に基準フレームを通常の参照フレームと補助参照フレームとで挟み込むことができる。

そして、補助参照フレームと本来の参照フレームであるＮ−１フレームが、基準フレームであるＮフレームを時間的に挟み込むような構成をとったときは、本来の参照フレームであるＮ−１フレームと基準フレームであるＮフレームとの間にシーン切り替えがあったとしても、基準フレームと補助参照フレームとの間にシーン切り替えがなければ、基準フレームと補助参照フレームとの相関は高くなるであろうことが期待できる。

ただし、本発明はフレーム番号降順のＭＣＴＦ処理を強制するものではない。フレーム番号昇順のＭＣＴＦ処理の方がフレーム番号降順のＭＣＴＦ処理よりも符号化効率が高い場合は、フレーム番号昇順のＭＣＴＦ処理をとることも可能である。

次に、本発明になる復号装置について説明する。図５は本発明になる復号装置の一実施の形態のブロック図を示す。同図に示す復号装置は、分離化部（ＤＥＭＵＸ部）５０２、エントロピー復号部５０３、逆量子化部５０４、逆ＭＣＴＦ部５０５、符号化方向制御部５０６、補助参照フレームバッファ５０７、補助参照フレーム制御部５０８、及び復号フレームバッファ５０９から構成される。

ＤＥＭＵＸ部５０２は、図１に示した符号化装置により符号化されて出力されたビットストリーム５０１を入力として受け、そのビットストリーム５０１から動画像を復号するための係数情報ビット列と、動きベクトル情報ビット列と、符号化方向情報ビット列と、参照フレーム制御情報ビット列とを取得し、取得したそれら係数情報ビット列と動きベクトル情報ビット列と符号化方向情報ビット列と参照フレーム制御情報ビット列をエントロピー復号部５０３に対し出力する。

エントロピー復号部５０３は、ＤＥＭＵＸ部５０２から取得した上記の動きベクトル情報ビット列と係数情報ビット列と符号化方向情報ビット列と参照フレーム制御情報ビット列に対し、それぞれ所定のエントロピー復号を行い、動きベクトル情報と係数情報と符号化方向情報と参照フレーム制御情報とを生成し、生成した動きベクトル情報は後述する逆ＭＣＴＦ部５０５に供給し、生成した係数情報は後述する逆量子化部６０４に供給し、生成した符号化方向情報は後述する符号化方向制御部５０６に供給し、生成した参照フレーム制御情報は後述する補助参照フレーム制御部５０８に供給する。

逆量子化部５０４は、エントロピー復号部５０３から取得した係数情報に対して所定の逆量子化を行い、得られた逆量子化後の係数情報を後述する逆ＭＣＴＦ部５０５に出力する。逆ＭＣＴＦ部５０５は、エントロピー復号部５０３からの動きベクトル情報と、逆量子化部５０４からの量子化後の係数情報とを取得すると共に、後述する符号化方向制御部５０６から符号化方向情報を、後述する補助参照フレームバッファ５０７から補助参照フレームを、後述する復号フレームバッファ５０９から参照フレームとして用いる復号済み画像フレームをそれぞれ取得し、取得したこれら動きベクトル情報と、係数情報と、符号化方向情報と、補助参照フレームと、復号済み画像フレームとを用いて逆ＭＣＴＦ処理を行い、画像フレームを作成する。逆ＭＣＴＦ部５０５は、作成した画像フレームを補助参照フレームバッファ５０７と復号フレームバッファ５０９にそれぞれ出力する。

符号化方向制御部５０６は、エントロピー復号部５０３から符号化方向情報を取得し、逆ＭＣＴＦ部５０５に対し通知する。補助参照フレームバッファ５０７は、逆ＭＣＴＦ部５０５から復号済み画像フレームを取得し、複数枚の符号済み画像フレームを蓄積する機能を有する。また、補助参照フレームバッファ５０７は、逆ＭＣＴＦ部５０５から要求のあった画像フレームを逆ＭＣＴＦ部５０５に対し出力する機能を有する。

補助参照フレーム制御部５０８は、エントロピー復号部５０３から参照フレーム制御情報を取得し、各ブロックに対し補助参照フレームバッファ５０７に蓄積されているどの補助参照フレーム（復号済み画像フレーム）を用いるかを決定する補助参照フレーム制御情報を補助参照フレームバッファ５０７に出力し、補助参照フレームバッファ５０７から決定した補助参照フレームを逆ＭＣＴＦ部５０５に供給させる。復号フレームバッファ５０９は、逆ＭＣＴＦ部５０５から復号済み画像フレームを取得して蓄積し、逆ＭＣＴＦ部５０５に対し要求のあった画像フレームを出力し、また、蓄積した画像フレーム５１０を出力する機能を有する。

次に、本実施の形態の動作について、図６のフローチャートと共に説明する。まず、ＤＥＭＵＸ部５０２は、図１の符号化装置から出力され、所定の伝送路を経て入力されたビットストリーム５０１を入力として受け、ビットストリーム５０１から係数情報ビット列、動きベクトル情報ビット列、符号化方向情報ビット列、参照フレーム制御情報ビット列と、その他制御情報とを分離して取り出す（ステップＳ１１）。そして、ＤＥＭＵＸ部５０２は、分離した係数情報ビット列、動きベクトル情報ビット列、符号化方向情報ビット列、参照フレーム情報ビット列をエントロピー復号部５０３にそれぞれ出力する。

エントロピー復号部５０３は、ＤＥＭＵＸ部５０２より取得した上記の係数情報ビット列、動きベクトル情報ビット列、符号化方向情報ビット列、参照フレーム制御情報ビット列それぞれに対し、所定のエントロピー復号を行い、係数情報、動きベクトル情報、符号化方向情報、参照フレーム情報を生成する（ステップＳ１２）。そして、エントロピー復号部５０３は、生成した係数情報を逆量子化部５０４に供給し、生成した動きベクトル情報を逆ＭＣＴＦ部５０５に供給し、符号化方向情報を符号化方向制御部５０６に供給し、参照フレーム制御情報を補助参照フレーム制御部５０８に供給する。

次に、逆量子化部５０４は、エントロピー復号部５０３より供給された係数情報に対し所定の逆量子化を行い、符号化装置での量子化部１０７による量子化前の係数情報を復号する（ステップＳ１３）。そして、逆量子化部５０４は、復号した係数情報（Ｈ成分フレーム及びＬ成分フレーム）を逆ＭＣＴＦ部５０５に供給する。

次に、補助参照フレーム制御部５０８は、エントロピー復号部５０３より取得した参照フレーム制御情報を基に逆ＭＣＴＦ部５０５で使用する補助参照フレームを決定し、その補助参照フレームを示す制御情報を補助参照フレームバッファ５０７へ出力する。補助参照フレームバッファ５０７は、蓄積されている復号済みの画像フレームのうち、補助参照フレーム制御部５０８で決定した補助参照フレームを読み出して逆ＭＣＴＦ部５０５にセットする（ステップＳ１４）。

逆ＭＣＴＦ部５０５は、補助参照フレームバッファ５０７より取得した補助参照フレームと、エントロピー復号部５０３より取得した動きベクトル情報と、逆量子化部５０４より取得した量子化後の係数情報と、復号フレームバッファ５０９から取得した参照フレームとを用いて、前述したＭＣＴＦ処理とは逆の逆ＭＣＴＦ処理を行い、画像フレームを作成する（ステップＳ１５）。

続いて、逆ＭＣＴＦ部５０５は、符号化方向制御部５０６より取得した符号化方向情報を基に、作成した画像フレームの並べ替えを行い、並べ替え後の画像フレームを復号フレームバッファ５０９に出力して蓄積させる（ステップＳ１６）。また、逆ＭＣＴＦ部５０５は並べ替え後の復号画像フレームを補助参照フレームバッファ５０８に供給して蓄積させる。最後に、復号フレームバッファ５０９は、蓄積された動画像フレームを出力し、一連の復号処理を完了する（ステップＳ１７）。

次に、本実施の形態の逆ＭＣＴＦの処理過程について更に説明する。図７は本実施の形態の逆ＭＣＴＦの処理過程の説明図を示す。本実施の形態では図７に示すように、図１７に示した従来の逆ＭＣＴＦの処理過程とは異なり、逆ＭＣの際に、補助参照フレーム７１１を用いることにより、従来に比べＭＣ画像フレームの精度を高め、これにより逆ＭＣＴＦ処理の復号効率を向上させるようにしたものである。

図５に示した逆ＭＣＴＦ部５０５では、図７では図示を省略した動きベクトル情報ＭＶが図５のエントロピー復号部５０３より入力され、その動きベクトル情報ＭＶを用いて、逆量子化部５０４より取得した量子化後の係数情報を動き補償処理して、図７に示すＬ成分フレーム７０１とＨ成分フレーム７０２を復号し、Ｈ成分フレーム７０２からＬ成分フレーム７０１と同位相のＭＣ画像を作成した後、更にＬ成分フレーム７０１と作成した上記のＭＣ画像との差分をとり、図７に示すＮ−１フレームの画像７０３を作成する。

続いて、逆ＭＣＴＦ部５０５は、参照フレームであるＮ−１フレームの画像７０３と、更に図５の補助参照フレームバッファ５０７より取得した図７に示す補助参照フレーム７１１とのうち、上記の動きベクトル情報ＭＶを逆方向に適用して、マクロブロック毎に符号化効率の高い方のフレームを選択して動き補償して、図７に示すようにＨ成分フレーム７０２と同位相のＭＣ画像７１２を作成する。続いて、逆ＭＣＴＦ部５０５は、Ｈ成分フレーム７０２とＭＣ画像７１２との対応する画素同士で直交変換する、前述したＭＣＴＦ処理とは逆の動き補償時間方向フィルタ処理を行い、Ｎフレームの画像７１３を復号する。この復号されたＮフレームの画像７１３は、符号化装置で基準フレームとして用いてＭＣＴＦ処理した画像に相当する。

次に、図５の実施の形態を用いたオクターブ分割（復号）について説明する。図８は図５の実施の形態の構成を用いた３階オクターブ分割を示す図である。図８においては、フレーム番号０から７までの８フレームを１ＧＯＰとする。まず、ここではウェーブレットの直交基底にＨａａｒ基底を用いるため、２フレームを単位として対応する空間位置同士の画素間で直交変換を行う。

まず、図８（Ａ）に示すように、Ｌ成分フレームＬ３−０とＨ成分フレームＨ３−４とから図示しない動きベクトル情報ＭＶ＿３０を用いて逆ＭＣＴＦ処理をして、同図（Ｂ）に示すように２つのＬ成分フレームＬ２−０とＬ２−４を作成する。上記の逆ＭＣＴＦ処理は図１７と同様の処理である。

次に、図８（Ｃ）に示すように上記のＬ成分フレームＬ２−０が入力され、Ｈ成分フレームＨ２−２と動きベクトル情報ＭＶ＿２０とを用いて逆ＭＣＴＦ処理をして、同図（Ｄ）に示すように２つのＬ成分フレームＬ１−０とＬ１−２を作成する。また、図８（Ｃ）に示すように上記のＬ成分フレームＬ２−４が入力され、Ｈ成分フレームＨ２−６と動きベクトル情報ＭＶ＿４０とを用いて逆ＭＣＴＦ処理をして、同図（Ｄ）に示すように２つのＬ成分フレームＬ１−４とＬ１−６を作成する。

続いて、図８（Ｅ）に示すように、作成したＬ成分フレームＬ１−０が入力されると共に、Ｈ成分フレームＨ１−１と動きベクトル情報とが入力され、逆ＭＣＴＦ処理により同図（Ｆ）に示すように２つのＬ成分フレームが作成される。他のＬ成分フレームＬ１−２、Ｌ１−４、Ｌ１−６も同様にしてＨ成分フレームＨ１−３、Ｈ１−５、Ｈ１−７と動きベクトル情報とを用いて逆ＭＣＴＦ処理によりそれぞれ同図（Ｆ）に示すように２つのＬ成分フレームを作成する。これにより、図８（Ｆ）に示すように、８つのＬ成分フレームからなるフレーム番号０〜７の１ＧＯＰ分のフレームが復号される。

以上説明したように、本実施の形態では、あるフレームのペアを符号化（復号）する際に、通常の参照フレームとは別に、既に符号化（復号）を終えたＬ成分フレームのうち、前のＧＯＰの時間的に最後のＬ成分フレームと、同一ＧＯＰ内で既に処理が終了したＬ成分フレームを補助参照フレームとして参照可能とし、マクロブロック毎に通常の参照フレーム、又は補助参照フレーム、又は両者（例えば、２つの画像の平均値をＭＣに使用する）の中から、最も効率の高いと思われる領域を選択し、ＭＣに使用する。既に符号化（復号）を終えた領域をＭＣに使用するという決め事を守っていさえすれば、確実に復号できる。このような構成により、通常のＭＣＴＦでは相関が高くないペア（ＮフレームとＮ−１フレーム）でＭＣ精度が低く、符号化効率が悪くなるような場合でも、相関の高い補助参照フレームが見つかれば符号化効率を上げることができる。

なお、本発明は以上の実施の形態に限定されるものではなく、図１のブロック図に示した本発明になる符号化装置の一実施の形態や、図５のブロック図に示した本発明になる復号装置の一実施の形態を、コンピュータである中央処理制御装置に実現させるためのプログラムをも含むものである。このプログラムは、記録媒体から読み取られて中央処理制御装置に取り込まれてもよいし、通信ネットワークを介して伝送され中央処理制御装置に取り込まれてもよい。

図９は図１の符号化装置の機能を中央処理制御装置により実現させる情報処理装置の一例のブロック図を示す。同図において、情報処理装置１２００は、入力装置１２０１、出力装置１２０２、中央処理制御装置１２０３、外部記憶装置１２０４、一時記憶装置１２０５、通信装置１２０６から構成されており、コンピュータである中央処理制御装置１２０３によりＭＣＴＦ処理を行う符号化装置の機能を実現させるものである。

中央処理制御装置１２０３は、入力装置１２０１から入力された、あるいは外部記憶装置１２０４に予め記録されていた、あるいは通信ネットワークを介して配信されて通信装置１２０６により受信した、コンピュータプログラムを取り込み、図１の入力管理部１０２に相当する入力管理手段１３０１、補助参照フレームバッファ１０３に相当する補助参照フレームバッファ１３０２、補助参照フレーム制御部１０４に相当する補助参照フレーム制御手段１３０３、符号化方向制御部１０５に相当する符号化方向制御手段１３０４、ＭＣＴＦ部１０６に相当するＭＣＴＦ手段１３０５、量子化部１０７に相当する量子化手段１３０６、エントロピー符号化部１０８に相当するエントロピー符号化手段１３０７、ＭＵＸ部１０９に相当するＭＵＸ手段１３０８を、上記のコンピュータプログラムに基づきソフトウェア処理にて実現する。

図１０は図５の復号装置の機能を中央処理制御装置により実現させる情報処理装置の一例のブロック図を示す。同図において、情報処理装置１４００は、入力装置１４０１、出力装置１４０２、中央処理制御装置１４０３、外部記憶装置１４０４、一時記憶装置１４０５、通信装置１４０６から構成されており、コンピュータである中央処理制御装置１４０３により逆ＭＣＴＦ処理を行う復号装置の機能を実現させるものである。

中央処理制御装置１４０３は、入力装置１４０１から入力された、あるいは外部記憶装置１４０４に予め記録されていた、あるいは通信ネットワークを介して配信されて通信装置１４０６により受信した、コンピュータプログラムを取り込み、図５の復号フレームバッファ５０９に相当する復号フレームバッファ１５０１、補助参照フレームバッファ５０７に相当する補助参照フレームバッファ１５０２、補助参照フレーム制御部５０８に相当する補助参照フレーム制御手段１５０３、符号化方向制御部５０６に相当する符号化方向制御手段１５０４、逆ＭＣＴＦ部５０５に相当する逆ＭＣＴＦ手段１５０５、逆量子化部５０４に相当する逆量子化手段１５０６、エントロピー復号部５０３に相当するエントロピー復号手段１５０７、ＤＥＭＵＸ部５０２に相当するＤＥＭＵＸ手段１５０８を、上記のコンピュータプログラムに基づきソフトウェア処理にて実現する。

本発明の符号化装置の一実施の形態のブロック図である。 図１の符号化装置の動作説明用フローチャートである。 本発明符号化装置におけるＭＣＴＦの処理過程を示すための図である。 本発明符号化装置におけるフレーム間のオクターブ分割の一例の説明図である。 本発明の復号装置の一実施の形態のブロック図である。 図５の復号装置の動作説明用フローチャートである。 本発明復号装置における逆ＭＣＴＦの処理過程を示すための図である。 本発明復号装置におけるフレーム間のオクターブ分割の一例の説明図である。 本発明の符号化プログラムを実行する情報処理装置の一例のブロック図である。 本発明の復号プログラムを実行する情報処理装置の一例のブロック図である。 従来の符号化装置の一例のブロック図である。 図１１の符号化装置の動作説明用フローチャートである。 従来の復号装置の一例のブロック図である。 図１３の復号装置の動作説明用フローチャートである。 Ｈａａｒ基底を用いたフレーム間のオクターブ分割の一例を示す図である。 従来のＭＣＴＦの処理過程の一例の説明図である。 従来の逆ＭＣＴＦの処理過程の一例の説明図である。

符号の説明

１０１、５１０ 動画像フレーム
１０２ 入力管理部
１０３、５０７ 補助参照フレームバッファ
１０４、５０８ 補助参照フレーム制御部
１０５、５０６ 符号化方向制御部
１０６ ＭＣＴＦ部
１０７ 量子化部
１０８ エントロピー符号化部
１０９ ＭＵＸ部
１１０、５０１ ビットストリーム
５０２ ＤＥＭＵＸ部
５０３ エントロピー復号部
５０４ 逆量子化部
５０５ 逆ＭＣＴＦ部
５０９ 復号フレームバッファ

Claims (2)

1. 符号化対象の動画像信号の時間方向に存在する異なる２つのフレームのうち、一方のフレームを基準フレームとして他方のフレームの動き補償を行い、動き補償後の前記他方のフレームと前記基準フレームとの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を得る動き補償時間方向フィルタ処理を行い、前記フレーム列信号に対して量子化を行う符号化装置であって、
   前記動き補償時間方向フィルタ処理された前記Ｌ成分フレームを補助参照フレームとして蓄積する補助参照フレーム格納手段と、
   前記符号化対象の動画像信号の時間方向に存在する異なる２つのフレームのうち、一方のフレームを基準フレームとし、かつ、他方のフレームを参照フレームとし、前記基準フレームに基づき、前記参照フレームと前記補助参照フレーム格納手段からの前記２つのフレームとは異なる前記補助参照フレームとの動きをそれぞれ推定して、前記基準フレームと前記参照フレームと前記補助参照フレームとの対応する各ブロックの相対位置関係を示す動きベクトル情報を取得する動き推定手段と、
   前記動きベクトル情報に基づいて、前記参照フレームと前記補助参照フレームのうち、前記ブロック毎に符号化効率の高い方のフレームを選択して動き補償を行い動き補償画像を生成すると共に、前記ブロック毎に選択したフレームを示す参照フレーム制御情報を生成する動き補償手段と、
   前記動き補償画像に対して前記動き補償時間方向フィルタ処理を行って、前記２つの分割周波数帯域のうち高域側分割周波数帯域のＨ成分の係数情報を格納した前記Ｈ成分フレームを生成するＨ成分フレーム生成手段と、
   前記Ｈ成分フレーム生成手段で生成された前記Ｈ成分フレームに対して、前記動き推定手段によって取得した前記動きベクトル情報を逆方向に適用して前記参照フレームとの対応する画素同士で直交変換して、前記２つの分割周波数帯域のうち低域側分割周波数帯域のＬ成分の係数情報を格納した前記Ｌ成分フレームを生成すると共に、生成したそのＬ成分フレームを前記補助参照フレーム格納手段に蓄積するＬ成分フレーム生成手段と、
   前記Ｈ成分フレーム生成手段で生成された前記Ｈ成分フレームと前記Ｌ成分フレーム生成手段で生成された前記Ｌ成分フレームとからなるフレーム列信号に対して量子化を行う量子化手段と
   を少なくとも備え、量子化後の前記フレーム列信号と前記参照フレーム制御情報と前記動きベクトル情報とを少なくとも出力することを特徴とする符号化装置。
2. 請求項１記載の前記量子化後のフレーム列信号と前記参照フレーム制御情報と前記動きベクトル情報とを少なくとも入力として受け、前記量子化後のフレーム列信号から前記基準フレームの動画像信号を復号する復号装置であって、
   前記量子化後のフレーム列信号を逆量子化して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を復号する逆量子化手段と、
   前記動きベクトル情報を用いて前記逆量子化手段からの前記フレーム列信号中の前記Ｈ成分フレームに対して動き補償を行って、前記フレーム信号中の前記Ｌ成分フレームと同位相の動き補償画像を生成し、その動き補償画像と前記フレーム列信号中の前記Ｌ成分フレームとの差分をとり、請求項１記載の符号化装置で用いた前記参照フレームを復号する参照フレーム復号手段と、
   復号された前記基準フレーム及び前記参照フレームを蓄積するフレーム格納手段と、
   前記動きベクトル情報を逆方向に適用して、復号された前記参照フレームと前記参照フレーム制御情報に基づいて前記フレーム格納手段から前記補助参照フレームとして読み出された基準フレームとのうち、ブロック毎に符号化効率の高い方のフレームを選択して動き補償を行い、前記逆量子化手段からの前記Ｈ成分フレームと同位相の動き補償画像を生成する動き補償手段と、
   前記逆量子化手段からの前記Ｈ成分フレームと前記動き補償手段で生成された前記動き補償画像との対応する画素同士で直交変換して、前記参照フレームとは異なるフレームである前記基準フレームを復号する逆方向の動き補償時間方向フィルタ処理を行うと共に、復号した前記基準フレームを前記補助参照フレーム格納手段に蓄積する処理手段と
   を少なくとも有することを特徴とする復号装置。
   

Images