JP2007028034A - スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体 - Google Patents

Abstract

【課題】フレーム間予測と階層間予測とを組み合わせたスケーラブル符号化において，ブロック境界部に局在する予測誤差を抑制することにより，復号画像におけるブロック歪みを低減する。
【解決手段】予測信号生成手段５は，階層間予測処理手段３により生成された階層間予測に基づく予測信号と，フレーム間予測処理手段４により生成されたフレーム間予測に基づく予測信号に対して，それぞれ被予測信号の予測ブロック内における空間的な位置に応じて異なる値を持つように決定されたフレーム間予測と階層間予測との予測係数を乗じて加算することにより予測信号を生成し，被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させる。
【選択図】図１

Description

本発明は，フレーム間予測と階層間予測とを組み合わせてスケーラブル符号化／復号を行う高能率画像信号符号化方法および復号方法に関する。

近年，多様化するネットワーク環境・端末環境などに対応するためのスケーラブル符号化が注目を集めている。スケーラブル符号化では，画像信号を階層的に分割し，各階層毎に符号化が行われる。階層分割の方法としては，
(ｉ) 空間周波数に関する帯域分割，
(ii) 時間周波数に関する帯域分割，
などがある。 (ｉ) としては，wavelet 分割（非特許文献１参照）， (ii) としては，Motion Compensation Temporal Filtering（ＭＣＴＦ）（非特許文献２参照）が代表例である。

時間・空間・ＳＮＲスケーラビリティに対応した符号化方法として，Scalable Video Coding （ＳＶＣ）が注目されている。非特許文献３で示されたScalable Video Model（ＳＶＭ）は，ＡＶＣとＭＣＴＦをベースとした符号化方式であり，時間方向の片方向予測・両方向予測，フレーム内の空間的な予測，下位階層の補間信号を用いた階層間予測を用いている。

画像の伝送にスケーラブル符号化を適用した例としては，特許文献１に記載された遠隔地撮影システムがあり，この特許文献１には，サムネイル画像の符号化に，ＭＰＥＧ−２のスケーラブル機能が利用可能であることが示されている。このようなＭＰＥＧ−２のスケーラブル符号化の枠組みでは，下位階層からの予測を行う場合，予測はブロック単位に行われ，ブロック内の画素には同一の予測係数が乗じられる。
"A theory for multiresolution signal decomposition: the wavelet representation "，S.G.Mallat，IEEE Trans. Pattern Analysis and Machine Intelligence ，Vol.11，No.7，pp.674-693，July，1989. "Three-dimensional subband coding with motion compensation "，J.R.Ohm ，IEEE Trans.Image Processing ，Vol.3 ，No.5，pp.559-571，Sept. ，1994. J.Reichel ，M.Wien and H.Schwarz，"Scalable Video Model 3.0"，ISO/IEC JTC1/SC29/WG11 doc. no. N6716 ，Palma ，October 2004. 特開平２００３−１０１８５５号公報

ＳＶＭにおける予測方式は，いずれもブロックベースの方式であるため，原理上，ブロック歪みの発生を内在する。すなわち，ブロック歪みの低減が復号画像の画質の向上には不可欠となる。ＳＶＭでは，デブロックキングフィルタによるブロック歪みの低減が行われている。より直接的なブロック歪み抑圧法は，予測方式の予測性能を向上させ，予測誤差の発生そのものを低減させることである。しかし，従来のＳＶＭにおける予測は，時間方向予測と階層間予測とが独立に行われており，予測誤差低減の観点から見た場合，改良の余地が残る。

本発明はかかる事情に鑑みてなされたものであって，異なる時間・空間解像度の階層から構成される信号に対するブロック歪み低減処理において，階層間の相関を利用してブロック境界部の予測誤差を抑制する予測方法の設計法を確立することを目的とする。

ブロックベースの予測を行った場合，ブロック中心部と比較してブロック境界部に大きな予測誤差が発生する傾向にある。これが，ブロック歪みの原因である。つまり，ブロック歪みの低減には，上述のブロック境界周辺の予測誤差の抑圧が必要となる。

空間解像度の異なる２つの階層を考えた場合，ブロック境界の画素は，下位階層との位置関係に応じて次の２つに分類できる。

(ｉ) 対応する下位階層の位置がブロック境界の近傍ではない画素
(ii) 対応する下位階層の位置がブロック境界の近傍となる画素
図２に，この (ｉ) (ii) の例を示す。同図は空間解像度の異なる２つの階層におけるフレームを示しており，同図における濃い網掛け部は上述の (ｉ) にあたる領域Ａであり，同図における薄い網掛け部は上述の (ii) にあたる領域Ｂである。

ここで， (ｉ) の領域Ａに注目すると，同領域に対応する下位階層の領域はブロック境界ではないことが分かる。つまり，下位階層の信号を用いた予測を行えば，同領域においてブロック歪みは発生しない。そこで，本発明では， (ｉ) の領域Ａに対して，動き補償によるフレーム間予測と補間処理による階層間予測とを組み合わせた両方向予測を適用する。つまり，フレーム間予測の参照信号として，同一階層における異なる時刻のフレームに加え，下位階層信号の補間処理により生成した補間信号を用いる。

すなわち，本発明の特徴は以下のとおりである。フレーム間予測を伴う画像符号化において，空間解像度の等しい隣接フレーム信号を参照する時間方向のフレーム間予測と，空間解像度異なる下位階層信号を参照する階層間予測を組み合わせ，複数のフレームを参照信号とする予測方式を用いる。このとき，本発明では，被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測の予測強度を変化させる。

従来技術の例えばＭＰＥＧ−２のスケーラブル符号化の枠組みでは，下位階層からの予測を行う場合，予測はブロック単位に行い，ブロック内の画素には同一の予測係数が乗じられる。これに対し，本発明では，予測ブロック内の空間位置に応じて予測係数を適応的に変化させる適応処理を導入する。これにより，復号画像におけるブロック歪みの低減が可能になる。

また，本発明は，参照信号となる復号画像に含まれる符号化歪みに応じて，フレーム間予測と階層間予測の予測強度を変化させることを特徴とする。予測強度を変化させる方法として，下位階層信号生成時のダウンサンプリングフィルタの周波数特性に応じて，下位階層の復号画像に含まれる符号化歪みを重み付けし，フレーム間予測と階層間予測の予測強度を変化させる方法を用いることができる。

このように予測係数を動的に変更することにより，符号化歪みの少ない予測画像を生成することが可能になる。

さらに，本発明は，被予測信号の予測ブロック内の空間的な位置，および，参照信号となる復号画像に含まれる符号化歪みに応じて，フレーム間予測と階層間予測の予測強度を変化させることもできる。これにより予測信号を生成することによって，さらに予測誤差を低減することができるようになる。

図１は，本発明の概要を説明する図である。図中，１は予測係数算出手段，２は予測係数記憶手段，３は階層間予測処理手段，４はフレーム間予測処理手段，５は予測信号生成手段を表す。

予測係数算出手段１は，参照信号となる復号画像に含まれる符号化歪みに基づき決定されたフレーム間予測および階層間予測における参照信号の画質予測強度と，被予測信号の予測ブロック内の空間的な位置に応じて決定されたフレーム間予測と階層間予測における参照信号の空間予測強度とから，または前記画質予測強度と前記空間予測強度のいずれかから，フレーム間予測の予測係数α₀ と階層間予測の予測係数α_l を算出し，予測係数記憶手段２に記憶する。

階層間予測処理手段３は，空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号Ｕ（ｇ_i+1 ）を生成する。なお，Ｕ（）は，アップサンプリングを行う関数である。

フレーム間予測処理手段４は，空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号ｇ_i を生成する。

予測信号生成手段５は，前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ予測係数記憶手段２に記憶された対応する予測係数を乗じて加算することにより予測信号（α₀ ｇ_i ＋α_l Ｕ（ｇ_i+1 ））を生成する。

これにより，被予測信号の予測ブロック内の空間的な位置に応じて，または参照信号となる復号画像に含まれる符号化歪みに応じて，あるいはそれらの双方に応じてフレーム間予測と階層間予測との予測強度を変化させる。

本発明によれば，フレーム間予測において，下位階層の信号を参照することにより，ブロック境界部に局在する予測誤差を抑制することが可能となり，復号画像におけるブロック歪みを低減することができる。また，参照信号の符号化歪みを考慮して予測係数を動的に変更することにより，符号化歪みの少ない予測画像を生成することが可能となり，これは予測誤差の低減につながる。

まず，本発明の説明で用いる記号を整理する。第ｊ階層の時刻ｔのフレーム内の座標（ｘ，ｙ）における画素値をｆ_j （ｘ，ｙ，ｔ）とし，ｆ_j （ｘ，ｙ，ｔ）に対する復号信号をｇ_j （ｘ，ｙ，ｔ）とする。ｆ_j+1 （ｘ，ｙ，ｔ）は，ｆ_j （ｘ，ｙ，ｔ）の１／２の空間解像度となる。例えば，ｆ₀ （ｘ，ｙ，ｔ）がＣＩＦサイズであれば，ｆ₁ （ｘ，ｙ，ｔ）はＱＣＩＦサイズとなる。フレーム間予測におけるブロックサイズをＬ×Ｌとする。

以下では，参照信号の異なる２つの予測モードとして，
・階層間予測と時間方向の片方向予測を組み合わせた第一予測モード，
・階層間の予測と時間方向の両方向予測を組み合わせた第二予測モード，
を示す。

図３は，下位階層も考慮した多参照信号予測の例を示している。図３（Ａ）が階層間予測と時間方向の片方向予測を組み合わせた第一予測モードを示しており，図３（Ｂ）が階層間の予測と時間方向の両方向予測を組み合わせた第二予測モードを示している。

［第一予測モード：片方向フレーム間予測の拡張］
片方向フレーム間予測を拡張して，次式に示すように，下位階層の信号も参照信号とする多フレーム参照予測を行う。

ここで，ｇ_j （ｘ−ｄ_x0，ｙ−ｄ_y0，ｔ−τ₀ ）は，動き補償を伴う時間方向の参照信号であり，α₀ は同参照信号の重み係数である。一方，ｇ_j+1 （ｘ，ｙ，ｔ）は，階層間予測の参照信号であり，直下階層の対応する位置の復号信号である。Ｕ（）は，アップサンプリングを行う関数であり，Ｕ（ｇ_j+1 （ｘ，ｙ，ｔ））は，ｇ_j （ｘ，ｙ，ｔ）と同じ空間解像度を有する信号である。α_l は同参照信号の重み係数である。α₀ ，α_l を各々，参照信号ｇ_j （ｘ−ｄ_x0，ｙ−ｄ_y0，ｔ−τ₀ ），ｇ_j+1 （ｘ，ｙ，ｔ）の予測係数と呼ぶ。

α₀ ，α_l の設定法について，以下，三通りの方法を示す。

〔１〕被予測信号の空間位置に応じた適応重み付け
まず，被予測信号の空間的な位置に応じてα₀ ，α_l の値を設定する方法について示す。

ここで，ｓ_t （ｘ，ｙ），ｓ_l （ｘ，ｙ）は，空間予測強度と呼ぶ被予測信号の空間位置に応じた重み関数である。空間予測強度の例を以下に示す。

＜空間予測強度の例１＞

ここで，ψ（）は以下の関数である。

ここで，ｃはｃ＞０を満たす実数であり，ｃの値が大きいほど，下位階層からの予測に対する比重が大きくなる。また，ａは０≦ａ≦Ｌを満たす実数であり，ａの値が大きいほど，前述の領域Ａ（図２) の比率が大きくなる。ψ（ｙ）も同様である。図４にψ（）の例を示す。

＜空間予測強度の例２＞

ここで，ａ，ｃは式（４）で用いたものと同じである。

〔２〕参照信号の復号画質に応じた適応重み付け
次に，参照信号の復号画質に応じてα₀ ，α_l の値を設定する方法について示す。

ここで，Ｑ₀ ，Ｑ_l は各々，復号信号ｇ_j （ｘ−ｄ_x0，ｙ−ｄ_y0，ｔ−τ₀ ），ｇ_j+1 （ｘ，ｙ，ｔ）の生成に用いた量子化ステップ幅である。また，ｗ_t （），ｗ_l （）は画質予測強度と呼ぶパラメータであり，各々，参照信号ｇ_j （ｘ−ｄ_x0，ｙ−ｄ_y0，ｔ−τ₀ ），ｇ_j+1 （ｘ，ｙ，ｔ）の復号画質，すなわち，符号化歪みを反映した重み関数であり，量子化ステップ幅Ｑの関数として次のように表される。

ここで，βは第ｊ階層の参照信号が縮小画像であり，縮小による歪み（高域成分の減衰等）を反映させる重み係数である。βの例としては，次式を挙げることができる。

ここで，Ｈ（ω）は第ｊ＋１階層の信号から第ｊ階層の信号を生成したローパスフィルタの周波数特性である。

〔３〕被予測信号の空間位置および参照信号の復号画質に応じた重み付け
最後に，前述の２つの適応処理を併用したα₀ ，α_l の値を設定する方法について示す。

ここで，ｓ_t （ｘ，ｙ），ｓ_l （ｘ，ｙ）は式（３）あるいは式（５）の通りであり，ｗ_t （），ｗ_l （）は式（７）の通りである。

［第二予測モード：両片向フレーム間予測の拡張］
両方向フレーム間予測を拡張して，次式に示すように，下位階層の信号も参照信号とする多フレーム参照予測を行う。

ここで，ｇ_j （ｘ−ｄ_x0，ｙ−ｄ_y0，ｔ−τ₀ ），ｇ_j （ｘ−ｄ_x1，ｙ−ｄ_y1，ｔ−τ₁ ）は動き補償を伴う時間方向の参照信号であり，α₀ ，α_l は同参照信号の重み係数である。一方，ｇ_j+1 （ｘ，ｙ，ｔ）は階層間予測の参照信号であり，直下階層の対応する位置の復号信号である。Ｕ（）はアップサンプリングを行う関数であり，Ｕ（ｇ_j+1 （ｘ，ｙ，ｔ））はｇ_j （ｘ，ｙ，ｔ）と同じ空間解像度を有する信号である。α_l は同参照信号の重み係数である。

α₀ ，α₁ ，α_l を各々，参照信号ｇ_j （ｘ−ｄ_x0，ｙ−ｄ_y0，ｔ−τ₀ ），ｇ_j （ｘ−ｄ_x1，ｙ−ｄ_y1，ｔ−τ₁ ），ｇ_j+1 （ｘ，ｙ，ｔ）の予測係数と呼ぶ。

α₀ ，α₁ ，α_l の設定法について，以下，三通りの方法を示す。

〔１〕被予測信号の空間位置に応じた適応重み付け
まず，被予測信号の空間的な位置に応じてα₀ ，α₁ ，α_l の値を設定する方法について示す。

ここで，予測強度ｓ_t （ｘ，ｙ），ｓ_l （ｘ，ｙ）は，式（３）あるいは式（５）に従う。

〔２〕参照信号の復号画質に応じた適応重み付け
次に，参照信号の復号画質に応じてα₀ ，α₁ ，α_l の値を設定する方法について示す。

ここで，Ｑ₀ ，Ｑ₁ ，Ｑ_l は各々，復号信号ｇ_j （ｘ−ｄ_x0，ｙ−ｄ_y0，ｔ−τ₀ ），ｇ_j （ｘ−ｄ_x1，ｙ−ｄ_y1，ｔ−τ₁ ），ｇ_j+1 （ｘ，ｙ，ｔ）の生成に用いた量子化ステップ幅であり，ｗ_t （），ｗ_l （）は各々，参照信号ｇ_j （ｘ−ｄ_x0，ｙ−ｄ_y0，ｔ−τ₀ ），ｇ_j （ｘ−ｄ_x1，ｙ−ｄ_y1，ｔ−τ₁ ），ｇ_j+1 （ｘ，ｙ，ｔ）の復号画質，すなわち，符号化歪みを反映した重み関数であり，量子化ステップ幅Ｑの関数として式（７）として表される。

〔３〕被予測信号の空間位置および参照信号の復号画質に応じた重み付け
最後に，前述の２つの適応処理を併用したα₀ ，α₁ ，α_l の値を設定する方法について示す。

ここで，ｓ_t （ｘ，ｙ），ｓ_l （ｘ，ｙ）は，式（３）あるいは式（５）に従い，ｗ_t （），ｗ_l （）は式（７）に従う。

［予測処理］
本発明で用いる予測装置の実施形態について，図５を参照して説明する。

ステップＳ１では，予測モード情報を入力とし，第一予測モード，第二予測モードのいずれであるのかを識別し，予測モードに応じて対応する復号フレームを参照信号として，レジスタに書き出す。ここでは，予測モード情報は外部から与えられるものとする。なお，この予測モードは，あらかじめ固定的に決められていてもよく，また発生符号量の予測・推定などにより適応的に決められるようになっていてもよい。

ステップＳ２では，量子化パラメータ，画質予測強度／空間予測強度の算出に用いる重み関数の関数形を入力とし，参照信号に対する予測係数を算出する処理を行い，算出した予測係数をレジスタに書き出す。この予測係数算出処理の詳細については，図６を参照して後述する。

ステップＳ３では，参照信号，各参照信号に対する予測係数，動きベクトル，アップサンプリングフィルタ係数を入力とし，フレーム間予測および階層間予測からなる予測信号の生成処理を行い，同予測信号を出力する。具体的な算出方法は，式（１）または式（１０）に従う。

ステップＳ４では，全てのフレーム間予測ブロックに対して，予測処理が終了したか否かの判定処理を行い，終了している場合は真値を出力し，終了する。そうでなければ偽値を出力し，ステップＳ２へ戻って同様に処理を繰り返す。

次に，図６に従って，図５のステップＳ２の処理の詳細，すなわち本実施形態における予測係数算出処理の流れを説明する。

ステップＳ２１では，ステップＳ１で書き出された参照信号である復号信号に対する量子化パラメータを読み込む。

ステップＳ２２では，縮小画像生成に用いたローパスフィルタの伝達関数を入力とし，縮小処理を反映した重み係数を算出する処理を行い，同重み係数をレジスタに出力する。具体的な算出方法は，式（８）に従う。

ステップＳ２３では，ステップＳ２１で読み込んだ量子化パラメータ，ステップＳ２２で書き出された重み係数を入力とし，画質予測強度を算出する処理を行い，算出した画質予測強度をレジスタに出力する。具体的な算出方法は，式（７）に従う。

ステップＳ２４では，ブロックサイズおよび空間予測強度の関数を入力とし，ブロック内の各画素毎に空間位置に応じた重み係数を算出する処理を行い，算出した重み係数をレジスタに出力する。具体的な算出方法は，式（４）に従う。なお，本処理は，以下のステップＳ２５において，式（５）に従う処理を行う場合は不要である。

ステップＳ２５では，ブロックサイズおよび空間予測強度の関数を入力とし，ブロック内の各画素毎に空間予測強度を算出する処理を行い，算出した空間予測強度をレジスタに出力する。具体的な算出方法は，式（３）あるいは式（５）に従う。

ステップＳ２６では，ステップＳ２３およびＳ２５で出力した画質予測強度および空間予測強度を入力とし，予測係数を算出する処理を行い，算出した予測係数をレジスタに書き出す。具体的な算出方法は，式（９）あるいは式（１３）に従う。

ステップＳ２７では，フレーム間予測ブロックにおける全ての参照信号に対して，予測係数の算出が終了したか否かの判定処理を行い，終了している場合には真値を出力し，図５のステップＳ３へ進む。そうでなければ偽値を出力し，ステップＳ２４以降の処理を繰り返す。

［予測装置］
図７に本発明の実施形態に係る予測装置のブロック図を示す。

予測モード情報が入力され，予測モード記憶部１０に書き出される。同モードが第一予測モードの場合，予測係数算出部１１から予測信号記憶部１６までの処理と，予測係数算出部２１から予測信号記憶部２６までの処理とを行い，同モードが第二予測モードの場合，さらに予測係数算出部３１から予測信号記憶部３６までの処理を行う。

予測係数算出部１１は，予測モード記憶部１０から読み出した予測モードを入力とし，参照信号の予測係数を算出する処理を行う。本処理の詳細については，図８を用いて後述する。

まず，参照信号となる下位階層の復号信号が，復号信号記憶部１２に書き出される。階層間予測処理部１３は，復号信号記憶部１２から読み出した復号信号を入力として，アップサンプリングによる補間処理および階層間予測処理を行い，予測信号を予測信号記憶部１４に書き出す。予測係数乗算処理部１５は，予測係数算出部１１が算出した予測係数および予測信号記憶部１４から読み出した予測信号を入力とし，入力された予測信号に予測係数を乗じる処理を行い，乗算後の結果を予測信号記憶部１６に書き出す。

予測係数算出部２１は，予測係数算出部１１と同じである。復号信号記憶部２２には，参照信号となる同一階層の復号信号が書き出される。フレーム間予測処理部２３は，復号信号記憶部２２から読み出した復号信号を入力として，動き補償によるフレーム間予測処理を行い，予測信号を予測信号記憶部２４に書き出す。予測係数乗算処理部２５は，予測係数算出部２１が算出した予測係数および予測信号記憶部２４から読み出した予測信号を入力とし，入力された予測信号に予測係数を乗じる処理を行い，乗算後の結果を予測信号記憶部２６に書き出す。

予測係数算出部３１から予測信号記憶部３６までは，予測モードが第二予測モードの場合に用いられるが，これらの処理は，復号信号記憶部３２に記憶される参照信号となる復号信号が異なるだけであり，前述した予測係数算出部２１から予測信号記憶部２６までの処理と同じである。

多重化処理部４１は，予測信号記憶部１６，予測信号記憶部２６，予測信号記憶部３６から予測信号を読み込み，１つの予測信号として多重化する。なお，第一予測モードの場合，予測信号記憶部３６には予測信号は書き出されていないため，予測信号記憶部１６と予測信号記憶部２６とからだけ予測信号を読み出すことになる。

図８は，図７に示す予測係数算出部１１の構成例を示している。以下，予測係数算出部１１の詳細を図８を用いて説明する。

量子化パラメータ記憶部５１に，参照信号の符号化に用いた量子化パラメータを読み込み格納する。重み係数記憶部５２には，画質予測強度の算出に用いる重み係数βをあらかじめ格納しておく。画質予測強度算出部５３は，量子化パラメータ記憶部５１および重み係数記憶部５２から読み込んだ量子化パラメータおよび重み係数を入力とし，画質予測強度を算出する処理を行い，画質予測強度記憶部５４に書き出す。画質予測強度の具体的な算出方法は，式（７）に従う。

一方，空間予測強度算出部５５は，空間予測強度の算出を行い，空間予測強度記憶部５６に書き出す。具体的な算出方法は，式（３）あるいは式（５）に従う。なお，パラメータａ，ｃは，外部から与えられるものとする。

予測係数算出部５７は，画質予測強度記憶部５４および空間予測強度記憶部５６から読み出した画質予測強度，空間予測強度を入力とし，これらを用いて予測係数を算出する処理を行い，予測係数記憶部５８に書き出す。具体的な算出方法は，式（９）あるいは式（１３）に従う。

［符号化装置］
上述の予測装置は，例えば図９に示すスケーラブル符号化装置の一部として用いられる。図９において，拡張階層符号化部７０における予測処理部７９が，図７に示す予測装置に相当する部分である。

本装置において，階層分離器６１は，入力画像である符号化対象フレームを入力として，空間解像度の異なる階層に分離し，各階層の信号を各々，基本階層信号記憶部６２，拡張階層信号記憶部６３に書き出す。

基本階層符号化部６４は，基本階層信号記憶部６２から読み出した基本階層信号を入力とし，同信号に対して符号化処理を行い，符号化ストリームを符号化ストリーム記憶部６５に書き出す。なお，具体的な符号化方法は，外部から与えられるものとする。例えば，よく知られている動き補償と離散コサイン変換を用いた動画像符号化方法等を用いることができる。

ローカル復号画像取得部６６は，符号化ストリーム記憶部６５から読み出した基本階層の符号化ストリームを入力とし，基本階層符号化部６４が行った符号化処理に対応する復号処理を行い，復号した画像をローカル復号画像記憶部に６７に書き込む。

拡張階層符号化部７０における変換部７１は，拡張階層信号記憶部６３から読み出した拡張階層信号を入力とし，変換処理（例えば，離散コサイン変換）を行い，算出された変換係数を変換係数記憶部７２へ書き出す。量子化部７３は，変換係数記憶部７２から読み出した変換係数を入力とし，量子化処理を行い，量子化値を量子化値記憶部７４へ書き出す。

逆量子化部７５は，量子化値記憶部７４から読み出した量子化値を入力とし，逆量子化処理を行い，逆量子化値記憶部７６へ書き出す。逆変換部７７は，逆量子化値記憶部７６から読み出した変換係数を入力とし，逆変換処理を行い，その結果をローカル復号信号記憶部７８へ書き出す。

予測処理部７９は，ローカル復号信号記憶部７８から読み出した拡張階層のローカル復号画像と遅延器８１の出力との加算値，および，基本階層のローカル復号画像記憶部６７から読み出したローカル復号画像を入力とし，予測処理を行い，予測信号記憶部８０に書き出す。本処理の詳細は，図７および図８を用いて説明したとおりである。

なお，予測信号記憶部８０から読み出した予測信号は，遅延器８１に入力され，１フレーム分遅延された後，ローカル復号信号記憶部７８から読み出された拡張階層のローカル復号画像と加算される。また，予測信号記憶部８０に記憶された予測信号は，変換部７１への拡張階層信号の入力時に用いられ，拡張階層信号と予測信号との差分信号が変換部７１への入力となる。

エントロピ符号化部８２は，量子化値記憶部７４から読み出した量子化値を入力とし，エントロピ符号化処理を行い，符号化結果を符号化ストリーム記憶部８３へ書き出す。多重化器６８は，符号化ストリーム記憶部６５および符号化ストリーム記憶部８３から読み出した符号化ストリームを多重化する処理を行い，スケーラブル符号化結果として出力する。

［復号装置］
上述の予測装置は，例えば図１０に示すスケーラブル復号装置の一部としても用いられる。図１０における予測処理部１０５が，図７に示す予測装置に相当する部分である。

本装置において，分離器９１は，スケーラブル符号化装置から出力された符号化ストリームを入力とし，同ストリームを基本階層符号化ストリームと拡張階層符号化ストリームとに分離する処理を行い，基本階層符号化ストリームおよび拡張階層符号化ストリームを各々，基本階層符号化ストリーム記憶部９２，拡張階層符号化ストリーム記憶部９５に書き出す。

基本階層復号部９３は，基本階層符号化ストリーム記憶部９２から読み出した符号化ストリームを入力とし，同ストリームに対して復号処理を行い，復号結果を基本階層信号記憶部９４に書き出す。なお，具体的な復号方法は，外部から与えられるものとする。例えば，動き補償と逆離散コサイン変換を用いた動画像復号方法等を用いることができる。

エントロピ復号部９６は，拡張階層符号化ストリーム記憶部９５から読み出した符号化ストリームを入力とし，エントロピ復号処理を行い，復号された量子化値を量子化値記憶部９７へ書き出す。逆量子化部９８は，量子化値記憶部９７から読み出した量子化値を入力とし，逆量子化処理を行い，その結果を変換係数記憶部９９へ書き出す。逆変換部１００は，変換係数記憶部９９から読み出した変換係数を入力とし，逆変換処理を行い，復号信号記憶部１０１へ書き出す。加算器１０２は，復号信号記憶部１０１から読み出した復号信号と予測信号記憶部１０６の出力との加算値を拡張階層信号記憶部１０３に書き出す。

拡張階層信号記憶部１０３に記憶された拡張階層信号は，外部に出力されるとともに，遅延器１０４に書き出され，遅延器１０４において１フレーム分遅延される。

予測処理部１０５は，基本階層信号記憶部９４から読み出した復号信号と遅延器１０４の出力である拡張階層信号を入力とし，予測処理を行い，予測信号記憶部１０６に書き出す。本処理の詳細は，図７および図８を用いて説明したとおりである。

以上のスケーラブル符号化および復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明の概要を説明する図である。 空間的な位置による領域の分類の例を示す図である。 下位階層も考慮した多参照信号予測の例を示す図である。 ブロック内の空間的な位置と空間予測強度の例を示す図である。 本発明の実施形態に係る予測処理の流れを示す図である。 本発明の実施形態に係る予測係数算出処理の流れを示す図である。 本発明の実施形態に係る予測装置のブロック図である。 予測係数算出部の構成例を示す図である。 スケーラブル符号化装置の構成例を示す図である。 スケーラブル復号装置の構成例を示す図である。

符号の説明

１ 予測係数算出手段
２ 予測係数記憶手段
３ 階層間予測処理手段
４ フレーム間予測処理手段
５ 予測信号生成手段
１０ 予測モード記憶部
１１，２１，３１ 予測係数算出部
１２，２２，３２ 復号信号記憶部
１３ 階層間予測処理部
２３，３３ フレーム間予測処理部
１４，２４，３４ 予測信号記憶部
１５，２５，３５ 予測係数乗算処理部
１６，２６，３６ 予測信号記憶部
４１ 多重化処理部
４２ 予測信号記憶部

Claims (18)

1. 複数のフレームを参照信号とする予測方式を用いる動画像のスケーラブル符号化方法であって，
   被予測信号の予測ブロック内における空間的な位置に応じて異なる値を持つように決定されたフレーム間予測と階層間予測との予測係数を，予測係数記憶手段に記憶する予測係数記憶ステップと，
   空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理ステップと，
   空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理ステップと，
   前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成ステップとを有し，
   被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させ，符号化対象フレームのスケーラブル符号化を行う
   ことを特徴とするスケーラブル符号化方法。
2. 複数のフレームを参照信号とする予測方式を用いる動画像のスケーラブル符号化方法であって，
   参照信号となる復号画像に含まれる符号化歪みに応じて算出されたフレーム間予測と階層間予測との予測係数を，予測係数記憶手段に記憶する予測係数記憶ステップと，
   空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理ステップと，
   空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理ステップと，
   前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成ステップとを有し，
   参照信号となる復号画像に含まれる符号化歪みに応じて，フレーム間予測と階層間予測との予測強度を変化させ，符号化対象フレームのスケーラブル符号化を行う
   ことを特徴とするスケーラブル符号化方法。
3. 請求項２記載のスケーラブル符号化方法において，
   前記フレーム間予測と階層間予測との予測係数の算出では，下位階層信号生成時のダウンサンプリングフィルタの周波数特性に応じて，下位階層の復号画像に含まれる符号化歪みを重み付けする
   ことを特徴とするスケーラブル符号化方法。
4. 複数のフレームを参照信号とする予測方式を用いる動画像のスケーラブル符号化方法であって，
   参照信号となる復号画像に含まれる符号化歪みに基づき決定されたフレーム間予測および階層間予測における参照信号の画質予測強度と，被予測信号の予測ブロック内の空間的な位置に応じて決定されたフレーム間予測と階層間予測における参照信号の空間予測強度とから，フレーム間予測と階層間予測との予測係数を算出し，予測係数記憶手段に記憶する予測係数記憶ステップと，
   空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理ステップと，
   空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理ステップと，
   前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成ステップとを有し，
   参照信号となる復号画像に含まれる符号化歪み，および，被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させ，符号化対象フレームのスケーラブル符号化を行う
   ことを特徴とするスケーラブル符号化方法。
5. 請求項１から請求項４までのいずれか１項に記載のスケーラブル符号化方法において，
   予測モードとして，階層間予測と時間方向の片方向フレーム間予測を組み合わせた第１の予測モードと，階層間予測と時間方向の両方向フレーム間予測を組み合わせた第２の予測モードとを有し，
   前記フレーム間予測処理ステップは，前記第１の予測モードの場合に時間方向の片方向予測を行い，前記第２の予測モードの場合に時間方向の両方向予測を行う
   ことを特徴とするスケーラブル符号化方法。
6. 複数のフレームを参照信号とする予測方式を用いる動画像のスケーラブル符号化装置であって，
   被予測信号の予測ブロック内における空間的な位置に応じて異なる値を持つように決定されたフレーム間予測と階層間予測との予測係数を記憶する予測係数記憶手段と，
   空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理手段と，
   空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理手段と，
   前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成手段とを備え，
   被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させ，符号化対象フレームのスケーラブル符号化を行うようにした
   ことを特徴とするスケーラブル符号化装置。
7. 複数のフレームを参照信号とする予測方式を用いる動画像のスケーラブル符号化装置であって，
   参照信号となる復号画像に含まれる符号化歪みに応じて算出されたフレーム間予測と階層間予測との予測係数を記憶する予測係数記憶手段と，
   空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理手段と，
   空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理手段と，
   前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成手段とを備え，
   参照信号となる復号画像に含まれる符号化歪みに応じて，フレーム間予測と階層間予測との予測強度を変化させ，符号化対象フレームのスケーラブル符号化を行うようにした
   ことを特徴とするスケーラブル符号化装置。
8. 複数のフレームを参照信号とする予測方式を用いる動画像のスケーラブル符号化装置であって，
   参照信号となる復号画像に含まれる符号化歪みに基づき決定されたフレーム間予測および階層間予測における参照信号の画質予測強度と，被予測信号の予測ブロック内の空間的な位置に応じて決定されたフレーム間予測と階層間予測における参照信号の空間予測強度とから，フレーム間予測と階層間予測との予測係数を算出する予測係数算出手段と，
   算出された予測係数を記憶する予測係数記憶手段と，
   空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理手段と，
   空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理手段と，
   前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成手段とを備え，
   参照信号となる復号画像に含まれる符号化歪み，および，被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させ，符号化対象フレームのスケーラブル符号化を行うようにした
   ことを特徴とするスケーラブル符号化装置。
9. 複数のフレームを参照信号とする予測方式を用いて符号化された動画像を復号するスケーラブル復号方法であって，
   被予測信号の予測ブロック内における空間的な位置に応じて異なる値を持つように決定されたフレーム間予測と階層間予測との予測係数を，予測係数記憶手段に記憶する予測係数記憶ステップと，
   空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理ステップと，
   空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理ステップと，
   前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成ステップとを有し，
   被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させ，復号対象フレームの復号を行う
   ことを特徴とするスケーラブル復号方法。
10. 複数のフレームを参照信号とする予測方式を用いて符号化された動画像を復号するスケーラブル復号方法であって，
    参照信号となる復号画像に含まれる符号化歪みに応じて算出されたフレーム間予測と階層間予測との予測係数を，予測係数記憶手段に記憶する予測係数記憶ステップと，
    空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理ステップと，
    空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理ステップと，
    前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成ステップとを有し，
    参照信号となる復号画像に含まれる符号化歪みに応じて，フレーム間予測と階層間予測との予測強度を変化させ，復号対象フレームの復号を行う
    ことを特徴とするスケーラブル復号方法。
11. 複数のフレームを参照信号とする予測方式を用いて符号化された動画像を復号するスケーラブル復号方法であって，
    参照信号となる復号画像に含まれる符号化歪みに基づき決定されたフレーム間予測および階層間予測における参照信号の画質予測強度と，被予測信号の予測ブロック内の空間的な位置に応じて決定されたフレーム間予測と階層間予測における参照信号の空間予測強度とから，フレーム間予測と階層間予測との予測係数を算出し，予測係数記憶手段に記憶する予測係数記憶ステップと，
    空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理ステップと，
    空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理ステップと，
    前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成ステップとを有し，
    参照信号となる復号画像に含まれる符号化歪み，および，被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させ，復号対象フレームの復号を行う
    ことを特徴とするスケーラブル復号方法。
12. 複数のフレームを参照信号とする予測方式を用いて符号化された動画像を復号するスケーラブル復号装置であって，
    被予測信号の予測ブロック内における空間的な位置に応じて異なる値を持つように決定されたフレーム間予測と階層間予測との予測係数を記憶する予測係数記憶手段と，
    空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理手段と，
    空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理手段と，
    前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成手段とを備え，
    被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させ，復号対象フレームの復号を行うようにした
    ことを特徴とするスケーラブル復号装置。
13. 複数のフレームを参照信号とする予測方式を用いて符号化された動画像を復号するスケーラブル復号装置であって，
    参照信号となる復号画像に含まれる符号化歪みに応じて算出されたフレーム間予測と階層間予測との予測係数を記憶する予測係数記憶手段と，
    空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理手段と，
    空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理手段と，
    前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成手段とを備え，
    参照信号となる復号画像に含まれる符号化歪みに応じて，フレーム間予測と階層間予測との予測強度を変化させ，復号対象フレームの復号を行うようにした
    ことを特徴とするスケーラブル復号装置。
14. 複数のフレームを参照信号とする予測方式を用いて符号化された動画像を復号するスケーラブル復号装置であって，
    参照信号となる復号画像に含まれる符号化歪みに基づき決定されたフレーム間予測および階層間予測における参照信号の画質予測強度と，被予測信号の予測ブロック内の空間的な位置に応じて決定されたフレーム間予測と階層間予測における参照信号の空間予測強度とから，フレーム間予測と階層間予測との予測係数を算出する予測係数算出手段と，
    算出された予測係数を記憶する予測係数記憶手段と，
    空間解像度の異なる下位階層信号を参照する階層間予測を行い，階層間予測に基づく予測信号を生成する階層間予測処理手段と，
    空間解像度の等しい近隣のフレーム信号を参照する時間方向のフレーム間予測を行い，フレーム間予測に基づく予測信号を生成するフレーム間予測処理手段と，
    前記階層間予測に基づく予測信号と前記フレーム間予測に基づく予測信号に，それぞれ前記予測係数記憶手段に記憶された対応する予測係数を乗じて加算することにより予測信号を生成する予測信号生成手段とを備え，
    参照信号となる復号画像に含まれる符号化歪み，および，被予測信号の予測ブロック内の空間的な位置に応じて，フレーム間予測と階層間予測との予測強度を変化させ，復号対象フレームの復号を行うようにした
    ことを特徴とするスケーラブル復号装置。
15. 請求項１から請求項５までのいずれか１項に記載されたスケーラブル符号化方法を，コンピュータに実行させるためのスケーラブル符号化プログラム。
16. 請求項１から請求項５までのいずれか１項に記載されたスケーラブル符号化方法を，コンピュータに実行させるためのスケーラブル符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 請求項９から請求項１１までのいずれか１項に記載されたスケーラブル復号方法を，コンピュータに実行させるためのスケーラブル復号プログラム。
18. 請求項９から請求項１１までのいずれか１項に記載されたスケーラブル復号方法を，コンピュータに実行させるためのスケーラブル復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images