JP2007067552A - 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体 - Google Patents

Abstract

【課題】スケーラブル符号化において各階層毎に与えられる付加情報に対する効率的な符号化手段を提供する。
【解決手段】画像信号を空間解像度の異なる階層に分割し，分割された領域毎に符号化パラメータを求め，符号化処理を行う階層間予測符号化において，同一の符号化パラメータをもつ領域をセグメントとして扱い，低い空間解像度の第ｊ階層信号の領域分割情報（セグメント情報）から高い空間解像度の第ｊ＋１階層信号の領域分割情報（セグメント情報）を予測し，単位セグメント毎に方向情報を用いて表した予測誤差情報を符号化する。
【選択図】図５

Description

本発明は，高能率画像信号符号化方法に関し，特に階層間予測符号化において各階層毎に与えられる付加情報を少なく抑えることを可能にした階層間予測処理方法に関するものである。

近年，多様化するネットワーク環境・端末環境などに対応するためのスケーラブル符号化が注目を集めている。スケーラブル符号化では，画像信号を階層的に分割し，各階層毎に符号化が行われる。階層分割の方法としては，（ｉ）空間周波数に関する帯域分割，（ii）時間周波数に関する帯域分割などがある。（ｉ）としては，ｗａｖｅｌｅｔ分割（非特許文献１参照），（ii）としては，Motion Compensation Temporal Fitering （ＭＣＴＦ）（非特許文献２参照）が代表例である。

各階層信号に対する符号化効率を向上させる目的から，各階層のフレーム内を局所的な性質に応じて分割し，分割された各領域毎に独立に符号化を行う方式が検討されている。この場合，各領域毎に符号化パラメータが与えられる。こうした領域毎に個別の符号化パラメータを与える例としては，輝度補償があげられる。輝度補償は以下に示すように動き補償のフレーム間予測部分を改良した技術である。

動き補償では，まず，符号化対象フレームｆ（ｐ，ｔ）（ｐ∈｛（ｘ，ｙ）｜０≦ｘ≦Ｘ−１，０≦ｙ≦Ｙ−１｝）（画面サイズＸ×Ｙ）をいくつかの領域に分割し，領域毎に動き補償（ＭＣ）を用いた次のようなフレーム間予測が行われる。

ここで，Ｂ_i は第ｉ番目の領域であり，ｖ_i は次式を満たす動きベクトルである。

ここで，

は，次に続く関数を最小化するｖを返す。すなわち，探索範囲Ｒ_i において，領域Ｂ_i 内での予測誤差を最小化するｖが動きベクトルｖ_i として選ばれる。次に，予測誤差に直交変換，量子化が施され，最後に，得られた変換係数がエントロピ符号化される。

予測誤差の低減が変換係数の符号量低減につながることから，予測誤差の低減を目的として，次のようなフレーム間予測の改良が検討されている。これを輝度補償と呼ぶ（非特許文献３，非特許文献４参照）。

ここで，γ_i は，

であり，式（１）のｖ_i に対して，

を最小化する値として求めたものである。
S.G.Mallat："A theory for multiresolution signal decomposition: the wavelet representation "，IEEE Trans. Pattern Analysis and Machine Intelligence ，Vol.11，No.7，pp.674-693，July，1989 J.R.Ohm ："Three-dimensional subband coding with motion compensation "，IEEE Trans. Image Processing，Vol.3 ，No.5，pp.559-571，Sept. ，1994 K.H.Tzou，T.R.Hsing ，and N.A.Daly: "Block-recursive matching algorithm（BRMA）for displacement estimation of video images "，IEEE Int. Conf. Accost. ，Speech，Signal Process. ，pp.359-362，1985 上倉一人，渡辺裕，小林直樹，一之瀬進，安田浩："演算量低減を考慮したグローバル動き・輝度変化補償動画像符号化"，信学論，Vol.J82-B ，No.9，pp.1676-1688，1999

前述の輝度補償はスケーラブル符号化における各階層の符号化効率向上にも寄与する。しかし，各階層を独立に符号化したのでは，符号化効率の向上は望めない。そこで，符号化効率向上を目的として，階層間の相関を利用した符号化方法を検討する。具体的には，空間解像度の異なる２つの階層に対して，低い空間解像度の画像信号から高い空間解像度の画像信号を予測する階層間予測を行う。この場合，予測により，付加情報をいかに少なく抑えるかが符号化効率向上の鍵となる。

本発明はかかる事情に鑑みてなされたものであって，スケーラブル符号化において各階層毎に与えられる付加情報に対する効率的な符号化方法を確立することを目的とする。

以下では，第ｊ階層の時刻ｔフレーム内の座標（ｘ，ｙ）における画素値をｆ_j （ｘ，ｙ，ｔ）とし，ｆ_j （ｘ，ｙ，ｔ）に対する復号信号をｇ_j （ｘ，ｙ，ｔ）とする。ｆ_j+1 （ｘ，ｙ，ｔ）は，ｆ_j （ｘ，ｙ，ｔ）の２倍の空間解像度となる。例えば，ｆ₀ （ｘ，ｙ，ｔ）がＱＣＩＦサイズであれば，ｆ₁ （ｘ，ｙ，ｔ）はＣＩＦサイズとなる。

第ｊ階層の時刻ｔのフレーム内がＭ_j 個の領域に分割され，各領域毎に独立な符号化パラメータ（例えば，輝度補償パラメータ）を持つとする。ここで，同一の符号化パラメータをもつ領域をセグメントと呼ぶ。また，セグメントの最小単位をＬ×Ｌ画素領域とし，同領域を単位セグメントと呼ぶ。また，フレーム内のセグメントによる領域分割を表す情報をセグメント情報と呼ぶ。

本発明では，第ｊ階層のセグメント情報から第ｊ＋１階層のセグメント情報を予測し，予測誤差を符号化することをもっとも主要な特徴とする。

詳しくは，本発明は，画像信号を空間解像度の異なる階層に分割し，分割された領域毎に符号化パラメータを求め，符号化処理を行う画像符号化において，低い空間解像度の信号（下位階層信号）の領域分割情報から高い空間解像度の信号（上位階層信号）の領域分割情報を予測し，単位セグメント毎に方向情報を用いて予測誤差情報を表すことを特徴とする。

また，本発明は，上記予測誤差情報に対する方向情報を符号化する際，その符号化対象の方向情報を，
（１）予測形状に対する補正が不要な場合，
（２）予測形状に対する補正が必要であり，補正が必要な単位セグメントが属するセグメントが１通りに限定される場合，
（３）予測形状に対する補正が必要であり，補正が必要な単位セグメントが属するセグメントが２通りの侯補を持つ場合，
からなる３通りに分類し，符号化する。

また，本発明は，上記予測誤差情報に対する方向情報を符号化する際，その符号化対象の方向情報を，
（１）予測形状に対する補正が不要な場合，
（２）予測形状に対する補正が必要であり，補正が必要な単位セグメントが属するセグメントが１通りに限定される場合，
（３）予測形状に対する補正が必要であり，補正が必要な単位セグメントが属するセグメントが２通りの候補を持つ場合，
（４）予測形状に対する補正が必要であり，補正が必要な単位セグメントが隣接セグメントに属さない場合，
からなる４通りに分類し，符号化することもできる。

さらに上記発明において，補正が必要な単位セグメントが属する２通りのセグメントの候補を符号化する際，方向情報に対して順序を定めた法則に従い，符号化シンボルを設定する。

また，上記発明において，補正が必要な単位セグメントが属する２通りのセグメントの候補を符号化する際，候補となるセグメント内の画素数に応じて，符号化シンボルを設定することもできる。

また，上記発明において，補正が必要な単位セグメントが属する２通りのセグメントの候補を符号化する際，候補となるセグメント内に対応する下位階層のセグメントでの量子化ステップ幅に応じて，符号化シンボルを設定することもできる。

なお，セグメントは同一の符号化パラメータをもつ領域としたが，本発明の特徴とするところは，空間解像度の異なる階層間で下位階層信号の領域分割情報から上位階層信号の領域分割情報を予測し，その予測誤差情報を符号化／復号する点にあるので，セグメントは，必ずしも同一の符号化パラメータを持つ領域でなくてもよく，何らかの領域分割の基準となり得る特定の符号化パラメータをもつ領域であってもよい。

スケーラブル符号化において空間解像度の異なる階層毎に与えられるセグメント情報に対して，オーバヘッド情報の抑圧を図り，符号化効率の向上を実現する。これは，スケーラブル符号化における分割損の低減につながる。

各階層のセグメント数は付加情報として，別途，伝送されるものとする。このセグメント数に対して，
・各階層でセグメント数が同一の場合（Ｍ₀ ＝Ｍ₁ ＝…＝Ｍ_J ），
・上位階層でセグメント数が増加する場合（Ｍ₀ ≦Ｍ₁ ≦…≦Ｍ_J ），
について，以下に示す。

〔各階層でセグメント数が同一の場合〕
図１は，画像のブロック分割の例を示す。図１を用いて各階層でセグメント数が同一の場合の例を説明する。ここで，破線で示した正方形が単位セグメントを表している。図１（ａ）は第ｊ階層の時刻ｔのフレーム内の領域分割を示しており，図１（ｂ）は第ｊ＋１階層の時刻ｔのフレーム内の領域分割を示している。

図１（ａ）の各セグメントを縦／横方向，各々２倍に拡大すると，図１（ｃ）に示す領域分割となる。これが，本発明における第ｊ階層のセグメント情報から第ｊ＋１階層のセグメント情報を予測する処理にあたる。

図１（ｃ）の領域分割（予測形状）と図１（ｂ）の領域分割（真の形状）との差を，図１（ｄ）に示す。ここで，図１（ｂ）と図１（ｃ）で異なる単位セグメントを網掛けにより示す。このように下位階層から予測されたセグメント（予測セグメント）と異なるセグメントに含まれる単位セグメントを補正単位セグメントと呼ぶ。一方，補正単位セグメントではない残りの単位セグメントを非補正単位セグメントと呼ぶ。また，補正単位セグメント上の矢印は，その補正単位セグメントが属するセグメントの方向を示す。

各単位セグメントの属するセグメントを示す情報を属性情報と呼び，以下，この属性情報の与え方を示す。まず，補正単位セグメントと非補正単位セグメントに分類する。さらに補正単位セグメントに対しては，属性情報として上下左右のいずれかの方向を指定することとする。ただし，隣接４近傍の単位セグメントのうち，それ自身の予測セグメント以外に含まれるものは最大でも２つに限定される。

例えば，図１（ｄ）において左向きの矢印が与えられた補正単位セグメントの場合，図１（ｃ）により上／右方向は自身の予測セグメント内にあるため，補正単位セグメントの属性情報として取り得るのは，下／左方向の２方向に限定される。また，図１（ｄ）において下向きの矢印が与えられた補正単位セグメントの場合，補正単位セグメントの属性情報として取り得るのは，上方向のみに限定される。このため，高々３種類のシンボルにより属性情報を表すことができる。３つのシンボルの与え方としては，例えば，以下に示す方法がある。

《属性情報の例１》
（１−ｉ）非補正単位セグメントの場合：属性情報を０で表す。
（１−ii）取り得る属性情報が１通りに限定される補正単位セグメントの場合：属性情報を１で表す。
（１−iii ）取り得る属性情報が２通りある補正単位セグメントの場合：取り得る属性情報に対応する２通りの方向を上方向，右方向，下方向，左方向の順で並べ，この順に，シンボル１および２を割り振るものとし，属性情報を１または２で表す。なお，この方向の順序付けは一例であり，他の方法でも同様に行うことができる。

《属性情報の例２》
（２−ｉ）前述（１−ｉ）に同じ
（２−ii）前述（１−ii）に同じ
（２−iii ）取り得る属性情報が２通りある補正単位セグメントの場合：取り得る属性情報に対応する２通りのセグメント内の画素数を降順に並べ，この順に，シンボル１および２を割り振るものとし，属性情報を１または２で表す。なお，各属性情報により示されるセグメント内の画素数が等しい場合は，前述（１−ｉ）に同じとする。

《属性情報の例３》
（３−ｉ）前述（１−ｉ）に同じ
（３−ii）前述（１−ii）に同じ
（３−iii ）取り得る属性情報が２通りある補正単位セグメントの場合：属性情報に対応する各予測セグメントにおいて，単位セグメントあたりの平均量子化ステップ幅を求め，同平均量子化ステップ幅を昇順に並べ，この順に，シンボル１および２を割り振るものとし，属性情報を１または２で表す。なお，上述の予測誤差が等しい場合は，前述（１−ｉ）に同じとする。

〔上位階層でセグメント数が増加する場合〕
図２は，画像のブロック分割の他の例を示す。図２を用いて上位階層でセグメント数が増加する場合の例を説明する。ここでは，第ｊ階層は３つのセグメントに分割されるのに対し，第ｊ＋１階層は４つのセグメントに分割される例を示している。図２（ａ）および（ｃ）は，図１（ａ）および（ｃ）に同じである。図２（ｂ）は，４つ目のセグメントが追加された場合を示している。これに対応して，図２（ｄ）では，濃い網掛けで表した補正セグメントが追加されている。このセグメントは，隣接するいずれのセグメントにも属していない。こうした補正単位セグメントを特異単位セグメントと呼ぶ。上位階層でセグメント数が増加する場合は，属性情報として前述の３種類のシンボルに加えて，特異単位セグメントであることを表すシンボルが必要である。つまり，最大４種類のシンボルにより属性情報を表すことになる。

〔階層間予測処理〕
図３は，本発明の実施形態に係る符号化処理の流れを示している。各階層でセグメント数が同一の場合の実施形態について，図３を参照して説明する。

ステップＳ１：ｊ階層の信号を入力とし，セグメントを求める処理を行い，セグメント情報をレジスタに書き出す。

ステップＳ２：ｊ階層のセグメント情報を入力とし，縦／横方向に各々２倍に拡大する処理を行い，拡大後のセグメント情報（予測セグメント）をレジスタに書き出す。

ステップＳ３：一方，ｊ＋１階層の信号を入力とし，セグメントを求める処理を行い，セグメント情報をレジスタに書き出す。

ステップＳ４：予測セグメントおよびｊ＋１階層のセグメント情報を入力とし，両者の差分を求める処理を行い，差分情報をレジスタに書き出す。その後，以下の処理を各単位セグメントに対して行う。

ステップＳ５：処理対象の単位セグメントに対するステップＳ４で書き出された差分情報を入力とし，処理対象の単位セグメントが非補正単位セグメントか否かの判定処理を行い，真の場合には，ステップＳ６の処理に移り，偽の場合には，ステップＳ７の処理に移る。

ステップＳ６：処理対象の単位セグメントに対する属性情報を０として，レジスタに書き出す。

ステップＳ７：処理対象の単位セグメントに対するステップＳ４で書き出された差分情報を入力とし，処理対象の単位セグメントが属性情報の侯補を１つしか持たないか否かの判定処理を行い，真の場合には，ステップＳ８の処理に移り，偽の場合には，ステップＳ９の処理に移る。

ステップＳ８：処理対象の単位セグメントに対する属性情報を１として，レジスタに書き出す。

ステップＳ９：予測セグメントおよびｊ＋１階層のセグメント情報を入力とし，処理対象の補正単位セグメントが属するセグメントを決定する処理を行い，同セグメントを示す方向情報をレジスタに書き出す。

ステップＳ１０：ステップＳ９で書き出された方向情報を入力とし，同方向情報を属性情報に変換する処理を行い，同属性情報をレジスタに書き出す。具体的な変換処理は，（１−iii ），または（２−iii ），または（３−iii ）を用いる。

ステップＳ１１：フレーム内の全単位セグメントに対して以上の処理が終了したか否かを判定し，真の場合には，処理を終了し，偽の場合には，ステップＳ５へ戻って同様に次の単位セグメントに対する処理を行う。

図４は，本発明の他の実施形態に係る符号化処理の流れを示している。上位階層でセグメント数が増加する場合の実施形態について，図４を参照して説明する。

ステップＳ２１：ｊ階層の信号を入力とし，セグメントを求める処理を行い，セグメント情報をレジスタに書き出す。

ステップＳ２２：ｊ階層のセグメント情報を入力とし，縦／横方向に各々２倍に拡大する処理を行い，拡大後のセグメント情報（予測セグメント）をレジスタに書き出す。

ステップＳ２３：一方，ｊ＋１階層の信号を入力とし，セグメントを求める処理を行い，セグメント情報をレジスタに書き出す。

ステップＳ２４：予測セグメントおよびｊ＋１階層のセグメント情報を入力とし，両者の差分を求める処理を行い，差分情報をレジスタに書き出す。その後，以下の処理を各単位セグメントに対して行う。

ステップＳ２５：処理対象の単位セグメントに対するステップＳ２４で書き出された差分情報を入力とし，処理対象の単位セグメントが非補正単位セグメントか否かの判定処理を行い，真の場合には，ステップＳ２６の処理に移り，偽の場合には，ステップＳ２７の処理に移る。

ステップＳ２６：処理対象の単位セグメントに対する属性情報を０として，レジスタに書き出す。

ステップＳ２７：処理対象の単位セグメントに対するステップＳ２４で書き出された差分情報を入力とし，処理対象の単位セグメントが特異単位セグメントか否かの判定処理を行い，真の場合には，ステップＳ２８の処理に移り，偽の場合には，ステップＳ２９の処理に移る。

ステップＳ２８：処理対象の単位セグメントに対する属性情報を３として，レジスタに書き出す。

ステップＳ２９：処理対象の単位セグメントに対するステップＳ２４で書き出された差分情報を入力とし，処理対象の単位セグメントが属性情報の侯補を１つしか持たないか否かの判定処理を行い，真の場合には，ステップＳ３０の処理に移り，偽の場合には，ステップＳ３１の処理に移る。

ステップＳ３０：処理対象の単位セグメントに対する属性情報を１として，レジスタに書き出す。

ステップＳ３１：予測セグメントおよびｊ＋１階層のセグメント情報を入力とし，処理対象の単位セグメントが属するセグメントを決定する処理を行い，同セグメントを示す方向情報をレジスタに書き出す。

ステップＳ３２：ステップＳ３１で書き出された方向情報を入力とし，同方向情報を属性情報に変換する処理を行い，同属性情報をレジスタに書き出す。具体的な変換処理は，（１−iii ），または（２−iii ），または（３−iii ）を用いる。

ステップＳ３３：フレーム内の全単位セグメントに対して以上の処理が終了したか否かを判定し，真の場合には，処理を終了し，偽の場合には，ステップＳ２５へ戻って同様に次の単位セグメントに対する処理を行う。

〔階層間予測処理装置〕
図５は，各階層でセグメント数が同一の場合の実施形態に係る階層間予測処理装置の構成例を示している。以下，図５を参照して説明する。

符号化対象信号を階層毎に，ｊ＋１階層信号記憶部１０１，ｊ階層信号記憶部１０４に書き出す。

セグメント算出部１０２は，ｊ＋１階層信号記憶部１０１から読み出したｊ＋１階層の信号を入力とし，セグメントを求める処理を行い，求めたセグメント情報をセグメント記憶部１０３に書き出す。

また，ｊ階層のセグメント算出部１０５は，ｊ階層信号記憶部１０４から読み出したｊ階層の信号を入力とし，セグメントを求める処理を行い，求めたセグメント情報をセグメント記憶部１０６に書き出す。セグメント拡大処理部１０７は，セグメント記憶部１０６から読み出したｊ階層のセグメント情報を入力とし，縦／横方向に各々２倍に拡大する処理を行い，拡大後のセグメント情報（予測セグメント）をセグメント記憶部１０８に書き出す。

セグメント差分算出部１０９は，セグメント記憶部１０３から読み出したｊ＋１階層のセグメント情報およびセグメント記憶部１０８から読み出した予測セグメントのセグメント情報を入力とし，両者の差分を求める処理を行い，差分情報をセグメント差分記憶部１１０に書き出す。その後，以下の処理を各単位セグメントに対して行う。

非補正単位セグメント判定部１１１は，セグメント差分記憶部１１０から読み出した差分情報を入力とし，処理対象の単位セグメントが非補正単位セグメントか否かの判定処理を行い，真の場合には，属性情報算出部１１２の処理に移り，偽の場合には，補正単位セグメント候補数判定部１１４の処理に移る。

属性情報算出部１１２は，処理対象の単位セグメントに対する属性情報を０として，属性情報記憶部１１３に書き出す。

補正単位セグメント候補数判定部１１４は，セグメント差分記憶部１１０から読み出した差分情報を入力とし，処理対象の単位セグメントが属性情報の侯補を１つしか持たないか否かの判定処理を行い，真の場合には，属性情報算出部１１５の処理に移り，偽の場合には，方向情報算出部１１７の処理に移る。

属性情報算出部１１５は，現在の処理対象の単位セグメントに対する属性情報を１として，属性情報記憶部１１６に書き出す。

方向情報算出部１１７は，セグメント記憶部１０３から読み出したｊ＋１階層のセグメント情報およびセグメント記憶部１０８から読み出した予測セグメントを入力とし，処理対象の単位セグメントが属するセグメントを決定する処理を行い，同セグメントを示す方向情報を方向情報記憶部１１８に書き出す。

属性情報算出部１１９は，方向情報記憶部１１８から読み出した方向情報を入力とし，同方向情報を属性情報に変換する処理を行い同属性情報を属性情報記憶部１２０に書き出す。具体的な変換処理は，（１−iii ），または（２−iii ），または（３−iii ）を用いる。

図６は，上位階層でセグメント数が増加する場合の実施形態に係る階層間予測処理装置の構成例を示している。図５に示した階層間予測処理装置との違いは，特異単位セグメント判定部２２１，属性情報算出部２２２，属性情報記憶部２２３が加えられている点である。他のｊ＋１階層信号記憶部２０１〜属性情報記憶部２２０の部分は，それぞれ図５に示したｊ＋１階層信号記憶部１０１〜属性情報記憶部１２０の部分と同様である。以下，図５の階層間予測処理装置と違う部分について説明する。

非補正単位セグメント判定部２１１は，セグメント差分記憶部２１０から読み出した差分情報を入力とし，処理対象の単位セグメントが非補正単位セグメントか否かの判定処理を行い，真の場合には，属性情報算出部２１２の処理に移り，偽の場合には，特異単位セグメント判定部２２１の処理に移る。

特異単位セグメント判定部２２１は，セグメント差分記憶部２１０から読み出した差分情報を入力とし，処理対象の単位セグメントが特異単位セグメントか否かの判定処理を行い，真の場合には，属性情報算出部２２２の処理に移り，偽の場合には，補正単位セグメント候補数判定部２１４の処理に移る。

属性情報算出部２２２は，処理対象の単位セグメントに対する属性情報を３として，属性情報記憶部２２３に書き出す。

以上のようにして算出された属性情報を用いることにより，例えば輝度補償パラメータ等の符号化パラメータを，下位階層と上位階層とで独立に符号化する必要がなくなり，下位階層の符号化パラメータを上位階層で利用することにより，その符号量を大きく削減することができるようになる。もちろん，輝度補償パラメータ等の符号化パラメータに限らず，同様に下位階層信号の領域と上位階層信号の領域とで関連が大きい情報の符号化に，本発明に係る領域の属性情報を利用することができることは明らかである。

また，第ｊ階層のセグメント情報から第ｊ＋１階層のセグメント情報を予測し，予測誤差を符号化する例を説明したが，これによって符号化された符号化情報を復号する場合にも，まったく同様の処理によって第ｊ階層のセグメント情報から第ｊ＋１階層のセグメント情報を予測し，予測誤差を復号することができることは明らかである。

以上の階層間予測処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

図７は，本発明を適用したスケーラブル符号化装置の全体構成の例を示す図である。図５および図６で説明した階層間予測処理装置は，例えば図７に示すスケーラブル符号化装置の一部として用いる。図７中，３０は基本階層符号化部であり，３１は拡張階層符号化部である。

まず，階層分離器３００は，入力画像の符号化対象フレームを入力として，空間解像度の異なる階層に分離し，各階層の信号を各々，基本階層信号記憶部３０１，拡張階層信号記憶部３０２に書き出す。変換部３０３は，基本階層信号記憶部３０１から読み出した基本階層信号を入力とし，例えば離散コサイン変換処理などの変換処理を行い，算出された変換係数を変換係数記憶部３０４へ書き出す。量子化部３０５は，変換係数記憶部３０４から読み出した変換係数を入力とし，量子化処理を行い，量子化値を量子化値記憶部３０６へ書き出す。

逆量子化部３０７は，量子化値記憶部３０６から読み出した量子化値を入力とし，逆量子化処理を行い，逆量子化値記憶部３０８へ書き出す。逆変換部３０９は，逆量子化値記憶部３０８から読み出した変換係数を入力とし，逆変換処理を行い，ローカル復号信号記憶部３１０へ書き出す。

予測処理部３１１は，ローカル復号信号記憶部３１０から読み出したローカル復号画像と遅延器３１３の出力との加算値を入力とし，予測処理を行い，予測信号記憶部３１２に書き出す。予測処理部３１１における処理は，ブロックベースの動き補償，輝度補償のようなセグメント情報を必要とする予測処理である。予測信号記憶部３１２から読み出した予測信号は，遅延器３１３に入力され１フレーム分遅延される。

エントロピ符号化部３１４は，量子化値記憶部３０６から読み出した量子化値を入力とし，エントロピ符号化処理を行い，符号化結果を符号化ストリーム記憶部３１５へ書き出す。

階層間予測処理部３１６は，図３〜図６を用いて説明した本発明の実施形態に係る階層間予測処理を行う。

拡張階層符号化部３１における変換部３１７から遅延器３２７までの処理は，基本階層符号化部３０における変換部３０３から遅延器３１３までの処理と同様である。

多重化器３３０は，符号化ストリーム記憶部３１５および符号化ストリーム記憶部３２９から読み出した符号化ストリームを多重化する処理を行い，スケーラブル符号化結果として出力する。

図８は，本発明を適用したスケーラブル復号装置の全体構成の例を示す図である。図５および図６で説明した階層間予測処理装置は，例えば図８に示すスケーラブル復号装置の一部としても用いられる。図８中，４０は基本階層復号部であり，４１は拡張階層復号部である。

分離器４０１は，図７に示すスケーラブル符号化装置から出力された符号化ストリームを入力とし，同ストリームを基本階層符号化ストリームと拡張階層符号化ストリームとに分離する処理を行い，基本階層符号化ストリームおよび拡張階層符号化ストリームを各々，基本階層符号化ストリーム記憶部４０２，拡張階層符号化ストリーム記憶部４１４に書き出す。

エントロピ復号部４０３は，基本階層符号化ストリーム記憶部４０２から読み出した符号化ストリームを入力とし，エントロピ復号処理を行い，復号された量子化値を量子化値記憶部４０４へ書き出す。逆量子化部４０５は，量子化値記憶部４０４から読み出した量子化値を入力とし，逆量子化処理を行い，変換係数記憶部４０６へ書き出す。逆変換部４０７は，変換係数記憶部４０６から読み出した変換係数を入力とし，逆変換処理を行い，復号信号記憶部４０８へ書き出す。

予測処理部４１１は，復号信号記憶部４０８から読み出した復号信号と予測信号記憶部４１２の出力である予測値との加算値を基本階層信号記憶部４０９に書き出す。また，基本階層信号記憶部４０９から読み出した基本階層信号を遅延器４１０によって１フレーム分遅延した信号を予測信号として予測信号記憶部４１２に書き出す。

階層間予測処理部４１３は，図３〜図６を用いて説明した本発明の実施形態に係る階層間予測処理を行う。

拡張階層復号部４１におけるエントロピ復号部４１５から予測処理部４２３までの処理は，基本階層復号部４０におけるエントロピ復号部４０３から予測処理部４１１までの処理と同様である。

画像のブロック分割の例を示す図である。 画像のブロック分割の他の例を示す図である。 各階層でセグメント数が同一の場合の実施形態に係る階層間予測処理の流れを示す図である。 上位階層でセグメント数が増加する場合の実施形態に係る階層間予測処理の流れを示す図である。 各階層でセグメント数が同一の場合の実施形態に係る階層間予測処理装置の構成を示す図である。 上位階層でセグメント数が増加する場合の実施形態に係る階層間予測処理装置の構成を示す図である。 本発明を適用したスケーラブル符号化装置の全体構成の例を示す図である。 本発明を適用したスケーラブル復号装置の全体構成の例を示す図である。

符号の説明

１０１，２０１ ｊ＋１階層信号記憶部
１０２，１０５，２０２，２０５ セグメント算出部
１０３，１０６，１０８，２０３，２０６，２０８ セグメント記憶部
１０４，２０４ ｊ階層信号記憶部
１０７，２０７ セグメント拡大処理部
１０９，２０９ セグメント差分算出部
１１０，２１０ セグメント差分記憶部
１１１，２１１ 非補正単位セグメント判定部
１１２，１１５，１１９，２１２，２１５，２１９，２２２ 属性情報算出部
１１３，１１６，１２０，２１３，２１６，２２０，２２３ 属性情報記憶部
１１４，２１４ 補正単位セグメント候補数判定部
１１７，２１７ 方向情報算出部
１１８，２１８ 方向情報記憶部

Claims (7)

1. 画像信号を，空間解像度の低い第ｊ階層と空間解像度の高い第ｊ＋１階層とに分割し，各階層毎に符号化／復号を行う階層間予測符号化／復号装置における階層間予測処理方法であって，
   前記第ｊ階層の信号において同一または特定の符号化パラメータを持つ領域であるセグメントを算出し，セグメントによる領域分割を表すセグメント情報を求める過程と，
   前記第ｊ＋１階層の信号において同一または特定の符号化パラメータを持つ領域であるセグメントを算出し，セグメントによる領域分割を表すセグメント情報を求める過程と，
   前記第ｊ階層の信号において求めたセグメント情報から，前記第ｊ＋１階層のセグメント情報を予測する過程と，
   前記第ｊ＋１階層の信号から求めたセグメント情報と，前記第ｊ階層の信号から予測した第ｊ＋１階層のセグメント情報との差分情報を算出する過程と，
   算出した差分情報の予測誤差情報を符号化または復号する過程とを有する
   ことを特徴とする階層間予測処理方法。
2. 請求項１記載の階層間予測処理方法において，
   前記予測誤差情報を符号化または復号する過程では，
   セグメントの最小単位である単位セグメント毎に，方向情報を用いて予測誤差情報を表し，その予測誤差情報に対する方向情報を符号化または復号する際，
   同方向情報を
   予測形状に対する補正が不要な場合，
   予測形状に対する補正が必要であり，補正が必要な単位セグメントが属するセグメントが１通りに限定される場合，
   予測形状に対する補正が必要であり，補正が必要な単位セグメントが属するセグメントが２通りの侯補を持つ場合，
   からなる３通りに分類し，符号化または復号する
   ことを特徴とする階層間予測処理方法。
3. 請求項１記載の階層間予測処理方法において，
   前記予測誤差情報を符号化または復号する過程では，
   セグメントの最小単位である単位セグメント毎に，方向情報を用いて予測誤差情報を表し，その予測誤差情報に対する方向情報を符号化または復号する際，
   同方向情報を
   予測形状に対する補正が不要な場合，
   予測形状に対する補正が必要であり，補正が必要な単位セグメントが属するセグメントが１通りに限定される場合，
   予測形状に対する補正が必要であり，補正が必要な単位セグメントが属するセグメントが２通りの候補を持つ場合，
   予測形状に対する補正が必要であり，補正が必要な単位セグメントが隣接セグメントに属さない場合，
   からなる４通りに分類し，符号化または復号する
   ことを特徴とする階層間予測処理方法。
4. 請求項２または請求項３記載の階層間予測処理方法において，
   前記予測誤差情報を符号化または復号する過程では，
   補正が必要な単位セグメントが属する２通りのセグメントの候補を符号化する際に，方向情報に対して順序を定めた法則に従い符号化シンボルを設定する，または候補となるセグメント内の画素数に応じて符号化シンボルを設定する，または候補となるセグメント内に対応する下位階層のセグメントでの量子化ステップ幅に応じて符号化シンボルを設定する
   ことを特徴とする階層間予測処理方法。
5. 画像信号を，空間解像度の低い第ｊ階層と空間解像度の高い第ｊ＋１階層とに分割し，各階層毎に符号化／復号を行う階層間予測符号化／復号装置における階層間予測処理装置であって，
   前記第ｊ階層の信号において同一または特定の符号化パラメータを持つ領域であるセグメントを算出し，セグメントによる領域分割を表すセグメント情報を求める手段と，
   前記第ｊ＋１階層の信号において同一または特定の符号化パラメータを持つ領域であるセグメントを算出し，セグメントによる領域分割を表すセグメント情報を求める手段と，
   前記第ｊ階層の信号において求めたセグメント情報から，前記第ｊ＋１階層のセグメント情報を予測する手段と，
   前記第ｊ＋１階層の信号から求めたセグメント情報と，前記第ｊ階層の信号から予測した第ｊ＋１階層のセグメント情報との差分情報を算出する手段と，
   算出した差分情報の予測誤差情報を符号化または復号する手段とを備える
   ことを特徴とする階層間予測処理装置。
6. 請求項１から請求項４までのいずれか１項に記載の階層間予測処理方法を，コンピュータに実行させるための階層間予測処理プログラム。
7. 請求項１から請求項４までのいずれか１項に記載の階層間予測処理方法を，コンピュータに実行させるための階層間予測処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images