JP2007306276A - 階層間予測方法，装置，プログラムおよびその記録媒体 - Google Patents

Abstract

【課題】ＳＬＤに対するイントラ予測処理において，参照画素が利用不可能な場合，下位階層の信号を利用して参照画素値を生成することにより，予測性能の向上，符号化効率の向上を図る。
【解決手段】参照画素生成部１４は，参照ブロックのイントラ予測で用いる周辺の参照画素の画素値がイントラ予測では得られない場合に，イントラ予測で用いる周辺の参照画素を，参照ブロックの下位階層における空間的に対応する座標またはその近傍に位置するイントラ予測ブロック内の画素値を用いて生成する。参照ブロック生成部１７は，生成した周辺の参照画素を用いて参照ブロック内の参照画素を生成し，階層間予測部１８は，生成した参照ブロック内の参照画素を用いて符号化または復号対象ブロックの階層間予測信号を生成する。
【選択図】図１

Description

本発明は，階層間予測の参照をイントラ予測ブロックに限定したsingle loop decoding（ＳＬＤ）を行う場合のイントラ予測を改良した階層間予測方法，装置，プログラムおよびその記録媒体に関する。

近年，多様化するネットワーク環境・端末環境などに対応するためのスケーラブル符号化が注目を集めている。スケーラブル符号化では，画像信号を階層的に分割し，各階層毎に符号化が行われる。時間・空間・ＳＮＲスケーラビリティに対応した符号化方法として，Scalable Video Coding （ＳＶＣ）が注目されている（非特許文献１，非特許文献２参照）。

非特許文献１，非特許文献２で示されたJoint Scalable Video Model（ＪＳＶＭ）は，ＡＶＣをベースとした符号化方式であり，時間方向の片方向予測・両方向予測，フレーム内の空間的な予測，下位階層の補間信号を用いた階層間予測を用いている。ＳＶＣ準拠の符号化ストリームは，各階層毎に，時間・空間・画質の異なる信号の符号化結果に対応する。

ＳＶＣにおいて，復号処理時の計算量は，ＡＶＣと比べて増加する傾向にある。これは，階層間予測を行っているため，特定の階層の信号を復号する場合，下位階層の信号の復号も必要となるためである。とりわけ，逆動き補償に関わる処理の演算量が全体の演算量に占める割合が大きい。そこで，該当階層以外では，逆動き補償を行わないsingle loop decoding（ＳＬＤ）と呼ばれる手法が提案されている。ＳＬＤでは，下位階層からの参照をイントラ符号化ブロックのみに限定することで，下位階層での逆動き補償の省略を可能としている。なお，イントラ予測時の参照画素がインター符号化ブロックに属するなどの理由で利用不可能な場合には，参照画素の値を一律，１２７として処理を進めている。
J.Reichel ，M.Wien and H.Schwarz，"Working Draft 4 of ISO/IEC 14496-10:200x Amd.3 Scalable Video Coding"ISO/IEC JTC1/SC29/WG11 N7555，Octover 2005，Nice，France． J.Reichel ，M.Wien and H.Schwarz，"Joint Scalable Video Model（JSVM）4 "ISO/IEC JTC1/SC29/WG11 N7556，Octover 2005，Nice，France.

前述のとおり，ＳＬＤにおけるイントラ予測は，ＡＶＣに準じるものであり，各階層に閉じた処理となっている。このため，異なる時間・空間解像度の階層から構成される信号に対して適用する場合，階層間の相関を利用できるようには，設計されていない。つまり，多階層の信号に対する符号化としては最適化されておらず，符号化効率改善に改良の余地を残す。

本発明はかかる事情に鑑みてなされたものであって，ＳＬＤに対するイントラ予測処理において，参照画素が利用不可能な場合，下位階層の信号を利用して参照画素値を生成するイントラ予測器の設計法を確立することを目的とする。

まず，本発明の説明で用いる記号を整理する。第ｊ階層の時刻ｔのフレーム内の座標（ｘ，ｙ）における画素値をｆ_j （ｘ，ｙ，ｔ）とし，ｆ_j （ｘ，ｙ，ｔ）に対する復号信号をｇ_j （ｘ，ｙ，ｔ）とする。ｆ_j （ｘ，ｙ，ｔ）は，ｆ_j-1 （ｘ，ｙ，ｔ）の２倍の空間解像度となる。例えば，ｆ₀ （ｘ，ｙ，ｔ）がＱＣＩＦサイズであれば，ｆ₁ （ｘ，ｙ，ｔ）はＣＩＦサイズとなる。フレーム間予測におけるブロックサイズをＬ×Ｌとする。

ＳＬＤで用いるイントラ予測における階層間の位置関係を，図２を用いて説明する。図２（ａ），（ｂ），（ｃ）は，各々，第ｋ階層，第ｋ−１階層，第ｋ−２階層のフレームを示している。図２（ａ）の黒色領域は，直下階層（第ｋ−１階層）からの予測を用いるブロックを表しているものとする。ＳＬＤの場合，同ブロックに対応する下位階層の領域（図２（ｂ）の黒色領域）は，イントラ符号化で符号化されたブロックに限定される。イントラ符号化の場合，図２（ｂ）の網掛け領域のように近傍の画素を参照画素として予測信号を生成する。

本発明では，第ｋ−１階層におけるイントラ予測の参照画素（網掛け領域）がインター符号化ブロックに属する等の理由から利用できない場合，第ｋ−２階層の信号を用いて，同参照画素を生成する方法を与える。なお，以下では，ＳＬＤにおいて参照する直下階層（上述の例では第ｋ−１階層）のイントラブロックをＳＬＤ参照ブロックと呼ぶ。また，同図（ｃ）に示すように，ＳＬＤ参照ブロックの直下階層（上述の例では第ｋ−２階層）の対応する位置にあるブロックをＳＬＤ参照ブロック直下ブロックと呼ぶ。

図１は，本発明に係る階層間予測装置の構成例を示す図である。図１において，１は符号化または復号対象ブロックの階層間予測を行う階層間予測装置であり，本発明においては，参照画素イントラ／インター判定部１１，下位階層有無判定部１２，デフォルト参照画素値設定部１３，参照画素生成部１４，参照ブロック生成部１７，階層間予測部１８を備える。参照画素生成部１４は，下位階層ブロック参照部１５または下位階層ブロック近傍参照部１６を備える。

階層間予測装置１は，異なる空間解像度の階層を対象とした動画像スケーラブル符号化または動画像スケーラブル復号において，階層間予測の参照をイントラ予測ブロックに限定して行う予測器である。

参照画素イントラ／インター判定部１１は，参照ブロックのイントラ予測時の参照画素がインター予測ブロックに属するなどの理由で利用不可能かどうかを判定する。参照画素がイントラ予測ブロックであり，利用可能である場合には，そのイントラ予測ブロックの参照画素を参照して，参照ブロック生成部１７により，符号化対象ブロックまたは復号対象ブロックの階層間予測に用いる参照ブロックを生成する。

参照画素イントラ／インター判定部１１による判定の結果，参照画素がインター予測ブロックである場合，従来のＳＬＤでは，参照画素の値を一律１２７としていたのに対し，本発明では，参照ブロックのさらに直下のブロックを参照することにより，参照画素を生成する。そのため，下位階層有無判定部１２は，参照ブロックに下位階層ブロックが存在するかどうかを判定する。下位階層ブロックが存在しない場合，デフォルト参照画素値設定部１３により，参照画素値を１２７に設定する。

下位階層ブロックが存在する場合，参照画素生成部１４は，下位階層ブロック参照部１５によって，参照ブロックの下位階層における空間的に対応する座標に位置するイントラ予測ブロック内の画素値を参照して，参照画素を生成する。この下位階層における参照画素がイントラ予測ブロックではない場合，参照画素生成部１４は，下位階層ブロック近傍参照部１６によって，参照ブロックの下位階層における空間的に対応する座標の近傍に位置するイントラ予測ブロック内の画素値を参照して，参照画素を生成する。

参照ブロック生成部１７は，生成または設定された参照画素を参照してイントラ予測を行い，参照ブロックを生成する。階層間予測部１８は，参照ブロック生成部１７によって生成された参照ブロックの画素値を参照して，符号化対象ブロックまたは復号対象ブロックの階層間予測を行い，階層間予測信号を生成する。

本発明により，ＳＬＤにおける参照階層のイントラ予測ブロックの参照画素を同階層の局所的な性質に応じて適応的に変化させることができる。これは，予測性能の向上，ひいては，符号化効率の向上に繋がる。

［第１の実施形態］
図３に示すように，第ｋ−２階層のＳＬＤ参照ブロック直下ブロック（図３（ｂ）の黒色領域）の平均画素値を算出し，この平均画素値を第ｋ−１階層におけるＳＬＤ参照ブロック（図３（ａ）の黒色領域）のイントラ予測の参照画素値として用いる。

［第２の実施形態］
第ｋ−１階層におけるＳＬＤ参照ブロックのサイズが４×４の場合を考える。図４（ａ）に示すように，第ｋ−１階層におけるイントラ予測参照画素を３つの部分領域に分割する。イントラ予測のブロックの左上角の座標値を（ｘ₀ ，ｙ₀ ）とすると，同部分領域は，左斜線領域（ｘ，ｙ）∈｛ｘ＝ｘ₀ −１，ｙ₀ −１≦ｙ≦ｙ₀ ＋３｝，右斜線領域（ｘ，ｙ）∈｛ｘ₀ ≦ｘ≦ｘ₀ ＋３，ｙ＝ｙ₀ −１｝，網掛け領域（ｘ，ｙ）∈｛ｘ₀ ＋４≦ｘ≦ｘ₀ ＋７，ｙ＝ｙ₀ −１｝となる。この部分領域毎に参照領域内の画素値を第ｋ−２階層の信号に基づき設定する。

（１）図４（ａ）の左斜線領域（（ｘ，ｙ）∈｛ｘ＝ｘ₀ −１，ｙ₀ −１≦ｙ≦ｙ₀ ＋３｝）の場合：
図４（ｂ）の左斜線領域（ｘ，ｙ）∈｛ｘ＝［ｘ₀ ／２］，［ｙ₀ ／２］≦ｙ≦［ｙ₀ ／２］＋１｝の値に基づき，次式の値とする。

ここで，［ｒ］は，実数ｒを超えない最大の整数を返す関数である。

（２）図４（ａ）の右斜線領域（（ｘ，ｙ）∈｛ｘ₀ ≦ｘ≦ｘ₀ ＋３，ｙ＝ｙ₀ −１｝）の場合：
図４（ｃ）の右斜線領域（ｘ，ｙ）∈｛［ｘ₀ ／２］≦ｘ≦［ｘ₀ ／２］＋１，ｙ＝ｙ₀ −１｝の値に基づき，次式の値とする。

ｆ_k-1 （ｘ，ｙ₀ −１）＝ｆ_k-2 （［ｘ／２］，［ｙ₀ ／２］） (2)
（３）図４（ａ）の網掛け領域（（ｘ，ｙ）∈｛ｘ₀ ＋４≦ｘ≦ｘ₀ ＋７，ｙ＝ｙ₀ −１｝）の場合：
ｆ_k-1 （ｘ，ｙ₀ −１）＝ｆ_k-2 （［ｘ₀ ／２＋１］，［ｙ₀ ／２］） (3)
あるいは，次式の値を用いることも可能である。

［第３の実施形態］
第ｋ−１階層におけるＳＬＤ参照ブロックのサイズが１６×１６の場合を考える。イントラ予測のブロックの左上角の座標値を（ｘ₀ ，ｙ₀ ）として，参照画素を次の２つの領域に分割する。

（ｘ，ｙ）∈｛ｘ＝ｘ₀ −１，ｙ₀ −１≦ｙ≦ｙ₀ ＋１５｝
（ｘ，ｙ）∈｛ｘ₀ ≦ｘ≦ｘ₀ ＋１５，ｙ＝ｙ₀ −１｝
（１）（ｘ，ｙ）∈｛ｘ＝ｘ₀ −１，ｙ₀ −１≦ｙ≦ｙ₀ ＋１５｝の場合：

あるいは，次式の値を用いることも可能である。なお，以下では，ｍ＝０，１，... ，６とし，ｍ′＝０，１，... ，７としている。

（２）（ｘ，ｙ）∈｛ｘ₀ ≦ｘ≦ｘ₀ ＋１５，ｙ＝ｙ₀ −１｝の場合：
ｆ_k-1 （ｘ，ｙ₀ −１）＝ｆ_k-2 （［ｘ／２］，［ｙ₀ ／２］） (7)
あるいは，次式の値を用いることも可能である。なお，以下では，ｍ＝０，１，... ，６とし，ｍ′＝０，１，... ，７としている。

［第４の実施形態］
第ｋ−１階層におけるＳＬＤ参照ブロックのサイズが４×４の場合を考える。第ｋ−１階層のイントラ予測ブロック（図５（ａ）の黒色領域）と対応する位置にある第ｋ−２階層の領域（図５（ｂ）の黒色領域）がイントラ予測ブロックに含まれず，同ブロックの近傍ブロック（図５（ｂ）の網掛け領域）のいずれかがイントラ予測ブロックに含まれる場合，以下のような処理を行う。

（１）直上の近傍ブロックがイントラ予測ブロックとなる場合：
（１−１）（ｘ，ｙ）∈｛ｘ＝ｘ₀ −１，ｙ₀ ≦ｙ≦ｙ₀ ＋３｝の領域の場合
後述の（２−１）の条件を満たす場合には，（２−１）と同様の処理を行う。そうでなければ，４つの近傍ブロックのうちイントラブロックとなるブロックの平均画素値を第ｋ−１階層におけるイントラ予測の参照画素値として用いる。

（１−２）（ｘ，ｙ）∈｛ｘ₀ ≦ｘ≦ｘ₀ ＋３，ｙ＝ｙ₀ −１｝の領域の場合
第ｋ−１階層におけるイントラ予測の参照画素（図６（ａ）の網掛け領域）の値として，次式の値を設定する。これは，図６（ｂ）の網掛け部にあたる画素値を用いたものである。

ｆ_k-1 （ｘ，ｙ₀ −１）＝ｆ_k-2 （［ｘ／２］，［ｙ₀ ／２−１］） (9)
（１−３）（ｘ，ｙ）∈｛ｘ₀ ＋４≦ｘ≦ｘ₀ ＋７，ｙ＝ｙ₀ −１｝の領域の場合
第ｋ−１階層におけるイントラ予測の参照画素（図６（ｅ）の網掛け領域）の値として，次式の値を設定する。これは，図６（ｆ）の網掛け部にあたる画素値を用いたものである。

ｆ_k-1 （ｘ，ｙ₀ −１）＝ｆ_k-2 （［（ｘ₀ ＋３）／２］，［ｙ₀ ／２−１］）
(10)
（２）直左の近傍ブロックがイントラ予測ブロックとなる場合：
（２−１）（ｘ，ｙ）∈｛ｘ＝ｘ₀ −１，ｙ₀ −１≦ｙ≦ｙ₀ ＋３｝の領域の場合
第ｋ−１階層におけるイントラ予測の参照画素（図６（ｃ）の網掛け領域）の値として，次式の値を設定する。これは，図６（ｄ）の網掛け部にあたる画素値を用いたものである。

（２−２）（ｘ，ｙ）∈｛ｘ₀ ≦ｘ≦ｘ₀ ＋３，ｙ＝ｙ₀ −１｝の領域の場合
前述の（１−２）の条件を満たす場合には，（１−２）と同様の処理を行う。そうでなければ，４つの近傍ブロックのうちイントラブロックとなるブロックの平均画素値を第ｋ−１階層におけるイントラ予測の参照画素値として用いる。

（２−３）（ｘ，ｙ）∈｛ｘ₀ ＋４≦ｘ≦ｘ₀ ＋７，ｙ＝ｙ₀ −１｝の領域の場合
前述の（１−３）の条件を満たす場合には，（１−３）と同様の処理を行う。そうでなければ，４つの近傍ブロックのうちイントラブロックとなるブロックの平均画素値を第ｋ−１階層におけるイントラ予測の参照画素値として用いる。

（３）直下，直右の近傍ブロックがイントラ予測ブロックとなる場合：
該当する近傍ブロックの平均値を第ｋ−１階層におけるイントラ予測の参照画素（図６（ａ）（ｃ）（ｅ）の網掛け領域）の値として用いる。

［第５の実施形態］
第ｋ−１階層におけるＳＬＤ参照ブロックのサイズが１６×１６の場合を考える。

（１）直上の近傍ブロックがイントラ予測ブロックとなる場合：
（１−１）（ｘ，ｙ）∈｛ｘ＝ｘ₀ −１，ｙ₀ −１≦ｙ≦ｙ₀ ＋１５｝の領域の場合
後述の（２−１）の条件を満たす場合には，（２−１）と同様の処理を行う。そうでなければ，４つの近傍ブロックのうちイントラブロックとなるブロックの平均画素値を第ｋ−１階層におけるイントラ予測の参照画素値として用いる。

（１−２）（ｘ，ｙ）∈｛ｘ₀ ≦ｘ≦ｘ₀ ＋１５，ｙ＝ｙ₀ −１｝の領域の場合
第ｋ−１階層におけるイントラ予測の参照画素の値として，次式の値を設定する。

ｆ_k-1 （ｘ，ｙ₀ −１）＝ｆ_k-2 （［ｘ／２］，［ｙ₀ ／２−１］） (12)
あるいは，次式の値を用いることも可能である。なお，以下では，ｍ＝０，１，... ，６とし，ｍ′＝０，１，... ，７としている。

（２）直左の近傍ブロックがイントラ予測ブロックとなる場合：
（２−１）（ｘ，ｙ）∈｛ｘ＝ｘ₀ −１，ｙ₀ −１≦ｙ≦ｙ₀ ＋１５｝の領域の場合
第ｋ−１階層におけるイントラ予測の参照画素（図６（ｃ）の網掛け領域）の値として，次式の値を設定する。

あるいは，次式の値を用いることも可能である。なお，以下では，ｍ＝０，１，... ，６とし，ｍ′＝０，１，... ，７としている。

（２−２）（ｘ，ｙ）∈｛ｘ₀ ≦ｘ≦ｘ₀ ＋１５，ｙ＝ｙ₀ −１｝の領域の場合
前述の（１−２）の条件を満たす場合には，（１−２）と同様の処理を行う。そうでなければ，４つの近傍ブロックのうちイントラブロックとなるブロックの平均画素値を第ｋ−１階層におけるイントラ予測の参照画素値として用いる。

（３）直下または直右の近傍ブロックがイントラブロックとなる場合：
直下または直右の近傍ブロックのうち，イントラブロックとなるブロックの平均値（両方，イントラブロックとなる場合には，両ブロックの平均値）を，第ｋ−１階層におけるイントラ予測の参照画素の値として用いる。

［処理の流れ］
本発明の処理の実施形態について図面（図７）を参照して説明する。参照ブロックのイントラ予測で用いる参照画素がインター符号化ブロックに属するなどの理由で利用不可能であったとする。なお，参照画素が利用可能な場合には，従来技術と同様にその参照画素を利用して復号を行う。

ステップＳ１０１：復号対象階層信号のレベルを読み込み，同レベルをレジスタに書き出す。

ステップＳ１０２：ステップＳ１０１でレジスタに書き出したレベルを入力として，下位に２階層以上の階層があるか否かの判定を行い，真の場合には，ステップＳ１０４の処理に移り，偽の場合には，ステップＳ１０３の処理に移る。現在の階層レベルｋが２以上の場合には，階層レベル１および０の階層が下位に存在することになるため，具体的には，ｋが２以上であることの真偽を判定する。

ステップＳ１０３：符号化ストリームを入力とし，ＪＳＶＣに規定されたＳＬＤ復号処理を行い，復号信号を出力する。

ステップＳ１０４：復号対象階層の下位に２階層以上の階層がある場合，ＳＬＤ参照ブロックのサイズを読み込み，レジスタに書き出す。

ステップＳ１０５：ＳＬＤ参照ブロックのサイズを入力とし，同サイズが４×４であるか否かの判定処理を行い，真の場合には，ステップＳ１０６の処理に移り，偽の場合には，ステップＳ１１０の処理に移る。

ステップＳ１０６：下位階層の対応する位置のブロック（ＳＬＤ参照ブロック直下ブロック）のモードを入力とし，同モードがイントラモードであるか否かの判定処理を行い，真の場合には，ステップＳ１０７の処理に移り，偽の場合には，ステップＳ１０８の処理に移る。

ステップＳ１０７：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの参照画素値を生成する処理を行い，同参照画素値を出力する。本処理の詳細は，後述する。

ステップＳ１０８：ＳＬＤ参照ブロック直下ブロックの近傍ブロックのモードを入力とし，同近傍ブロックの少なくとも一つがイントラモードであるか否かの判定処理を行い，真の場合には，ステップＳ１０９の処理に移り，偽の場合には，ステップＳ１１４の処理に移る。

ステップＳ１０９：ＳＬＤ参照ブロック直下ブロックの近傍ブロックを入力とし，ＳＬＤ参照ブロックの参照画素値を生成する処理を行い，同参照画素値を出力する。本処理の詳細は，後述する。

ステップＳ１１０：ＳＬＤ参照ブロック直下ブロックのモードを入力とし，同モードがイントラモードであるか否かの判定処理を行い，真の場合には，ステップＳ１１１の処理に移り，偽の場合には，ステップＳ１１２の処理に移る。

ステップＳ１１１：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの参照画素値を生成する処理を行い，同参照画素値を出力する。本処理の詳細は，後述する。

ステップＳ１１２：ＳＬＤ参照ブロック直下ブロックの近傍ブロックのモードを入力とし，同近傍ブロックの少なくとも一つがイントラモードであるか否かの判定処理を行い，真の場合には，ステップＳ１１３の処理に移り，偽の場合には，ステップＳ１１４の処理に移る。

ステップＳ１１３：ＳＬＤ参照ブロック直下ブロックの近傍ブロックを入力とし，ＳＬＤ参照ブロックの参照画素値を生成する処理を行い，同参照画素値を出力する。本処理の詳細は，後述する。

ステップＳ１１４：参照画素としてデフォルト値の１２７を設定する。

ステップＳ１１５：ステップＳ１０７，Ｓ１０９，Ｓ１１１，Ｓ１１３，Ｓ１１４から出力されたＳＬＤ参照ブロックの参照画素値を入力とし，ＳＬＤ参照ブロックの復号処理を行い，ＳＬＤ参照ブロックの復号信号を出力する。

ステップＳ１１６：フレーム内の全てのマクロブロックについて，復号処理が終了するまで，ステップＳ１０４へ戻り，上述の処理を繰り返す。

次に，ステップＳ１０７の処理の詳細を，図８を用いて説明する。

ステップＳ２０１：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの直左の参照画素を生成する処理を行い，同参照画素値をレジスタに書き出す。具体的な算出方法は，式(1) に従う。

ステップＳ２０２：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの直上の参照画素を生成する処理を行い，同参照画素値をレジスタに書き出す。具体的な算出方法は，式(2) に従う。

ステップＳ２０３：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの直右上の参照画素を生成する処理を行い，同参照画素値をレジスタに書き出す。具体的な算出方法は，式(3) あるいは式(4) に従う。

ステップＳ２０４：ステップＳ２０１，Ｓ２０２，Ｓ２０３で生成された全ての参照画素値を出力する。

ステップＳ１０９の処理の詳細を，図９を用いて説明する。

ステップＳ３０１：ＳＬＤ参照ブロック直下ブロックの左近傍のブロックのモードを入力とし，同近傍ブロックのモードがイントラモードであるか否かの判定処理を行い，真の場合には，ステップＳ３０２の処理に移り，偽の場合には，ステップＳ３０３の処理に移る。

ステップＳ３０２：ＳＬＤ参照ブロック直下ブロックの左近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直左の参照画素値を生成する処理を行い，同参照画素値を出力する。具体的な算出方法は，式(11)に従う。

ステップＳ３０３：ＳＬＤ参照ブロック直下ブロックの４近傍ブロックのうち，イントラモードで符号化されたブロックの画素値を入力とし，同画素値の平均値を算出する処理を行い，同平均値を出力する。

ステップＳ３０４：ステップＳ３０３で出力された平均値を入力とし，同平均値をＳＬＤ参照ブロックの直左の参照画素値として出力する。

ステップＳ３０５：ＳＬＤ参照ブロック直下ブロックの上近傍のブロックのモードを入力とし，同近傍ブロックのモードがイントラモードであるか否かの判定処理を行い，真の場合には，ステップＳ３０６の処理に移り，偽の場合には，ステップＳ３０８の処理に移る。

ステップＳ３０６：ＳＬＤ参照ブロック直下ブロックの上近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直上の参照画素値を生成する処理を行い，同参照画素値を出力する。具体的な算出方法は，式(9) に従う。

ステップＳ３０７：ＳＬＤ参照ブロック直下ブロックの上近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直右上の参照画素値を生成する処理を行い，同参照画素値を出力する。具体的な算出方法は，式(10)に従う。

ステップＳ３０８：ステップＳ３０３に同じ。

ステップＳ３０９：ステップＳ３０８で出力された平均値を入力とし，同平均値をＳＬＤ参照ブロックの直上および直右上の参照画素値として出力する。

ステップＳ３１０：ステップＳ３０２，Ｓ３０４，Ｓ３０６，Ｓ３０７，Ｓ３０９にて生成した全ての参照画素値を読み込み，ＳＬＤ参照ブロックの参照画素値として出力する。

次に，ステップＳ１１１の処理の詳細を，図１０を用いて説明する。

ステップＳ４０１：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの直左の参照画素を生成する処理を行い，同参照画素値をレジスタに書き出す。具体的な算出方法は，式(5) あるいは式(6) に従う。

ステップＳ４０２：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの直上の参照画素を生成する処理を行い，同参照画素値をレジスタに書き出す。具体的な算出方法は，式(7) あるいは式(8) に従う。

ステップＳ４０３：ステップＳ４０１，Ｓ４０２で生成されたすべての参照画素値を出力する。

次に，ステップＳ１１３の処理の詳細を，図１１を用いて説明する。

ステップＳ５０１：ＳＬＤ参照ブロック直下ブロックの左近傍ブロックのモードを入力とし，同近傍ブロックのモードがイントラモードであるか否かの判定処理を行い，真の場合には，ステップＳ５０２の処理に移り，偽の場合には，ステップＳ５０３の処理に移る。

ステップＳ５０２：ＳＬＤ参照ブロック直下ブロックの左近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直左の参照画素値を生成する処理を行い，同参照画素値を出力する。具体的な算出方法は，式(14)あるいは式(15)に従う。

ステップＳ５０３：ＳＬＤ参照ブロック直下ブロックの４近傍ブロックのうち，イントラモードで符号化されたブロックの画素値を入力とし，同画素値の平均値を算出する処理を行い，同平均値を出力する。

ステップＳ５０４：ステップＳ５０３で出力された平均値を入力とし，同平均値をＳＬＤ参照ブロックの直左の参照画素値として出力する。

ステップＳ５０５：ＳＬＤ参照ブロック直下ブロックの上近傍のブロックのモードを入力とし，同近傍ブロックのモードがイントラモードであるか否かの判定処理を行い，真の場合には，ステップＳ５０６の処理に移り，偽の場合には，ステップＳ５０７の処理に移る。

ステップＳ５０６：ＳＬＤ参照ブロック直下ブロックの上近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直上の参照画素値を生成する処理を行い，同参照画素値を出力する。具体的な算出方法は，式(12)あるいは式(13)に従う。

ステップＳ５０７：ステップＳ５０３に同じ。

ステップＳ５０８：ステップＳ５０７で出力された平均値を入力とし，同平均値をＳＬＤ参照ブロックの直上の参照画素値として出力する。

ステップＳ５０９：ステップＳ５０２，Ｓ５０４，Ｓ５０６，Ｓ５０８にて生成した全ての参照画素値を読み込み，ＳＬＤ参照ブロックの参照画素値として出力する。

以上，動画像スケーラブル復号方法に本発明を適用した場合の例を説明したが，動画像スケーラブル符号化方法における階層間予測方法にも，本発明を同様に適用することができることは説明するまでもない。

［処理装置］
本発明を用いる復号装置の例を図１２に示す。同図は，３階層からなるスケーラブル符号化ストリームを復号する復号器の例であるが，階層予測信号復号処理部１０３および階層信号復号処理部１０４と同様の装置を増設すれば，階層数が３以上の符号化ストリームに対応可能である。同様に，符号化器にも本発明を適用することができる。

分離器１０１：スケーラブル符号化器から出力された符号化ストリームを入力とし，同ストリームを第一階層符号化ストリーム，第二階層符号化ストリーム，および第三階層符号化ストリームに分離する処理を行い，第一階層符号化ストリーム，第二階層符号化ストリーム，および第三階層符号化ストリームを各々，階層信号復号処理部１０２，階層信号復号処理部１０４，および階層信号復号処理部１０６へ入力信号として与える。

階層信号復号処理部１０２：第一階層符号化ストリームを入力とし，復号処理を行い，第一階層の復号画像，および，上位階層の復号で用いる階層間予測信号を出力する。なお，本復号処理の詳細は，図１３にて示す。

階層信号復号処理部１０４：第二階層符号化ストリームを入力とし，復号処理を行い，復号信号，および，上位階層の復号で用いる階層間予測信号を出力する。なお，本復号処理の詳細は，図１３にて示す。

階層信号復号処理部１０６：第三階層符号化ストリームを入力とし，復号処理を行い，復号信号を出力する。なお，本復号処理の詳細は，図１３にて示す。

階層予測信号復号処理部１０３，１０５：下位階層からの予測信号を入力とし，同信号の復号処理を行い，復号信号を出力する。ＳＬＤの場合，階層間予測の対象は，直下階層がイントラ符号化されたブロックに限定される。このため，上述の復号処理は，参照画素の生成方法を除けば，ＪＳＶＣのイントラ予測符号化の復号処理と一致する。なお，本処理の詳細は，図１４を用いて後述する。

階層信号復号処理部１０２，１０４，１０６の詳細を，図１３を用いて示す。

符号化ストリーム記憶部２０１：入力された各階層の符号化ストリームが書き込まれる。

エントロピ復号部２０２：符号化ストリーム記憶部２０１から読み出した符号化ストリームを入力とし，エントロピ復号処理を行い，復号された量子化値を量子化値記憶部２０３へ書き出す。

逆量子化部２０４：量子化値記憶部２０３から読み出した量子化値を入力とし，逆量子化処理を行い，変換係数記憶部２０５へ書き出す。

逆変換部２０６：変換係数記憶部２０５から読み出した量子化値を入力とし，逆変換処理を行い，復号差分信号記憶部２０７へ書き出す。

復号信号記憶部２０８：復号差分信号記憶部２０７から読み出した復号差分信号と予測信号記憶部２１３の出力との加算値が書き込まれる。

デブロッキング処理部２０９：復号信号記憶部２０８から読み出した復号信号を入力とし，デブロッキング処理を行い，処理結果をデブロッキング信号記憶部２１０へ書き出す。なお，符号化器側でデブロッキング処理を行っていない場合には，本処理は省略され，復号信号記憶部２０８から読み出した信号は，そのまま，遅延器２１１に書き込まれる。

予測信号判定部２１２：符号化ストリーム中の予測モードを識別する情報を入力として，遅延器２１１により遅延された同一階層の復号信号または階層間予測信号記憶部２１４に格納された信号のいずれを予測信号として使用するかの判定処理を行い，予測信号記憶部２１３に書き出す。なお，予測モードは，フレーム間予測，フレーム内予測，あるいは階層間予測のいずれかを指す。

図１２における階層予測信号復号処理部１０３，１０５の詳細を，図１４を用いて示す。

階層レベル記憶部３０１：復号対象階層信号のレベルを読み込み，同レベルを記憶する。

下位階層数判定部３０２：階層レベル記憶部３０１から読み出した階層レベルを入力として，下位に２階層以上の階層があるか否かの判定を行い，真の場合には，ＳＬＤ参照ブロックサイズ読込部３０４の処理に移り，偽の場合には，デフォルトＳＬＤ参照ブロック参照画素値生成部３０３の処理に移る。現在の階層レベルｋが２以上の場合には，階層レベル１，０の階層が下位に存在することになるため，具体的には，ｋが２以上であることの真偽を判定する。

デフォルトＳＬＤ参照ブロック参照画素値生成部３０３：ＪＳＶＣに規定された処理に従い，ＳＬＤ参照ブロックの参照画素値を生成し，同画素値をＳＬＤ参照ブロック参照画素値記憶部３１３に書き出す。

ＳＬＤ参照ブロックサイズ読込部３０４：符号化ストリームを入力とし，同ストリーム中からＳＬＤ参照ブロックのサイズを抽出し，同サイズをＳＬＤ参照ブロックサイズ記憶部３０５に書き出す。

ＳＬＤ参照ブロックサイズ判定部３０６：ＳＬＤ参照ブロックサイズ記憶部３０５から読み出したＳＬＤ参照ブロックサイズを入力とし，同サイズが４×４であるか否かの判定処理を行い，真の場合には，ＳＬＤ参照ブロック直下ブロックイントラ判定部３０７の処理に移り，偽の場合には，ＳＬＤ参照ブロック直下ブロックイントラ判定部３０８の処理に移る。

ＳＬＤ参照ブロック直下ブロックイントラ判定部３０７：ＳＬＤ参照ブロック直下ブロックのモードを入力とし，同モードがイントラモードであるか否かの判定処理を行い，真の場合には，ＳＬＤ参照ブロック参照画素生成処理部３０９の処理に移る。偽の場合には，近傍ブロックのモードを入力とし，同近傍ブロックの少なくとも一つがイントラモードであるか否かの判定処理を行い，真の場合には，ＳＬＤ参照ブロック参照画素生成処理部３１０の処理に移り，偽の場合には，デフォルトＳＬＤ参照ブロック参照画素値生成部３０３の処理に移る。

ＳＬＤ参照ブロック参照画素生成処理部３０９：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの参照画素値を生成する処理を行い，同参照画素値をＳＬＤ参照ブロック参照画素値記憶部３１３に書き出す。本処理の詳細は，後述する。

ＳＬＤ参照ブロック参照画素生成処理部３１０：ＳＬＤ参照ブロック直下ブロックの近傍ブロックを入力とし，ＳＬＤ参照ブロックの参照画素値を生成する処理を行い，同参照画素値をＳＬＤ参照ブロック参照画素値記憶部３１３に書き出す。本処理の詳細は，後述する。

ＳＬＤ参照ブロック直下ブロックイントラ判定部３０８：下位階層の対応する位置のブロック（ＳＬＤ参照ブロック直下ブロック）のモードを入力とし，同モードがイントラモードであるか否かの判定処理を行い，真の場合には，ＳＬＤ参照ブロック参照画素生成処理部３１１の処理に移る。偽の場合には，近傍ブロックのモードを入力とし，同近傍ブロックの少なくとも一つがイントラモードであるか否かの判定処理を行い，真の場合には，ＳＬＤ参照ブロック参照画素生成処理部３１２の処理に移り，偽の場合には，デフォルトＳＬＤ参照ブロック参照画素値生成部３０３の処理に移る。

ＳＬＤ参照ブロック参照画素生成処理部３１１：ＳＬＤ参照ブロック直下ブロックを入力とし，ＳＬＤ参照ブロックの参照画素値を生成する処理を行い，同参照画素値をＳＬＤ参照ブロック参照画素値記憶部３１３に書き出す。本処理の詳細は，後述する。

ＳＬＤ参照ブロック参照画素生成処理部３１２：ＳＬＤ参照ブロック直下ブロックの近傍ブロックを入力とし，ＳＬＤ参照ブロックの参照画素値を生成する処理を行い，同参照画素値をＳＬＤ参照ブロック参照画素値記憶部３１３に書き出す。本処理の詳細は，後述する。

ＳＬＤ参照ブロック復号処理部３１４：ＳＬＤ参照ブロック参照画素値記憶部３１３から読み出したＳＬＤ参照ブロックの参照画素値を入力とし，ＪＳＶＣの復号処理に従い，ＳＬＤ参照ブロックの復号処理を行い，復号値をＳＬＤ参照ブロック復号値記憶部３１５に書き出す。

階層間予測信号復号処理部３１６：ＳＬＤ参照ブロック復号値記憶部３１５から読み出したＳＬＤ参照ブロック復号値を入力とし，ＪＳＶＣの復号処理に従い，階層間予測信号の復号処理を行い，復号値を階層間予測信号復号値記憶部３１７に書き出す。本処理の出力は，図１３に示す階層間予測信号記憶部２１４に格納される信号となる。

図１４におけるＳＬＤ参照ブロック参照画素生成処理部３０９の詳細を，図１５を用いて示す。

ＳＬＤ参照ブロック直下ブロック記憶部４０１：ＳＬＤ参照ブロック直下ブロックの画素値を記憶する。

直左参照画素生成部４０２：ＳＬＤ参照ブロック直下ブロック記憶部４０１から読み出したＳＬＤ参照ブロック直下ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直左の参照画素値を生成する処理を行い，同参照画素値を直左参照画素値記憶部４０３に書き出す。具体的な算出方法は，式(1) に従う。

直上参照画素生成部４０４：ＳＬＤ参照ブロック直下ブロック記憶部４０１から読み出したＳＬＤ参照ブロック直下ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直上の参照画素値を生成する処理を行い，同参照画素値を直上参照画素値記憶部４０５に書き出す。具体的な算出方法は，式(2) に従う。

直右上参照画素生成部４０６：ＳＬＤ参照ブロック直下ブロック記憶部４０１から読み出したＳＬＤ参照ブロック直下ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直右上の参照画素を生成する処理を行い，同参照画素値を直右上参照画素値記憶部４０７に書き出す。具体的な算出方法は，式(3) あるいは式(4) に従う。

ＳＬＤ参照ブロック参照画素値記憶部３１３：直左参照画素値記憶部４０３，直上参照画素値記憶部４０５，直右上参照画素値記憶部４０７から読み出した参照画素値を入力とし，ＳＬＤ参照画素値として，格納する。

図１４におけるＳＬＤ参照ブロック参照画素生成処理部３１０の詳細を，図１６を用いて示す。

近傍ブロックモード記憶部５０１：ＳＬＤ参照ブロック直下ブロックの４つのモードを同近傍ブロックの位置情報と対応付けて格納する。

直左近傍ブロックイントラ判定部５０２：近傍ブロックモード記憶部５０１から読み出したＳＬＤ参照ブロック直下ブロックの左近傍のブロックのモードを入力とし，同近傍ブロックのモードがイントラモードであるか否かの判定処理を行い，真の場合には，直左参照画素生成部５０３の処理に移り，偽の場合には，イントラブロック平均参照画素値生成部５０４の処理に移る。

直左参照画素生成部５０３：ＳＬＤ参照ブロック直下ブロックの左近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直左の参照画素値を生成する処理を行い，同参照画素値を直左参照画素値記憶部５０５に書き出す。具体的な算出方法は，式(11)に従う。

イントラブロック平均参照画素値生成部５０４：ＳＬＤ参照ブロック直下ブロックの４近傍ブロックのうち，イントラモードで符号化されたブロックの画素値を入力とし，同画素値の平均値を算出する処理を行い，同平均値を直左参照画素値記憶部５０５に書き出す。

直上近傍ブロックイントラ判定部５０６：近傍ブロックモード記憶部５０１から読み出したＳＬＤ参照ブロック直下ブロックの上近傍のブロックのモードを入力とし，同近傍ブロックのモードがイントラモードであるか否かの判定処理を行い，真の場合には，直上参照画素生成部５０７および直右上参照画素生成部５１０の処理に移り，偽の場合には，イントラブロック平均参照画素値生成部５０８の処理に移る。

直上参照画素生成部５０７：ＳＬＤ参照ブロック直下ブロックの上近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直上の参照画素値を生成する処理を行い，同参照画素値を直上参照画素値記憶部５０９に書き出す。具体的な算出方法は，式(9) に従う。

直右上参照画素生成部５１０：ＳＬＤ参照ブロック直下ブロックの上近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直右上の参照画素値を生成する処理を行い，同参照画素値を直右上参照画素値記憶部５１１に書き出す。具体的な算出方法は，式(10)に従う。

イントラブロック平均参照画素値生成部５０８：ＳＬＤ参照ブロック直下ブロックの４近傍ブロックのうち，イントラモードで符号化されたブロックの画素値を入力とし，同画素値の平均値を算出する処理を行い，同平均値を直上参照画素値記憶部５０９および直右上参照画素値記憶部５１１に書き出す。

ＳＬＤ参照ブロック参照画素値記憶部３１３：直左参照画素値記憶部５０５，直上参照画素値記憶部５０９，直右上参照画素値記憶部５１１から読み出した参照画素を入力とし，ＳＬＤ参照画素値として，格納する。

図１４におけるＳＬＤ参照ブロック参照画素生成処理部３１１の詳細を，図１７を用いて示す。

ＳＬＤ参照ブロック直下ブロック記憶部６０１：ＳＬＤ参照ブロック直下ブロックの画素値を記憶する。

直左参照画素生成部６０２：ＳＬＤ参照ブロック直下ブロック記憶部６０１から読み出したＳＬＤ参照ブロック直下ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直左の参照画素を生成する処理を行い，同参照画素値を直左参照画素値記憶部６０３に書き出す。具体的な算出方法は，式(5) あるいは式(6) に従う。

直上参照画素生成部６０４：ＳＬＤ参照ブロック直下ブロック記憶部６０１から読み出したＳＬＤ参照ブロック直下ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直上の参照画素を生成する処理を行い，同参照画素値を直上参照画素値記憶部６０５に書き出す。具体的な算出方法は，式(7) あるいは式(8) に従う。

ＳＬＤ参照ブロック参照画素値記憶部３１３：直左参照画素値記憶部６０３，直上参照画素値記憶部６０５から読み出した参照画素を入力とし，ＳＬＤ参照画素値として，格納する。

図１４におけるＳＬＤ参照ブロック参照画素生成処理部３１２の詳細を，図１８を用いて示す。

近傍ブロックモード記憶部７０１：ＳＬＤ参照ブロック直下ブロックの４つのモードを同近傍ブロックの位置情報と対応付けて格納する。

直左近傍ブロックイントラ判定部７０２：近傍ブロックモード記憶部７０１から読み出したＳＬＤ参照ブロック直下ブロックの左近傍のブロックのモードを入力とし，同近傍ブロックのモードがイントラモードであるか否かの判定処理を行い，真の場合には，直左参照画素生成部７０３の処理に移り，偽の場合には，イントラブロック平均参照画素値生成部７０４の処理に移る。

直左参照画素生成部７０３：ＳＬＤ参照ブロック直下ブロックの左近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直左の参照画素値を生成する処理を行い，同参照画素値を直左参照画素値記憶部７０５に書き出す。具体的な算出方法は，式(14)あるいは式(15)に従う。

イントラブロック平均参照画素値生成部７０４：ＳＬＤ参照ブロック直下ブロックの４近傍ブロックのうち，イントラモードで符号化されたブロックの画素値を入力とし，同画素値の平均値を算出する処理を行い，同平均値を直左参照画素値記憶部７０５に書き出す。

直上近傍ブロックイントラ判定部７０６：近傍ブロックモード記憶部７０１から読み出したＳＬＤ参照ブロック直下ブロックの上近傍のブロックのモードを入力とし，同近傍ブロックのモードがイントラモードであるか否かの判定処理を行い，真の場合には，直上参照画素生成部７０７の処理に移り，偽の場合には，イントラブロック平均参照画素値生成部７０８の処理に移る。

直上参照画素生成部７０７：ＳＬＤ参照ブロック直下ブロックの上近傍ブロックの画素値を入力とし，ＳＬＤ参照ブロックの直上の参照画素値を生成する処理を行い，同参照画素値を直上参照画素値記憶部７０９に書き出す。具体的な算出方法は，式(12)あるいは式(13)に従う。

イントラブロック平均参照画素値生成部７０８：ＳＬＤ参照ブロック直下ブロックの４近傍ブロックのうち，イントラモードで符号化されたブロックの画素値を入力とし，同画素値の平均値を算出する処理を行い，同平均値を直上参照画素値記憶部７０９に書き出す。

ＳＬＤ参照ブロック参照画素値記憶部３１３：直左参照画素値記憶部７０５，直上参照画素値記憶部７０９から読み出した参照画素を入力とし，ＳＬＤ参照画素値として，格納する。

以上の動画像スケーラブル符号化または動画像スケーラブル復号における階層間予測の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明に係るイントラ予測装置の構成例を示す図てある。 階層間の関係を示す図である。 イントラブロックと参照画素の関係を示す図である。 ＳＬＤ参照ブロックの参照画素の階層間予測説明図である。 ＳＬＤ参照ブロックとＳＬＤ参照ブロック直下ブロックの近傍ブロックを示す図である。 ＳＬＤ参照ブロックの参照画素の階層間予測説明図である。 本発明の実施の形態に係る復号処理のフローチャートである。 図７のステップＳ１０７の処理の詳細を示す図である。 図７のステップＳ１０９の処理の詳細を示す図である。 図７のステップＳ１１１の処理の詳細を示す図である。 図７のステップＳ１１３の処理の詳細を示す図である。 本発明の実施の形態に係る復号装置全体図である。 階層信号の復号装置図である。 階層間予測信号の復号装置図である。 ＳＬＤ参照ブロック参照画素生成処理部３０９の詳細を示す図である。 ＳＬＤ参照ブロック参照画素生成処理部３１０の詳細を示す図である。 ＳＬＤ参照ブロック参照画素生成処理部３１１の詳細を示す図である。 ＳＬＤ参照ブロック参照画素生成処理部３１２の詳細を示す図である。

符号の説明

１ 階層間予測装置
１１ 参照画素イントラ／インター判定部
１２ 下位階層有無判定部
１３ デフォルト参照画素値設定部
１４ 参照画素生成部
１５ 下位階層ブロック参照部
１６ 下位階層ブロック近傍参照部
１７ 参照ブロック生成部
１８ 階層間予測部

Claims (9)

1. 異なる空間解像度の階層を対象とした動画像スケーラブル符号化または動画像スケーラブル復号において，階層間予測の参照をイントラ予測ブロックに限定して行う階層間予測方法であって，
   前記イントラ予測ブロックである参照ブロックのイントラ予測で用いる周辺の参照画素の画素値がイントラ予測では得られない場合に，
   前記イントラ予測で用いる周辺の参照画素を，参照ブロックの下位階層における空間的に対応する座標に位置するイントラ予測ブロック内の画素値を用いて生成する参照画素生成処理と，
   生成した周辺の参照画素を用いて前記参照ブロック内の参照画素を生成する参照ブロック生成処理と，
   生成した参照ブロック内の参照画素を用いて符号化または復号対象ブロックの階層間予測を行う予測処理とを実行する
   ことを特徴とする階層間予測方法。
2. 異なる空間解像度の階層を対象とした動画像スケーラブル符号化または動画像スケーラブル復号において，階層間予測の参照をイントラ予測ブロックに限定して行う階層間予測方法であって，
   前記イントラ予測ブロックである参照ブロックのイントラ予測で用いる周辺の参照画素の画素値がイントラ予測では得られない場合に，
   前記イントラ予測で用いる周辺の参照画素を，参照ブロックの下位階層における空間的に対応する座標の近傍に位置するイントラ予測ブロック内の画素値を用いて生成する参照画素生成処理と，
   生成した周辺の参照画素を用いて前記参照ブロック内の参照画素を生成する参照ブロック生成処理と，
   生成した参照ブロック内の参照画素を用いて符号化または復号対象ブロックの階層間予測を行う予測処理とを実行する
   ことを特徴とする階層間予測方法。
3. 前記参照画素生成処理では，
   ブロックサイズ４×４画素の参照ブロックのイントラ予測で用いる参照画素を生成する際に，
   参照ブロックの下位階層のブロックから，参照ブロックの直左および直上および直右上の３つのクラスの参照画素を生成し，
   前記参照ブロック生成処理では，
   前記３つのクラスの参照画素から参照ブロック内の参照画素を生成する
   ことを特徴とする請求項１または請求項２記載の階層間予測方法。
4. 前記参照画素生成処理では，
   ブロックサイズ１６×１６画素の参照ブロックのイントラ予測で用いる参照画素を生成する際に，
   参照ブロックの下位階層のブロックから，参照ブロックの直左および直上の２つのクラスの参照画素を生成し，
   前記参照ブロック生成処理では，
   前記２つのクラスの参照画素から参照ブロック内の参照画素を生成する
   ことを特徴とする請求項１または請求項２記載の階層間予測方法。
5. 前記参照ブロックの下位階層がない場合，または，前記参照ブロックの下位階層における対応する位置およびその近傍のブロックの中にイントラ予測ブロックがない場合に，前記参照ブロックのイントラ予測に用いる参照画素を予め定められたデフォルト値とする
   ことを特徴とする請求項１ないし請求項４のいずれか１項に記載の階層間予測方法。
6. 異なる空間解像度の階層を対象とした動画像スケーラブル符号化または動画像スケーラブル復号において，階層間予測の参照をイントラ予測ブロックに限定して行うイントラ予測装置であって，
   前記イントラ予測ブロックである参照ブロックのイントラ予測で用いる周辺の参照画素の画素値がイントラ予測では得られない場合に，
   前記イントラ予測で用いる周辺の参照画素を，参照ブロックの下位階層における空間的に対応する座標に位置するイントラ予測ブロック内の画素値を用いて生成する参照画素生成手段と，
   生成した周辺の参照画素を用いて前記参照ブロック内の参照画素を生成する参照ブロック生成手段と，
   生成した参照ブロック内の参照画素を用いて符号化または復号対象ブロックの階層間予測を行う予測手段とを備える
   ことを特徴とする階層間予測装置。
7. 異なる空間解像度の階層を対象とした動画像スケーラブル符号化または動画像スケーラブル復号において，階層間予測の参照をイントラ予測ブロックに限定して行うイントラ予測装置であって，
   前記イントラ予測ブロックである参照ブロックのイントラ予測で用いる周辺の参照画素の画素値がイントラ予測では得られない場合に，
   前記イントラ予測で用いる周辺の参照画素を，参照ブロックの下位階層における空間的に対応する座標の近傍に位置するイントラ予測ブロック内の画素値を用いて生成する参照画素生成手段と，
   生成した周辺の参照画素を用いて前記参照ブロック内の参照画素を生成する参照ブロック生成手段と，
   生成した参照ブロック内の参照画素を用いて符号化または復号対象ブロックの階層間予測を行う予測手段とを備える
   ことを特徴とする階層間予測装置。
8. 請求項１から請求項５までのいずれか１項に記載された階層間予測方法を，コンピュータに実行させるための階層間予測プログラム。
9. 請求項１から請求項５までのいずれか１項に記載された階層間予測方法を，コンピュータに実行させるための階層間予測プログラムを記録したコンピュータ読み取り可能な記録媒体。
   

Images