JP2012070248A - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Abstract

【課題】符号化済みの周辺画素から得られる予測値と入力画像との差分値を抑え、符号化効率の改善を図る。
【解決手段】符号化モード判定部６１は、ビット深度変換処理を用いた画面内符号化を行うか否かを判定する。上位階層符号化部６２は、ビット深度変換処理を行わないと判定された場合に、入力画像信号に対して上位階層符号化する。隣接画素ビット深度変換処理部６７は、ビット深度変換処理を行うと判定された場合に、隣接画素に対してビット深度変換処理を行った後、下位階層符号化部６８で、下位階層符号化し、ビット深度変換誤差判定部７２で、ビット深度変換誤差を判定する。最適符号化モード番号・分割ビット深度・下位階層符号化モード番号符号化部７７は、ビット深度変換処理を行わない場合、符号化モード番号を符号化し、ビット深度変換処理を行う場合、符号化モード番号と最適分割ビット深度Δとを符号化する。
【選択図】図３

Description

本発明は、画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムに関する。

以下では、画面内に対する符号化手法を画面内符号化と呼び、該画面内符号化において、複数の手法から１つの手法を選ぶ場合、その符号化手法を画面内符号化モードと呼ぶ。例えば、動画像符号化方式の国際標準であるＡＶＣ／Ｈ．２６４（例えば、非特許文献１参照）では、符号化効率を向上させるために、同一の画面内から予測を行う画面内予測符号化が取り入れられている。

ＡＶＣ／Ｈ．２６４の規格を拡張した高忠実度規格（ＦＲＥｘｔ：非特許文献１参照）では、輝度信号に対して、１６×１６のマクロブロックを３種類のブロック（１６×１６、８×８、４×４）に分割し、このブロック単位において画面内予測が行われている。このブロックのサイズに応じて、用いることができる予測モードが異なる。

４×４の場合には、符号化済みである左のブロックの右端の４画素、左上のブロックの右下１画素、上のブロックの下端４画素、右上のブロックの下端４画素の合計１３画素の値を用いた９種類の予測モードから予測モードを選択し、ブロック内の画素値を予測する。８×８の場合には、符号化済みである左のブロックの右端の８画素、左上のブロックの右下１画素、上のブロックの下端８画素、右上のブロックの下端８画素の合計２５画素の値を用いた９種類の予測モードから予測モードを選択し、ブロック内の画素値を予測する。１６×１６の場合には、符号化済みである左のマクロブロックの右端の１６画素、上のマクロブロックの下端１６画素の合計３２画素の値を用いた４種類の予測モードから予測モードを選択し、ブロック内の画素値を予測する。

図１８（ａ）から（ｉ）は、ブロックサイズが４×４のときの９種類の予測モードを示す概念図である。画面内予測符号化では、上マクロブロックＡ、Ｂ、Ｃ、Ｄの４画素と左マクロブロックＩ、Ｊ、Ｋ、Ｌの４画素から、垂直予測（予測モード０）、水平予測（予測モード１）、平均値予測（予測モード２）、平面予測（予測モード３〜８）の９種類の予測モードから予測モードを選択することが可能である。選択した予測方向（予測モード）を４×４画素のブロック単位で符号化する。予測モード２に示す平均値は、左マクロブロックＩ〜Ｌの４画素と、上マクロブロックＡ〜Ｄの４画素との合計８画素の平均値で、対象ブロックの４×４画素すべてを予測する。

ＡＶＣ／Ｈ．２６４においては、上記９種類の予測モードのうち、コストが最小となる最適予測モードを決定し、その最適予測モードを符号化するとともに、この画面内予測により得られた予測値と入力信号との差分を計算し、その差分信号に対し、量子化と離散コサイン変換（以下、ＤＣＴ：Discrete Cosine Transform）とを行うことで符号化を行う。

図１９は、従来技術による画面内予測符号化装置の構成を示すブロック図である。図１９に示す画面内符号化装置は、ＡＶＣ／Ｈ．２６４に準拠している。画面内符号化装置では、復号済みの隣接画素から対象符号化ユニットにおける画素値の予測を行い、コストが最小となる符号化モードの選択を行う。

図１９において、予測モード格納部１は、複数の予測モードを記憶する。予測残差信号生成部２は、入力画像信号を入力とし、予測モード格納部１の予測モードを順次変化させながら予測残差を生成し、ＤＣＴ、量子化、符号化を行う。

コスト算出部３は、予測残差信号生成部からの符号化ストリームと入力画像信号とを入力とし、ラグランジェコストＬｃｏｓｔを算出する。ここで、ラグランジェコストＬｃｏｓｔは、符号化ストリームにおける符号量と、符号化による歪みとの加重和である。コスト最小値初期化部４は、ラグランジェコストＬｍｉｎの値を十分大きな値に設定し、初期化を行う。コスト最小値記憶部５は、コスト最小値を記憶する。コスト判定部６は、ラグランジェコストＬｃｏｓｔとＬｍｉｎの値とを比較し、Ｌｃｏｓｔ＜Ｌｍｉｎであるか判定する。

最適予測モード番号記憶部７は、コストの最小値Ｌｍｉｎとなる予測モード番号（以下、最適予測モード番号）を記憶する。モード選択終了判定部８は、予測モードの変化終了を判定する。最適予測モード番号符号化部９は、最適予測モード番号を符号化する。画面内予測符号化部１０は、符号化された最適予測モード番号と入力画像信号とから生成された予測残差信号を入力とし、該予測残差信号に対して、ＤＣＴ、量子化、符号化を行い、得られた符号化データを出力する。

図２０は、従来技術による画面内予測符号化装置の動作を説明するためのフローチャートである。まず、コスト最小値初期化部４では、ラグランジェコストＬｍｉｎの値を十分大きな値（例えば、２^１６−１など）に設定し、初期化を行う（ステップＳ１）。次に、予測モードｋを０〜（予測モード数−１）まで変化させながら、以下のステップＳ３〜Ｓ７までの処理を繰り返す（ステップＳ２）。

予測残差信号生成部２では、入力画像信号を入力とし、ステップＳ２の予測モードｋに基づいて予測残差を生成し、ＤＣＴ、量子化、符号化を行い、符号化ストリームを出力する（ステップＳ３）。コスト算出部３では、ステップＳ３の符号化ストリームと入力画像信号とを入力とし、それらの誤差からラグランジェコストＬｃｏｓｔを算出して出力する（ステップＳ４）。

次に、コスト判定部６では、ステップＳ４で得られたラグランジェコストＬｃｏｓｔとＬｍｉｎの値とを比較し、Ｌｃｏｓｔ＜Ｌｍｉｎであるか判定し（ステップＳ５）、Ｌｃｏｓｔ＜Ｌｍｉｎが成立すれば、ＬｍｉｎにＬｃｏｓｔの値を代入し、コスト最小値記憶部５のＬｍｉｎを更新し（ステップＳ６）、ステップＳ７へ進む。一方、Ｌｃｏｓｔ＜Ｌｍｉｎが不成立ならば、Ｌｍｉｎを更新することなく、ステップＳ７へ進む。

次に、モード選択終了判定部８では、予測モードｋの値が、予測モード数−１と一致しているかを判定し（ステップＳ７）、一致していなければ、次の予測モードの値をｋに入力し、ステップＳ２に戻り、ステップＳ３〜Ｓ７までの処理を繰り返す。

一方、一致していれば、最適予測モード番号符号化部９では、ステップＳ２〜Ｓ７までのループの中で得られたラグランジェコストの最小値Ｌｍｉｎとなる予測モード番号（以下、最適予測モード番号）を入力とし、最適予測モード番号を符号化する処理を行う（ステップＳ９）。

次に、ステップＳ９で得られた最適予測モード番号と入力画像信号とを入力し、予測残差信号を生成し（ステップＳ１０）、画面内予測符号化部１０では、該ステップＳ１０で得られた予測残差信号を入力とし、該予測残差信号に対して、ＤＣＴ、量子化、符号化を行い、得られた符号化ストリームを出力する（ステップＳ１１）。

図２１は、従来技術による画面内予測復号装置の構成を示すブロック図である。図２１において、予測モード番号復号部２０は、符号化ストリームを入力とし、ストリーム内の予測モード番号ｎを復号する。予測信号生成部２１は、予測モードｎと復号済みの隣接画素値とを用いて、予測信号を生成する。予測残差信号復号部２２は、符号化ストリームを入力とし、ストリーム内の予測残差信号を復号する。復号画像信号生成部２３は、予測信号と予測残差信号とから復号画像信号を生成して出力する。

図２２は、従来技術による画面内予測復号装置の動作を説明するためのフローチャートである。まず、予測モード番号復号部２０では、符号化ストリームを入力とし、ストリーム内の予測モード番号ｎを復号して出力する（ステップＳ２１）。次に、予測信号生成部２１では、予測モードｎと復号済みの隣接画素値とを用いて、予測信号を生成して出力する（ステップＳ２２）。

一方、予測残差信号復号部２２では、符号化ストリームを入力とし、ストリーム内の予測残差信号を復号して出力する（ステップＳ２３）。そして、復号画像信号生成部２３では、ステップＳ２２で得られた予測信号とステップＳ２３で得られた予測残差信号とから復号画像信号を生成して出力する（ステップＳ２４）。

大久保榮、角野眞也、菊池義浩、鈴木輝彦：" 改訂三版Ｈ．２６４／ＡＶＣ教科書"、2009

しかしながら、上述した画面内符号化では、異なる画面間で予測を行う画面間符号化ほどの符号化効率を達成できていない。そのため、より高い符号化効率をもつ画面内符号化方式が望まれている。また、画面内符号化方式の符号化効率を向上させることにより、その画面を参照する画面間符号化においても符号化効率の向上が期待される。

また、従来の符号化手法（例えば、ＡＶＣ／Ｈ．２６４など）においては、ノイズが多く含まれている画像を符号化する場合、符号化済みの周辺画素から得られる予測値と入力画像との差分値が増加してしまい、符号量が大きくなってしまう問題点がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、画面内符号化手法における最小の符号化対象領域である符号化ユニット（例えば、ＡＶＣ／Ｈ．２６４の場合、符号化ユニットはマクロブロックと呼ぶこととする）単位で行われる画面内符号化を行う際に、符号化効率の改善を図ることができる画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラムを提供することにある。

上述した課題を解決するために、本発明は、最小の符号化対象領域である符号化ユニットごとに符号化を行なう画像符号化方法であって、ビット深度変換処理を用いた画面内符号化を行うか否かを判定する判定ステップと、前記判定ステップで前記ビット深度変換処理を行わないと判定された場合、前記ビット深度変換処理を用いない画像内符号化である上位階層符号化を入力画像信号に対して行う上位階層符号化ステップと、前記判定ステップで前記ビット深度変換処理を行うと判定された場合、隣接画素に対して前記ビット深度変換処理を行った後、下位階層符号化する下位階層符号化ステップと、前記判定ステップで前記ビット深度変換処理を行わないと判定された場合、前記上位階層符号化ステップにおける上位階層符号化の方式を示す符号化モード番号を符号化し、前記判定ステップで前記ビット深度変換処理を行うと判定された場合、前記下位階層符号化ステップにおける下位階層符号化の方式を示す符号化モード番号と分割ビット深度とを符号化する符号化ステップとを含むことを特徴とする画像符号化方法である。

また、本発明は、上記に記載の発明において、前記判定ステップでは、予め定められたコスト関数を用いて、前記ビット深度変換処理を用いた画像内符号化を行う場合の符号化のコストと、前記上位階層符号化を行う場合の符号化のコストとが算出され、算出されたコストのうち最も小さいコストに対応する符号化が選択されることを特徴とする。

また、本発明は、上記に記載の発明において、前記符号化ステップでは、前記ビット深度変換処理により生じる前記入力画像信号に対する誤差が最小となるビット数、あるいは、前記コスト関数により算出されるコストが最小となるビット数が前記分割ビット深度として選択されることを特徴とする。

また、本発明は、上記に記載の発明において、前記入力画像信号に複数の色チャネルが含まれる場合、前記判定ステップでは、前記色チャネルごとに前記ビット深度変換処理を用いた画面内符号化を行うか否かが判定され、前記ビット深度変換処理における前記分割ビット深度は、前記色チャネルごとに選択されることを特徴とする。

また、本発明は、最小の符号化対象領域である符号化ユニットごとに符号化データを復号する画像復号法方であって、前記符号化データから符号化モード番号を復号する符号化モード番号復号ステップと、前記符号化モード番号に基づいて、ビット深度変換処理を用いた画面内符号が行われたか否かを判定する判定ステップと、前記符号化データから予測残差信号を復号する予測残差復号ステップと、前記判定ステップで前記ビット深度変換処理を用いた画面内符号化が行われていないと判定された場合、前記符号化データに対して上位階層復号を行う上位階層復号ステップと、前記判定ステップで前記ビット深度変換処理を用いた画面内符号化が行われたと判定された場合、前記符号化データから前記ビット深度変換処理に用いられた分割ビット深度を復号し、前記符号化モード番号と前記分割ビット深度とに基づいて、逆ビット深度変換処理を行い、下位階層復号信号を生成する下位階層復号ステップと、前記上位階層復号ステップで上位階層復号を行うことにより取得された上位階層復号信号と前記予測残差復号ステップで取得された予測残差信号とから復号画像信号を生成する第１の復号画像信号生成ステップと、前記下位階層復号ステップにおいて前記逆ビット深度変換処理を行うことにより取得された下位階層復号信号と前記予測残差復号ステップにおいて取得された予測残差信号とから復号画像信号を生成する第２の復号画像信号生成ステップとを含むことを特徴とする画像復号方法である。

また、本発明は、上記に記載の発明において、前記下位階層復号ステップは、前記符号化データから分割ビット深度を復号する分割ビット深度復号ステップと、前記符号化データに対して下位階層復号を行い、下位階層復号信号を生成する下位階層復号信号生成ステップと、前記分割ビット深度に基づいて、前記下位階層復号信号に対して逆ビット深度変換処理を行う逆ビット深度変換ステップとを含むことを特徴とする。

また、本発明は、上記に記載の発明において、前記下位階層復号ステップは、前記符号化データから分割ビット深度を復号する分割ビット深度復号ステップと、前記符号化データから下位階層予測モード番号を復号出力する下位階層予測モード復号ステップと、前記下位階層予測モード番号に基づいて下位階層予測信号を生成する下位階層予測信号生成ステップと、前記符号化データから下位階層予測残差信号を復号する下位階層残差信号復号ステップと、前記下位階層予測信号と前記下位階層予測残差信号とを足し合わせ、下位階層復号信号を生成する下位階層復号信号生成ステップと、前記分割ビット深度に基づいて、前記下位階層復号信号に対して逆ビット深度変換を行う逆ビット深度変換処理ステップとを含むことを特徴とする。

また、本発明は、上記に記載の発明において、前記分割ビット深度の対象領域が、符号化ユニット、あるいは複数の符号化ユニット、あるいは画面全体であるかを前記符号化データから判定する分割ビット深度対象領域判定ステップを更に含み、前記分割ビット深度対象領域判定ステップで前記分割ビット深度の対象領域が複数の符号化ユニット、あるいは画面全体であると判定された場合、前記分割ビット深度の対象領域に対して、共通の前記分割ビット深度を用いることを特徴とする。

また、本発明は、最小の符号化対象領域である符号化ユニットごとに符号化を行なう画像符号化装置であって、ビット深度変換処理を用いた画面内符号化を行うか否かを判定する判定手段と、前記判定手段でビット深度変換処理を行わないと判定された場合、前記ビット深度変換処理を用いない画像内符号化である上位階層符号化を入力画像信号に対して行う上位階層符号化手段と、前記判定手段で前記ビット深度変換処理を行うと判定された場合、隣接画素に対して前記ビット深度変換処理を行った後、下位階層符号化する下位階層符号化手段と、前記判定手段が前記ビット深度変換処理を行わないと判定した場合、前記上位階層符号化手段における上位階層符号化の方式を示す符号化モード番号を符号化し、前記判定手段が前記ビット深度変換処理を行うと判定した場合、前記下位階層符号化手段における下位階層符号化の方式を示す符号化モード番号と分割ビット深度とを符号化する符号化手段とを備えることを特徴とする画像符号化装置である。

また、本発明は、上記に記載の発明において、前記判定手段は、予め定められたコスト関数を用いて、前記ビット深度変換処理を用いた画像内符号化を行う場合の符号化のコストと、前記上位階層符号化を行う場合の符号化のコストとを算出し、算出したコストのうち最も小さいコストに対応する符号化を選択することを特徴とする。

また、本発明は、上記に記載の発明において、前記判定手段は、前記ビット深度変換処理により生じる前記入力画像信号に対する誤差が最小となるビット数、あるいは、前記コスト関数により算出されるコストが最小となるビット数を前記分割ビット深度として選択することを特徴とする。

また、本発明は、上記に記載の発明において、前記入力画像信号に複数の色チャネルが含まれる場合、前記判定手段は、前記色チャネルごとに前記ビット深度変換処理を用いた画面内符号化を行うか否かを判定し、前記ビット深度変換処理における前記分割ビット深度は、前記色チャネルごとに選択されることを特徴とする。

また、本発明は、最小の符号化対象領域である符号化ユニットごとに符号化データを復号する画像復号装置であって、前記符号化データから符号化モード番号を復号する符号化モード番号復号手段と、前記符号化モード番号に基づいて、ビット深度変換処理を用いた画面内符号が行われたか否かを判定する判定手段と、前記符号化データから予測残差信号を復号する予測残差復号手段と、前記判定手段が前記ビット深度変換処理を用いた画面内符号が行われていないと判定した場合、前記符号化データに対して上位階層復号を行う上位階層復号手段と、前記判定手段が前記ビット深度変換処理を用いた画面内符号が行われたと判定した場合、前記符号化データから前記ビット深度変換処理に用いられた分割ビット深度を復号し、前記予測モード番号と前記分割ビット深度とに基づいて、逆ビット深度変換処理を行い、下位階層復号信号を生成する下位階層復号手段と、前記上位階層復号手段が上位階層復号を行うことにより取得した上位階層復号信号と、前記予測残差復号手段が取得した予測残差信号とから復号画像信号を生成する第１の復号画像信号生成手段と、前記下位階層復号手段が逆ビット深度変換処理を行うことにより取得した下位階層復号信号と、前記予測残差復号手段が取得した予測残差信号とから復号画像信号を生成する第２の復号画像信号生成手段とを備えることを特徴とする画像復号装置である。

また、本発明は、上記に記載の発明において、前記下位階層復号手段は、前記符号化データから分割ビット深度を復号する分割ビット深度復号手段と、前記符号化データに対して下位階層復号を行い、下位階層復号信号を生成する下位階層復号生成手段と、前記分割ビット深度に基づいて、前記下位階層復号信号に対して逆ビット深度変換処理を行う逆ビット深度変換手段とを備えることを特徴とする。

また、本発明は、上記に記載の発明において、前記下位階層復号手段は、前記符号化データから分割ビット深度を復号する分割ビット深度復号手段と、前記符号化データから下位階層復号における復号の方式を示す下位階層予測モード番号を復号出力する下位階層予測モード復号手段と、前記下位階層予測モード番号に基づいて下位階層予測信号を復号する下位階層予測信号復号手段と、前記符号化データから下位階層予測残差信号を復号する下位階層残差信号復号手段と、前記下位階層予測信号と前記下位階層予測残差信号とを足し合わせ、下位階層復号信号を生成する下位階層復号信号生成手段と、前記分割ビット深度に基づいて、前記下位階層復号信号に対して逆ビット深度変換を行う逆ビット深度変換処理手段とを備えることを特徴とする。

また、本発明は、上記に記載の発明において、前記分割ビット深度の対象領域が、符号化ユニット、あるいは複数の符号化ユニット、あるいは画面全体であるかを前記符号化データから判定する分割ビット深度対象領域判定手段を更に備え、前記分割ビット深度対象領域判定手段が前記分割ビット深度の対象領域を複数の符号化ユニット、あるいは画面全体であると判定した場合、前記分割ビット深度の対象領域に対して、共通の前記分割ビット深度を用いることを特徴とする。

また、本発明は、最小の符号化対象領域である符号化ユニットごとに符号化を行なう画像符号化装置に備えられているコンピュータに、ビット深度変換処理を用いた画面内符号化を行うか否かを判定する判定ステップと、前記判定ステップで前記ビット深度変換処理を行わないと判定された場合、前記ビット深度変換処理を用いない画像内符号化である上位階層符号化を入力画像信号に対して行う上位階層符号化ステップと、前記判定ステップで前記ビット深度変換処理を行うと判定された場合、隣接画素に対して前記ビット深度変換処理を行った後、下位階層符号化する下位階層符号化ステップと、前記判定ステップで前記ビット深度変換処理を行わないと判定された場合、前記上位階層符号化ステップにおける上位階層符号化の方式を示す符号化モード番号を符号化し、前記判定ステップで前記ビット深度変換処理を行うと判定された場合、前記下位階層符号化ステップにおける下位階層符号化の方式を示す符号化モード番号と分割ビット深度とを符号化する符号化ステップとを実行させるためのプログラムである。

また、本発明は、最小の符号化対象領域である符号化ユニットごとに符号化データを復号する画像復号装置に備えられているコンピュータに、前記符号化データから符号化モード番号を復号する符号化モード番号復号ステップと、前記符号化モード番号に基づいて、ビット深度変換処理を用いた画面内符号が行われたか否かを判定する判定ステップと、前記符号化データから予測残差信号を復号する予測残差復号ステップと、前記判定ステップで前記ビット深度変換処理を用いた画面内符号化が行われていないと判定された場合、前記符号化データに対して上位階層復号を行う上位階層復号ステップと、前記判定ステップで前記ビット深度変換処理を用いた画面内符号化が行われたと判定された場合、前記符号化データから前記ビット深度変換処理に用いられた分割ビット深度を復号し、前記符号化モード番号と前記分割ビット深度とに基づいて、逆ビット深度変換処理を行い、下位階層復号信号を生成する下位階層復号ステップと、前記上位階層復号ステップで上位階層復号を行うことにより取得された上位階層復号信号と前記予測残差復号ステップで取得された予測残差信号とから復号画像信号を生成する第１の復号画像信号生成ステップと、前記下位階層復号ステップにおいて前記逆ビット深度変換処理を行うことにより取得された下位階層復号信号と前記予測残差復号ステップにおいて取得された予測残差信号とから復号画像信号を生成する第２の復号画像信号生成ステップとを実行させるためのプログラムである。

この発明によれば、画面内符号化手法における最小の符号化対象領域である符号化ユニット（例えば、ＡＶＣ／Ｈ．２６４の場合、符号化ユニットはマクロブロックと呼ぶこととする）単位で行われる画面内符号化を行う際に、ビット深度変換処理を用いた画面内符号化モードを追加する手法を行うことで、差分信号を抑えることができ、符号化効率の改善を図ることができる。

本発明の実施形態による動画像符号化装置の構成を示すブロック図である。 本発明の実施形態による動画像復号装置の構成を示すブロック図である。 本発明の第１実施形態によるイントラ（画面内）予測符号化装置の構成を示すブロック図である。 本第１実施形態によるイントラ（画面内）予測符号化装置の動作を説明するためのフローチャートである。 本第１実施形態によるイントラ（画面内）予測符号化装置の動作を説明するためのフローチャートである。 本発明の第２実施形態によるイントラ（画面内）予測符号化装置の構成を示すブロック図である。 本第２実施形態によるイントラ（画面内）予測符号化装置の動作を説明するためのフローチャートである。 本第２実施形態によるイントラ（画面内）予測符号化装置の動作を説明するためのフローチャートである。 本第２実施形態によるイントラ（画面内）予測符号化装置の動作を説明するためのフローチャートである。 本発明の第３実施形態によるイントラ（画面内）予測復号装置の構成を示すブロック図である。 本第３実施形態による画面内予測復号装置の動作を説明するためのフローチャートである。 本発明の第４実施形態によるイントラ（画面内）予測復号装置の構成を示すブロック図である。 本第４実施形態による画面内予測復号装置の動作を説明するためのフローチャートである。 本発明の第５実施形態によるイントラ（画面内）予測復号装置の構成を示すブロック図である。 本第５実施形態による画面内予測復号装置の動作を説明するためのフローチャートである。 本発明の第６実施形態によるイントラ（画面内）予測復号装置の構成を示すブロック図である。 本第６実施形態による画面内予測復号装置の動作を説明するためのフローチャートである。 ブロックサイズが４×４のときの９種類の予測モードを示す概念図である。 従来技術による画面内予測符号化装置の構成を示すブロック図である。 従来技術による画面内予測符号化装置の動作を説明するためのフローチャートである。 従来技術による画面内予測復号装置の構成を示すブロック図である。 従来技術による画面内予測復号装置の動作を説明するためのフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

前述したように、従来の符号化手法（例えば，ＡＶＣ／Ｈ．２６４など）においては、ノイズが多く含まれている画像を符号化する場合、符号化済みの周辺画素から得られる予測値と入力画像との差分値が増加してしまい、符号量が大きくなってしまう。ノイズの多くは、画像の下位ビットに多く存在する。そこで、本発明では、ビット深度変換処理を用い、下位ビットの情報を削減することで、ノイズの影響を抑え、画面内符号化における符号量の削減を図る。また、符号化モードに新しいモードを追加することにより、従来手法との併用を可能とする。

本発明においては、隣接画素を上述したビット深度変換処理でＮ−Δビットに削減した後に、従来の画面内符号化手法を適用することで、符号化効率を改善させる。具体的には、従来の符号化モードを行う場合に、ビット深度変換処理を行う符号化モードを追加し、その符号化モードが選ばれた場合に、隣接画素をＮ−Δに削減を行い、Ｎ−Δビットの隣接画素値を用いて他の符号化モード（例えば、図１８）を用いて画面内符号化を行い、各分割ビット深度毎に下位階層符号化モードを取得して予測画像を生成する。

このときの分割ビット深度Δは、１〜Ｎ−１までの値を取り、その値の中で、ビット深度変換誤差（例えば、生成された予測画像を逆ビット深度変換した信号と入力画像信号との誤差）が最小となる分割ビット深度を最適分割ビット深度として出力し、その最適分割ビット深度における下位階層符号化モードを最適下位階層符号化モードとして出力する。これによって得られたコストと従来の符号化モードにおけるコストとを比較し、最もコストが抑えられた手法を用いる。以上により、得られる出力は、最適符号化モードと、この最適符号化モードがビット深度変換処理を用いる符号化モードであれば、最適分割ビット深度と最適下位階層符号化モードと残差信号とが符号化された符号化ストリームである。

図１は、本発明の実施形態による動画像符号化装置の構成を示すブロック図である。図１において、符号化制御部３０は、各部の動作を制御する。スイッチ部３１は、イントラ予測処理部４０、またはインター予測処理部３９のいずれか一方からの予測画像情報を選択する。減算器３２は、入力画像から予測画像情報を減算する。変換・量子化部３３は、画像の差分データに対して直交変換を行うとともに、直交変換された変換係数に対して所定の量子化スケールで量子化を施す。

逆変換・逆量子化部３４は、変換・量子化部３３において量子化された変換係数に対して所定の逆量子化処理を施すとともに、逆量子化された変換係数を元の画像データ空間に戻すための逆直交変換を行う。加算器３５は、画像データ空間に戻された画像差分情報に後述する予測画像情報を加算する。デブロッキングフィルタ３６は、予測画像情報により復元された画像データに対して所定の画素ブロック単位の境界データにおける不連続性を補正する。フレームメモリ３７は、後述するブロック境界補正処理が行われた復元画像データを予測画像情報の参照画像として利用するために保持する。

動き検出部３８は、イントラ予測処理部４０から入力された現在の画像データを複数の画素ブロックに分割し、各画素ブロックにおいて、フレームメモリ３７に保存されている参照フレーム候補と相関の高い位置を検出する動き探索処理を行い、その位置の差分データをフレーム間の動き情報として検出する。インター（画面間）予測符号化部３９は、参照フレームと動き検出部３８から出力される動き情報とから現在の画像データの予測画像情報を生成する動き補償を行う。イントラ（画面内）予測処理部４０は、画像データを複数の画素ブロックに分割し、各画素ブロックの画像データをブロック周辺の画素から予測し、予測画像情報を生成する。エントロピー符号化部４１は、変換・量子化部において量子化された変換係数に対し、エントロピー符号化処理を行ってデータ圧縮し、符号化ストリームとして出力する。

図２は、本発明の実施形態による動画像復号装置の構成を示すブロック図である。図２において、エントロピー復号部５０は、符号化された動画像データを含む入力ストリームに対して可変長復号処理を行い、量子化されたＤＣＴ係数（以下、量子化ＤＣＴ係数）、及び量子化パラメータＱＰ（Quantization Parameter）を取得し、参照フレーム番号、予測モード等を含む復号情報を出力する。

逆変換・逆量子化部５１は、入力したＤＣＴ係数に、ＤＣＴ変換処理を施し、この処理結果を残差信号として加算部１４に出力するとともに、逆量子化処理により、量子化パラメータＱＰに基づいて量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数を取得する。動きベクトル復号部５２は、フレーム間の動きを示す動きベクトルを復号する。

加算器５５は、残差信号と、イントラ予測処理部５３またはインター予測処理部５４から出力される予測画像データとを加算し、フレーム画像のデータを再現する。デブロッキングフィルタ５６は、加算器５５から出力されるフレーム画像のデータに対して、符号化ブロック間の歪みを改善する処理を施し、この処理結果をフレームメモリ５７に出力する。フレームメモリ５７は、デブロッキングフィルタ５６で処理された復号画像データを記憶する。

イントラ予測処理部５３は、加算器５５から出力されるフレーム画像のデータと、エントロピー復号部５０で得られた量子化ＤＣＴ係数とに基づいてフレーム内予測を行って、予測画像データを生成する。インター予測処理部５４は、エントロピー復号部５０が取得した量子化ＤＣＴ係数や、動きベクトル復号部５２からの動きベクトル、フレームメモリ５７から出力される参照画像などに基づいてフレーム間予測を行って、予測画像データを生成する。スイッチ部５８は、イントラ予測処理部５３、またはインター予測処理部５４のいずれか一方からの予測画像データを選択し、加算器５５に出力する。

本発明は、図１に示すイントラ（画面内）予測処理部４０、図２に示すイントラ（画面内）予測処理部５３に関するものである。画面内符号化の１つとしてとして、ビット深度変換処理を含んだ符号化モードを追加するという点が最も主要な特徴である。本発明では、後述のビット深度変換処理を用いた画面内符号化とビット深度変換処理を用いた画面内符号化と、該画面内符号化によって得られた符号化データに対する復号手法を提案する。

Ａ．画面内予測符号化
まず、本発明によるビット深度変換処理を用いた画面内符号化手法について説明する。本発明では、符号化効率を改善するために、画面内符号化手法としてビット深度変換処理を用いた手法を提案し、復号時に画面内予測モードにビット深度変換処理を用いた予測モードが選択されたときの復号手法を提案する。ここで、本発明におけるビット深度変換処理とは、外部から与えられる処理であり、入力信号のビット深度を削減する処理を表す。

例えば、下位ビットをビットシフトや、四捨五入することによってビット深度を削減する手法がある。このとき、何ビット削減したのかを表すパラメータを分割ビット深度Δとし、ビット深度変換処理によりビット深度を削減した信号に対し、ビット深度を増やす処理を逆ビット深度変換処理と呼ぶこととする。このとき、分割ビット深度Δの対象領域を画面全体、符号化ユニット、及び複数の符号化ユニットからなる領域などから予め指定することができる。また、分割ビット深度Δにおける符号化モードを下位階層符号化モードと呼ぶこととする。

Ａ−１．第１実施形態
図３は、本発明の第１実施形態によるイントラ（画面内）予測符号化装置の構成を示すブロック図である。図３において、符号化モード格納部６０は、複数の符号化モードを記憶する。符号化モード判定部６１は、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化を示す符号化モード番号と一致するかどうかを判定する。

上位階層符号化部６２は、入力画像信号を入力し、上位階層符号化を行う。ここで、上位階層符号化とは、例えば、ＡＶＣ／Ｈ．２６４において用いられている画面内予測符号化である。すなわち、ビット深度変換を用いない画面内予測符号化である。
コスト算出部６３は、符号化ストリームと入力画像信号とを入力とし、符号化におけるラグランジェコストＬｃｏｓｔをそれらの誤差から算出する。具体的には、コスト算出部６３は、符号量と歪みの加重和を算出する予め定められたコスト関数を用いて、ラグランジェコストＬｃｏｓｔを算出する。コスト最小値初期化部６４は、コストＬｍｉｎの値を十分大きな値に設定し、初期化を行う。コスト最小値記憶部６５は、コスト最小値を記憶する。

隣接画素ビット深度変換処理部６７は、復号済みの隣接画素を入力とし、その画素値をＮ−Δビットにビット深度変換処理を行い、Ｎ−Δビットの復号済み隣接画素値を出力する。下位階層符号化部６８は、Ｎ−Δビットの復号済み隣接画素値を入力とし、下位階層符号化を行い、下位階層符号化ストリームを出力する。ビット深度変換誤差算出部６９は、下位階層符号化ストリームと入力画像信号とを入力とし、ビット深度変換により生じるビット深度変換誤差Ｅｃｏｓｔを算出する。

変換誤差最小値初期化部７０は、ビット深度変換誤差Ｅｍｉｎの値を十分大きな値に設定し、初期化を行う。変換誤差最小値記憶部７１は、ビット深度変換誤差Ｅｍｉｎを記憶する。ビット深度変換誤差判定部７２は、ビット深度変換誤差ＥｃｏｓｔとＥｍｉｎの値とを比較し、Ｅｃｏｓｔ＜Ｅｍｉｎが成立するか否かを判定する。分割ビット深度終了判定部７３は、分割ビット深度Δの値が、Ｎ−１と一致しているか、すなわち、分割ビット深度終了を判定する。

コスト判定部７４は、ラグランジェコストＬｃｏｓｔの値と、Ｌｍｉｎとの値とを比較し、Ｌｃｏｓｔ＜Ｌｍｉｎが成立するか否かを判定する。モード選択終了判定部７５は、符号化モードｎの値が、符号化モード数−１と一致しているか、すなわち、モード選択終了を判定する。

最適符号化モード番号・分割ビット深度・下位階層符号化モード番号記憶部７６は、最適符号化モード番号、最適分割ビット深度、最適下位階層符号化モード番号を記憶する。最適符号化モード番号・分割ビット深度・下位階層符号化モード番号符号化部７７は、符号化モード番号を入力とし、符号化を行い、符号化ストリームを出力するか、ビット深度変換処理を行う符号化モード番号とビット深度変換誤差を最小化する最適分割ビット深度Δとを入力とし、それぞれを符号化し、符号化ストリームを出力する。画面内予測符号化部７８は、最適符号化モード番号と最適分割ビット深度と入力画像信号とを入力し、最適符号化モード番号に対応する符号化モードを用いて入力画像信号の符号化を行い、符号化ストリームを出力する。

図４、及び図５は、本第１実施形態によるイントラ（画面内）予測符号化装置の動作を説明するためのフローチャートである。まず、コスト最小値初期化部６４で、コストＬｍｉｎの値を十分大きな値（例えば、２^１６−１など）に設定し、初期化を行う（ステップＳ３１）。次に、符号化モードｎを０〜符号化モード数−１まで変化させながら（ステップＳ３２）、以下のステップＳ３３〜Ｓ４８を繰り返す。

まず、符号化モード判定部６１で、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化を用いる符号化モード番号と一致するかどうかを判定する（ステップＳ３３）。そして、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化を用いる符号化モード番号と一致しない場合、上位階層符号化部６２で、入力画像信号を入力し、上位階層符号化（例えば、ＡＶＣ／Ｈ．２６４における画面内予測符号化など）を行い、符号化ストリームを出力する（ステップＳ３４）。次に、コスト算出部６３で、ステップＳ３４で得られた符号化ストリームと入力画像信号とを入力し、それらの誤差からコストＬｃｏｓｔを算出して出力する（ステップＳ３５）。次に、後述するステップＳ４６以降へ進む。

一方、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化を用いる符号化モード番号と一致する場合、変換誤差最小値初期化部７０で、ビット深度変換誤差Ｅｍｉｎの値を十分大きな値（例えば、２^１６−１など）に設定し、初期化を行う（ステップＳ３６）。次に、分割ビット深度Δを０〜入力画像ビット深度（以下、Ｎビット）−１まで変化させながら（ステップＳ３７）、以下のステップＳ３８〜Ｓ４３を繰り返す。

まず、隣接画素ビット深度変換処理部６７で、復号済みの隣接画素を入力し、その画素値をＮ−Δビットにビット深度変換処理を行い、Ｎ−Δビットの復号済み隣接画素値を出力する（ステップＳ３８）。次に、下位階層符号化部６８で、ステップＳ３８で得られたＮ−Δビットの復号済み隣接画素値を入力し、下位階層符号化を行い、下位階層符号化ストリームを出力する（ステップＳ３９）。次に、ビット深度変換誤差算出部６９で、下位階層符号化ストリームと入力画像信号とを入力し、ビット深度変換誤差Ｅｃｏｓｔを算出して出力する（ステップＳ４０）。

次に、ビット深度変換誤差判定部７２で、ステップＳ４０で得られたビット深度変換誤差ＥｃｏｓｔとＥｍｉｎの値とを比較し、Ｅｃｏｓｔ＜Ｅｍｉｎが成立するか否かを判定し（ステップＳ４１）、Ｅｃｏｓｔ＜Ｅｍｉｎが成立すれば、ＥｍｉｎにＥｃｏｓｔの値を代入し、Ｅｍｉｎを更新し（ステップＳ４２）、ステップＳ４３に進む。一方、Ｅｃｏｓｔ＜Ｅｍｉｎが不成立ならば、Ｅｍｉｎを更新することなく、ステップＳ４３に進む。

ステップＳ４３では、分割ビット深度終了判定部７３で、分割ビット深度Δの値が、Ｎ−１と一致しているかを判定し、一致していなければ、次の分割ビット深度ΔをΔ＋１に更新し（ステップＳ４４）、ステップＳ３７へ戻り、ステップＳ３８〜Ｓ４３を繰り返す。一方、分割ビット深度Δの値が、Ｎ−１と一致していれば、上記のループ処理で得られた最小のビット深度変換誤差ＥｍｉｎをコストＬｃｏｓｔに代入し（ステップＳ４５）、ステップＳ４６以降へ進む。

ステップＳ４６では、コスト判定部７４で、ステップＳ４７、あるいはステップＳ４５で得られたラグランジェコストＬｃｏｓｔとＬｍｉｎの値とを比較し、Ｌｃｏｓｔ＜Ｌｍｉｎが成立するか否かを判定し、Ｌｃｏｓｔ＜Ｌｍｉｎが成立すれば、コストの最小値ＬｍｉｎにＬｃｏｓｔの値を代入し、Ｌｍｉｎを更新するとともに、このときの符号化モード番号ｎを最適符号化モード番号として最適符号化モード番号・分割ビット深度・下位階層符号化モード番号記憶部７６に記憶させ（ステップＳ４７）、ステップＳ４８に進む。また、ステップＳ４７において、コスト判定部７４は、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化を示す符号化モード番号である場合、ラグランジェコストＬｃｏｓｔを算出した際の分割ビット深度Δ、符号化モード番号ｎを、最適分割ビット深度、最適下位階層符号化モードとして最適符号化モード番号・分割ビット深度・下位階層符号化モード番号記憶部７６に記憶させる。
一方、Ｌｃｏｓｔ＜Ｌｍｉｎが成立しなければ、Ｌｍｉｎなどを更新することなく、ステップＳ４８に進む。

ステップＳ４８では、モード選択終了判定部７５で、符号化モードｎの値が、符号化モード数−１と一致しているかを判定し、一致していなければ、次の符号化モードの値をｎに入力し、ステップＳ３２に戻り、上述したステップＳ３３〜Ｓ４８を繰り返す。

一方、符号化モードｎの値が、符号化モード数−１と一致していれば、最適符号化モード番号・分割ビット深度・下位階層符号化モード番号符号化部７７で、最適符号化モード番号がビット深度変換処理を用いた符号化モード番号と一致するかどうかを判定する（ステップＳ５０）。そして、一致しなければ、ステップＳ３４、Ｓ３５で得られた符号化モード番号を入力とし、符号化を行い、符号化ストリームを出力し（ステップＳ５１）、一致すれば、ビット深度変換処理を行う符号化モード番号とビット深度変換誤差を最小化する分割ビット深度Δ（以下、最適分割ビット深度Δ）とを入力し、それぞれを符号化し、符号化ストリームを出力する（ステップＳ５２）。

そして、画面内予測符号化部７８で、最適符号化モード番号と最適分割ビット深度と入力画像信号とを入力し、入力画像信号の符号化を行い、最適符号化モード番号に対応する符号化モードを用いて符号化した符号化ストリームを出力する（ステップＳ５３）。

Ａ−２．第２実施形態
次に、本発明の第２実施形態について説明する。
図６は、本発明の第２実施形態によるイントラ（画面内）予測符号化装置の構成を示すブロック図である。図６において、予測モード格納部８０は、複数の予測モードを記憶する。予測モード判定部８１は、予測モード番号ｋがビット深度変換処理を用いた画面内符号化を用いる予測モード番号と一致するかどうかを判定する。予測残差信号生成部８２は、入力画像信号を入力とし、予測モードｋに基づいて予測残差信号を生成し、ＤＣＴ、量子化、符号化を行う。コスト算出部８３は、符号化ストリームと入力画像信号とを入力とし、それらの誤差からラグランジェコストＬｃｏｓｔを算出する。コスト最小値初期化部８４は、コストＬｍｉｎの値を十分大きな値に設定し、初期化を行う。コスト最小値記憶部８５は、コスト最小値を記憶する。

隣接画素ビット深度変換処理部８７は、復号済みの隣接画素を入力とし、その画素値をＮ−Δビットにビット深度変換処理を行い、Ｎ−Δビットの復号済み隣接画素値を出力する。予測モード格納部８８は、複数の予測モードを記憶する。予測誤差信号生成部８９は、入力画像信号を入力とし、予測モードｉに基づいて予測残差を生成し、ＤＣＴ、量子化、符号化を行う。コスト算出部９０は、符号化ストリームと入力画像信号とを入力し、それらの誤差からラグランジェコストＬ’ｃｏｓｔを算出する。

コスト最小値初期化部９１は、ラグランジェコストＬ’ｍｉｎの値を十分大きな値に設定し、初期化を行う。コスト最小値記憶部９２は、ラグランジェコストＬ’ｍｉｎを記憶する。コスト判定部９３は、ラグランジェコストＬ’ｃｏｓｔとＬ’ｍｉｎの値とを比較し、Ｌ’ｃｏｓｔ＜Ｌ’ｍｉｎが成立するか否かを判定する。モード選択終了判定部９４は、下位階層予測モードｉの値が、符号化モード数−２と一致しているか、すなわちモード選択終了を判定する。

ビット深度変換誤差算出部９５は、下位階層符号化ストリームと入力画像信号とを入力とし、ビット深度変換誤差Ｅｃｏｓｔを算出する。変換誤差最小値初期化部９６は、ビット深度変換誤差Ｅｍｉｎの値を十分大きな値に設定し、初期化を行う。変換誤差最小値記憶部９７は、ビット深度変換誤差Ｅｍｉｎを記憶する。ビット深度変換誤差判定部９８は、ビット深度変換誤差ＥｃｏｓｔとＥｍｉｎの値とを比較し、Ｅｃｏｓｔ＜Ｅｍｉｎが成立するか否かを判定する。分割ビット深度終了判定部９９は、分割ビット深度Δの値が、Ｎ−１と一致しているか、すなわち、分割ビット深度終了を判定する。

コスト判定部１００は、ラグランジェコストＬｃｏｓｔとＬｍｉｎの値とを比較し、Ｌｃｏｓｔ＜Ｌｍｉｎが成立するか否かを判定する。モード選択終了判定部１０１は、予測モードｋの値が、予測モード数−１と一致しているか、すなわちモード選択終了を判定する。

最適予測モード番号・分割ビット深度・下位階層予測モード番号記憶部１０２は、最適予測モード番号、分割ビット深度、下位階層予測モード番号を記憶する。最適予測モード番号・分割ビット深度・下位階層予測モード番号符号化部１０３は、予測モード番号を入力とし、符号化を行い、符号化ストリームを出力するか、ビット深度変換処理を行う予測モード番号とビット深度変換誤差を最小化する最適分割ビット深度Δとを入力とし、それぞれを符号化し、符号化ストリームを出力する。画面内予測符号化部１０４は、最適符号化モード番号と最適分割ビット深度と入力画像信号とを入力し、入力画像信号の符号化を行い、符号化ストリームを出力する。

図７、図８、及び図９は、本第２実施形態によるイントラ（画面内）予測符号化装置の動作を説明するためのフローチャートである。まず、コスト最小値初期化部８４で、ラグランジェコストＬｍｉｎの値を十分大きな値（例えば、２^１６−１など）に設定し、初期化を行う（ステップＳ６１）。次に、予測モードｋを０〜予測モード数−１まで変化させながら（ステップＳ６２）、以下のステップＳ６３〜Ｓ８５を繰り返す。

まず、予測モード判定部８１で、予測モード番号ｋがビット深度変換処理を用いた画面内符号化を示す予測モード番号と一致するかどうかを判定する（ステップＳ６３）。そして、予測モード番号ｋがビット深度変換処理を用いた画面内符号化を示す予測モード番号と一致しない場合、予測残差信号生成部８２で、入力画像信号を入力し、ステップＳ６２の予測モードｋに基づいて予測残差を生成し、ＤＣＴ、量子化、符号化を行い、符号化ストリームを出力する（ステップＳ６４）。次に、コスト算出部８３で、ステップＳ６４の符号化ストリームと入力画像信号とを入力し、それらの誤差からラグランジェコストＬｃｏｓｔを算出して出力する（ステップＳ６５）。次に、後述するステップＳ８３以降へ進む。

一方、予測モード番号ｋがビット深度変換処理を用いた画面内符号化を示す予測モード番号と一致する場合、変換誤差最小値初期化部９６で、ビット深度変換誤差Ｅｍｉｎの値を十分大きな値（例えば、２^１６−１など）に設定し、初期化を行う（ステップＳ６６）。次に、分割ビット深度Δを０〜Ｎ−１ビットまで変化させながら（ステップＳ６７）、以下のステップＳ６８〜Ｓ８０を繰り返す。

まず、復号済みの隣接画素を入力し、その画素値をＮ−Δビットにビット深度変換処理を行い、Ｎ−Δビットの復号済み隣接画素値を出力する（ステップＳ６８）。次に、コスト最小値初期化部９１で、ラグランジェコストＬ’ｍｉｎの値を十分大きな値（例えば、２^１６−１など）に設定し、初期化を行う（ステップＳ６９）。次に、下位階層予測モードｉを０〜予測モード数−２まで変化させながら（ステップＳ７０）、以下のステップＳ７１〜Ｓ７５を繰り返す。

まず、予測誤差信号生成部８９で、入力画像信号を入力し、ステップＳ７０の予測モードｉに基づいて予測残差を生成し、ＤＣＴ、量子化、符号化を行い、符号化ストリームを出力する（ステップＳ７１）。次に、コスト算出部９０で、ステップＳ７１の符号化ストリームと入力画像信号とを入力し、それらの誤差からラグランジェコストＬ’ｃｏｓｔを算出して出力する（ステップＳ７２）。

次に、コスト判定部９３で、ステップＳ７２で得られたラグランジェコストＬ’ｃｏｓｔとＬ’ｍｉｎの値とを比較し、Ｌ’ｃｏｓｔ＜Ｌ’ｍｉｎが成立するか否かを判定し（ステップＳ７３）、Ｌ’ｃｏｓｔ＜Ｌ’ｍｉｎが成立すれば、ラグランジェコストの最小値Ｌ’ｍｉｎにＬ’ｃｏｓｔの値を代入し、Ｌ’ｍｉｎを更新（ステップＳ７４）、ステップＳ７５に進む。一方、Ｌ’ｃｏｓｔ＜Ｌ’ｍｉｎが不成立ならば、Ｌ’ｍｉｎを更新することなく、ステップＳ７５に進む。

ステップＳ７５では、モード選択終了判定部９４で、下位階層予測モードｉの値が、符号化モード数−２と一致しているかを判定し、一致していなければ、次の予測モードの値をｉに入力し（ステップＳ７６）、ステップＳ７０に戻り、ステップＳ７１〜Ｓ７５を繰り返す。

一方、下位階層予測モードｉの値が、符号化モード数−２と一致していれば、ビット深度変換誤差算出部９５で、下位階層符号化ストリームと入力画像信号とを入力し、ビット深度変換誤差Ｅｃｏｓｔを算出して出力する（ステップＳ７７）。次に、ビット深度変換誤差判定部９８で、ステップＳ７７で得られたビット深度変換誤差ＥｃｏｓｔとＥｍｉｎの値とを比較し、Ｅｃｏｓｔ＜Ｅｍｉｎが成立するか否かを判定する（ステップＳ７８）。そして、Ｅｃｏｓｔ＜Ｅｍｉｎが成立すれば、ＥｍｉｎにＥｃｏｓｔの値を代入し、Ｅｍｉｎを更新し（ステップＳ７９）、ステップＳ８０に進む。一方、Ｅｃｏｓｔ＜Ｅｍｉｎが不成立ならば、Ｅｍｉｎを更新することなく、ステップＳ８０に進む。

ステップＳ８０では、分割ビット深度終了判定部９９で、分割ビット深度Δの値が、Ｎ−１と一致しているかを判定し、一致していなければ、次の分割ビット深度Δ＋１に更新し（ステップＳ８１）、ステップＳ６７に戻り、ステップＳ６８〜Ｓ８０を繰り返す。

一方、分割ビット深度Δの値が、Ｎ−１と一致していれば、上記ステップＳ６８〜Ｓ８０のループで得られた最小のラグランジェコストＬ’ｍｉｎをラグランジェコストＬｃｏｓｔに代入し（ステップＳ８２）、ステップＳ８３以降へ進む。

ステップＳ８３では、コスト判定部１００で、ステップＳ６５、あるいはステップＳ８２で得られたラグランジェコストＬｃｏｓｔとＬｍｉｎの値とを比較し、Ｌｃｏｓｔ＜Ｌｍｉｎが成立するか否かを判定し、Ｌｃｏｓｔ＜Ｌｍｉｎが成立すれば、コストの最小値ＬｍｉｎにＬｃｏｓｔの値を代入し、Ｌｍｉｎを更新するとともに、このときの予測モード番号ｋを、最適予測モード番号として最適予測モード番号・分割ビット深度・下位階層予測モード番号記憶部１０２に記憶させ（ステップＳ８４）、ステップＳ８５に進む。また、ステップＳ８４において、コスト判定部１００は、予測モード番号ｋがビット深度変換処理を用いた画面内符号化を示す予測モード番号である場合、ラグランジェコストＬｃｏｓｔを算出した際の分割ビット深度Δ、下位階層予測モードｉを最適分割ビット深度、最適下位階層予測モード番号として最適予測モード番号・分割ビット深度・下位階層予測モード番号記憶部１０２に記憶させる。
一方、Ｌｃｏｓｔ＜Ｌｍｉｎが不成立ならば、Ｌｍｉｎを更新することなく、ステップＳ８５に進む。

ステップＳ８５では、モード選択終了判定部１０１で、予測モードｋの値が、予測モード数−１と一致しているかを判定し、一致していなければ、次の符号化モードの値をｋに入力し（ステップＳ８６）、ステップＳ６２に戻り、ステップＳ６３〜Ｓ８５を繰り返す。

一方、予測モードｋの値が、予測モード数−１と一致していれば、最適予測モード番号・分割ビット深度・下位階層予測モード番号符号化部１０３で、最適予測モード番号がビット深度変換処理を用いた予測モード番号と一致するかどうかを判定する（ステップＳ８７）。そして、一致しなければ、最適予測モード番号を入力し、符号化を行い、符号化ストリームを出力し（ステップＳ８８）、一致すれば、ビット深度変換処理を行う予測モード番号と最適分割ビット深度と下位階層最適予測モード番号とを入力し、それぞれを符号化し、符号化ストリームを出力とする（ステップＳ８９）。

そして、画面内予測符号化部１０４で、最適予測モード番号と最適分割ビット深度と下位階層最適予測モード入力画像信号とを入力し、予測残差信号を生成して出力し（ステップＳ９０）、ステップＳ９０で得られた予測残差信号を入力し、ＤＣＴ、量子化、符号化を行い、符号化ストリームを出力する（ステップＳ９１）。

上述のように、第１実施形態及び第２実施形態におけるイントラ（画面内）予測符号化装置は、隣接画素を上記で述べたビット深度変換処理でＮ−Δビットに削減したのちに、一般的に用いられている画面内符号化手法を適用することにより、符号化効率を改善させることができる。
具体的には、一般的に行われている画面内符号化モードに加えて、ビット深度変換処理を用いた画面内符号化モードを追加する。そして、追加した画面内符号化モードが選ばれた場合、隣接画素の情報をＮ−Δビットに削減し、Ｎ−Δビットの隣接画素値を用いて図１８に示した符号化モードを用いて画面内符号化を行う。また、各分割ビット深度Δ毎に下位階層符号化モードが得られ、予測画像を生成する。このときの分割ビット深度Δは、１〜Ｎ−１までの値を取り、その値の中で、ビット深度変換誤差（例えば、生成された予測画像を逆ビット深度変換した信号と、入力画像信号との誤差）が最小となる分割ビット深度Δを最適分割ビット深度として出力される。また、その最適分割ビット深度Δにおける下位階層符号化モードが最適下位階層符号化モードとして出力される。この追加した符号化モードによって得られたコストと、従来の符号化モードにおけるコストとを比較し、コストの低い符号化モードが選択される。
これにより、得られる出力は、最適符号化モードである。また、この最適符号化モードがビット深度変換処理を用いる符号化モードであれば、符号化ストリームは、最適分割ビット深度と、最適下位階層符号化モードと、残差信号とが符号化されたものとなる。

Ｂ．画面内予測復号
次に、本発明によるビット深度変換処理を用いた手法を含む符号化データの復号手法について説明する。ここでは、分割ビット深度の対象領域が符号化ユニットである場合の復号の流れについて説明する。符号化データには、符号化ユニット毎に画面内符号化モードのインデックスｎが含まれており、符号化モードのインデックスｎがビット深度変換処理を用いた符号化モードである場合、分割ビット深度の情報Δとそのビット深度における画面内符号化モード（下位階層符号化モード）のインデックスｍとが含まれている。このΔに基づき、復号済みの隣接画素に対してビット深度変換処理を行い、予測モードｍに基づき予測画像信号を生成し、逆ビット深度変換を行い復号画像を生成する。

例えば、上記のＡＶＣ／Ｈ．２６４の場合、符号化データには、対象領域毎に画面内予測モードのインデックスｎと予測残差信号とが含まれており、予測モードのインデックスｎがビット深度変換処理を用いた予測モードである場合、分割ビット深度の情報Δとそのビット深度における最適画面内予測モード（下位階層符号化モード）のインデックスｍとがさらに追加される。復号処理の流れは、入力として、符号化データが入力される。復号対象領域ｉにおける符号化データから、画面内予測モードのインデックスｎ_ｉを符号化し、その予測モードのインデックスに合わせた復号処理を行う。

このとき、予測モードのインデックスが、ビット深度変換処理による画面内予測手法を示した場合、下位階層予測モードのインデックスｍ_ｉと分割ビット深度Δ_ｉとを復号し、下位階層予測モードｍ_ｉと分割ビット深度Δ_ｉとに基づいて予測信号を生成する。そして、符号化データから予測残差信号を復号し、生成した予測信号と復号した予測残差信号とに基づいて、低ビット深度の復号画像信号を生成する。出力された復号画像信号に対して逆ビット深度変換を行い、最終的な出力として復号画像信号を得る。これにより、ビット深度変換処理を用いた予測モードが追加された符号化データに対し、復号処理が可能となり、符号化効率の改善につながる。

Ｂ−１．第３実施形態
次に、本発明の第３実施形態について説明する。
図１０は、本発明の第３実施形態によるイントラ（画面内）予測復号装置の構成を示すブロック図である。図１０において、予測モード番号復号部２００は、符号化ストリームを入力とし、ストリーム内の符号化モード番号ｎを復号する。予測モード番号判定部２０１は、復号された符号化モード番号ｎがビット深度変換処理を用いた画面内符号化を用いる符号化モード番号と一致するかどうかを判定する。上位階層復号部２０２は、符号化ストリームを入力とし、上位階層復号を行う。

分割ビット深度復号部２０３は、符号化ストリームを入力とし、符号化ストリームに含まれる分割ビット深度Δの情報を復号し、分割ビット深度を出力する。下位階層復号部２０４は、符号化ストリームを入力とし、下位階層復号を行う。逆ビット深度変換処理部２０５は、分割ビット深度Δと下位階層復号信号とを入力とし、逆ビット深度変換処理を行い、下位階層予測信号を生成する。

予測残差信号復号部２０６は、符号化ストリームを入力とし、符号化ストリームに含まれる残差信号を復号する。復号画像信号生成部２０７は、上位階層復号信号と残差信号とを入力とし、復号画像信号を生成するか、下位階層予測信号と残差信号とを入力とし、復号画像信号を生成する。

図１１は、本第３実施形態による画面内予測復号装置の動作を説明するためのフローチャートである。まず、予測モード番号復号部２００では、符号化ストリームを入力し、ストリーム内の符号化モード番号ｎを復号して出力する（ステップＳ１０１）。次に、予測モード番号判定部２０１で、復号された符号化モード番号ｎがビット深度変換処理を用いた画面内符号化の符号化モード番号と一致するかどうかを判定する（ステップＳ１０２）。

そして、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化の符号化モード番号と一致しなければ、上位階層復号部２０２で、符号化ストリームを入力し、上位階層復号を行い、上位階層復号信号を出力する（ステップＳ１０３）。次に、予測残差信号復号部２０６で、符号化ストリームを入力し、符号化ストリームに含まれる残差信号を復号して出力する（ステップＳ１０４）。そして、復号画像信号生成部２０７で、ステップＳ１０３で得られた上位階層復号信号とステップＳ１０４で得られた残差信号とを入力し、復号画像信号を生成して出力し（ステップＳ１０５）、当該処理を終了する。

一方、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化の符号化モード番号と一致すれば、分割ビット深度復号部２０３で、符号化ストリームを入力し、符号化ストリームに含まれる分割ビット深度Δの情報を復号し、分割ビット深度を出力する（ステップＳ１０６）。次に、下位階層復号部２０４で、符号化ストリームを入力し、下位階層復号を行い、下位階層復号信号を出力する（ステップＳ１０７）。

次に、逆ビット深度変換処理部２０５で、ステップＳ１０６で得られた分割ビット深度Δと下位階層復号信号とを入力し、逆ビット深度変換処理を行い、下位階層予測信号を生成して出力する（ステップＳ１０８）。次に、予測残差信号復号部２０６で、符号化ストリームを入力し、符号化ストリームに含まれる残差信号を復号して出力し（ステップＳ１０９）、復号画像信号生成部２０７で、ステップＳ１０８で得られた下位階層予測信号とステップＳ１０９で得られた残差信号とを入力し、復号画像信号を生成して出力し（ステップＳ１１０）、当該処理を終了する。

Ｂ−２．第４実施形態
次に、本発明の第４実施形態について説明する。
図１２は、本発明の第４実施形態によるイントラ（画面内）予測復号装置の構成を示すブロック図である。図１２において、予測モード番号復号部３００は、符号化ストリームを入力とし、ストリーム内の予測モード番号ｎを復号する。予測モード番号判定部３０１は、復号された予測モード番号ｎがビット深度変換処理を用いた画面内符号化を用いる予測モード番号と一致するかどうかを判定する。予測信号生成部３０２は、予測モード番号ｎと復号済みの隣接画素値とを入力とし、予測モード番号ｎに基づいて予測信号を生成する。

分割ビット深度復号部３０３は、符号化ストリームを入力とし、符号化ストリームに含まれる分割ビット深度Δを復号し、分割ビット深度を出力する。下位階層予測モード復号部３０４は、符号化ストリームを入力とし、下位階層予測モード番号ｍの情報を復号し、下位階層予測モード番号を出力する。

下位階層予測信号生成部３０５は、下位階層予測モード番号ｍに基づいて下位階層予測信号を生成する。下位階層残差信号復号部３０６は、符号化ストリームを入力とし、符号化ストリームに含まれる下位階層復号における予測残差信号である下位階層予測残差信号を復号する。加算器３０７は、下位階層予測信号と下位階層予測残差信号とを足し合わせることで、Ｎ−Δビットの下位階層復号信号を生成する。逆ビット深度変換処理部３０８は、分割ビット深度ΔとＮ−Δビットの下位階層復号信号とを入力とし、逆ビット深度変換を行うことで、Ｎビットの下位階層復号信号を生成する。

予測残差信号復号部３０９は、符号化ストリームを入力とし、符号化ストリームに含まれる予測残差信号を復号する。復号画像信号生成部３１０は、予測信号と予測残差信号とを入力とし、復号画像信号を生成するか、下位階層予測信号と予測残差信号とを入力都市、復号画像信号を生成する。

図１３は、本第４実施形態による画面内予測復号装置の動作を説明するためのフローチャートである。まず、予測モード番号復号部３００で、符号化ストリームを入力し、ストリーム内の予測モード番号ｎを復号して出力する（ステップＳ１２１）。次に、予測モード番号判定部３０１で、復号された予測モード番号ｎがビット深度変換処理を用いた画面内符号化の予測モード番号と一致するかどうかを判定する（ステップＳ１２２）。

そして、予測モード番号ｎがビット深度変換処理を用いた画面内符号化の予測モード番号と一致しなければ、予測信号生成部３０２で、ステップＳ１２１で得られた予測モード番号ｎと復号済みの隣接画素値とを入力し、予測モード番号ｎに基づいて予測信号を生成して出力する（ステップＳ１２３）。次に、予測残差信号復号部３０９で、符号化ストリームを入力し、符号化ストリームに含まれる予測残差信号を復号して出力し（ステップＳ１２４）、復号画像信号生成部３１０で、ステップＳ１２３で得られた予測信号とステップＳ１２４で得られた予測残差信号とを入力し、復号画像信号を生成して出力し（ステップＳ１２５）、当該処理を終了する。

一方、予測モード番号ｎがビット深度変換処理を用いた画面内符号化の予測モード番号と一致すれば、分割ビット深度復号部３０３と下位階層予測モード復号部３０４とで、符号化ストリームを入力し、符号化ストリームに含まれる分割ビット深度Δと下位階層予測モード番号ｍとの情報を復号し、分割ビット深度と下位階層予測モード番号とを出力する（ステップＳ１２６）。次に、下位階層予測信号生成部３０５で、上記下位階層予測モード番号ｍに基づいて下位階層予測信号を生成して出力し（ステップＳ１２７）、下位階層残差信号復号部３０６で、符号化ストリームを入力し、符号化ストリームに含まれる下位階層予測残差信号を復号して出力する（ステップＳ１２８）。

次に、加算器３０７で、ステップ１２７で得られる下位階層予測信号とステップＳ１２８で得られる下位階層予測残差信号とを入力とし、それらの信号を足し合わせることで、Ｎ−Δビットの下位階層復号信号を生成して出力する（ステップＳ１２９）。次に、逆ビット深度変換処理部３０８で、ステップＳ１２６で得られた分割ビット深度ΔとステップＳ１２９で得られたＮ−Δビットの下位階層復号信号とを入力し、逆ビット深度変換を行うことで、Ｎビットの下位階層復号信号を生成し（ステップＳ１３０）、符号化ストリームを入力し、符号化ストリームに含まれる予測残差信号を復号して出力する（ステップＳ１３１）。そして、復号画像信号生成部３１０で、ステップＳ１３０で得られた下位階層予測信号とステップＳ１３１で得られた予測残差信号とに基づいて、復号画像信号を生成して出力し（ステップＳ１３２）、当該処理を終了する。

Ｂ−３．第５実施形態
次に、本発明の第５実施形態について説明する。
図１４は、本発明の第５実施形態によるイントラ（画面内）予測復号装置の構成を示すブロック図である。図１４において、分割ビット深度復号部４００は、符号化ストリームを入力とし、符号化ストリームに含まれる分割ビット深度Δを復号する。予測モード番号復号部４０１は、符号化ストリームを入力とし、ストリーム内の符号化モード番号ｎを復号する。予測モード番号判定部４０２は、復号された符号化モード番号ｎがビット深度変換処理を用いた画面内符号化の符号化モード番号と一致するかどうかを判定する。

上位階層復号部４０３は、符号化ストリームを入力とし、上位階層復号を行い、上位階層復号信号を出力する。下位階層復号部４０４は、符号化ストリームを入力とし、下位階層復号を行い、下位階層復号信号を出力する。逆ビット深度変換処理部４０５は、分割ビット深度Δと下位階層復号信号とを入力とし、逆ビット深度変換処理を行い、下位階層予測信号を生成して出力する。

予測残差信号復号部４０６は、符号化ストリームを入力とし、符号化ストリームに含まれる残差信号を復号する。復号画像信号生成部４０７は、上位階層復号信号と残差信号とを入力とし、復号画像信号を生成するか、下位階層予測信号と残差信号とを入力とし、復号画像信号を生成する。分割ビット深度対象領域判定部４０８は、次の符号化ユニットが、分割ビット深度対象領域に含まれるかどうかを判定する。

図１５は、本第５実施形態による画面内予測復号装置の動作を説明するためのフローチャートである。まず、分割ビット深度復号部４００で、符号化ストリームを入力し、符号化ストリームに含まれる分割ビット深度Δを復号し（ステップＳ１４１）、予測モード番号復号部４０１で、符号化ストリームを入力し、ストリーム内の符号化モード番号ｎを復号して出力する（ステップＳ１４２）。次に、予測モード番号判定部４０２で、該復号された符号化モード番号ｎがビット深度変換処理を用いた画面内符号化の符号化モード番号と一致するかどうかを判定する（ステップＳ１４３）。

そして、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化の符号化モード番号と一致しなければ、上位階層復号部４０３で、符号化ストリームを入力し、上位階層復号を行い、上位階層復号信号を出力する（ステップＳ１４４）。次に、予測残差信号復号部４０６で、符号化ストリームを入力し、符号化ストリームに含まれる残差信号を復号して出力する（ステップＳ１４５）。そして、復号画像信号生成部４０７で、ステップＳ１４４で得られた上位階層復号信号とステップＳ１４５で得られた残差信号とを入力し、復号画像信号を生成して出力し（ステップＳ１４６）、当該処理を終了する。

一方、符号化モード番号ｎが画面内符号化を用いる符号化モード番号と一致すれば、下位階層復号部４０４で、符号化ストリームを入力し、下位階層復号を行い、下位階層復号信号を出力し（ステップＳ１４７）、逆ビット深度変換処理部４０５で、ステップＳ１４１で得られた分割ビット深度Δと下位階層復号信号とを入力し、逆ビット深度変換処理を行い、下位階層予測信号を生成して出力する（ステップＳ１４８）。次に、予測残差信号復号部４０６で、符号化ストリームを入力し、符号化ストリームに含まれる残差信号を復号し（ステップＳ１４９）、復号画像信号生成部４０７で、ステップＳ１４８で得られた下位階層予測信号とステップＳ１４９で得られた残差信号とを入力し、復号画像信号を生成する（ステップＳ１５０）。

次に、分割ビット深度対象領域判定部４０８で、次の符号化ユニットが、分割ビット深度対象領域に含まれるかどうかを判定する（ステップＳ１５１）。そして、含まれていれば、次の符号化ユニットへ移動し（ステップＳ１５２）、同じ分割ビット深度Δを用い、ステップＳ１４２からの処理を繰り返す。一方、次の符号化ユニットが、分割ビット深度対象領域に含まれていなければ、当該処理を終了する。

Ｂ−４．第６実施形態
次に、本発明の第６実施形態について説明する。
図１６は、本発明の第６実施形態によるイントラ（画面内）予測復号装置の構成を示すブロック図である。図１６において、分割ビット深度復号部５００は、符号化ストリームを入力とし、符号化ストリームに含まれる分割ビット深度Δを復号する。予測モード番号復号部５０１は、符号化ストリームを入力し、ストリーム内の予測モード番号ｎを復号する。予測モード番号判定部５０２は、復号された予測モード番号ｎがビット深度変換処理を用いた画面内符号化を用いる予測モード番号と一致するかどうかを判定する。予測信号生成部５０３は、予測モード番号ｎと復号済みの隣接画素値とを入力とし、予測モード番号ｎに基づいて予測信号を生成する。

下位階層予測モード復号部５０４は、符号化ストリームを入力とし、符号化ストリームに含まれる下位階層予測モード番号ｍの情報を復号し、下位階層予測モード番号を出力する。下位階層予測信号生成部５０５は、下位階層予測モード番号ｍに基づいて、下位階層予測信号を生成する。下位階層予測残差信号復号部５０６は、符号化ストリームを入力とし、符号化ストリームに含まれる下位階層予測残差信号を復号する。

加算器５０７は、下位階層予測信号と下位階層予測残差信号とを入力とし、それらの信号を足し合わせることで、Ｎ−Δビットの下位階層復号信号を生成する。逆ビット深度変換処理部５０８は、分割ビット深度ΔとＮ−Δビットの下位階層復号信号とを入力とし、分割ビット深度Δに基づいて逆ビット深度変換を行うことで、Ｎビットの下位階層復号信号を生成する。

予測残差信号復号部５０９は、符号化ストリームを入力とし、符号化ストリームに含まれる予測残差信号を復号する。復号画像信号生成部５１０は、予測信号と予測残差信号とを入力とし、復号画像信号を生成して出力するか、下位階層復号信号と予測残差信号とに基づいて、復号画像信号を生成して出力する。分割ビット深度対象領域判定部５１１は、次の符号化ユニットが、分割ビット深度対象領域に含まれるかどうかを判定する。

図１７は、本第６実施形態による画面内予測復号装置の動作を説明するためのフローチャートである。まず、分割ビット深度復号部５００で、符号化ストリームを入力し、符号化ストリームに含まれる分割ビット深度Δを復号し（ステップＳ１６１）、予測モード番号復号部５０１で、符号化ストリームを入力し、ストリーム内の予測モード番号ｎを復号して出力する（ステップＳ１６２）。次に、予測モード番号判定部５０２で、該復号された予測モード番号ｎがビット深度変換処理を用いた画面内符号化の予測モード番号と一致するかどうかを判定する（ステップＳ１６３）。

そして、符号化モード番号ｎがビット深度変換処理を用いた画面内符号化の予測モード番号と一致しなければ、予測信号生成部５０３で、ステップＳ１６２で得られた予測モード番号ｎと復号済みの隣接画素値とを入力し、予測モード番号ｎに基づいて予測信号を生成して出力する（ステップＳ１６４）。次に、予測残差信号復号部５０９で、符号化ストリームを入力し、符号化ストリームに含まれる予測残差信号を復号し（ステップＳ１６５）、復号画像信号生成部５１０で、ステップＳ１６４で得られた予測信号とステップＳ１６５で得られた予測残差信号とを入力し、復号画像信号を生成して出力し（ステップＳ１２５）、当該処理を終了する。

一方、予測モード番号ｎがビット深度変換処理を用いた画面内符号化の予測モード番号と一致すれば、下位階層予測モード復号部５０４で、符号化ストリームを入力し、符号化ストリームに含まれる下位階層予測モード番号ｍの情報を復号し、下位階層予測モード番号を出力する（ステップＳ１６７）。次に、下位階層予測信号生成部５０５で、該得られた下位階層予測モード番号ｍに基づいて、下位階層予測信号を生成し（ステップＳ１６８）、下位階層予測残差信号復号部５０６で、符号化ストリームを入力し、符号化ストリームに含まれる下位階層予測残差信号を復号して出力する（ステップＳ１６９）。

次に、加算器５０７で、ステップＳ１６８で得られる下位階層予測信号とステップＳ１６９で得られる下位階層予測残差信号とを入力し、それらの信号を足し合わせることで、Ｎ−Δビットの下位階層復号信号を生成し（ステップＳ１７０）、逆ビット深度変換処理部５０８で、ステップＳ１６１で得られた分割ビット深度ΔとステップＳ１７０で得られたＮ−Δビットの下位階層復号信号とを入力し、分割ビット深度Δに基づいて逆ビット深度変換を行うことで、Ｎビットの下位階層復号信号を生成する（ステップＳ１７１）。

次に、予測残差信号復号部５０９で、符号化ストリームを入力し、符号化ストリームに含まれる予測残差信号を復号し（ステップＳ１７２）、復号画像信号生成部５１０で、ステップ１７１で得られた下位階層復号信号とステップＳ１７２で得られた予測残差信号とに基づいて、復号画像信号を生成して出力する（ステップＳ１７３）。

次に、分割ビット深度対象領域判定部５１１で、次の符号化ユニットが、分割ビット深度対象領域に含まれるかどうかを判定する（ステップＳ１７４）。そして、含まれていれば、次の符号化ユニットへ移動し（ステップＳ１７５）、同じ分割ビット深度Δを用い、ステップＳ１６２からの処理を繰り返す。一方、次の符号化ユニットが、分割ビット深度対象領域に含まれていなければ、当該処理を終了する。

上述した第１から第６実施形態によれば、画面内予測モードにビット深度変換処理を用いた予測モードを追加することで、下位ビットの情報を削減し、ノイズの影響を抑え、画面内符号化における符号量の削減を図り、符号化効率の改善を図ることができる。

なお、上述した第１及び第２実施形態における、入力画像信号に複数の色チャネルが含まれる場合、イントラ（画面内）予測符号化装置は、色チャネルごとにビット深度変換処理を用いた画面内符号化を行うか否かを判定して処理を行い、ビット深度変換処理を用いた画面内符号化を行うとき、色チャネルごとに分割ビット深度Δを選択するようにしてもよい。この場合、上述した第３から第６実施形態における、イントラ（画面内）予測復号装置は、色チャネルごと選択された分割ビット深度Δを用いて逆ビット深度変換処理を行い、符号化ストリームを復号する。

また、上述した第１及び第２実施形態における、イントラ（画面内）予測符号化装置は、分割ビット深度の対象領域が、符号化ユニット、あるいは複数の符号化ユニット、あるいは画面全体であるかを示す情報を符号化ストリームに含めるようにしてもよい。この場合、第３から第６実施形態における、イントラ（画面内）予測復号装置は、符号化ストリームに含まれる当該情報が示す対象領域に対して、復号した分割ビット深度を用いた復号を行うようにしてもよい。

上述したイントラ（画面内）予測符号化装置、及び、イントラ（画面内）予測復号装置は内部に、コンピュータシステムを有していてもよい。その場合、図４〜５、図７〜９、図１１、図１３、図１５、図１７の各処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われることになる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

６０ 符号化モード格納部
６１ 符号化モード判定部
６２ 上位階層符号化部
６３、８３、９０ コスト算出部
６４、８４、９１ コスト最小値初期化部
６５、８５、９２ コスト最小値記憶部
６７、８７ 隣接画素ビット深度変換処理部
６８ 下位階層符号化部
６９、９５ ビット深度変換誤差算出部
７０、９６ 変換誤差最小値初期化部
７１、９７ 変換誤差最小値記憶部
７２、９８ ビット深度変換誤差判定部
７３、９９ 分割ビット深度終了判定部
７４、９３、１００ コスト判定部
７５、９４、１０１ モード選択終了判定部
７６ 最適符号化モード番号・分割ビット深度・下位階層符号化モード番号記憶部
７７ 最適符号化モード番号・分割ビット深度・下位階層符号化モード番号符号化部
７８、１０４ 画面内予測符号化部
８０、８８ 予測モード格納部
８１ 予測モード判定部
８２ 予測残差信号生成部
８９ 予測誤差信号生成部
１０２ 最適予測モード番号・分割ビット深度・下位階層予測モード番号記憶部
１０３ 最適予測モード番号・分割ビット深度・下位階層予測モード番号符号化部
２００、３００、４０１、５０１ 予測モード番号復号部
２０１、３０１、４０２、５０２ 予測モード番号判定部
２０２、４０３ 上位階層復号部
２０３、３０３、４００、５００ 分割ビット深度復号部
２０４、４０４ 下位階層復号部
２０５、３０８、４０５、５０８ 逆ビット深度変換処理部
２０６、３０９、４０６、５０９ 予測残差信号復号部
２０７、３１０、４０７、５１０ 復号画像信号生成部
３０２、５０３ 予測信号生成部
３０４、５０４ 下位階層予測モード復号部
３０５、５０５ 下位階層予測信号生成部
３０６ 下位階層残差信号復号部
３０７、５０７ 加算器
４０８、５１１ 分割ビット深度対象領域判定部
５０６ 下位階層予測残差信号復号部

Claims (18)

1. 最小の符号化対象領域である符号化ユニットごとに符号化を行なう画像符号化方法であって、
   ビット深度変換処理を用いた画面内符号化を行うか否かを判定する判定ステップと、
   前記判定ステップで前記ビット深度変換処理を行わないと判定された場合、前記ビット深度変換処理を用いない画像内符号化である上位階層符号化を入力画像信号に対して行う上位階層符号化ステップと、
   前記判定ステップで前記ビット深度変換処理を行うと判定された場合、隣接画素に対して前記ビット深度変換処理を行った後、下位階層符号化する下位階層符号化ステップと、
   前記判定ステップで前記ビット深度変換処理を行わないと判定された場合、前記上位階層符号化ステップにおける上位階層符号化の方式を示す符号化モード番号を符号化し、前記判定ステップで前記ビット深度変換処理を行うと判定された場合、前記下位階層符号化ステップにおける下位階層符号化の方式を示す符号化モード番号と分割ビット深度とを符号化する符号化ステップと
   を含むことを特徴とする画像符号化方法。
2. 前記判定ステップでは、
   予め定められたコスト関数を用いて、前記ビット深度変換処理を用いた画像内符号化を行う場合の符号化のコストと、前記上位階層符号化を行う場合の符号化のコストとが算出され、算出されたコストのうち最も小さいコストに対応する符号化が選択される
   ことを特徴とする請求項１に記載の画像符号化方法。
3. 前記符号化ステップでは、
   前記ビット深度変換処理により生じる前記入力画像信号に対する誤差が最小となるビット数、あるいは、前記コスト関数により算出されるコストが最小となるビット数が前記分割ビット深度として選択される
   ことを特徴とする請求項２に記載の画像符号化方法。
4. 前記入力画像信号に複数の色チャネルが含まれる場合、
   前記判定ステップでは、前記色チャネルごとに前記ビット深度変換処理を用いた画面内符号化を行うか否かが判定され、
   前記ビット深度変換処理における前記分割ビット深度は、前記色チャネルごとに選択される
   ことを特徴とする請求項３に記載の画像符号化方法。
5. 最小の符号化対象領域である符号化ユニットごとに符号化データを復号する画像復号法方であって、
   前記符号化データから符号化モード番号を復号する符号化モード番号復号ステップと、
   前記符号化モード番号に基づいて、ビット深度変換処理を用いた画面内符号が行われたか否かを判定する判定ステップと、
   前記符号化データから予測残差信号を復号する予測残差復号ステップと、
   前記判定ステップで前記ビット深度変換処理を用いた画面内符号化が行われていないと判定された場合、前記符号化データに対して上位階層復号を行う上位階層復号ステップと、
   前記判定ステップで前記ビット深度変換処理を用いた画面内符号化が行われたと判定された場合、前記符号化データから前記ビット深度変換処理に用いられた分割ビット深度を復号し、前記符号化モード番号と前記分割ビット深度とに基づいて、逆ビット深度変換処理を行い、下位階層復号信号を生成する下位階層復号ステップと、
   前記上位階層復号ステップで上位階層復号を行うことにより取得された上位階層復号信号と前記予測残差復号ステップで取得された予測残差信号とから復号画像信号を生成する第１の復号画像信号生成ステップと、
   前記下位階層復号ステップにおいて前記逆ビット深度変換処理を行うことにより取得された下位階層復号信号と前記予測残差復号ステップにおいて取得された予測残差信号とから復号画像信号を生成する第２の復号画像信号生成ステップと
   を含むことを特徴とする画像復号方法。
6. 前記下位階層復号ステップは、
   前記符号化データから分割ビット深度を復号する分割ビット深度復号ステップと、
   前記符号化データに対して下位階層復号を行い、下位階層復号信号を生成する下位階層復号信号生成ステップと、
   前記分割ビット深度に基づいて、前記下位階層復号信号に対して逆ビット深度変換処理を行う逆ビット深度変換ステップと
   を含むことを特徴とする請求項５に記載の画像復号方法。
7. 前記下位階層復号ステップは、
   前記符号化データから分割ビット深度を復号する分割ビット深度復号ステップと、
   前記符号化データから下位階層予測モード番号を復号出力する下位階層予測モード復号ステップと、
   前記下位階層予測モード番号に基づいて下位階層予測信号を生成する下位階層予測信号生成ステップと、
   前記符号化データから下位階層予測残差信号を復号する下位階層残差信号復号ステップと、
   前記下位階層予測信号と前記下位階層予測残差信号とを足し合わせ、下位階層復号信号を生成する下位階層復号信号生成ステップと、
   前記分割ビット深度に基づいて、前記下位階層復号信号に対して逆ビット深度変換を行う逆ビット深度変換処理ステップと
   を含むことを特徴とする請求項５に記載の画像復号方法。
8. 前記分割ビット深度の対象領域が、符号化ユニット、あるいは複数の符号化ユニット、あるいは画面全体であるかを前記符号化データから判定する分割ビット深度対象領域判定ステップを更に含み、
   前記分割ビット深度対象領域判定ステップで前記分割ビット深度の対象領域が複数の符号化ユニット、あるいは画面全体であると判定された場合、前記分割ビット深度の対象領域に対して、共通の前記分割ビット深度を用いる
   ことを特徴とする請求項６又は請求項７のいずれかに記載の画像復号方法。
9. 最小の符号化対象領域である符号化ユニットごとに符号化を行なう画像符号化装置であって、
   ビット深度変換処理を用いた画面内符号化を行うか否かを判定する判定手段と、
   前記判定手段でビット深度変換処理を行わないと判定された場合、前記ビット深度変換処理を用いない画像内符号化である上位階層符号化を入力画像信号に対して行う上位階層符号化手段と、
   前記判定手段で前記ビット深度変換処理を行うと判定された場合、隣接画素に対して前記ビット深度変換処理を行った後、下位階層符号化する下位階層符号化手段と、
   前記判定手段が前記ビット深度変換処理を行わないと判定した場合、前記上位階層符号化手段における上位階層符号化の方式を示す符号化モード番号を符号化し、前記判定手段が前記ビット深度変換処理を行うと判定した場合、前記下位階層符号化手段における下位階層符号化の方式を示す符号化モード番号と分割ビット深度とを符号化する符号化手段と
   を備えることを特徴とする画像符号化装置。
10. 前記判定手段は、
    予め定められたコスト関数を用いて、前記ビット深度変換処理を用いた画像内符号化を行う場合の符号化のコストと、前記上位階層符号化を行う場合の符号化のコストとを算出し、算出したコストのうち最も小さいコストに対応する符号化を選択する
    ことを特徴とする請求項９に記載の画像符号化装置。
11. 前記判定手段は、
    前記ビット深度変換処理により生じる前記入力画像信号に対する誤差が最小となるビット数、あるいは、前記コスト関数により算出されるコストが最小となるビット数を前記分割ビット深度として選択する
    ことを特徴とする請求項１０に記載の画像符号化装置。
12. 前記入力画像信号に複数の色チャネルが含まれる場合、
    前記判定手段は、前記色チャネルごとに前記ビット深度変換処理を用いた画面内符号化を行うか否かを判定し、
    前記ビット深度変換処理における前記分割ビット深度は、前記色チャネルごとに選択される
    ことを特徴とする請求項１１に記載の画像符号化装置。
13. 最小の符号化対象領域である符号化ユニットごとに符号化データを復号する画像復号装置であって、
    前記符号化データから符号化モード番号を復号する符号化モード番号復号手段と、
    前記符号化モード番号に基づいて、ビット深度変換処理を用いた画面内符号が行われたか否かを判定する判定手段と、
    前記符号化データから予測残差信号を復号する予測残差復号手段と、
    前記判定手段が前記ビット深度変換処理を用いた画面内符号が行われていないと判定した場合、前記符号化データに対して上位階層復号を行う上位階層復号手段と、
    前記判定手段が前記ビット深度変換処理を用いた画面内符号が行われたと判定した場合、前記符号化データから前記ビット深度変換処理に用いられた分割ビット深度を復号し、前記予測モード番号と前記分割ビット深度とに基づいて、逆ビット深度変換処理を行い、下位階層復号信号を生成する下位階層復号手段と、
    前記上位階層復号手段が上位階層復号を行うことにより取得した上位階層復号信号と、前記予測残差復号手段が取得した予測残差信号とから復号画像信号を生成する第１の復号画像信号生成手段と、
    前記下位階層復号手段が逆ビット深度変換処理を行うことにより取得した下位階層復号信号と、前記予測残差復号手段が取得した予測残差信号とから復号画像信号を生成する第２の復号画像信号生成手段と
    を備えることを特徴とする画像復号装置。
14. 前記下位階層復号手段は、
    前記符号化データから分割ビット深度を復号する分割ビット深度復号手段と、
    前記符号化データに対して下位階層復号を行い、下位階層復号信号を生成する下位階層復号生成手段と、
    前記分割ビット深度に基づいて、前記下位階層復号信号に対して逆ビット深度変換処理を行う逆ビット深度変換手段と
    を備えることを特徴とする請求項１３に記載の画像復号装置。
15. 前記下位階層復号手段は、
    前記符号化データから分割ビット深度を復号する分割ビット深度復号手段と、
    前記符号化データから下位階層復号における復号の方式を示す下位階層予測モード番号を復号出力する下位階層予測モード復号手段と、
    前記下位階層予測モード番号に基づいて下位階層予測信号を復号する下位階層予測信号復号手段と、
    前記符号化データから下位階層予測残差信号を復号する下位階層残差信号復号手段と、
    前記下位階層予測信号と前記下位階層予測残差信号とを足し合わせ、下位階層復号信号を生成する下位階層復号信号生成手段と、
    前記分割ビット深度に基づいて、前記下位階層復号信号に対して逆ビット深度変換を行う逆ビット深度変換処理手段と
    を備えることを特徴とする請求項１３に記載の画像復号装置。
16. 前記分割ビット深度の対象領域が、符号化ユニット、あるいは複数の符号化ユニット、あるいは画面全体であるかを前記符号化データから判定する分割ビット深度対象領域判定手段を更に備え、
    前記分割ビット深度対象領域判定手段が前記分割ビット深度の対象領域を複数の符号化ユニット、あるいは画面全体であると判定した場合、前記分割ビット深度の対象領域に対して、共通の前記分割ビット深度を用いる
    ことを特徴とする請求項１４又は請求項１５のいずれかに記載の画像復号装置。
17. 最小の符号化対象領域である符号化ユニットごとに符号化を行なう画像符号化装置に備えられているコンピュータに、
    画面内予測を用いる画像符号化装置に備えられているコンピュータに、
    ビット深度変換処理を用いた画面内符号化を行うか否かを判定する判定ステップと、
    前記判定ステップで前記ビット深度変換処理を行わないと判定された場合、前記ビット深度変換処理を用いない画像内符号化である上位階層符号化を入力画像信号に対して行う上位階層符号化ステップと、
    前記判定ステップで前記ビット深度変換処理を行うと判定された場合、隣接画素に対して前記ビット深度変換処理を行った後、下位階層符号化する下位階層符号化ステップと、
    前記判定ステップで前記ビット深度変換処理を行わないと判定された場合、前記上位階層符号化ステップにおける上位階層符号化の方式を示す符号化モード番号を符号化し、前記判定ステップで前記ビット深度変換処理を行うと判定された場合、前記下位階層符号化ステップにおける下位階層符号化の方式を示す符号化モード番号と分割ビット深度とを符号化する符号化ステップと
    を実行させるためのプログラム。
18. 最小の符号化対象領域である符号化ユニットごとに符号化データを復号する画像復号装置に備えられているコンピュータに、
    前記符号化データから符号化モード番号を復号する符号化モード番号復号ステップと、
    前記符号化モード番号に基づいて、ビット深度変換処理を用いた画面内符号が行われたか否かを判定する判定ステップと、
    前記符号化データから予測残差信号を復号する予測残差復号ステップと、
    前記判定ステップで前記ビット深度変換処理を用いた画面内符号化が行われていないと判定された場合、前記符号化データに対して上位階層復号を行う上位階層復号ステップと、
    前記判定ステップで前記ビット深度変換処理を用いた画面内符号化が行われたと判定された場合、前記符号化データから前記ビット深度変換処理に用いられた分割ビット深度を復号し、前記符号化モード番号と前記分割ビット深度とに基づいて、逆ビット深度変換処理を行い、下位階層復号信号を生成する下位階層復号ステップと、
    前記上位階層復号ステップで上位階層復号を行うことにより取得された上位階層復号信号と前記予測残差復号ステップで取得された予測残差信号とから復号画像信号を生成する第１の復号画像信号生成ステップと、
    前記下位階層復号ステップにおいて前記逆ビット深度変換処理を行うことにより取得された下位階層復号信号と前記予測残差復号ステップにおいて取得された予測残差信号とから復号画像信号を生成する第２の復号画像信号生成ステップと
    を実行させるためのプログラム。

Images