JP2015076866A - 画像符号化装置、画像復号装置、及びプログラム - Google Patents

Abstract

【課題】ＳＡＯ又はＳＡＯに類似するオフセット処理のモード等を決定するための演算量を減少させること。【解決手段】本発明の一態様における画像符号化装置は、画素適応オフセット処理を含む画像符号化装置であって、前記画素適応オフセット処理を適用する画像が暗部であるか否かの判定を行う判定部と、前記判定が、暗部であることを示す場合、バンドオフセット処理のためのパラメータを決定するバンドオフセット処理決定部と、決定された前記パラメータを、予測誤差信号生成のための符号化ループにおける画像信号に適用する適用部と、を有する。【選択図】図５

Description

本発明は、画像符号化装置、画像復号装置、及びこれらの装置を実現するためのコンピュータプログラムに関する。

現在、超高精細の動画像の伝送、蓄積が一般化している。たとえば、非圧縮のＨＤＴＶの情報量は１Ｇｂｐ／ｓｅｃを超える。このため、高精細の動画像を効率的に圧縮する技術が必要とされている。動画データの符号化標準技術としては、ＭＰＥＧ ２、ＭＰＥＧ ４、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）などが挙げられる。

Ｈ．２６５／ＨＥＶＣでは、従来の符号化技術のように画面（フレーム）を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層的な分割構造（ＣＴＵ：Coding Tree Unit）を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding Unit）や符号化ブロックとも称す。Ｈ．２６５／ＨＥＶＣでは、６４×６４、３２×３２、１６×１６、８×８などのサイズに画像を分割して、符号化を行うことができる。

また、Ｈ．２６５／ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵ（Transform Unit）や変換ブロックとも称す。

既存のフレーム間予測処理を使用する符号化方式では、すでに符号化済みのピクチャを予測画像として使用する。このような符号化処理（復号処理）は、ピクチャ単位で途切れるものではなく、複数のフレームに渡るものとなる。この仕組みは、コーディングループと呼ばれる。このコーディングループ内で行われるフィルタ処理を、ループフィルタと呼ぶ。また、このコーディングループ外で行われる処理は、例えば復号の後に行われるフィルタであれば、ポストフィルタと呼ばれる。ポストフィルタは、Ｈ．２６５／ＨＥＶＣなどでは、規格外である。

Ｈ．２６４／ＡＶＣでは、ループフィルタとしてデブロッキングフィルタが規格に含まれている。デブロッキングフィルタは、動き補償予測及び直交変換を行うブロックの境界を隠蔽することを目的としている。

Ｈ．２６５／ＨＥＶＣではループフィルタとして、上述のデブロッキングフィルタとともに、ＳＡＯ（画素適応オフセット：sample adaptive offset）が追加的に規定されている。

非特許文献１に示されているように、ＳＡＯは、画素ごとにオフセット値を足すことによって、エッジ強調又は平滑化を図ることを目的とするループフィルタである。ＳＡＯには、４種類のエッジ方向に応じてオフセットをかけるＥＯ（Edge Offset）と、３２種類の画素値の範囲（バンド）に対して、バンドに含まれる画素値にオフセットをかけるＢＯ（Band Offset）の２種類のモードがある。

図１（Ａ）及び図１（Ｂ）は、復号画像に生じる歪みの例を示している。原画像１００（又は原画像１２０）に対して、復号画像１０１（又は復号画像１２１）には、画像圧縮の影響で、直流分の誤差やモスキートノイズなどの歪みが生じやすい。ＳＡＯは、各画素に適応的なオフセットを施すことで、これらの歪みを減少させるツールである。

図２に、Ｈ．２６５／ＨＥＶＣの画像符号化装置２０のブロック図を示す。なお、図２における各ブロックの動作については後述する。

図２におけるＳＡＯ２９９の概要を説明する。ＳＡＯ２９９は、ＣＴＵ（Coding Tree Unit）ごとに個別にシグナリングされる。通常、ループフィルタＡ２９０（例えばデブロッキングフィルタ）の後の復号画像信号に適用される。

ＳＡＯ２９９には、３２種類の画素値の範囲（以下、「バンド」と呼ぶ）に対して、画素値に応じたオフセットをかけるＢＯ（Band Offset）モードと、４種類のエッジ方向に応じてオフセットをかけるＥＯ（Edge Offset）がある。これらの詳細モードの動作については、後述する。なお、ＳＡＯ２９９の処理は、輝度信号、色差信号の各ＣＴＵに対して独立に実行される。

村上、浅井、関口、高効率映像符号化技術 ＨＥＶＣ／Ｈ．２６５とその応用 オーム社 ２０１３年２月１５日 第１版第１刷

Ｈ．２６５／ＨＥＶＣのＳＡＯは、画質及び圧縮効率が向上するものの、ＳＡＯを適用するためのパラメータの決定（オフセット処理のモード等の決定）のための演算量が大きい。

例えばＨ．２６５／ＨＥＶＣの参照ソフトウエアＨＭ（HEVC test Mode）では、ＳＡＯのオフセット値の決定（すなわち、ＳＡＯの不適用、３２種類のＢＯ、及び４種類のＥＯの計３７パターンの選択肢に関して、それぞれＣＴＵ毎にＲＤ（レート歪み：Rate Distortion）判定を行い、最適なモードを選択している。ＲＤ最適化とは、ビットレートと歪の関係であるＲＤ（Rate-Distortion）コストを算出し、異なる符号化パラメータで算出したＲＤコスト同士の比較を行い、最適な符号化パラメータの組合せを求める最適化手法である。

また、夜景などを高解像度カメラで撮影する際は、センサの１画素当たりの光量を十分にとることができず、暗部のノイズが目立ち、符号化画質が劣化するという問題がある。このような場合に、画質を改善できる最適なＳＡＯのモードを簡便に決定することが望まれている。

本発明は、ＳＡＯまたは、ＳＡＯに類似する処理のオフセット処理のモード等を決定するための演算量を減少させることを目的としている。

本発明の一態様における画像符号化装置は、画素適応オフセット処理を含む画像符号化装置であって、前記画素適応オフセット処理を適用する画像が暗部であるか否かの判定を行う判定部と、前記判定が、暗部であることを示す場合、バンドオフセット処理のためのパラメータを決定するバンドオフセット処理決定部と、決定された前記パラメータを、予測誤差信号生成のための符号化ループにおける画像信号に適用する適用部と、を有する。

また、前記バンドオフセット処理決定部は、バンドオフセットを適用するために画素値に応じて分類された画素の集合であるバンドを選択するバンド選択部であって、最も多くの画素数を含むバンドが含まれるように、１つ以上のバンドを選択する、バンド選択部と、バンドオフセット値を決定するオフセット値決定部と、を含み、前記パラメータは、前記選択されたバンドの情報と、前記バンドオフセット値とを含んでもよい。

また、前記判定部は、前記画像に含まれる複数の画素の画素値が第１の閾値以下の画素の数が、第２の閾値以上の場合、暗部であると判定してもよい。

また、前記適用部が存在せず、前記パラメータは、前記符号化ループにおける画像信号への適用に代えて、復号側に伝送されてもよい。

また、本発明の復号装置は、画像符号化装置から得られた前記パラメータを、復号画像に適用する、ポストフィルタを有してもよい。

また、一実施形態は、コンピュータを、上記符号化装置として機能させるためのプログラムであってもよい。

また、一実施形態は、コンピュータを、復号装置として機能させるためのプログラムであってもよい。

実施形態の一側面によってＳＡＯ又はＳＡＯに類似するオフセット処理のモード等を決定するための演算量を減少させることができる。

復号画像に生じる歪みの例を示す図である。 Ｈ．２６５／ＨＥＶＣの画像符号化装置のブロック図である。 ＢＯモードの処理を説明する図である。 ＥＯモードの処理を説明する図である。 実施例１に係る画像符号化装置を示す図である。 実施例１の動作を示すフローチャートである。 実施例２に係る画像符号化装置を示す図である。 実施例２の動作を示すフローチャートである。 実施例３の画像復号装置を示す図である。 実施例２の動作を示すフローチャートである。 原画像、実施例の適用の前後の画像の輝度値を示す図である。 原画像を示す図である。 原画像に本実施例を適用する前の画像の例を示す図である。 原画像に本実施例を適用した後の画像の例を示す図である。

以下、実施例について説明するが、実施例は例示であって、この実施例に限定されるものではない。また、複数の実施例の一部を他の実施例に適用することができる。ある実施例の一部を他の実施例の一部と置きかえることもできる点に留意すべきである。

実施例を説明する前に、Ｈ．２６５／ＨＥＶＣを例として、画像符号化装置２０の動作の概要と、ＳＡＯの動作の概要について説明する。

図面全体を通じて、同じ符号が用いられている要素は、同様の動作を実行する要素を示している。

図２は、Ｈ．２６５／ＨＥＶＣの符号化装置にＳＡＯ２９９が適用されている図を示している。

原画像２００が入力される画面分割部２２０は、ブロック分割を行う。

予測誤差信号生成部２２５は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。予測誤差信号生成部２２５は、そのブロックデータと、予測手法切替部２１０を介して得られたイントラ予測部２６０又は動き補償予測部２７０の出力とにより、予測誤差信号を生成する。なお、動き補償予測部２７０には、復号画像記憶部（不図示）に一旦記憶された復号画像が入力される。この点は、図５及び図７においても同様である。予測誤差信号生成部２２５は、生成された予測誤差信号を変換・量子化部２３０に出力する。

変換・量子化部２３０は、入力された予測誤差信号を直交変換処理し、量子化する。変換・量子化部２３０は、この処理によって出力信号の符号量を低減させる。変換・量子化部２３０は、この出力信号をエントロピー符号化部２４０及び逆量子化・逆変換部２５０に出力する。変換・量子化部２３０は、量子化パラメータのＱｐ値をループフィルタＡ２９０に出力してもよい。

エントロピー符号化部２４０は、変換・量子化部２３０からの出力信号、動き検出部２８０から出力された動きベクトル情報、ループフィルタＡ２９０からのフィルタ係数、ＳＡＯ２９９のパラメータなどをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化・逆変換部２５０は、変換・量子化部２３０からの出力信号を逆量子化し、逆直交変換する。逆量子化・逆変換部２５０によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部２５５は、イントラ予測部２６０で画面内予測された画像或いは動き補償予測部２７０で動き補償された画像のブロックデータと、逆量子化・逆変換部２５０により復号処理された予測誤差信号とを加算する。復号画像生成部２５５は、加算して生成した復号画像のブロックデータを、ループフィルタＡ２９０、及びイントラ予測部２６０に出力する。

ループフィルタＡ２９０は、例えばデブロッキングフィルタが挙げられる。なおループフィルタＡ２９０は、これらに限られるものではない。ループフィルタＡ２９０は、フィルタ処理結果をＳＡＯ２９９に出力する。

ＳＡＯ２９９は、上述のようにＳＡＯに係る処理を実行し、参照画像として保持する。

ＳＡＯ２９９は、保持した参照画像を、例えば、動き補償予測部２７０及び動き検出部２８０に出力する。

イントラ予測部２６０は、符号化対象画像の処理対象ブロックに対して、既に符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部２６０は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。予測方向については、符号化済みブロックの予測方向との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２４０に出力される。

動き補償予測部２７０は、参照画像のデータを動き検出部２８０から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。動きベクトルについては、符号化済みブロックの動きベクトル（予測ベクトル）との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２４０に出力される。

動き検出部２８０は、符号化対象画像におけるブロックデータと、参照画像とを用いて、動きベクトルを求める。動き検出部２８０は、求めた動きベクトルを動き補償予測部２７０に出力し、参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部２４０に出力する。

イントラ予測部２６０と動き補償予測部２７０から出力されたブロックデータは、予測手法切替部２１０に入力される。

予測手法切替部２１０は、イントラ予測部２６０と動き補償予測部２７０とから取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部２２５に出力される。

以下ＳＡＯの概要を説明する。Ｈ．２６５／ＨＥＶＣでは、最大６４×６４の固定サイズを取るＣＴＵ（Coding Tree Unit）ごとに、ＳＡＯの処理を適用する。なお、本明細書において説明する実施例は、これに限定されるものではない。

図３は、ＢＯモードの処理を説明する図である。

図３に示されるように、ＣＴＵに存在する各々の画素について、画素値に基づいて３２のカテゴリ（これを「バンド」とも称す）に分類する。画素の最小値（０）から最大値（例えば階調が８ビットで表現される場合には２５５）までを、階調値に応じて３２のバンドに等分する。例えば、画素値が０〜７の画素がバンド０に割り振られ、画素値８〜１５の画素がバンド１に割り振られる。各画素に対し、画素が属するバンドに応じてオフセット値を切り替えて適用し、オフセット処理を実行する。

ＢＯは、注目しているＣＴＵにおいて、連続する４つのバンドの画素値に対して適用される。連続する４つのバンドの開始番号及び各バンドのオフセット値が符号化情報としてエントロピー符号化部２４０に送られ、エントロピー符号化され、ビットストリームに加えられて復号装置に送られる。これらの４つのバンドがオフセットオンの４つのカテゴリ（バンド）となり、それ以外はオフセットオフのカテゴリとなる。

例えば、ＳＡＯがバンド１〜４に適用される場合、開始番号１が送られる。

オフセット値は、Ｎビット画像の場合、±２^Ｎ−１の範囲の値をとることができる。例えば、次のようにしてＢＯのオフセット値が決定される。すなわち、デブロッキングフィルタの適用後の所定のＣＴＵについて、各バンドの割り振られた画素値の集合に注目する。そして、注目している画素値の集合について、原画像の同じ位置の画素の画素値との差分値を求め、この差分平均値を注目しているバンドのオフセット値とする。

図４は、ＥＯモードの処理を説明する図である。

図４Ａに示されるように、ＣＴＵの画素を隣接画素との画素値の大小関係に基づいてカテゴリに分類する。大小関係の比較に用いる隣接画素の位置として図４（Ｂ）のように、４種のクラス（クラス０〜クラス３）が定義されており、ＥＯモードでは、４種類のクラスのうちいずれを用いるかが、復号側にシグナリングされる。

以上が、Ｈ．２６５／ＨＥＶＣにおいて用いられているＳＡＯの処理の一例である。

本願発明の発明者らは、ＣＴＵが暗部である場合に、ＳＡＯの動作において、ＲＤ最適化の結果、採用されるモードとしてＢＯが選択されることが多いことを見いだしている。そして、暗部において、ＢＯのモードがより有効に機能しうることが経験上明らかとなっている。

［実施例１］
＜実施例１の構成＞

図５は、実施例１に係る画像符号化装置２２を示す。

図５に示す各要素の符号のうち、同様の機能を果たす要素には、図２と同じ符号が付されている点に留意すべきである。

実施例１では、修正ＳＡＯ４００を用いることにより、少ない演算量でＳＡＯのパラメータを決定することができる。

修正ＳＡＯ４００は、判定部４１０と、バンドオフセット処理決定部４２０と、ＥＯ処理決定部４３０と、適用部４４０と、切替部４５０とを含む。

判定部４１０は、例えばループフィルタＡ２９０からの出力信号２９１（復号画像）のＣＴＵが暗部であるか否かを判定する。出力信号２９１は画像信号の一例である。具体的には、ＣＴＵ内の画素値の９０％以上が、バンド１〜８に属するかを判定する。バンド１〜８は、画素値が小さいため、ＣＴＵ内の画素値の９０％以上がバンド１〜８に属している場合には、ＣＴＵは暗部であると判定することができる。この場合、バンド８の最大の輝度値が第１の閾値の一例である。また、９０％は、第２の閾値の一例である。なお、判定部４１０は、画面分割部２２０からの分割画像２２１を用いてもよい。

判定部４１０は、上述の条件を満たす場合に、ループフィルタＡ２９０からの出力信号２９１をバンドオフセット処理決定部４２０に入力するよう、切替部４５０に指示４１２を与える。この処理によって、バンドオフセット処理決定部４２０は、ループフィルタＡ２９０の出力信号２９１を処理することができる。

バンドオフセット処理決定部４２０は、バンド選択部４２１と、オフセット値決定部４２２とを含む。

バンド選択部４２１は、例えば、バンド１〜８のうち、ＣＴＵ内の画素が最も多く属するバンドが含まれるようにすることが望ましい。好適には、画素が最も多く属するバンドが、開始番号＋２となるようにする。例えば、バンド７に属している画素が最も多い場合、バンドの開始番号を５とし、バンド５〜８に、ＢＯを適用するようにする。

オフセット値決定部４２２は、例えば、注目しているバンドの画素値の集合について、原画像の同じ位置の画素値との差分平均を求め、この差分平均値を注目しているバンドのオフセット値とすることができる。

適用部４４０には、出力４３５として、バンドオフセット処理決定部４２０において選択されたバンドの開始番号と、選択された４つのバンドのそれぞれに適用されるオフセット値が、適用部４４０に与えられる。

適用部４４０は、ループフィルタＡ２９０の出力信号２９１に対して、バンドオフセット処理決定部４２０からの出力４３５を適用して、修正された復号画像４６１を出力する。修正された復号画像４６１は、例えば動き補償予測部２７０と、動き検出部２８０に提供される。

なお、判定部４１０において、注目しているＣＴＵが暗部でないと判断された場合には、指示４１２は、ループフィルタＡ２９０の出力信号２９１をＥＯ処理決定部４３０に与えることができる。ＥＯ処理決定部４３０におけるＥＯの処理は、たとえば上述したＨ．２６５／ＨＥＶＣにおけるＳＡＯのＥＯ処理を行うことができる。ＥＯ処理決定部の処理結果は、出力４３５として、適用部４４０に与えられ、ループフィルタＡ２９０の出力信号２９１に対して処理が施される。ＥＯ処理決定部では、ＲＤ最適化の処理を実行してもよい。

なお、ＥＯ処理決定部は、必ずしも存在しなくてもよい。この場合には、判定部４１０において暗部でないと判定された場合には、適用部４４０で、ループフィルタＡ２９０の出力信号２９１をそのまま通過させてもよい。

以上の処理を行うことによって、少なくとも、注目しているＣＴＵが暗部である場合には、上述のようなＲＤ最適化による演算を省略することができる。

＜実施例１の動作＞
図６は、実施例１の動作を示すフローチャートである。

ステップＳ６０２で、判定部４１０は、ＣＴＵが暗部であるか否かを判断する。判断が「はい」（ＣＴＵが暗部であると判断された場合）には、ステップＳ６０４に進む。判断が、「いいえ」であれば、ステップＳ６１０に進む。

ステップＳ６０４で、バンド選択部４２１が、ＢＯを適用するバンドを決定する。

ステップＳ６０６で、オフセット値決定部４２２が、選択されたバンドの各々に属する画素に対応するオフセット値を算出する。

ステップＳ６０８で、適用部４４０が、バンドに対応するオフセット値を、適用ループフィルタＡ２９０の出力信号２９１の対応するバンドに属する画素に適用して出力する。

ステップＳ６１０で、ＥＯ処理決定部４３０が、ＥＯモードの処理又はオフセットオフを決定する。この決定においては、上述のようにＲＤ最適化処理が用いられてもよい。

ステップＳ６１２で、適用部４４０が、決定されたＥＯモードの処理を、適用ループフィルタＡ２９０の出力信号２９１に対して適用し、出力する。

なお、ステップＳ６１０及びステップＳ６１２において、ＥＯの処理を行わずに、適用ループフィルタＡ２９０の出力信号２９１をそのまま出力してもよい。

［実施例２］
＜実施例２の構成＞
図７は、実施例２の画像符号化装置２４を示している。同じ符号が付された要素については、同様の動作を行うことができるため、説明を省略する。

画像符号化装置２４は、Ｈ．２６５／ＨＥＶＣ等で用いられているＳＡＯの処理を、符号化ループ内におけるループフィルタではなく、符号化ループ外に置いた処理の例を示している。

画像符号化装置２４は、前処理部４０１を有する。

図５の修正ＳＡＯ４００と比較すると、図７の前処理部４０１では、適用部４４０が存在していない点で、図５と相違する。

また、ループフィルタＡ２９０の出力信号２９１が、動き補償予測部２７０と、動き検出部２８０に与えられている。

ループフィルタＡ２９０の出力信号２９１は、前処理部４０１に入力され、前処理部は、その出力４３５を、エントロピー符号化部２４０に出力する。

この処理によって、バンドオフセット処理決定部４２０の出力４３５及びＥＯ処理決定部４３０の出力４３５は、画像符号化装置２４の符号化ループ内では用いられず、ビットストリーム２４５によって、復号部に送られることになる。

なお、ＥＯ処理決定部は、必ずしも存在しなくてもよい。この場合には、判定部４１０において、暗部でないと判定された場合には、オフセットオフと決定してもよい。

その他の構成要素は、図５の修正ＳＡＯ４００と同様であり、少なくとも、注目しているＣＴＵが暗部である場合には、上述のようなＲＤ最適化による演算を省略することができる。

なお、符号化装置において、復号側のポストフィルタ（後述する）に出力４３５を伝達するために、出力４３５の情報をビットストリーム２４５に含ませる。このためには、例えば、Ｈ．２６５／ＨＥＶＣやＨ．２６４／ＡＶＣのＳＥＩ（Supplemental Enhanced Information）に規定されているpost-filter hint SEI messageを用いて、ビットストリーム２４５に、出力４３５の情報を乗せて送信することができる。表１にＨ．２６５／ＨＥＶＣにおけるpost-filter hint SEI messageのシンタックスを示す。

なお、このシンタクスのどの部分にどの情報を格納するかは、既に特定の情報に利用されている利用形態を避ける形で当業者が適宜に決めることができる。

＜実施例２の動作＞
図８は、実施例２の動作を示すフローチャートである。

図６と同様の動作については、同じ符号が付されているため、図６との相違する以下のステップについて説明する。

ステップＳ８０２で、バンドオフセット処理決定部が、バンドに属する画素に対応するオフセット値を符号化情報として、エントロピー符号化部２４０に出力する。

ステップＳ８０４で、ＥＯ処理決定部４３０が、ＥＯのカテゴリとクラス、又はオフセットオフを符号化の情報として、エントロピー符号化部２４０に出力する。

なお、ステップＳ６１０及びステップＳ８０４の処理に代えて、オフセットオフの情報をエントロピー符号化部２４０に出力してもよい。

［実施例３］
＜実施例３の構成＞
図９は、実施例２において出力された符号化された画像の信号を復号する画像復号装置３０の構成の例を示している。

画像復号装置３０は、エントロピー復号部３０１と、逆量子化・逆変換部３０３と、イントラ予測部３０４と、動き補償部３０６と、予測画像選択部３０７と、復号画像生成部３０８と、ループフィルタＡ３１０と、ポストフィルタ３３０とを有する。

エントロピー復号部３０１は、ビットストリーム２４５をエントロピー復号する。

逆量子化・逆変換部３０３は、エントロピー復号部３０１からの信号を逆量子化し、かつ逆変換処理を施す。

イントラ予測部３０４は、エントロピー復号部３０１からの信号がイントラ予測信号である場合に、イントラ予測を適用して、予測画像選択部３０７に与える。

動き補償部３０６は、エントロピー復号部３０１からの信号がインター予測信号である場合に、動き補償を適用し、予測画像選択部３０７に与える。

予測画像選択部３０７は、受信した信号がイントラ予測信号であるか、インター予測信号であるかに応じて、適切に信号の切替を行い、信号を復号画像生成部３０８に与える。

復号画像生成部３０８は、逆量子化・逆変換部３０３からの信号と、予測画像選択部３０７からの信号を加算し、復号された画像を生成し、ループフィルタＡ３１０に与える。ループフィルタＡ３１０は、例えばデブロッキングフィルタが挙げられる。なおループフィルタＡ３１０は、これらに限られるものではない。ループフィルタＡ２９０は、フィルタ処理結果（復号画像３１２）をポストフィルタ３３０に出力する。

ポストフィルタ３３０は、適用部３３１を有する。

ポストフィルタ３３０には、エントロピー復号部３０１から、ＳＡＯに関する復号情報３２０が入力される。ＳＡＯに関する復号情報３２０とは、図７における出力４３５が含まれた情報である。ポストフィルタ３３０は、ＳＡＯに関する復号情報３２０から、出力４３５の情報を抽出する処理を行う。出力４３５の情報伝達には、上述のＳＥＩが用いられてもよい。

適用部３３１は、出力４３５の情報に含まれる、ＢＯモードか、ＥＯモードかの情報をチェックする。ＢＯモードであれば、バンド開始情報から４つのバンドを特定し、かつ対応するオフセット情報を取得する。ＥＯモードであれば、ＥＯにおいて採用されたクラスの情報を取得する。適用部３３１は、これらの情報を基にして、復号画像３１２の各画素に適切なオフセット値を適用し、出力画像３４０を出力する。

このように、ビットストリームからＳＡＯに関する情報又はこれに類似する情報を取得し、復号画像３１２に適切なオフセットを適用することにより、より質の高い出力画像３４０を得ることができる。

＜実施例３の動作＞
図１０は、実施例３の動作を示すフローチャートである。

ステップＳ１００２で、画像復号装置３０は、復号画像３１２を取得する。

ステップＳ１００４で、ポストフィルタ３３０は、ＳＡＯに関する復号情報３２０から、出力４３５の情報を抽出する処理を行う。

ステップＳ１００６で、適用部３３１は、モードに従って、オフセット値を復号画像に適用し、出力画像３４０を出力する。

＜プログラムによる実装＞
なお、上述の実施例の全部又は一部はプログラムによって実装され得る。このプログラムは、可搬記録媒体に格納することができる。可搬記録媒体とは、非一時的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を言う。例示として、可搬記録媒体としては、磁気記録媒体、光ディスク、光磁気記録媒体、不揮発性メモリなどがある。

可搬型記録媒体に格納されたプログラムが読み出され、プロセッサによって実行されることにより、本発明の実施例の全部又は一部が実施され得る。

以上、図面を用いて本発明の実施例を詳細に説明した。なお、上述の実施例は、発明を理解するためのものであり、本発明の範囲を限定するためのものではない点に留意すべきである。また、実施例の動作は、矛盾のない限り処理の順番を入れ替え、或いはスキップしてもよい。あるいは、複数の処理を同時に実行してもよい。そして、これらの実施例も、請求項に記載された発明の技術的範囲に包含されることは言うまでもない。

また、コンピュータが読み出したプログラムコードを実行することにより、上述の実施例の機能が実現されるだけでなく、そのプログラムコードの指令に基づき、コンピュータ上で稼働しているＯＳ、仮想マシンモニタＶＭＭ、ファームウエア、ＢＩＯＳなどのプログラムが実際の処理の一部または全部を行ない、その処理によって実施例の機能が実現される場合も、本発明に含まれることは言うまでもない。

また、本発明の実施例の構成要素は、物理的に分離された複数のハードウェアで実現されてもよい。また、本発明の各種実施例のそれぞれの構成要素は、１つ以上のコンピュータ上で動作することによって実現されてもよい。

図１１は、画像が暗部であると判定された場合の原画像及び復号画像の輝度値を示したグラフである。ｘ軸及びｙ軸は、二次元画像の位置を示す。ｚ軸は、それぞれの位置に存在する画素の輝度値を表す。

図１１（Ａ）は、原画像の輝度値を示したグラフである。図１２は、図１１（Ａ）に対応した原画像を示す図である。図１１（Ｂ）は、ＢＯを適用する前の復号画像の輝度値を示すグラフである。図１３は、図１１（Ｂ）に対応した、ＢＯを適用する前の復号画像の例を示す図である。図１１（Ｃ）は、ＢＯを適用した後の復号画像の輝度値を示すグラフである。図１４は、図１１（Ｃ）に対応した、ＢＯを適用した後の復号画像の例を示す図である。図１１（Ｃ）では、図１１（Ｂ）に比して、暗部での輝度のばらつきが少なくなり、輝度値が滑らかになっていることがわかる。また、図１４においても、図１３に比して画像の暗部での輝度のばらつきが少なくなり、輝度が滑らかになっていることがわかる。すなわち、図１３では符号化で生じた不自然な歪（画像左半分に生じているまだら模様）が生じているが、図１４では平坦になり、改善されている。入力画像に近づけるようなオフセット値を付加することにより、結果として歪を改善することができる。このことからも、画像が暗部であれば、ＢＯを適用することが有利であることがわかる。本実施例では、画像が暗部であれば、ＢＯを利用するため、ＲＤ最適化の計算を省略することができ、画像圧縮の計算量を減少させることができる。

２００ 原画像
２１０ 予測手法切替部
２２０ 画面分割部
２２１ 分割画像
２２５ 予測誤差信号生成部
２３０ 変換・量子化部
２４０ エントロピー符号化部
２４５ ビットストリーム
２５０ 逆量子化・逆変換部
２５５ 復号画像生成部
２６０ イントラ予測部
２７０ 動き補償予測部
２８０ 検出部
２９１ 出力信号
３０１ エントロピー復号部
３０３ 逆量子化・逆変換部
３０４ イントラ予測部
３０６ 動き補償部
３０７ 予測画像選択部
３０８ 復号画像生成部
３１２ 復号画像
３２０ 復号情報
３３０ ポストフィルタ
３３１ 適用部
３４０ 出力画像
４０１ 前処理部
４１０ 判定部
４１２ 指示
４２０ バンドオフセット処理決定部
４２１ バンド選択部
４２２ オフセット値決定部
４３０ 処理決定部
４３５ 出力
４４０ 適用部
４５０ 切替部
４６１ 復号画像

Claims (7)

1. 画素適応オフセット処理を含む画像符号化装置であって、
   前記画素適応オフセット処理を適用する画像が暗部であるか否かの判定を行う判定部と、
   前記判定が、暗部であることを示す場合、バンドオフセット処理のためのパラメータを決定するバンドオフセット処理決定部と、
   決定された前記パラメータを、予測誤差信号生成のための符号化ループにおける画像信号に適用する適用部と、
   を有する画像符号化装置。
2. 前記バンドオフセット処理決定部は、
   バンドオフセットを適用するために画素値に応じて分類された画素の集合であるバンドを選択するバンド選択部であって、最も多くの画素数を含むバンドが含まれるように、１つ以上のバンドを選択する、バンド選択部と、
   バンドオフセット値を決定するオフセット値決定部と、
   を含み、
   前記パラメータは、前記選択されたバンドの情報と、前記バンドオフセット値とを含む、前記請求項１記載の画像符号化装置。
3. 前記判定部は、前記画像に含まれる複数の画素の画素値が第１の閾値以下の画素の数が、第２の閾値以上の場合、暗部であると判定する、請求項１又は２記載の画像符号化装置。
4. 前記適用部が存在せず、前記パラメータは、前記符号化ループにおける画像信号への適用に代えて、復号側に伝送される、
   請求項１ないし３のうちいずれか１項記載の画像符号化装置。
5. 請求項４記載の画像符号化装置から得られた前記パラメータを、復号画像に適用する、ポストフィルタを有する、復号装置。
6. コンピュータを、請求項１ないし４のうちいずれか１項記載の符号化装置として機能させるためのプログラム。
7. コンピュータを、請求項５記載の復号装置として機能させるためのプログラム。