JP2014158131A - 画像符号化装置 - Google Patents

Abstract

【課題】
平坦な画像を画面内符号化する際の量子化誤差の伝搬を抑制する。
【解決手段】
符号量制御部（１１０）は、エントロピー符号化部（１０４）からの発生符号量情報に従い量子化部（１０３）の量子化パラメータを決定する。予測誤差判定部（１１２）は、予測誤差選択部（１０２）で選択される予測誤差を所定閾値と比較して、符号量制御部（１１０）の決定した量子化パラメータの変更の要否を判定する。量子化値決定部（１１３）は、予測誤差判定部（１１２）が量子化パラメータの変更を必要としないと判定した場合、符号量制御部（１１０）からの量子化パラメータを量子化部（１０３）に設定し、そうでない場合、符号量制御部（１１０）からの量子化パラメータを、量子化誤差が小さくなる方向に変更して量子化部（１０３）に設定する。
【選択図】 図１

Description

本発明は、画像符号化装置に関し、特に、動画像を画面内符号化する画像符号化装置に関する。

動画像の圧縮符号化方式としてＨ．２６４が広く知られ、利用されている。Ｈ．２６４に代表される動画符号化方法は、入力画像を画面内の相関性を利用して符号化するイントラ符号化と、画面間の相関性を利用して符号化するインター符号化の２種類の符号化を利用することで、高い圧縮率／高画質を実現する。符号化しようとする動画像の各フレーム画像は、マクロブロックと呼ばれる画素ブロック単位で符号化される。

イントラ符号化された画像は、符号化が同じ画面内で完結しているので、復号化に他の画面の画像データを必要としないという特徴がある。特に、Ｈ．２６４におけるイントラ符号化では、符号化対象のマクロブロックに隣接する画素から予測値を生成し、その予測値と実際の画素値との差分を符号化することで、高い圧縮率を達成する。

Ｈ．２６４のイントラ符号化では、複数の予測方向から適用すべき予測方向を選択可能であり、適用すべき予測方向は、画像の特徴により決定される。例えば、横方向に相関性が高い画像はマクロブロックに隣接する水平方向の画素を予測値とすると、予測誤差が小さくなり圧縮効率が上がる。逆に縦方向に相関性が高い場合、垂直方向の画素を予測値とした方が、効率が良い。

イントラ符号化は、画面内の画素の相関性を利用しているので、ノイズ又はエラーの伝搬で水平方向又は垂直方向の筋状の画像劣化が発生する場合がある。他方、画素の予測誤差が非常に小さいとき、ノイズ等の伝搬が発生したとしても主観評価で確認できない場合が多い。しかし、高周波成分が少ない画像、具体的には、画像全体が同一色の壁の画像等では、非常に値が小さいノイズ等の伝搬でも肉眼で視認でき、主観評価的にも劣化が認められることがある。

イントラ符号化での予測モード数が少ない色差信号のイントラ符号化を例に量子化誤差の伝搬の様子を説明する。もちろん、輝度信号の場合でも量子化誤差等のノイズ等の伝搬に関しては同様である。

図２は、色差信号の画素値例を示す。図２に示す例では、８画素×８画素からなるブロック２００〜２０５を構成する４画素×４画素のサブブロック内の全画素は、サブブロック内に付記した画素値を有するものとする。例えば、ブロック２００では、左上の４×４画素のサブブロックを構成する１６個の画素の画素値が１３５であり、同様に、右上の４×４画素のサブブロックを構成する１６個の画素の画素値が全て１３５である。また、左下の４×４画素のサブブロックを構成する１６個の画素と、右下の４×４画素廼サブブロックを構成する１６個の画素の画素値が全て１３６である。

図３はＨ．２６４勧告書に記載されている色差に対する予測方向又は予測モードを示す。色差信号では、図３に示す４種類の予測モードを選択可能である。図３（ａ）は平均値予測モード（モード０）の予測方向を示す。図３（ｂ）は、水平予測モード（モード１）の予測方向を示す。図３（ｃ）は、垂直予測モード（モード２）の予測方向を示す。図３（ｄ）は、平面予測モード（モード３）の予測方向を示す。予測値は、符号化しようとするブロック（符号化ブロック）に隣接する、先行して符号化及び局所復号化された画素値から導出される。

平均値予測モード（図３（ａ））では、サブブロックＡの予測値は、画素群３０１と画素群３０３の平均値である。サブブロックＢの予測値は、画素群３０２と画素群３０３の平均値である。サブブロックＣの予測値は、画素群３０１と画素群３０４の平均値である。サブブロックＤの予測値は、画素群３０２と画素群３０４の平均値である。色差信号の平均値予測モードでは、ブロックに隣接している画素全体の平均値ではなく、４つのブロックごとの平均値を採用する点が、輝度の平均予測モードとは異なる。

水平予測モードの予測値は、ブロックの左側に隣接する画素を用いて導出され、上側に隣接する画素は使用されない。

垂直予測モードの予測値は、ブロック上側に隣接する画素を用いて導出され、左側に隣接する画素は使用されない。

平面予測モードは、グラディエーションのように画素値が変化するときに用いられ、その予測値は、ブロックの上側と左側に隣接する画素の画素値を用いて導出される。

水平予測モードでは、水平方向にノイズが伝搬しやすく、垂直予測モードでは垂直方向にノイズが伝搬しやすい。平均値予測モードでは、サブブロック単位で予測値を生成するので、４画素単位で水平方向と垂直方向にノイズが伝搬する可能性がある。

図４は、図２に示す例に対する予測誤差の数値例を示す。予測誤差は、（符号化しようする入力画素の画素値と予測値との差分値である。

ブロック２００では、入力画素値と予測値とが一致しているとする。このとき、全ての画素について予測誤差は０である。予測誤差が０の場合、量子化によっても誤差が発生しない。このような予測誤差のブロック２００を復号すると、入力画素値に等しい画素値を得ることが出来る。

ブロック２００の復号化された画素値を予測値として使用して、ブロック２０１〜２０５の予測誤差が算出される。

ブロック２０１〜２０５で水平予測モード（又は平均値予測モード）が予測方向として選択された場合、ブロック２０１〜２０５の予測誤差は、図４に示すような数値となる。入力画素値１３５に対して予測値が１３６なので、予測誤差は１となり、値的には小さい。この予測誤差を量子化した場合、量子化値又は量子化スケールによっては、１以外の値、例えば０に丸められてしまう場合がある。すなわち、局所復号化での逆量子化又は受信側での逆量子化と相俟って、量子化による誤差（量子化誤差）が発生する。

図４に示す予測誤差値を量子化及び逆量子化した結果として、図５に示すように、復号化された予測誤差値が０になったとする。図６は、図５に示す復号化された予測誤差値を使って画素信号を復号した結果を示す。

ブロック２００では、図４に示すように予測誤差値が０だったので、画素値は、損失なく（正しく）復号されている。

ブロック２０１〜２０５では、逆量子化後の予測誤差に非ゼロの量子化誤差が含まれているので、入力画素値が１３５であったのに対して画素値１３６になり、１異なる値で復号されている。

画素値として１の違いは、高周波成分が少ない画像上では視覚的に目立ってしまい、その解消が望まれる。このような問題を解決する技術として、特許文献１には、量子化誤差等のノイズが伝搬しない方向の予測値に定期的に切り替える方法が記載されている。また、特許文献２には、画面内符号化の予測モード決定に使用するコスト関数を、ノイズが伝搬しやすい水平方向又は垂直方向の予測が選択されにくい計算式に切り替えることが記載されている。

特開２００６−３１９５４７号公報 特開２００６−２９５４０８号公報

特許文献１に記載される技術では、ノイズが伝搬しないような状況でも圧縮効率がよくない予測方向を選択することがあり、圧縮効率を低化させてしまう。

特許文献２に記載される技術では、差分値が非常に小さくなるような場合には、切り替えたコスト関数でも水平予測又は垂直予測が選択されてしまうことがあり、根本的な解決とはならない。

本発明は、画質劣化を抑えつつ水平方向又は垂直方向へのノイズ伝搬を抑制する画像符号化装置を提示することを目的とする。

上記目的を達成するために、本発明に係る画像符号化装置は、符号化すべき入力画像データの予測値に対する予測方向と予測誤差を決定する予測誤差決定手段と、前記予測誤差決定手段から出力される予測誤差を符号化する符号化手段であって、量子化手段及びエントロピー符号化手段を含む符号化手段と、前記符号化手段での発生符号量に従い、前記量子化手段の量子化パラメータを決定する符号量制御手段と、前記予測誤差に従い、前記量子化パラメータの変更の要否を判定する予測誤差判定手段と、前記予測誤差判定手段の判定結果に従い、前記予測誤差判定手段が前記量子化パラメータの変更を必要としないと判定した場合には、前記符号量制御手段からの前記量子化パラメータを前記量子化手段に設定し、前記予測誤差判定手段が前記量子化パラメータの変更を必要とすると判定した場合には、前記符号量制御手段からの前記量子化パラメータを、量子化誤差が小さくなる方向に変更して前記量子化手段に設定する量子化値決定手段とを有することを特徴とする。

本発明によれば、画面内符号化における水平・垂直方向への量子化誤差の伝搬を抑制できる。

本発明の第１実施例の概略構成ブロック図である。 入力画像の画素値例である。 Ｈ．２６４勧告における色差信号の予測モードの説明図である。 図２に示す例に対する予測誤差の例である。 図２に示す例に対する局所復号化された予測誤差値の例である。 図２に示す例に対する復号画像の画素値例である。 予測誤差判定装置の動作フローチャートである。 量子化パラメータ変更領域の説明図である。 本発明の第２実施例の概略構成ブロック図である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図を示す。なお、理解を容易にするために、離散コサイン変換等の直交変換部と、局所復号化のための逆直交変換部は、省略してある。

入力端子１００には、符号化すべき画像データが符号化ブロック順で外部から入力し、入力端子１００からイントラ符号化装置１１１の予測差分値演算部１０１に入力する。イントラ符号化装置１１１は、入力端子１００からの入力画像データを画面内予測符号化する。

詳細は後述するが、再構成画像記憶部１０８には、入力端子１００からイントラ符号化装置１１１に入力する入力画像データの、先行して符号化及び復号化された画素データが格納されている。予測値生成部１０５は、再構成画像記憶部１０８の符号化済みの画素値から、画面内符号化で用意されている複数の予測モード（予測方向）のそれぞれに応じた予測値を生成し、予測差分値演算部１０１に供給する。予測差分値演算部１０１は、各予測モードについて、入力端子１００からの画像信号の各画素値と予測値生成部１０５からの予測値との差分値を算出し、予測誤差選択部１０２に供給する。

予測誤差選択部１０２は、予測差分値演算部１０１からの画素ごとの差分値を予測符号化の単位となるブロック単位で合計し、その合計値が最も少ない予測モードを適用すべき予測モードと決定する。すなわち、予測誤差選択部１０２は、適用すべき予測モード又は予測方向と量子化すべき予測誤差とを決定する予測誤差決定手段である。予測誤差選択部１０２は、決定した予測モードの差分値を予測誤差として量子化部１０３と予測誤差判定部１１２に供給し、決定した予測モードを示す情報をエントロピー符号化部１０４に供給する。

量子化部１０３は、量子化値決定部１１３からの量子化パラメータ又は量子化値に従い、予測誤差選択部１０２からの予測誤差を量子化する。エントロピー符号化部１０４は、量子化部１０３により量子化された予測誤差をエントロピー符号化し、得られた符号データと適用した予測モード情報を所定フォーマットにまとめて出力端子１０９に出力する。エントロピー符号化部１０４はまた、所定単位での発生符号量に関する情報を符号量制御部１１０に供給する。

予測値算出のために、逆量子化部１０６が、量子化部１０３が量子化で使用した量子化パラメータを参照して、量子化部１０３の出力を逆量子化する。逆量子化部１０６の出力データは予測誤差選択部１０２の出力に対応するが、量子化及び逆量子化による量子化誤差を含む。

再構成画像生成部１０７は、逆量子化部１０６の出力に予測差分値演算部１０１で利用したのと同じ予測値を再構成画像記憶部１０８から読み出して加算することで画像データを再構成する。再構成画像生成部１０７は、このようにして生成した再構成画像データを再構成画像記憶部１０８に書き込む。

符号量制御部１１０は、エントロピー符号化部１０４からの発生符号量情報と、別途設定されるビットレート情報とから、次にブロックに対して量子化部１０３に設定すべき量子化パラメータを決定する。

本実施例では、予測誤差判定部１１２が予測誤差から量子化パラメータの変更の要否を判定し、量子化値決定部１１３が、予測誤差判定部１１２の判定結果に従い符号量制御部１１０が決定する量子化パラメータを変更又はスルーする。このような動作で、本実施例では、量子化誤差の伝搬を抑制する。

図７は、予測誤差判定部１１２の動作フローチャートを示す。図７を参照して、予測誤差判定部１１２の動作を詳細に説明する。

予測誤差判定部１１２は、予測誤差選択部１０２からの予測誤差をブロック内で合計し（Ｓ７０１）、その合計値を合計閾値Ａと比較する（Ｓ７０２）。合計閾値Ａの値自体は、合計値がこの合計閾値Ａ以下の場合に量子化誤差が画像上で顕著になる可能性がある値として外部から設定される。合計値が合計閾値Ａより大きい場合（Ｓ７０２）、予測誤差判定部１１２は、量子化パラメータ値の変更が不要であると判定し、量子化値決定部１１３に量子化パラメータ値の変更不要を指示する（Ｓ７０５）。

合計値が合計閾値Ａ以下の場合（Ｓ７０２）、予測誤差判定部１１２は、ブロック単位で予測誤差の分散を計算し（Ｓ７０３）、分散値が分散閾値Ｂより大きいかどうかを判定する（Ｓ７０４）。分散閾値Ｂもまた、外部から設定される。

分散値が分散閾値Ｂより大きい場合（Ｓ７０４）、予測誤差判定部１１２は、量子化値の変更が不要であると判定する（Ｓ７０５）。分散値が分散閾値Ｂ以下の場合（Ｓ７０４）、予測誤差判定部１１２は、量子化パラメータ値の変更が必要であると判定し、量子化値決定部１１３に量子化パラメータ値の変更を指示する（Ｓ７０６）。

図８は、合計閾値Ａと分散閾値Ｂに対する予測誤差判定部１１２の判定結果を示す。予測誤差合計値が合計閾値Ａ以下であり、且つ、予測誤差分散値が分散閾値Ｂ以下である場合に、量子化パラメータ値を変更することになり、これ以外の場合には、量子化パラメータ値を変更しなくて良い。予測誤差判定部１１２は、量子化パラメータ値を変更する必要があると判定したときには、変更指示信号を量子化値決定部１１３に供給する。予測誤差判定部１１２はまた、量子化パラメータ値を変更する必要が無いと判定したときには、変更指示信号を量子化値決定部１１３に供給しないか、不変更指示信号を量子化値決定部１１３に供給する。

量子化値決定部１１３は、予測誤差判定部１１２からの変更指示信号に従い、符号量制御部１１０からの量子化パラメータ値から所定値を減算して量子化部１０３に設定する。量子化部１０３は入力値を量子化パラメータ値で除算することで入力値を量子化するので、量子化パラメータ値から所定値を減算することは、量子化部１０３での量子化をより細かいステップに変更することに相当する。他方、量子化値決定部１１３は、予測誤差判定部１１２から変更指示信号が供給されないとき、又は不変更指示信号が供給されるとき、符号量制御部１１０からの量子化パラメータ値をそのまま量子化部１０３に設定する。

量子化ノイズの伝搬は、前述したとおり、色強度が平坦で符号化難易度の低い画面で発生しやすく、しかも、予測誤差値が小さくても目立ってしまう。予測誤差値が小さい場合、一般に符号化難易度が低い。また、予測誤差の分散が小さいほど、色強度が平坦であると判断できる。そこで、図７及び図８に示すように、予測誤差合計値が合計閾値Ａ以下であり、且つ、差分分散値が分散閾値Ｂ以下である場合に、既存のアルゴリズムに従い符号量制御部１１０が決定した量子化パラメータを修正するようにした。具体的には、量子化パラメータ値を大きくして、量子化ステップをより細かくする。図８で、横軸は予測誤差分散値を示し、縦軸は予測誤差合計値を示す。

通常の符号化アルゴリズムでは、圧縮率を上げるために平坦な画像部分に対する量子化パラメータ値を大きく設定しているが、量子化ノイズの伝搬が目立つ画像部分といえる。合計閾値Ａと分散閾値Ｂにより、このような画像部分を識別できる。

合計閾値Ａと分散閾値Ｂは、固定値でもよいが、符号化対象の画像の内容ないし特徴に応じて変動するようにしてもよい。例えば、本実施例の画像符号化装置はデジタルカメラに実装されうるが、デジタルカメラでは、ＩＳＯ感度の高い撮影モードのとき必然的に高感度ノイズが多くなる。この種の高感度ノイズは、画像上で、量子化ノイズとの相違を弁別しにくい。しかし、高感度ノイズが重畳した画像では、予測誤差が大きくなり、予測誤差の分散が大きくなる。そこで、閾値Ａ，Ｂを撮影モードに応じて動的に変更することにより、高感度ノイズを除去するための量子化パラメータと、量子化ノイズの伝搬を防ぐための量子化パラメータ値の両方を適切に設定することが可能となる。具体的には、デジタルカメラの撮像素子の高感度特性に応じて決められる特定のＩＳＯ感度以上のＩＳＯ感度が設定される場合に、閾値Ａ及び／または閾値Ｂを小さくする。極端な状況としても、閾値Ａまたは閾値Ｂを０と設定することもありうる。

図９は、本発明の第２実施例の概略構成ブロック図を示す。図１と同じ機能の構成要素には同じ符号を付してある。具体的には、予測誤差判定部１１２ａの機能が、予測誤差判定部１１２とは異なる。

予測誤差判定部１１２ａは、符号量制御部１１０が量子化値決定部１１３に供給する量子化パラメータを参照して、当該量子化パラメータの値に応じて閾値Ａ，Ｂを調整する。閾値Ａ，Ｂの調整以外の予測誤差判定部１１２ａの動作は、予測誤差判定部１１２のそれと同じである。

符号量制御部１１０は、より圧縮率を高める必要があるときには、量子化パラメータの値を大きくする。予測誤差判定部１１２ａは、符号量制御部１１０の出力する量子化パラメータの値が大きくなると、閾値Ａ又はＢを小さくする。この結果、図７に示すフローではステップＳ７０５が選択されやすくなり、図８では、量子化パラメータ値変更範囲が狭くなる。量子化パラメータ値変更範囲では量子化パラメータ値を小さくする、即ち、圧縮率を下げる方向に作用することから、量子化パラメータ値変更範囲を狭くすることで、符号量制御部１１０による符号量低減への制御への影響が少なくなる。

デジタルカメラへの適用では、その他の撮影条件に依存して閾値Ａ，Ｂを変更することも有益である。例えば、撮影画面内のピントが合っている部分は、そもそも量子化ステップが細かく設定されるべきであるので、閾値Ａ，Ｂにより量子化パラメータ変更領域を確保する必要が無い。他方、ピントずれが大きい領域では、画像が平坦化するので、量子化パラメータ変更領域を確保する必要が出てくる。このように、ピントからのずれ量、すなわちデフォーカス量に従い画面内で閾値Ａ，Ｂを異なる値に設定してもよい。同様の処理は、被写体認識にも適用可能であり、認識した被写体に対して閾値Ａ，Ｂを小さくし、当該被写体以外に対して閾値Ａ，Ｂを大きくする。

色差信号の場合を例に本実施例の動作を説明したが、もちろん、輝度信号の画面内符号化にも適用可能である。一般的に、輝度信号に対する閾値Ａ，Ｂの値を色差信号の閾値Ａ，Ｂの値と等しくする必要は無い。

離散コサイン変換（ＤＣＴ）等の変換符号化を含まない実施例で本発明を説明したが、本発明は、そのような変換符号を含む画面内符号化にも適用可能であることはいうまでもない。その場合、予測誤差選択部１０２と量子化部１０３の間に変換符号化部が配置され、逆量子化部１０６と再構成画像生成部１０７との間に変換符号化の復号化部が配置される。

以上、本発明の好ましい実施例を説明したが、本発明は上述した実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (3)

1. 符号化すべき入力画像データの予測値に対する予測方向と予測誤差を決定する予測誤差決定手段と、
   前記予測誤差決定手段から出力される予測誤差を符号化する符号化手段であって、量子化手段及びエントロピー符号化手段を含む符号化手段と、
   前記符号化手段での発生符号量に従い、前記量子化手段の量子化パラメータを決定する符号量制御手段と、
   前記予測誤差に従い、前記量子化パラメータの変更の要否を判定する予測誤差判定手段と、
   前記予測誤差判定手段の判定結果に従い、前記予測誤差判定手段が前記量子化パラメータの変更を必要としないと判定した場合には、前記符号量制御手段からの前記量子化パラメータを前記量子化手段に設定し、前記予測誤差判定手段が前記量子化パラメータの変更を必要とすると判定した場合には、前記符号量制御手段からの前記量子化パラメータを、量子化誤差が小さくなる方向に変更して前記量子化手段に設定する量子化値決定手段
   とを有することを特徴とする画像符号化装置。
2. 前記予測誤差判定手段は、前記予測誤差のブロック単位での合計値及び分散値をそれぞれ合計閾値及び分散閾値と比較することで、前記量子化パラメータの変更の要否を判定することを特徴とする請求項１に記載の画像符号化装置。
3. 前記予測誤差判定手段は、前記合計閾値又は前記分散閾値を前記符号量制御手段の出力する前記量子化パラメータに従って決定することを特徴とする請求項２に記載の画像符号化装置。

Images