JP2011082594A - 画像プレフィルタ装置、画像符号化装置及び画像復号装置 - Google Patents

Abstract

【課題】画像の精細感を高精度に保持しながら、符号化処理に起因するノイズを十分に抑制することができるようにする。
【解決手段】入力画像の画像信号を直交変換し、その直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像を生成する直交変換部１と、入力画像又は直交変換部１により生成された帯域成分画像の局所的な視覚特性に応じて、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施する変換係数処理部２とを設け、逆直交変換部３が変換係数処理部２によるプレフィルタ処理後の変換係数を逆直交変換することで、その変換係数を画像信号に戻すようにする。
【選択図】図１

Description

この発明は、入力画像に含まれているノイズや符号化歪を低減して、入力画像の主観画質を高める画像プレフィルタ装置と、その画像プレフィルタ装置を搭載している画像符号化装置と、その画像符号化装置から送信された符号化データから画像を復号する画像復号装置とに関するものである。

例えば、「ＭＰＥＧ−２」や「ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４」で規格されている国際標準映像符号化方式（例えば、非特許文献１，２を参照）は、動画像の蓄積、通信、放送などの分野で広く用いられている。
図２２は、これらの分野での代表的な画像符号化装置を示している。
図２２において、プレフィルタ処理部１０１は入力画像に含まれているノイズや符号化歪を低減して、入力画像の主観画質を高めるために、入力画像に対するプレフィルタ処理を実施する画像プレフィルタ装置である。

符号化部１０２はプレフィルタ処理部１０１によるプレフィルタ処理後の入力画像（プレフィルタ処理済み画像）に対する符号化処理（例えば、予測、変換、量子化、エントロピー符号化などの処理）を実施して、所定の規則（シンタックス）に対応している符号化ビットストリームを出力する。
送信バッファ１０３は符号化部１０２から出力された符号化ビットストリームを一時的に蓄積し、画像符号化装置が接続されている伝送路の帯域や記録媒体の読み出し速度に合わせて、その符号化ビットストリームを平滑化してビデオストリームとして出力する。
符号化制御部１０４は送信バッファ１０３における符号化ビットストリームの蓄積状況を監視し、その符号化ビットストリームの蓄積状況に応じて、符号化部１０２により生成される符号化ビットストリームの符号量を制御する。

上記のような画像符号化装置に適用されるプレフィルタ処理部１０１（画像プレフィルタ装置）には様々なものが存在する。
それらの多くは、入力画像に含まれているノイズや符号化歪を低減して、入力画像の主観画質を高めるために、入力画像の特徴に応じた適応的なフィルタ処理を行っている。
例えば、以下の特許文献１には、画像の精細感を保持しつつ、符号化処理に起因するノイズを抑制することを目的とするエッジ保存型のブロック適応フィルタが開示されている。

このエッジ保存型のブロック適応フィルタは、予め用意されているフィルタの係数を少なくとも１×１画素で構成されるブロック毎に変化させることで、フィルタ強度を調整するようにしている。このため、入力画像に施すフィルタの種類が非常に限定されることになる。
また、このブロック適応フィルタは、画像のエッジ部を保存するために、エッジらしさ（以下、「エッジ強度」と称する）に応じて、フィルタ強度を調整するようにしている。

特開２００６−１５７２６７号公報

ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８）規格 ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ．２６４規格

従来の画像プレフィルタ装置は以上のように構成されているので、エッジ強度に応じてフィルタ強度を調整しているが、エッジ強度を考慮するだけでは、画像の精細感を高精度に保持しながら、符号化処理に起因するノイズを十分に抑制することができないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、画像の精細感を高精度に保持しながら、符号化処理に起因するノイズを十分に抑制することができる画像プレフィルタ装置を得ることを目的とする。
また、この発明は、十分にノイズが抑制された入力画像を符号化することで、符号化精度を高めることができる画像符号化装置を得ることを目的とする。
さらに、この発明は、上記の画像符号化装置により生成された符号化データから画像を復号することができる画像復号装置を得ることを目的とする。

この発明に係る画像プレフィルタ装置は、入力画像の画像信号を直交変換し、その直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像を生成する帯域成分画像生成手段と、入力画像又は帯域成分画像生成手段により生成された帯域成分画像の局所的な視覚特性に応じて、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施するフィルタリング手段とを設け、逆直交変換手段がフィルタリング手段によるプレフィルタ処理後の変換係数を逆直交変換することで、その変換係数を画像信号に戻すようにしたものである。

この発明によれば、入力画像の画像信号を直交変換し、その直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像を生成する帯域成分画像生成手段と、入力画像又は帯域成分画像生成手段により生成された帯域成分画像の局所的な視覚特性に応じて、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施するフィルタリング手段とを設け、逆直交変換手段がフィルタリング手段によるプレフィルタ処理後の変換係数を逆直交変換することで、その変換係数を画像信号に戻すように構成したので、画像の精細感を高精度に保持しながら、符号化処理に起因するノイズを十分に抑制することができる効果がある。

この発明の実施の形態１による画像プレフィルタ装置を示す構成図である。 画像信号が直交変換された後の入力画像を分割して、帯域Ａ〜帯域Ｄの帯域成分画像を生成している様子を示す説明図である。 プレフィルタ処理後の帯域Ａ〜帯域Ｄの帯域成分画像内の変換係数を再配列してから、その変換係数を逆直交変換することで、その変換係数を画像信号に戻している様子を示す説明図である。 この発明の実施の形態１による画像プレフィルタ装置の処理内容を示すフローチャートである。 １レベルの２次元のウェーブレット変換を示す説明図である。 直交変換部１による１レベルの２次元ウェーブレット変換を行う前の画素（画像信号）と直交変換係数の対応関係を示す説明図である。 直交変換部１によるオクターブ分割に基づく複数レベルの２次元ウェーブレット変換を示す説明図である。 この発明の実施の形態２による画像符号化装置を示す構成図である。 この発明の実施の形態３による画像符号化装置を示す構成図である。 この発明の実施の形態４による画像符号化装置を示す構成図である。 この発明の実施の形態４による画像符号化装置のポストフィルタ係数生成部２０を示す構成図である。 この発明の実施の形態４による画像復号装置を示す構成図である。 この発明の実施の形態４による画像復号装置のポストフィルタ処理部３２を示す構成図である。 この発明の実施の形態５による画像符号化装置のポストフィルタ係数生成部２０を示す構成図である。 この発明の実施の形態５による画像符号化装置のポストフィルタ係数生成部２０を示す構成図である。 この発明の実施の形態５による画像復号装置のポストフィルタ処理部３２を示す構成図である。 この発明の実施の形態６による画像符号化装置を示す構成図である。 この発明の実施の形態７による画像符号化装置を示す構成図である。 この発明の実施の形態７による画像符号化装置を示す構成図である。 この発明の実施の形態７による画像復号装置のポストフィルタ処理部３２を示す構成図である。 この発明の実施の形態８による画像符号化装置を示す構成図である。 従来の画像符号化装置を示す構成図である。

実施の形態１．
図１はこの発明の実施の形態１による画像プレフィルタ装置を示す構成図である。
図１において、直交変換部１は入力画像の画像信号を直交変換（例えば、２次元のウェーブレット変換）し、その直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像（例えば、帯域Ａの帯域成分画像、帯域Ｂの帯域成分画像、帯域Ｃの帯域成分画像、帯域Ｄの帯域成分画像）を生成する処理を実施する。なお、直交変換部１は帯域成分画像生成手段を構成している。

ここで、図２は画像信号が直交変換された後の入力画像を分割して、帯域Ａ〜帯域Ｄの帯域成分画像を生成している様子を示す説明図である。
図２において、○内の文字が変換係数を示しており、Ａ１，Ａ２，Ａ３，Ａ４・・・は周波数成分が帯域Ａの変換係数、Ｂ１，Ｂ２，Ｂ３，Ｂ４・・・は周波数成分が帯域Ｂの変換係数、Ｃ１，Ｃ２，Ｃ３，Ｃ４・・・は周波数成分が帯域Ｃの変換係数、Ｄ１，Ｄ２，Ｄ３，Ｄ４・・・は周波数成分が帯域Ｄの変換係数である。
図２では、入力画像を１回だけ分割して、４つの帯域Ａ〜帯域Ｄの帯域成分画像を生成している例を示しているが、それらの帯域成分画像を更に分割して、帯域Ａ〜帯域Ｄの帯域成分画像より細かい帯域成分画像を生成するようにしてもよい。

変換係数処理部２は入力画像又は直交変換部１により生成された帯域成分画像の局所的な視覚特性（例えば、入力画像又は帯域成分画像の局所的な構造と空間周波数特性）に応じて、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施する。
ここで、入力画像又は帯域成分画像の局所的な構造としては、例えば、入力画像又は帯域成分画像における画像信号の局所的なばらつき度、エッジの強度及びエッジの角度などが該当する。
また、入力画像又は帯域成分画像の空間周波数特性としては、例えば、入力画像の空間周波数又は帯域成分画像が持つ帯域（空間周波数）成分に対する人間の視覚感度を表す特性などが該当する。
なお、変換係数処理部２はフィルタリング手段を構成している。

逆直交変換部３は変換係数処理部２からプレフィルタ処理後の複数の帯域成分画像を受けると、複数の帯域成分画像内の変換係数を再配列してから、その変換係数を逆直交変換（例えば、２次元の逆ウェーブレット変換）することで、その変換係数を画像信号に戻し、その画像信号からなるプレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を出力する処理を実施する。なお、逆直交変換部３は逆直交変換手段を構成している。

ここで、図３はプレフィルタ処理後の帯域Ａ〜帯域Ｄの帯域成分画像内の変換係数を再配列してから、その変換係数を逆直交変換することで、その変換係数を画像信号に戻している様子を示す説明図である。
図３において、Ａ’１，Ａ’２，Ａ’３，Ａ’４・・・はプレフィルタ処理後の周波数成分が帯域Ａの変換係数、Ｂ’１，Ｂ’２，Ｂ’３，Ｂ’４・・・はプレフィルタ処理後の周波数成分が帯域Ｂの変換係数、Ｃ’１，Ｃ’２，Ｃ’３，Ｃ’４・・・はプレフィルタ処理後の周波数成分が帯域Ｃの変換係数、Ｄ’１，Ｄ’２，Ｄ’３，Ｄ’４・・・はプレフィルタ処理後の周波数成分が帯域Ｄの変換係数である。
また、Ｓ１，Ｓ２，Ｓ３，Ｓ４・・・は変換係数が逆直交変換された後の画像信号である。

図１では、画像プレフィルタ装置の構成要素である直交変換部１、変換係数処理部２及び逆直交変換部３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン）で構成されているものを想定しているが、画像プレフィルタ装置がコンピュータで構成される場合、直交変換部１、変換係数処理部２及び逆直交変換部３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による画像プレフィルタ装置の処理内容を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、説明の便宜上、直交変換部１が画像信号の直交変換として、２次元のウェーブレット変換を実施し、逆直交変換部３が変換係数の逆直交変換として、２次元の逆ウェーブレット変換を実施するものとして説明する。

直交変換部１は、入力画像が与えられると、入力画像の画像信号に対して、１レベルの２次元のウェーブレット変換を実施する（ステップＳＴ１）。
直交変換部１は、ウェーブレット変換を実施すると、図２に示すように、その変換係数を同一の周波数帯域毎に纏めて、例えば、帯域Ａの帯域成分画像、帯域Ｂの帯域成分画像、帯域Ｃの帯域成分画像及び帯域Ｄの帯域成分画像を生成する。
２次元のウェーブレット変換については、例えば、以下の非特許文献３に開示されている。
［非特許文献３］
ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４）規格

図５は１レベルの２次元のウェーブレット変換を示す説明図である。
図５において、○は画像内の画素（画像信号）又は変換係数を表しており、ＬＬ成分は直交変換前の入力画像の低周波成分を表している。
また、ＨＬ成分、ＬＨ成分及びＨＨ成分は、それぞれ水平方向、垂直方向、斜め方向の高周波成分を表している。
なお、ｐは各帯域の成分を表すパラメータであり、ｐ＝０はＨＬ成分、ｐ＝１はＬＨ成分、ｐ＝２はＨＨ成分を表している。

変換係数処理部２は、直交変換部１が帯域Ａ〜帯域Ｄの帯域成分画像を生成すると、入力画像又は直交変換部１により生成された帯域成分画像の局所的な視覚特性（例えば、入力画像又は帯域成分画像の局所的な構造と空間周波数特性）に応じて、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施する。
即ち、変換係数処理部２は、帯域Ａ〜帯域Ｄの帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施する際、当該帯域成分画像の局所的な視覚特性、他の帯域成分画像の局所的な視覚特性、あるいは、入力画像の局所的な視覚特性を抽出する。
例えば、主観画質において、エッジなどの重要な構造を残しつつ、ノイズを除去するプレフィルタ処理を実施する場合、フィルタ処理対象の変換係数の近傍係数、他の帯域成分画像もしくは入力画像から、エッジ強度・エッジ角度や、画像信号のばらつき度などの特徴量を抽出する。
変換係数処理部２は、エッジ強度・エッジ角度や、画像信号のばらつき度などの特徴量を抽出すると、その特徴量と各変換係数が属する帯域成分画像が持つ帯域（空間周波数）成分に対する視覚特性から、フィルタ処理対象の変換係数の主観画質における重要度を算出し、その重要度に基づいてフィルタ処理対象の変換係数をプレフィルタ処理する。
以下、変換係数処理部２によるプレフィルタ処理を具体的に説明する。

変換係数処理部２は、ＨＬ成分、ＬＨ成分及びＨＨ成分内の全ての変換係数に対して、画像の局所的な視覚特性に応じた係数値のフィルタ処理を行う（ステップＳＴ２）。今回は画像の局所的な視覚特性として、入力画像又は帯域成分画像の局所的な構造と各帯域成分画像が持つ帯域成分に対する空間周波数特性を用いる。
このときの画像の局所的な構造を表す特徴量として、フィルタ処理対象の変換係数と対応する位置の入力画像（もしくは、ＬＬ成分）における局所的なばらつき度Ｖ、エッジ強度Ｓ及びエッジ角度θを用いるものとする。
ここで、図６は直交変換部１による１レベルの２次元ウェーブレット変換を行う前の画素（画像信号）と直交変換係数の対応関係を示す説明図である。
以下、図６を参照して、特徴量の算出手法について述べる。

（１）ばらつき度Ｖの算出例
例えば、図６のＨＬ成分内の変換係数ｘ’１４がフィルタ処理対象の変換係数であるとするとき、直交変換前の入力画像の画素ｘ１４が、フィルタ処理対象の変換係数ｘ’１４と対応している（画素の位置が対応している）。
この場合、入力画像内の画素ｘ１４の周囲（例えば、プラスマイナス１画素の領域）の分散値を局所的なばらつき度Ｖと見ることができる。
また、ＬＬ成分は、入力画像の低周波成分を表す縮小画像であるため、ＨＬ成分内の変換係数ｘ’１４と直交変換前の入力画像上で近い位置関係にある変換係数、即ち、ＬＬ成分内の変換係数ｘ’１３又は変換係数ｘ’１５における周囲の分散値を上記局所的なばらつき度Ｖとして代用することもできる。
なお、ばらつき度Ｖの算出手法は、上記変換係数ｘ’１３又は変換係数ｘ’１５のように入力画像内の画素ｘ１４の周囲のばらつき度として代用できる値であれば、これら以外の手法を用いてもよい。

（２）エッジ強度Ｓ及びエッジ角度θの算出例
図６のＨＬ成分内の変換係数ｘ’１４と対応する位置関係にある入力画像の画素ｘ１４、あるいは、ＬＬ成分内の変換係数ｘ’１３又は変換係数ｘ’１５に対して、エッジ検出フィルタである下記の式（１）に示す４種類のｓｏｂｅｌフィルタｈ_ｈ，ｈ_ｖ，ｈ_ｄｌ，ｈ_ｄｒのうち、フィルタｈ_ｈ，ｈ_ｖを施したときのフィルタｈ_ｈ，ｈ_ｖの出力信号Ｅ_ｈ，Ｅ_ｖを用いることで、エッジ強度Ｓとエッジ角度θを求めることができる。

（１）
Ｓ＝√（Ｅ_ｈ ^２＋Ｅ_ｖ ^２） （２）
θ＝ｔａｎ^−１（Ｅ_ｈ／Ｅ_ｖ）［ｒａｄ］ （３）

ここでは、エッジ検出フィルタとしてｓｏｂｅｌフィルタｈ_ｈ，ｈ_ｖを用いて、エッジ強度Ｓとエッジ角度θを求める例を示したが、同様のエッジ検出フィルタであれば、どのようなフィルタを用いてもよい。
また、フィルタｈ_ｈ，ｈ_ｖだけでなく、斜め方向のエッジ検出フィルタであるフィルタｈ_ｄｌ，ｈ_ｄｒも用いて、エッジ角度θを求めるようにしてもよい。

また、他のエッジ検出手法として、下記の式（４）（５）に示すように、変換係数を直接用いて、エッジ強度Ｓとエッジ角度θを求めるようにしてもよい。
Ｓ＝√（ａ^２＋ｂ^２＋ｃ^２） （４）
θ＝ｔａｎ^−１（ａ／ｂ）［ｒａｄ］ （５）
ただし、ａはＨＬ成分内の変換係数ｘ’１４の値、ｂはＬＨ成分内の変換係数ｘ’１８の値、ｃはＨＨ成分内の変換係数ｘ’１９の値である。
この処理は、式（４）（５）でなくても、変換係数ａ，ｂ，ｃを用いて、エッジ強度Ｓとエッジ角度θを算出する式であればよい。
以上の複数の算出手法は一例であり、この実施の形態１の画像プレフィルタ装置は、エッジ強度Ｓとエッジ角度θを算出する手法であれば、どのような手法を用いても実現することができる。

変換係数処理部２は、画像の局所的な特徴を表す特徴量として、ばらつき度Ｖ、エッジ強度Ｓ及びエッジ角度θを算出すると、画像の空間周波数に対する視覚特性も考慮しつつ、ばらつき度Ｖ、エッジ強度Ｓ及びエッジ角度θを用いてフィルタ係数を算出し、このフィルタ係数をフィルタ処理対象の変換係数ｘ’１４に乗算することで、その変換係数ｘ’１４のプレフィルタ処理を実施する。
ここで、フィルタ処理対象の変換係数ｘ’１４が属するＨＬ成分の帯域分割レベルをｄとして（図６の例では、ｄ＝１）、その変換係数ｘ’１４の値ａに対してフィルタ係数Ｆ（ｄ，ｐ，Ｖ，Ｓ，θ）を乗算することで、プレフィルタ処理後の変換係数ｘ’１４の値ａ’が得られるとすると、フィルタ係数Ｆ（ｄ，ｐ，Ｖ，Ｓ，θ）の一例として、下記の式（６）に示すものが挙げられる。
Ｆ（ｄ，ｐ，Ｖ，Ｓ，θ）＝ｍ×Ｗ（ｄ）×Ｅ（ｐ，Ｓ，θ）／Ｖ （６）

ただし、ｍはフィルタ係数Ｆ（ｄ，ｐ，Ｖ，Ｓ，θ）の強度を調整するパラメータである。
また、Ｗ（ｄ）は下記の式（７）に示す画像の空間周波数に対する人間の視覚感度を表す関数ＣＳＦ（ｆ）（例えば、非特許文献４に記載されている以下の式（８）が示す関数）に基づいたフィルタ強度関数（ｑは関数ＣＳＦ（ｆ）の形状を調整するパラメータ）である。
［非特許文献４］
J. Mannos, and D. Sakrison, “The effects of a visual fide-lity criterion on the encoding of images,” IEEE Trans. on Information Theory, vol. IT-20, pp. 525?536, 1974.

ｆ（ｄ）は、帯域分割レベルｄの帯域成分における一次元の空間周波数ｆの代表値である。
また、Ｅ（ｐ，Ｓ，θ）はエッジ保存用パラメータであり、Ｓが大きいほど、Ｅ（ｐ，Ｓ，θ）が大きく、｜θ’−α（ｐ）｜が小さいほど、Ｅ（ｐ，Ｓ，θ）が大きくなる。

ただし、θ’，α（ｐ）は、下記の式（９）（１０）によって求められる。

よって、ある位置の各帯域成分内の変換係数の中で、エッジを構成する変換係数ほど、Ｅ（ｐ，Ｓ，θ）が大きい値となり、各高周波成分のエッジに対する重要度に応じたフィルタ処理を実現することができる。
また、フィルタ係数Ｆ（ｄ，ｐ，Ｖ，Ｓ，θ）は、ばらつき度Ｖが大きいほど小さい値をとるため、人間の視覚感度の低いばらつき度Ｖが大きな複雑な領域ほどフィルタ強度を強くすることができる。
このように、プレフィルタ処理後の変換係数の値を求める処理をＨＬ成分、ＬＨ成分、ＨＨ成分内の全ての変換係数に対して行う。

次に、変換係数処理部２は、予め、ユーザにより設定された帯域分割レベル数までプレフィルタ処理が終了しているか否かを判定する（ステップＳＴ３）。
ユーザにより設定された帯域分割レベル数までプレフィルタ処理が終了していなければ、直交変換部１が、ＬＬ成分を入力画像とみなして、ステップＳＴ１と同様の処理を実施してから（ステップＳＴ４）、変換係数処理部２が、ステップＳＴ２と同様の処理を実施する（ステップＳＴ５）。
これにより、ユーザにより設定された帯域分割レベル数に達するまで、ステップＳＴ４，ＳＴ５の処理が繰り返し実施されることから、サブバンドの分割が行われながら、各レベルのＨＬ成分、ＬＨ成分及びＨＨ成分内の全ての変換係数のプレフィルタ処理が行われる。
この実施の形態１では、例えば、図７に示すオクターブ分割（分解）などと呼ばれる構造で、直交変換部１がサブバンドの分割を行うものとする。ただし、分割レベル数は１以上であれば、いくつでもよい。

逆直交変換部３は、各レベルのＨＬ成分、ＬＨ成分及びＨＨ成分内の全ての変換係数のプレフィルタ処理が終了すると、図３に示すような、変換係数処理部２によるプレフィルタ処理後の帯域Ａ〜帯域Ｄの帯域成分画像内の変換係数を再配列した後、変換係数を逆直交変換（１レベルの２次元の逆ウェーブレット変換）するという処理を上位の分割レベルから順々に行っていくことで、フィルタ処理された変換係数を画像信号に戻し、その画像信号からなるプレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を出力する（ステップＳＴ６）。

以上で明らかなように、この実施の形態１によれば、入力画像の画像信号を直交変換し、その直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像を生成する直交変換部１と、入力画像又は直交変換部１により生成された帯域成分画像の局所的な視覚特性に応じて、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施する変換係数処理部２とを設け、逆直交変換部３が変換係数処理部２によるプレフィルタ処理後の変換係数を逆直交変換することで、その変換係数を画像信号に戻すように構成したので、画像の精細感を高精度に保持しながら、符号化処理に起因するノイズを十分に抑制することができる効果を奏する。
即ち、この実施の形態１によれば、画像の複雑度やエッジ強度Ｓだけでなく、エッジ角度θも考慮したプレフィルタ処理が行われるため、画像の精細感を高精度に保持したまま、ノイズ等の高周波成分を抑制することができる効果を奏する。

実施の形態２．
図８はこの発明の実施の形態２による画像符号化装置を示す構成図である。
図８において、プレフィルタ処理部１１は入力画像に対するプレフィルタ処理を行う図１の画像プレフィルタ装置であり、プレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を符号化部１２に出力する処理を実施する。
符号化部１２はプレフィルタ処理部１１から出力されたプレフィルタ処理済み画像に対する符号化処理（例えば、予測、変換、量子化、エントロピー符号化などの処理）を実施して、所定の規則（シンタックス）に対応している符号化ビットストリームを送信バッファ１３に出力する処理を実施する。なお、符号化部１２は符号化手段を構成している。

送信バッファ１３は符号化部１２から出力された符号化ビットストリームを一時的に蓄積し、画像符号化装置が接続されている伝送路の帯域や記録媒体の読み出し速度に合わせて、その符号化ビットストリームを平滑化してビデオストリームとして出力する処理を実施する。
また、送信バッファ１３は符号化ビットストリームの蓄積状況を示すフィードバック情報を符号化制御部１４に出力する処理も実施する。
なお、送信バッファ１３はバッファリング手段を構成している。

符号化制御部１４は送信バッファ１３から出力されるフィードバック情報を参照して、送信バッファ１３における符号化ビットストリームの蓄積状況を監視し、その符号化ビットストリームの蓄積状況に応じて、符号化部１２により生成される符号化ビットストリームの符号量を制御するとともに、プレフィルタ処理部１１の変換係数処理部２によるプレフィルタ処理を制御する処理を実施する。なお、符号化制御部１４は符号化制御手段を構成している。

図８では、画像符号化装置の構成要素であるプレフィルタ処理部１１、符号化部１２、送信バッファ１３及び符号化制御部１４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、プレフィルタ処理部１１、符号化部１２、送信バッファ１３及び符号化制御部１４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に動作について説明する。
プレフィルタ処理部１１は、図１の画像プレフィルタ装置であり、入力画像が与えられると、上記実施の形態１と同様にして、その入力画像に対するプレフィルタ処理を実施し、プレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を符号化部１２に出力する。
ただし、プレフィルタ処理部１１の変換係数処理部２は、詳細は後述するが、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施する際、そのプレフィルタ処理が符号化制御部１４から出力されるプレフィルタ強度制御情報によって制御される。

符号化部１２は、プレフィルタ処理部１１からプレフィルタ処理済み画像を受けると、符号化制御部１４から出力される符号化制御信号にしたがって、そのプレフィルタ処理済み画像に対する符号化処理（例えば、予測、変換、量子化、エントロピー符号化などの処理）を実施して、所定の規則（シンタックス）に対応している符号化ビットストリームを送信バッファ１３に出力する。

送信バッファ１３は、符号化部１２から出力された符号化ビットストリームを一時的に蓄積し、画像符号化装置が接続されている伝送路の帯域や記録媒体の読み出し速度に合わせて、その符号化ビットストリームを平滑化してビデオストリームとして、画像符号化装置が接続されている伝送路や記録媒体に出力する。
また、送信バッファ１３は、符号化ビットストリームの蓄積状況を示すフィードバック情報を符号化制御部１４に出力する。

符号化制御部１４は、送信バッファ１３から出力されるフィードバック情報を参照して、送信バッファ１３における符号化ビットストリームの蓄積状況を監視する。
符号化制御部１４は、送信バッファ１３における符号化ビットストリームの蓄積状況に応じて、符号化部１２により生成される符号化ビットストリームの符号量を制御するとともに、プレフィルタ処理部１１の変換係数処理部２によるプレフィルタ処理を制御する。

即ち、符号化制御部１４は、例えば、送信バッファ１３により蓄積されている符号化ビットストリームの符号量が多くなり、符号化部１２により生成される符号化ビットストリームの符号量を減らす必要がある場合、符号量の減少を指示する符号化制御信号を符号化部１２に出力する。
一方、送信バッファ１３により蓄積されている符号化ビットストリームの符号量が少なくなり、符号化部１２により生成される符号化ビットストリームの符号量を増やす必要がある場合、符号量の増加を指示する符号化制御信号を符号化部１２に出力する。
これにより、符号化部１２により生成される符号化ビットストリームの符号量を制御することができるが、プレフィルタ処理部１１の変換係数処理部２によるプレフィルタ処理を制御することでも、符号化部１２により生成される符号化ビットストリームの符号量を制御することができる。

具体的には、符号化制御部１４は、例えば、送信バッファ１３により蓄積されている符号化ビットストリームの符号量が多くなり、符号化部１２により生成される符号化ビットストリームの符号量を減らす必要がある場合、フィルタ強度の強化指令を示すプレフィルタ強度制御信号をプレフィルタ処理部１１に出力する。
プレフィルタ処理部１１の変換係数処理部２は、符号化制御部１４からフィルタ強度の強化指令を示すプレフィルタ強度制御信号を受けると、プレフィルタ処理を実施する際、帯域成分画像内の変換係数のフィルタ強度を強くする。
例えば、プレフィルタ処理部１１が、上述した式（６）のフィルタ係数Ｆ（ｄ，ｐ，Ｖ，Ｓ，θ）を変換係数に乗算することで、その変換係数のプレフィルタ処理を実施する場合、パラメータｍを大きくするほど、フィルタ強度が強くなり、プレフィルタ処理による画像信号情報の削減量が増加するため、符号化部１２により生成される符号化ビットストリームの符号量を減らすことができる。

一方、送信バッファ１３により蓄積されている符号化ビットストリームの符号量が少なくなり、符号化部１２により生成される符号化ビットストリームの符号量を増やす必要がある場合、符号化制御部１４は、フィルタ強度の弱化指令を示すプレフィルタ強度制御信号をプレフィルタ処理部１１に出力する。
プレフィルタ処理部１１の変換係数処理部２は、符号化制御部１４からフィルタ強度の弱化指令を示すプレフィルタ強度制御信号を受けると、プレフィルタ処理を実施する際、帯域成分画像内の変換係数のフィルタ強度を弱くする。
例えば、プレフィルタ処理部１１が、式（６）のフィルタ係数Ｆ（ｄ，ｐ，Ｖ，Ｓ，θ）を変換係数に乗算することで、その変換係数のプレフィルタ処理を実施する場合、パラメータｍを小さくするほど、フィルタ強度が弱くなり、プレフィルタ処理による画像信号情報の削減量が減少するため、符号化部１２により生成される符号化ビットストリームの符号量を増やすことができる。

なお、符号化制御部１４がプレフィルタ強度制御信号をフレーム単位でプレフィルタ処理部１１に出力するようにしてもよいが、プレフィルタ強度制御信号を変換係数毎にプレフィルタ処理部１１に出力するようにしてもよい。この場合、局所的な画像の構造に応じた細かい制御を実現することができる。

以上で明らかなように、この実施の形態１によれば、符号化制御部１４が送信バッファ１３における符号化ビットストリームの蓄積状況に応じて、プレフィルタ処理部１１の変換係数処理部２によるプレフィルタ処理を制御するように構成したので、柔軟な符号化制御を実現することができる効果を奏する。
即ち、この実施の形態１によれば、符号化制御部１４が送信バッファ１３における符号化ビットストリームの蓄積状況に応じて、符号化部１２を直接制御することで、符号化ビットストリームの符号量を調整することができるほか、符号化部１２の制御と独立して、プレフィルタ処理部１１の変換係数処理部２によるプレフィルタ処理を制御することでも、符号化ビットストリームの符号量を調整することができるため、画像符号化装置全体として、柔軟な符号化制御を実現することができる。

実施の形態３．
図９はこの発明の実施の形態３による画像符号化装置を示す構成図であり、図において、図８と同一符号は同一又は相当部分を示すので説明を省略する。
プレフィルタ処理部１５は入力画像に対するプレフィルタ処理を行う図１の画像プレフィルタ装置であり、プレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を符号化部１２に出力する処理を実施する。
ただし、プレフィルタ処理部１５は図８のプレフィルタ処理部１１と異なり、変換係数処理部２により変化されたフィルタ強度を示すプレフィルタ情報（例えば、式（６）のフィルタ係数）を符号化制御部１６に出力する処理を実施する。
なお、プレフィルタ処理部１５は図８のプレフィルタ処理部１１のように、符号化制御部１６からプレフィルタ強度制御信号を受けていないが、符号化制御部１６からプレフィルタ強度制御信号を受けるように構成すれば、上記実施の形態２と同様に、変換係数処理部２によるプレフィルタ処理を制御することができる。

符号化制御部１６は送信バッファ１３から出力されるフィードバック情報を参照して、送信バッファ１３における符号化ビットストリームの蓄積状況を監視し、その符号化ビットストリームの蓄積状況とプレフィルタ処理部１５から出力されるプレフィルタ情報が示すフィルタ強度に応じて、符号化部１２により生成される符号化ビットストリームの符号量を制御する処理を実施する。なお、符号化制御部１６は符号化制御手段を構成している。

図９では、画像符号化装置の構成要素であるプレフィルタ処理部１５、符号化部１２、送信バッファ１３及び符号化制御部１６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、プレフィルタ処理部１５、符号化部１２、送信バッファ１３及び符号化制御部１６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に動作について説明する。
プレフィルタ処理部１５は、図１の画像プレフィルタ装置であり、入力画像が与えられると、上記実施の形態１と同様にして、その入力画像に対するプレフィルタ処理を実施し、プレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を符号化部１２に出力する。
また、プレフィルタ処理部１５の変換係数処理部２は、入力画像に対するプレフィルタ処理を実施すると、変化後のフィルタ強度を示すプレフィルタ情報を符号化制御部１６に出力する。

符号化制御部１６は、送信バッファ１３から出力されるフィードバック情報を参照して、送信バッファ１３における符号化ビットストリームの蓄積状況を監視する。
また、符号化制御部１６は、プレフィルタ処理部１５から出力されるプレフィルタ情報を参照して、変換係数処理部２により変化されたフィルタ強度を認識する。
符号化制御部１６は、送信バッファ１３における符号化ビットストリームの蓄積状況と変換係数処理部２により変化されたフィルタ強度に応じて、符号化部１２により生成される符号化ビットストリームの符号量を制御する。

具体的には、以下のようにして、符号化制御部１６が符号化部１２により生成される符号化ビットストリームの符号量を制御する。
プレフィルタ処理部１５によるプレフィルタ処理のフィルタ強度が強い領域ほど、元々の入力画像から多くの画像信号の情報が削減されている。
一方、フィルタ強度が弱い領域ほど、元々の入力画像から削減されている画像信号の情報が少ない。
そこで、プレフィルタ処理部１５の変換係数処理部２は、少なくとも１×１画素からなる局所領域毎に、変化後のフィルタ強度を示すプレフィルタ情報を符号化制御部１６に出力する。

符号化制御部１６は、プレフィルタ処理部１５の変換係数処理部２から出力されたプレフィルタ情報を参照して、変換係数処理部２により変化されたフィルタ強度を認識する。
符号化制御部１６は、変換係数処理部２により変化されたフィルタ強度を認識すると、例えば、フィルタ強度が強い局所領域ほど、符号化時の量子化ステップサイズを大きく設定する旨を示す符号化制御信号を符号化部１２に出力し、逆に、フィルタ強度が弱い局所領域ほど、符号化時の量子化ステップサイズを小さく設定する旨を示す符号化制御信号を符号化部１２に出力する。
これにより、符号化部１２によるプレフィルタ処理済み画像の符号化処理は、プレフィルタ処理部１５のプレフィルタ処理結果に応じた適応的な符号量制御で行われることになる。

以上で明らかなように、この実施の形態３によれば、符号化制御部１６が符号化部１２により生成される符号化データの符号量を制御する際、プレフィルタ処理部１５の変換係数処理部２により変化されたフィルタ強度を考慮して、その符号化データの符号量を制御するように構成したので、プレフィルタ処理結果に応じた適応的な符号量制御を実現することができる効果を奏する。
なお、上記実施の形態２と同様に、プレフィルタ処理部１５が符号化制御部１６からプレフィルタ強度制御信号を受けるように構成すれば、フィルタ強度を制御しながら、さらに画像の局所的な視覚特性によって変化するプレフィルタ処理結果に応じて符号化部１２の符号化を制御する高精度な符号化制御を実現することができる。

実施の形態４．
図１０はこの発明の実施の形態４による画像符号化装置を示す構成図であり、図において、図８及び図９と同一符号は同一又は相当部分を示すので説明を省略する。
プレフィルタ処理部１７は入力画像に対するプレフィルタ処理を行う図１の画像プレフィルタ装置であり、プレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を符号化部１８に出力する処理を実施する。

符号化部１８はプレフィルタ処理部１７から出力されたプレフィルタ処理済み画像に対する符号化処理（例えば、予測、変換、量子化、エントロピー符号化などの処理）を実施して、所定の規則（シンタックス）に対応している符号化ビットストリームを送信バッファ１３に出力する処理を実施する。なお、符号化部１８は符号化手段を構成している。
局所復号器１８ａは符号化部１８に搭載されており、符号化部１８から出力される符号化ビットストリームを復号して、その復号結果である再生画像（入力画像に相当する画像）をポストフィルタ係数生成部２０に出力する処理を実施する。なお、局所復号器１８ａは局所復号手段を構成している。

符号化制御部１９は送信バッファ１３から出力されるフィードバック情報を参照して、送信バッファ１３における符号化ビットストリームの蓄積状況を監視し、その符号化ビットストリームの蓄積状況に応じて、符号化部１８により生成される符号化ビットストリームの符号量を制御する処理を実施する。なお、符号化制御部１９は符号化制御手段を構成している。
図１０の例では、プレフィルタ処理部１７と符号化制御部１９間で、上記実施の形態２で示しているプレフィルタ強度制御信号や、上記実施の形態３で示しているプレフィルタ情報のやり取りを行っていないが、プレフィルタ処理部１７と符号化制御部１９が、プレフィルタ強度制御信号又はプレフィルタ情報の少なくとも一方のやり取りを行うようにしてもよい。
この場合、上記実施の形態２や上記実施の形態３と同様の効果を奏することができる。

ポストフィルタ係数生成部２０は局所復号器１８ａから出力された再生画像と入力画像を用いて、その再生画像の画質を改善するポストフィルタを設計し、そのポストフィルタに関するフィルタ情報であるポストフィルタ係数を符号化して符号化データを生成する処理を実施する。なお、ポストフィルタ係数生成部２０はポストフィルタ設計手段を構成している。

図１０では、画像符号化装置の構成要素であるプレフィルタ処理部１７、符号化部１８、送信バッファ１３、符号化制御部１９及びポストフィルタ係数生成部２０のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、プレフィルタ処理部１７、符号化部１８、送信バッファ１３、符号化制御部１９及びポストフィルタ係数生成部２０の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

図１１はこの発明の実施の形態４による画像符号化装置のポストフィルタ係数生成部２０を示す構成図である。
図１１において、領域分類部２１は局所復号器１８ａから出力された少なくとも１以上のフレームから構成されている再生画像の局所的な特徴（再生画像の局所的な分散やエッジ強度・エッジ角度などを示す情報であり、画像復号装置が把握可能な情報である）に応じて、その再生画像を少なくとも１以上の領域に分類する処理を実施する。ただし、分類数は１以上であればよく、分類数が“１”の場合には、分割を行わないことと等価である。さらに、分類された各領域は、例えば、再生画像の局所的な分散を用いて領域分類したときに分散値の小さい領域から順に領域１、領域２、領域３と決める、というように所定の順序でインデックスを振ることとする。
フィルタ設計部２２は、領域分類部２１から得られた領域分類情報（領域分類結果）を参照して分類された領域毎に、再生画像と入力画像を用いて、再生画像の画質を改善するポストフィルタを設計し、そのポストフィルタに関するフィルタ情報であるポストフィルタ係数を上記領域のインデックス順に符号化して符号化データを生成する処理を実施する。

次に動作について説明する。
プレフィルタ処理部１７は、図１の画像プレフィルタ装置であり、入力画像が与えられると、上記実施の形態１と同様にして、その入力画像に対するプレフィルタ処理を実施し、プレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を符号化部１８に出力する。

符号化部１８は、プレフィルタ処理部１７からプレフィルタ処理済み画像を受けると、符号化制御部１９から出力される符号化制御信号にしたがって、そのプレフィルタ処理済み画像に対する符号化処理（例えば、予測、変換、量子化、エントロピー符号化などの処理）を実施して、所定の規則（シンタックス）に対応している符号化ビットストリームを送信バッファ１３に出力する。
局所復号器１８ａは、符号化部１８がプレフィルタ処理済み画像に対する符号化処理を実施すると、符号化部１８から出力される符号化ビットストリームに対する復号処理（復号、逆量子化、逆変換などの処理）を実施し、その復号結果である再生画像（入力画像に相当する画像）をポストフィルタ係数生成部２０に出力する。

送信バッファ１３は、符号化部１８から出力された符号化ビットストリームを一時的に蓄積し、画像符号化装置が接続されている伝送路の帯域や記録媒体の読み出し速度に合わせて、その符号化ビットストリームを平滑化してビデオストリームとして、画像符号化装置が接続されている伝送路や記録媒体に出力する。
また、送信バッファ１３は、符号化ビットストリームの蓄積状況を示すフィードバック情報を符号化制御部１９に出力する。
符号化制御部１９は、送信バッファ１３から出力されるフィードバック情報を参照して、送信バッファ１３における符号化ビットストリームの蓄積状況を監視する。
符号化制御部１９は、送信バッファ１３における符号化ビットストリームの蓄積状況に応じて、符号化部１８により生成される符号化ビットストリームの符号量を制御する。

ポストフィルタ係数生成部２０は、局所復号器１８ａから少なくとも１以上のフレームから構成されている再生画像を受けると、その再生画像と入力画像を用いて、その再生画像の画質を改善するポストフィルタを設計し、そのポストフィルタに関するフィルタ情報であるポストフィルタ係数を符号化して符号化データを生成する。
即ち、ポストフィルタ係数生成部２０の領域分類部２１は、局所復号器１８ａから少なくとも１以上のフレームから構成されている再生画像を受けると、その再生画像の局所的な特徴（再生画像の局所的な分散やエッジ強度・エッジ角度などを示す情報であり、画像復号装置が把握可能な情報である）に応じて、その再生画像を少なくとも１以上の領域に分類する。さらに、分類された各領域は、例えば、再生画像の局所的な分散を用いて領域分類したときに分散値の小さい領域から順に領域１、領域２、領域３と決める、というように所定の順序でインデックスを振ることとする。

フィルタ設計部２２は、領域分類部２１から領域分類情報（領域分類結果）を受け取り、上記領域分類情報を参照して分類された領域毎に、再生画像と入力画像を用いて、再生画像の画質を改善するポストフィルタを設計する。
再生画像の画質を改善するポストフィルタとしては、例えば、フィルタを設計する領域内の同一フレームの入力画像と再生画像間の各画素値の差を二乗したものの和（二乗誤差和）を最小化するウィーナフィルタが挙げられる。
このウィーナフィルタは、フィルタ処理対象信号（局所復号器１８ａから出力された再生画像）の自己相関行列と、そのフィルタ処理対象信号とフィルタ処理結果の目標信号（入力画像）の相互相関行列とから得られる行列式を、ガウスの消去法などを用いて解くことで、容易に算出することができる。

フィルタ設計部２２は、領域分類部２１により分類された領域毎にポストフィルタを設計すると、そのポストフィルタのフィルタ係数を上記領域のインデックス順にエントロピー符号化し、その符号化データをポストフィルタ情報として送信バッファ１３に出力する。
これにより、送信バッファ１３から符号化ストリームと一緒にポストフィルタ情報がビデオストリームとして伝送される。

図１２はこの発明の実施の形態４による画像復号装置を示す構成図である。
図１２において、復号部３１は図１０の画像符号化装置から伝送されたビデオストリームに対する復号処理（復号、逆量子化、逆変換などの処理）を実施し、その復号結果として、再生画像とポストフィルタ情報をポストフィルタ処理部３２に出力する。なお、復号部３１は復号手段を構成している。
ポストフィルタ処理部３２は復号部３１から出力された再生画像の局所的な特徴に応じて、その再生画像を少なくとも１以上の領域に分類し、領域毎に復号部３１から出力されたポストフィルタ情報に対応するポストフィルタを用いて、ポストフィルタ処理を実施することで、ポストフィルタ処理画像を取得する。

図１２では、画像復号装置の構成要素である復号部３１及びポストフィルタ処理部３２のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、復号部３１及びポストフィルタ処理部３２の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

図１３はこの発明の実施の形態４による画像復号装置のポストフィルタ処理部３２を示す構成図である。
図１３において、領域分類部４１は図１０の画像符号化装置における領域分類部２１と同様に、復号部３１から出力された再生画像の局所的な特徴（再生画像の局所的な分散やエッジ強度・エッジ角度などを示す情報）に応じて、その再生画像を少なくとも１以上の領域に分類し、各領域にインデックスを付与する処理を実施する。なお、領域分類部４１は領域分類手段を構成している。
フィルタ処理部４２は領域を分類する単位（少なくとも１×１画素からなる局所領域）毎に、領域分類部４１により領域分類された結果（領域分類情報）を参照して当該局所領域における上記インデックスを取得し、復号部３１から出力されたポストフィルタ情報の中で上記インデックスと対応するフィルタ係数を用いて、ポストフィルタ処理を実施することで、ポストフィルタ処理画像を得る処理を実施する。ここで、領域分類部４１は領域分類部２１と同様の分類手法及びインデックス付与処理を実施し、さらに上記ポストフィルタ情報は上記領域のインデックス順に各領域のポストフィルタ係数が並んでいるため、自動的に各領域で使用するフィルタが決定される。なお、フィルタ処理部４２はポストフィルタリング手段を構成している。

次に動作について説明する。
復号部３１は、図１０の画像符号化装置から伝送されたビデオストリームを受信すると、そのビデオストリームに対する復号処理を実施し、その復号結果として、再生画像とポストフィルタ情報（図１１のフィルタ設計部２２により設計されたポストフィルタに関するポストフィルタ情報と同一の情報）をポストフィルタ処理部３２に出力する。

ポストフィルタ処理部３２の領域分類部４１は、復号部３１から再生画像を受けると、図１１の領域分類部２１と同様に、その再生画像の局所的な特徴（再生画像の局所的な分散やエッジ強度・エッジ角度などを示す情報）に応じて、その再生画像を少なくとも１以上の領域に分類し、各領域にインデックスを付与する。
ポストフィルタ処理部３２のフィルタ処理部４２は、領域分類部４１により領域分類された結果（領域分類情報）を受けて、領域を分類する単位（少なくとも１×１画素からなる局所領域）毎に当該局所領域における上記インデックスを取得し、復号部３１から出力されたポストフィルタ情報の中で上記インデックスと対応するフィルタ係数を用いて、ポストフィルタ処理を実施することで、ポストフィルタ処理画像を取得し、そのポストフィルタ処理画像を最終的に出力する。ここで、領域分類部４１は領域分類部２１と同様の分類手法及びインデックス付与処理を実施し、さらに上記ポストフィルタ情報は上記領域のインデックス順に各領域のポストフィルタ係数が並んでいるため、自動的に各領域で使用するフィルタが決定される。

以上で明らかなように、この実施の形態４によれば、局所復号器１８ａから出力された再生画像の局所的な特徴に応じて、その再生画像を少なくとも１以上の領域に分類する領域分類部２１を設け、フィルタ設計部２２が領域分類部２１により分類された領域毎に、再生画像と入力画像を用いて、その再生画像の画質を改善するポストフィルタを設計し、そのポストフィルタに関するフィルタ情報であるポストフィルタ係数を符号化して符号化データを生成するように構成したので、ポストフィルタ係数を符号化する分だけ復号側に伝送する符号量が若干増加するが、プレフィルタ処理を単独で実施する場合よりも、画像復号装置から最終的に出力される画像の画質を高めることができる効果を奏する。
なお、プレフィルタ処理により符号化の複雑度を下げれば、符号化ビットストリームの符号量を減らすことができるので、ポストフィルタ係数を符号化することに伴う符号量の増加の影響を軽減することができ、プレフィルタ処理とポストフィルタ処理を連動させることで、画像符号化装置全体の性能を大きく改善することができる。

また、この実施の形態４によれば、画像符号化装置から伝送されたビデオストリームに対する復号処理を実施し、その復号結果として、再生画像とポストフィルタ情報を出力する復号部３１を設け、ポストフィルタ処理部３２が復号部３１から出力された再生画像の局所的な特徴に応じて、その再生画像を少なくとも１以上の領域に分類し、領域毎に復号部３１から出力されたポストフィルタ情報に対応するポストフィルタを用いて、ポストフィルタ処理を実施するように構成したので、高画質のポストフィルタ処理画像が得られる効果を奏する。

実施の形態５．
上記実施の形態４では、画像符号化装置のポストフィルタ係数生成部２０における領域分類部２１が、画像復号装置が把握可能な情報である再生画像の局所的な特徴に応じて、その再生画像を少なくとも１以上の領域に分類するものについて示したが、画像復号装置側では知り得ない情報である入力画像を考慮して、その再生画像を少なくとも１以上の領域に分類するようにしてもよい。

図１４はこの発明の実施の形態５による画像符号化装置のポストフィルタ係数生成部２０を示す構成図であり、図において、図１１と同一符号は同一又は相当部分を示すので説明を省略する。
領域分類部２３は局所復号器１８ａから出力された少なくとも１以上のフレームから構成されている再生画像及び入力画像の局所的な特徴に応じて、その再生画像を少なくとも１以上の領域に分類する処理を実施する。

また、図１５はこの発明の実施の形態５による画像符号化装置のポストフィルタ係数生成部２０を示す構成図であり、図において、図１１と同一符号は同一又は相当部分を示すので説明を省略する。
領域分類部２４は図１４の領域分類部２３と同様に、局所復号器１８ａから出力された少なくとも１以上のフレームから構成されている再生画像及び入力画像の局所的な特徴に応じて、その再生画像を少なくとも１以上の領域に分類する処理を実施する。
また、領域分類部２４はフィルタ設計部２２が領域毎にポストフィルタを設計すると、そのポストフィルタを用いて再度上記再生画像を領域分類し直す処理を実施する。具体的には、フィルタ設計部２２で設計した複数のポストフィルタの中から、最も入力画像と再生画像との間の誤差が小さくなるフィルタを少なくとも１×１画素からなる局所領域毎に選択し、同一のフィルタが選択された局所領域群を同一の領域とする。そして、フィルタ設計部２２は新しく分類された領域毎にポストフィルタを再設計する。
図１５のポストフィルタ係数生成部２０は、上記のように領域分類部２４とフィルタ設計部２２が処理を繰り返し実施することで、入力画像と再生画像との間の誤差が最小となる領域分類及びポストフィルタを採用することができる。

図１４又は図１５のポストフィルタ係数生成部２０を用いれば、図１１のポストフィルタ係数生成部２０を用いる場合よりも、領域分類の分類精度を高めることができるため、より適正なポストフィルタを設計することができる。
しかし、図１４又は図１５のポストフィルタ係数生成部２０を用いる場合、領域分類部２３，２４は領域分類部２１と同様に分類された各領域にインデックスを付与するものとし、ポストフィルタ情報としてポストフィルタ係数を上記インデックス順にエントロピー符号化して伝送する他に、領域分類部２３，２４による領域分類状況を示す領域分類情報をエントロピー符号化して伝送する必要がある。具体的には、領域分類情報は領域分類を行う単位（サイズ）情報と上記領域分類を行う単位毎の上記領域のインデックス情報から構成されているものである。
この場合、送信バッファ１３から符号化ストリームと一緒にポストフィルタ情報（ポストフィルタ係数、領域分類情報）がビデオストリームとして伝送される。

図１６はこの発明の実施の形態５による画像復号装置のポストフィルタ処理部３２を示す構成図であり、図において、図１３と同一符号は同一又は相当部分を示すので説明を省略する。
フィルタ処理部４３はポストフィルタ情報（ポストフィルタ係数、領域分類情報）に含まれている領域分類情報から、まず領域分類を行う単位（サイズ）情報を取得し、上記領域分類を行う単位毎に、上記領域分類情報により得られる領域のインデックスを参照して、上記ポストフィルタ係数の中から、参照したインデックスに属するポストフィルタ係数を用いてポストフィルタ処理を実施することで、ポストフィルタ処理画像を得る処理を実施する。
ここで、上記領域分類情報は領域分類を行う単位（サイズ）情報と上記領域分類を行う単位毎の領域のインデックス情報から構成されており、各領域のポストフィルタ係数はポストフィルタ情報の中で、上記領域のインデックス順に並んでいるため、自動的に各領域で用いるフィルタが決定する。なお、フィルタ処理部４３はポストフィルタリング手段を構成している。

次に動作について説明する。
復号部３１は、画像符号化装置から伝送されたビデオストリームを受信すると、そのビデオストリームに対する復号処理を実施し、その復号結果として、再生画像とポストフィルタ情報（ポストフィルタ係数、領域分類情報）をポストフィルタ処理部３２に出力する。

ポストフィルタ処理部３２のフィルタ処理部４３は、復号部３１から再生画像とポストフィルタ情報（ポストフィルタ係数、領域分類情報）を受けると、まず上記領域分類情報から領域分類を行う単位（サイズ）情報を受け取った後、上記領域分類を行う単位毎に上記領域分類情報により得られる領域のインデックスを参照して、上記ポストフィルタ係数の中から、参照したインデックスに属するポストフィルタ係数を用いてポストフィルタ処理を実施することで、ポストフィルタ処理画像を取得し、そのポストフィルタ処理画像を最終的に出力する。
ここで、上記領域分類情報は領域分類を行う単位（サイズ）情報と上記領域分類を行う単位毎の領域のインデックス情報から構成されており、各領域のポストフィルタ係数はポストフィルタ情報の中で、上記領域のインデックス順に並んでいるため、自動的に各領域で用いるフィルタが決定する。なお、フィルタ処理部４３はポストフィルタリング手段を構成している。

以上で明らかなように、この実施の形態５によれば、画像符号化装置のポストフィルタ係数生成部２０における領域分類部２３，２４が、画像復号装置側では知り得ない情報である入力画像を考慮して、再生画像を少なくとも１以上の領域に分類するように構成したので、領域の分類精度が高まり、その結果、画像復号装置から最終的に出力される画像の画質を高めることができる効果を奏する。

また、この実施の形態５によれば、復号部３１から出力されたポストフィルタ情報（ポストフィルタ係数、領域分類情報）に含まれている領域分類情報が示す領域の分類状況にしたがって、復号部３１から出力された再生画像をポストフィルタ処理するように構成したので、符号化装置側で最適な分類状況を生成できるようになり、その結果、ポストフィルタ処理画像の画質を高めることができる効果を奏する。

実施の形態６．
図１７はこの発明の実施の形態６による画像符号化装置を示す構成図であり、図において、図１０と同一符号は同一又は相当部分を示すので説明を省略する。
ポストフィルタ係数生成部２５は図１０のポストフィルタ係数生成部２０と同様に、局所復号器１８ａから出力された再生画像と入力画像を用いて、その再生画像の画質を改善するポストフィルタを設計し、そのポストフィルタに関するフィルタ情報であるポストフィルタ係数を符号化して符号化データを生成する処理を実施する。
ただし、ポストフィルタ係数生成部２５の領域分類部２１（または、２３，２４）は、図１０のポストフィルタ係数生成部２０の領域分類部２１（または、２３，２４）と異なり、局所復号器１８ａから出力された再生画像を分類する際、プレフィルタ処理部１７から出力されるプレフィルタ情報が示すフィルタ強度を考慮して、再生画像を少なくとも１以上の領域に分類する。
なお、ポストフィルタ係数生成部２５はポストフィルタ設計手段を構成している。

図１７では、画像符号化装置の構成要素であるプレフィルタ処理部１７、符号化部１８、送信バッファ１３、符号化制御部１９及びポストフィルタ係数生成部２５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、プレフィルタ処理部１７、符号化部１８、送信バッファ１３、符号化制御部１９及びポストフィルタ係数生成部２５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

この実施の形態６では、ポストフィルタ係数生成部２５の領域分類部２１（または、２３，２４）が、局所復号器１８ａから出力された再生画像を分類する際、プレフィルタ処理部１７から出力されるプレフィルタ情報が示すフィルタ強度を考慮して、再生画像を少なくとも１以上の領域に分類する（例えば、フィルタ強度に応じて領域分類する）点で、上記実施の形態４，５と相違している。
この場合も、送信バッファ１３から符号化ストリームと一緒にポストフィルタ情報（ポストフィルタ係数、領域分類情報）がビデオストリームとして伝送される。

以上で明らかなように、この実施の形態６によれば、局所復号器１８ａから出力された再生画像を分類する際、プレフィルタ処理部１７から出力されるプレフィルタ情報が示すフィルタ強度を考慮して、再生画像を少なくとも１以上の領域に分類するように構成したので、領域の分類精度が高まり、その結果、画像復号装置から最終的に出力される画像の画質を高めることができる効果を奏する。

実施の形態７．
図１８はこの発明の実施の形態７による画像符号化装置を示す構成図であり、図において、図１０と同一符号は同一又は相当部分を示すので説明を省略する。
ポストフィルタ選択部２６は予め複数のポストフィルタを用意しており、局所領域（少なくとも１×１画素からなる領域）毎に上記複数のポストフィルタの中から各局所領域に適するポストフィルタを選択し、そのポストフィルタに関するフィルタ情報として、そのポストフィルタの局所領域毎の選択情報を符号化して符号化データを生成する処理を実施する。なお、ポストフィルタ選択部２６はポストフィルタ選択手段を構成している。

図１８では、画像符号化装置の構成要素であるプレフィルタ処理部１７、符号化部１８、送信バッファ１３、符号化制御部１９及びポストフィルタ選択部２６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、プレフィルタ処理部１７、符号化部１８、送信バッファ１３、符号化制御部１９及びポストフィルタ選択部２６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に動作について説明する。
ポストフィルタ選択部２６は、局所復号器１８ａから再生画像を受けると、局所領域（少なくとも１×１画素からなる領域）毎に、複数のポストフィルタの中から局所領域内の入力画像とフィルタ処理後の再生画像との間の誤差の二乗和又は絶対値和が最小となるポストフィルタを選択する。
あるいは、複数のポストフィルタの中から、プレフィルタ処理部１７から出力されるプレフィルタ情報が示すフィルタ強度に応じてポストフィルタを選択するようにしてもよい（図１９を参照）。

ポストフィルタ選択部２６は、局所領域毎にポストフィルタを選択すると、そのポストフィルタの選択情報をエントロピー符号化し、その符号化データをポストフィルタ情報として送信バッファ１３に出力する。
これにより、送信バッファ１３から符号化ストリームと一緒にポストフィルタ情報がビデオストリームとして伝送される。
なお、上記局所領域のサイズについては、予め決めた固定値でもよいし、上記ポストフィルタの選択情報と一緒に符号化するパラメータ（可変値）としてもよい。

図２０はこの発明の実施の形態７による画像復号装置のポストフィルタ処理部３２を示す構成図である。
図２０において、ポストフィルタ格納部４４は複数のポストフィルタを格納しているメモリである。
フィルタ処理部４５はフィルタの選択単位である局所領域（少なくとも１×１画素からなる領域）毎に、ポストフィルタ情報であるフィルタ選択情報を参照してポストフィルタ格納部４４に格納された複数のポストフィルタから該当するフィルタを取得し、上記フィルタを用いてポストフィルタ処理を実施することで、ポストフィルタ処理画像を得る処理を実施する。
なお、ポストフィルタ格納部４４及びフィルタ処理部４５からポストフィルタリング手段が構成されている。

次に動作について説明する。
復号部３１は、図１８又は図１９の画像符号化装置から伝送されたビデオストリームを受信すると、そのビデオストリームに対する復号処理を実施し、その復号結果として、再生画像とポストフィルタ情報（ポストフィルタの選択情報）をポストフィルタ処理部３２に出力する。

ポストフィルタ処理部３２のフィルタ処理部４５は、復号部３１からポストフィルタ情報であるフィルタ選択情報を受け取り、フィルタの選択単位である局所領域（少なくとも１×１画素からなる領域）毎に、上記フィルタ選択情報を参照してポストフィルタ格納部４４に格納された複数のポストフィルタから該当するフィルタを取得し、上記フィルタを用いてポストフィルタ処理を実施することで、ポストフィルタ処理画像を取得し、そのポストフィルタ処理画像を最終的に出力する。
なお、フィルタの選択単位である局所領域（少なくとも１×１画素からなる領域）のサイズは、符号化装置と復号装置で共通とした予め決めた固定値でもよいし、ポストフィルタの選択情報と一緒にビデオストリームとして符号化データを受け取り、復号部３１が復号するパラメータ（可変値）としてもよい。

以上で明らかなように、この実施の形態７によれば、ポストフィルタ選択部２６が、局所領域毎に予め用意している複数のポストフィルタの中から最適なポストフィルタを選択し、そのポストフィルタに関するポストフィルタ情報として、上記局所領域毎のポストフィルタ選択情報を符号化して伝送するように構成したので、ポストフィルタに関するポストフィルタ情報として、ポストフィルタ係数の符号化データを伝送することなく、画像復号装置側で適正なポストフィルタを選択することができるようになり、その結果、伝送する符号量を抑制することができる効果を奏する。

実施の形態８．
図２１はこの発明の実施の形態８による画像符号化装置を示す構成図であり、図において、図８と同一符号は同一又は相当部分を示すので説明を省略する。
フィルタ処理結果格納部２７はプレフィルタ処理部２８による過去のプレフィルタ処理の結果（現フレームの直前の符号化済みフレーム、あるいは、複数の符号化済みフレームに対するプレフィルタ処理の結果）として、プレフィルタ処理を行う際に用いたフィルタ強度を示すプレフィルタ情報を格納するメモリである。

プレフィルタ処理部２８は入力画像に対するプレフィルタ処理を行う図１の画像プレフィルタ装置であり、プレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を符号化部１２に出力する処理を実施する。
ただし、プレフィルタ処理部２８はプレフィルタ処理を実施する際、フィルタ処理結果格納部２７により格納されている符号化済みフレームに対するプレフィルタ処理の結果を参照して、帯域成分画像内の変換係数のフィルタ強度を変化させるようにする。

図２１の例では、プレフィルタ処理部２８と符号化制御部１４間で、上記実施の形態２で示しているプレフィルタ強度制御信号や、上記実施の形態３で示しているプレフィルタ情報のやり取りを行っていないが、プレフィルタ処理部２８と符号化制御部１４が、プレフィルタ強度制御信号又はプレフィルタ情報の少なくとも一方のやり取りを行うようにしてもよい。
この場合、上記実施の形態２や上記実施の形態３と同様の効果を奏することができる。

図２１では、画像符号化装置の構成要素であるフィルタ処理結果格納部２７、プレフィルタ処理部２８、符号化部１２、送信バッファ１３及び符号化制御部１４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコン）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、フィルタ処理結果格納部２７、プレフィルタ処理部２８、符号化部１２、送信バッファ１３及び符号化制御部１４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。

次に動作について説明する。
プレフィルタ処理部２８は、図１の画像プレフィルタ装置であり、入力画像が与えられると、上記実施の形態１と同様にして、その入力画像に対するプレフィルタ処理を実施し、プレフィルタ処理済み画像（プレフィルタ処理後の入力画像）を符号化部１２に出力する。
ただし、プレフィルタ処理部２８の変換係数処理部２は、帯域成分画像内の変換係数のフィルタ強度を対象変換係数の局所的な視覚特性に応じて変化させるプレフィルタ処理を実施する際、フィルタ処理結果格納部２７により格納されている符号化済みフレームに対するプレフィルタ処理の結果を参照して、帯域成分画像内の変換係数のフィルタ強度を変化させるようにする。

即ち、プレフィルタ処理部２８は、帯域成分画像内の変換係数のフィルタ強度を対象変換係数の局所的な視覚特性に応じて変化させるプレフィルタ処理を実施する際、同一画素位置におけるフィルタ強度の時間的な変化に伴う主観画質の劣化を低減するために、現フレームである入力画像と符号化済みフレームにおけるフィルタ強度の差が所定の閾値より大きくならないように、フレーム間のフィルタ強度の変化を抑制する（現フレームにおけるプレフィルタが取り得るフィルタ強度に制限をかける）。
具体的には、フィルタ処理対象画素において、フィルタ処理結果格納部２７により格納されている符号化済みフレームにおけるプレフィルタのフィルタ強度（プレフィルタ情報）と動きベクトルから、現フレームである入力画像と直前の符号化済みフレーム間の動き量を検出し、動き量が小さい領域ほど、閾値を小さな値に設定することで、フレーム間のフィルタ強度の変化を抑制して、画素値の時間的な変化を減少させる。

なお、動きベクトルの検出方法としては、例えば、符号化部１２が実施する動き補償と同様の動き補償を実施することで、実際に一つ前のフレームからの小領域毎の動きベクトルを算出する手法がある。
ただし、これ以外の手法であっても、プレフィルタ処理対象フレームの動きを算出する手法又は動きを予測する手法であれば、どのようなものでもよい。

以上で明らかなように、この実施の形態８によれば、プレフィルタ処理部２８がプレフィルタ処理を実施する際、フィルタ処理結果格納部２７により格納されている符号化済みフレームに対するプレフィルタ処理の結果を参照して、現フレームである入力画像と符号化済みフレームにおけるフィルタ強度の差が所定の閾値より大きくならないように、フレーム間のフィルタ強度の変化を抑制し、さらに画素値の時間的変化に伴う主観画質の劣化が検知されやすい動き量の小さい領域ほど、上記閾値を小さな値に設定するように構成したので、同一画素位置におけるフィルタ強度の時間的な変化に伴う主観画質の劣化を低減することができる効果を奏する。

１ 直交変換部（帯域成分画像生成手段）、２ 変換係数処理部（フィルタリング手段）、３ 逆直交変換部（逆直交変換手段）、１１，１５，１７，２８ プレフィルタ処理部（画像プレフィルタ装置）、１２，１８ 符号化部（符号化手段）、１３ 送信バッファ（バッファリング手段）、１４，１６，１９ 符号化制御部（符号化制御手段）、１８ａ 局所復号器（局所復号手段）、２０，２５ ポストフィルタ係数生成部（ポストフィルタ設計手段）、２１，２３，２４ 領域分類部、２２ フィルタ設計部、２６ ポストフィルタ選択部（ポストフィルタ選択手段）、２７ フィルタ処理結果格納部（メモリ）、３１ 復号部（復号手段）、３２ ポストフィルタ処理部、４１ 領域分類部（領域分類手段）、４２，４３，４５ フィルタ処理部（ポストフィルタリング手段）、４４ ポストフィルタ格納部（領域分類手段）、１０１ プレフィルタ処理部、１０２ 符号化部、１０３ 送信バッファ、１０４ 符号化制御部。

Claims (22)

1. 入力画像の画像信号を直交変換し、上記直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像を生成する帯域成分画像生成手段と、上記入力画像又は上記帯域成分画像生成手段により生成された帯域成分画像の局所的な視覚特性に応じて、上記帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施するフィルタリング手段と、上記フィルタリング手段によるプレフィルタ処理後の変換係数を逆直交変換することで、上記変換係数を画像信号に戻す逆直交変換手段とを備えた画像プレフィルタ装置。
2. フィルタリング手段は、入力画像又は帯域成分画像の局所的な視覚特性として、上記入力画像又は上記帯域成分画像の局所的な構造と空間周波数特性を用いることを特徴とする請求項１記載の画像プレフィルタ装置。
3. フィルタリング手段は、入力画像又は帯域成分画像の局所的な構造として、上記入力画像又は上記帯域成分画像における画像信号の局所的なばらつき度、エッジの強度及びエッジの角度を用いることを特徴とする請求項２記載の画像プレフィルタ装置。
4. フィルタリング手段は、入力画像又は帯域成分画像における画像信号の局所的なばらつき度として、上記画像信号の分散値を用いることを特徴とする請求項３記載の画像プレフィルタ装置。
5. フィルタリング手段は、入力画像内の画素又は帯域成分画像における低周波成分内の変換係数に対して任意のエッジ検出フィルタを水平方向及び垂直方向に施し、上記エッジ検出フィルタの出力信号を用いて、エッジの強度及びエッジの角度を算出することを特徴とする請求項３または請求項４記載の画像プレフィルタ装置。
6. フィルタリング手段は、帯域成分画像における高周波成分内の変換係数を用いて、エッジの強度及びエッジの角度を算出することを特徴とする請求項３または請求項４記載の画像プレフィルタ装置。
7. フィルタリング手段は、入力画像又は帯域成分画像の空間周波数特性として、上記入力画像の空間周波数又は上記帯域成分画像が持つ帯域成分に対する人間の視覚感度を表す特性を用いることを特徴とする請求項２から請求項６のうちのいずれか１項記載の画像プレフィルタ装置。
8. 帯域成分画像生成手段が画像信号の直交変換として、２次元ウェーブレット変換を実施し、逆直交変換手段が変換係数の逆直交変換として、２次元逆ウェーブレット変換を実施することを特徴とする請求項１から請求項７のうちのいずれか１項記載の画像プレフィルタ装置。
9. 入力画像に対するプレフィルタ処理を行う画像プレフィルタ装置と、上記画像プレフィルタ装置によるプレフィルタ処理後の入力画像を符号化して符号化データを生成する符号化手段とを備えた画像符号化装置において、
   上記画像プレフィルタ装置は、上記入力画像の画像信号を直交変換し、上記直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像を生成する帯域成分画像生成手段と、上記入力画像又は上記帯域成分画像生成手段により生成された帯域成分画像の局所的な視覚特性に応じて、上記帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施するフィルタリング手段と、上記フィルタリング手段によるプレフィルタ処理後の変換係数を逆直交変換することで、上記変換係数を画像信号に戻す逆直交変換手段とから構成されていることを特徴とする画像符号化装置。
10. 入力画像に対するプレフィルタ処理を行う画像プレフィルタ装置と、上記画像プレフィルタ装置によるプレフィルタ処理後の入力画像を符号化して符号化データを生成する符号化手段と、上記符号化手段により生成された符号化データを一時的に蓄えるバッファリング手段と、上記バッファリング手段における符号化データの蓄積状況に応じて、上記符号化手段により生成される符号化データの符号量を制御する符号化制御手段とを備えた画像符号化装置において、
    上記画像プレフィルタ装置は、上記入力画像の画像信号を直交変換し、上記直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像を生成する帯域成分画像生成手段と、上記入力画像又は上記帯域成分画像生成手段により生成された帯域成分画像の局所的な視覚特性に応じて、上記帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施するフィルタリング手段と、上記フィルタリング手段によるプレフィルタ処理後の変換係数を逆直交変換することで、上記変換係数を画像信号に戻す逆直交変換手段とから構成されており、
    上記符号化制御手段は、上記バッファリング手段における符号化データの蓄積状況に応じて、上記フィルタリング手段によるプレフィルタ処理を制御することを特徴とする画像符号化装置。
11. 入力画像に対するプレフィルタ処理を行う画像プレフィルタ装置と、上記画像プレフィルタ装置によるプレフィルタ処理後の入力画像を符号化して符号化データを生成する符号化手段と、上記符号化手段により生成された符号化データを一時的に蓄えるバッファリング手段と、上記バッファリング手段における符号化データの蓄積状況に応じて、上記符号化手段により生成される符号化データの符号量を制御する符号化制御手段とを備えた画像符号化装置において、
    上記画像プレフィルタ装置は、上記入力画像の画像信号を直交変換し、上記直交変換の変換係数を同一の周波数帯域毎に纏めて複数の帯域成分画像を生成する帯域成分画像生成手段と、上記入力画像又は上記帯域成分画像生成手段により生成された帯域成分画像の局所的な視覚特性に応じて、上記帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施するフィルタリング手段と、上記フィルタリング手段によるプレフィルタ処理後の変換係数を逆直交変換することで、上記変換係数を画像信号に戻す逆直交変換手段とから構成されており、
    上記符号化制御手段は、上記符号化手段により生成される符号化データの符号量を制御する際、上記フィルタリング手段により変化されたフィルタ強度を考慮して、上記符号化データの符号量を制御することを特徴とする画像符号化装置。
12. 符号化手段により生成された符号化データを復号して、その復号結果である再生画像を出力する局所復号手段と、上記局所復号手段から出力された再生画像と入力画像を用いて、上記再生画像の画質を改善するポストフィルタを設計し、上記ポストフィルタに関するフィルタ情報を符号化して符号化データを生成するポストフィルタ設計手段とを設けたことを特徴とする請求項９から請求項１１のうちのいずれか１項記載の画像符号化装置。
13. ポストフィルタ設計手段は、ポストフィルタに関するフィルタ情報として、上記ポストフィルタのフィルタ係数を符号化して符号化データを生成することを特徴とする請求項１２記載の画像符号化装置。
14. ポストフィルタ設計手段は、局所復号手段から出力された再生画像の局所的な特徴に応じて、上記再生画像を少なくとも１以上の領域に分類して、領域毎にポストフィルタを設計し、上記ポストフィルタに関するフィルタ情報として、領域の分類状況を示す領域分類情報を符号化して符号化データを生成することを特徴とする請求項１２または請求項１３記載の画像符号化装置。
15. ポストフィルタ設計手段は、局所復号手段から出力された再生画像を少なくとも１以上の領域に分類する際、フィルタリング手段により変化されたフィルタ強度を考慮して、上記再生画像を少なくとも１以上の領域に分類することを特徴とする請求項１４記載の画像符号化装置。
16. 符号化手段により生成された符号化データを復号して、その復号結果である再生画像を出力する局所復号手段と、予め用意している複数のポストフィルタの中から、上記局所復号手段から出力された再生画像と入力画像を用いて、上記再生画像の画質を改善するポストフィルタをポストフィルタの選択単位である少なくとも１×１画素以上の局所領域毎に選択し、上記ポストフィルタに関するフィルタ情報として、上記ポストフィルタの局所領域毎の選択情報を符号化して符号化データを生成するポストフィルタ選択手段とを設けたことを特徴とする請求項９から請求項１１のうちのいずれか１項記載の画像符号化装置。
17. フィルタリング手段は、符号化済みフレームに対するプレフィルタ処理の結果であるフィルタ強度を保存するメモリが設けられている場合、上記メモリにより保存されている符号化済みフレームに対するプレフィルタ処理の結果を参照して、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施することを特徴とする請求項９から請求項１６のうちのいずれか１項記載の画像符号化装置。
18. フィルタリング手段は、帯域成分画像内の変換係数のフィルタ強度を変化させるプレフィルタ処理を実施する際、現フレームである入力画像と符号化済みフレームにおけるフィルタ強度の差が所定の閾値より大きくならないように、フレーム間のフィルタ強度の変化を抑制することを特徴とする請求項１７記載の画像符号化装置。
19. フィルタリング手段は、少なくとも１×１画素以上の局所領域毎に、現フレームである入力画像と直前の符号化済みフレーム間の動き量を検出し、上記動き量が小さい領域ほど、閾値を小さな値に設定することを特徴とする請求項１８記載の画像符号化装置。
20. 画像符号化装置により生成された符号化データを復号して、その復号結果である再生画像とポストフィルタに関するフィルタ情報を出力する復号手段と、上記復号手段から出力された再生画像の局所的な特徴に応じて、上記再生画像を少なくとも１以上の領域に分類する領域分類手段と、上記領域分類手段により分類された領域毎に、上記復号手段から出力されたフィルタ情報に含まれている複数のポストフィルタの中から当該領域に対応するポストフィルタを用いて、ポストフィルタ処理を実施するポストフィルタリング手段とを備えた画像復号装置。
21. 画像符号化装置により生成された符号化データを復号して、その復号結果である再生画像とポストフィルタに関するフィルタ情報を出力する復号手段と、上記復号手段から出力されたフィルタ情報に含まれている領域分類情報にしたがって、上記再生画像を少なくとも１以上の領域に分類する領域分類手段と、上記領域分類手段により分類された領域毎に、上記復号手段から出力されたフィルタ情報に含まれている複数のポストフィルタの中から当該領域に対応するポストフィルタを用いて、ポストフィルタ処理を実施するポストフィルタリング手段とを備えた画像復号装置。
22. 画像符号化装置により生成された符号化データを復号して、その復号結果である再生画像とポストフィルタに関するフィルタ情報を出力する復号手段と、上記復号手段から出力されたフィルタ情報に含まれているフィルタ選択情報にしたがって、ポストフィルタの選択単位である少なくとも１×１画素以上の局所領域毎に、予め用意されている複数のポストフィルタの中から、上記ポストフィルタの選択情報が示すポストフィルタを選択して、ポストフィルタ処理を実施するポストフィルタリング手段とを備えた画像復号装置。

Images