JP2009164916A - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラムおよびそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、ブロックベースの予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理において、ブロック歪みを低減し、かつ、高域成分を保持できるようにする新たなブロック歪み低減処理技術の提供を目的とする。
【解決手段】符号化歪みへの影響の大きさに基づいて、直交変換の変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とする。このブロック歪み低減処理の適応処理により、ブロック歪みの低減と高域成分に対するoversmoothing の回避を同時に実現できるようになる。
【選択図】図１

Description

本発明は、ブロックベースの予測を行うことで画像を符号化する場合に、主観画質を劣化させないブロック歪みの低減処理を実行する画像符号化方法およびその装置と、その画像符号化技術により生成された符号化情報を復号する場合に、主観画質を劣化させないブロック歪みの低減処理を実行する画像復号方法およびその装置と、その画像符号化方法の実現に用いられる画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その画像復号方法の実現に用いられる画像復号プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

Ｈ．２６４に代表される動画像符号化方式では、ブロックベースの動き補償と離散コサイン変換（ＤＣＴ）の組合せによる符号化手法が用いられている。これは、動き補償により時間方向の冗長性を除去し、ＤＣＴにより空間方向の冗長性を除去する狙いがある。

しかしながら、ブロックベースの方式であるため、原理上、ブロック歪みの発生を内在する。つまり、低レートにおいて、量子化ステップ幅が大きくなると、隣接ブロックとの不連続性が大きくなり、ブロック境界においてブロック歪みが顕在化する。このため、ブロック歪みの低減が復号画像の画質向上には不可欠となる。

そこで、ブロック境界におけるブロック歪みを低減するためにデブロッキングフィルタが利用される。

Ｈ．２６４のデブロッキング処理（例えば、非特許文献１参照）では、まず、空間的な位置（マクロブロック境界か否か）、符号化モード（イントラ符号化されたか否か）、直交変換係数の有無、参照フレームの枚数・動きベクトルの差異等により、フィルタの強度を５通りに設定する。この強度を表すのはＢｓ値と呼ばれるパラメータであり、０，１，２，３，４のいずれかの値をとる。さらに、量子化パラメータの大小に応じて、デブロッキングフィルタの形状が設定される。
Adaptive deblocking filter, P.List，et.al., IEEE Transactions on Circuits and Systems for Video Technology, Volume 13, Issue 7, July 2003, pp.614-619

Ｈ．２６４において用いられるデブロッキングフィルタでは、ブロック境界に存在する不連続性、即ちブロック歪みを低減する一方で、同時に、ブロック境界に存在する細かいテクスチャの模様も消失させる（oversmoothing)。

このoversmoothing と呼ばれる現象は、復号画質の精細さを失わせ、主観画質を大きく劣化させる。

しかしながら、Ｈ．２６４において用いられるデブロッキングフィルタでは、このoversmoothing の発生を抑える仕組みを具備していない。

これから、従来技術に従っていると、ブロック歪みを低減する際に、ブロック境界に存在する細かいテクスチャの模様も消失させるという問題がある。

本発明はかかる事情に鑑みてなされたものであって、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理において、ブロック歪みを低減し、かつ、高域成分を保持できるようにする新たなブロック歪み低減処理技術を確立することを目的とする。

前述のoversmoothing は、各変換係数の量子化が画素領域において及ぼす影響を考慮していないことによる。

ＤＣＴ係数の場合、低域成分の量子化誤差は、ＤＣＴブロック境界近傍に大きな誤差電力を発生させ、一方、高域成分の量子化誤差は、同境界近傍には小さな誤差電力しか発生させないことが知られている。ブロック歪みの原因がブロック境界での不連続性であることを考慮すると、ブロック歪みの原因となるのは、低域成分の量子化誤差と言える。

そこで、本発明では、適応的に選択した直交変換の変換係数により得られる復号信号に対してデブロッキング処理（ブロック歪み低減処理）を実施する適応処理を導入する。

例えば、直交変換の変換係数の低域成分に対して、復号処理およびデブロッキング処理を行い、低域復号信号を得る。一方、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得る。最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とする。この適応処理により、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

次に、このことを実現する本発明の画像符号化装置および画像復号装置の構成について説明する。

［１］本発明の画像符号化装置
本発明の画像符号化装置は、ブロックベースの予測を行って予測信号を生成し、その予測信号との予測誤差を直交変換し量子化するとともに、その量子化結果を逆量子化して変換係数を得てそれを逆直交変換することで予測誤差の復号信号を生成して、その予測信号にその予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成するという構成を採るときに、（１）逆量子化により得られた変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定する特定手段と、（２）特定手段の特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第１の生成手段と、（３）特定手段の特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の生成手段と、（４）予測により生成した予測信号あるいはそれを低減させた予測信号に第１の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するフィルタ手段と、（５）第２の生成手段の生成した予測誤差の復号信号とフィルタ手段の実行により得たブロック歪み低減処理を施した復号信号とを加算する加算手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の画像符号化装置では、逆量子化により得られた変換係数の要素について、ブロック境界に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価して、規定の閾値以上の符号化歪みを示す変換係数の要素を、ブロック歪みの生成に大きな影響を与える変換係数の要素として特定する。

逆量子化により得られた変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定すると、その特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号（第１の予測誤差の復号信号）を生成するとともに、その特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号（第２の予測誤差の復号信号）を生成する。

そして、予測により生成した予測信号（それを低減させた予測信号を用いることも可能）に第１の予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するとともに、第２の予測誤差の復号信号とそのブロック歪み低減処理の実行により得たブロック歪み低減処理を施した復号信号とを加算することで、予測信号の生成に用いる復号信号を生成する。

このようにして、本発明の画像符号化装置では、符号化歪みへの影響の大きさに基づいて、直交変換の変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とするのである。

この適応処理により、本発明の画像符号化装置によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

この構成を採るときにあって、ブロック境界の各辺毎に、その辺に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価することで、特定の辺に符号化歪みが発生しているのかを判断して、特定の辺に符号化歪みが発生していることを判断する場合には、その辺について特定したブロック歪みの生成に大きな影響を与える変換係数の要素を最終的な変換係数の要素として特定することがあり、この特定処理を実行する場合には、その特定の辺のみにブロック歪み低減処理の働くブロック歪み低減処理を実行することで、一律にブロック歪み低減処理を実行することによるoversmoothing の発生を防止することができるようになる。

［２］本発明の画像復号装置
本発明の画像復号装置は、ブロックベースの予測を行うことで生成された予測信号との予測誤差の符号化情報を復号して逆量子化することで変換係数を得て、それを逆直交変換することで予測誤差の復号信号を生成するとともに、予測信号を特定可能にする符号化情報（動きベクトルや符号化モードの情報）を復号し、それに基づいて予測信号を生成して、その生成した予測信号にその生成した予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成するという構成を採るときに、（１）画像符号化装置から送られてくる符号化情報を復号したり、画像符号化装置と同一処理を実行することで、逆量子化により得られた変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定する特定手段と、（２）特定手段の特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第１の生成手段と、（３）特定手段の特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の生成手段と、（４）符号化情報の復号により生成した予測信号あるいはそれを低減させた予測信号に第１の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するフィルタ手段と、（５）第２の生成手段の生成した予測誤差の復号信号とフィルタ手段の実行により得たブロック歪み低減処理を施した復号信号とを加算する加算手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の画像復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の画像復号装置では、画像符号化装置と同一処理を実行することで、逆量子化により得られた変換係数の要素について、ブロック境界に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価して、規定の閾値以上の符号化歪みを示す変換係数の要素を、ブロック歪みの生成に大きな影響を与える変換係数の要素として特定したり、あるいは、画像符号化装置から送られてくる符号化情報を復号することで、それらの変換係数の要素を特定する。

逆量子化により得られた変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定すると、その特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号（第１の予測誤差の復号信号）を生成するとともに、その特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号（第２の予測誤差の復号信号）を生成する。

そして、符号化情報の復号により生成した予測信号（それを低減させた予測信号を用いることも可能）に第１の予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するとともに、第２の予測誤差の復号信号とそのブロック歪み低減処理の実行により得たブロック歪み低減処理を施した復号信号とを加算することで、予測信号の生成に用いる復号信号を生成する。

このようにして、本発明の画像復号装置では、符号化歪みへの影響の大きさに基づいて、直交変換の変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とするのである。

この適応処理により、本発明の画像復号装置によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

この構成を採るときにあって、画像符号化装置と同一処理を実行することで、ブロック境界の各辺毎に、その辺に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価することで、特定の辺に符号化歪みが発生しているのかを判断して、特定の辺に符号化歪みが発生していることを判断する場合には、その辺について特定したブロック歪みの生成に大きな影響を与える変換係数の要素を最終的な変換係数の要素として特定したり、あるいは、画像符号化装置から送られてくる符号化情報を復号することで、それらの変換係数の要素を特定することがあり、この特定処理を実行する場合には、その特定の辺のみにブロック歪み低減処理の働くブロック歪み低減処理を実行することで、一律にブロック歪み低減処理を実行することによるoversmoothing の発生を防止することができるようになる。

本発明は、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理において、直交変換の変換係数の量子化誤差の画素領域での局在性に着目し、変換係数のブロック歪みへの影響の大きさに応じて、ブロック歪み低減処理のフィルタ強度を変化させる適応処理を導入している。

これにより、本発明によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

以下の文献によれば、量子化による誤差電力は、ＤＣＴ成分毎の空間的局在性を有していることが分かる。具体的には、低域成分に対する量子化誤差は、ブロック境界に大きな誤差を発生させ、高域成分に対する量子化誤差は、ブロック中央部に大きな誤差を発生させる。

文献："DCT quantization noise in compressed images", M.A.Robertson and R.L.Ste venson, IEEE Transactions on CSVT Vol.15, No.1, pp.27-38, Jan. 2005
本発明では、この量子化誤差の局在性を利用して、以下のようなＤＣＴ成分毎の適応的なデブロッキング処理を実施する。なお、ＤＣＴのサイズをＮ×Ｎとする。

［１］要素適応デブロッキング処理
（０）量子化によるブロック境界に大きな誤差が発生する低域成分を選択する。具体的 な選択方法については、次に説明する“［２］デブロッキング処理対象となる要 素の選択方法”において後述する。

（１）（０）で選択された低域ＤＣＴ成分以外を零値として、逆ＤＣＴを実施すること で予測誤差の復号信号を生成する。

（２）（１）で得られた予測誤差の復号信号と予測信号とを加算した信号に対してデブ ロッキング処理を施す。具体的なデブロッキング処理は外部から与えられる。例 えば、Ｈ．２６４で規定されるデブロッキング処理を用いる。

（３）（０）で選択されなかったＤＣＴ成分以外を零値として、逆ＤＣＴを実施するこ とで予測誤差の復号信号を生成する。

（４）（２）で得られた復号信号と（３）で得られた復号信号とを加算して、予測に用 いる復号信号とする。

［２］デブロッキング処理対象となる要素の選択方法
［２−１］デブロッキング処理対象となる要素の選択方法（ブロック単位）
以下の表記において、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。

前述の文献によれば、変換係数を量子化した場合、変換係数に対する量子化誤差が画素領域において以下の式（１）で示すような符号化歪みとなって現れる。ここでは、直交変換行列をＮ×Ｎ行列とし、さらに、その直交変換の対象となるＮ×Ｎ［画素］のブロック内における（ｍ，ｎ）の位置の符号化歪みをε_S ［ｍ，ｎ］とする。

ここで、φ［ｌ，ｍ］は変換行列＾Φの（ｌ，ｍ）要素である。また、ε_C ［ｋ，ｌ］は変換係数の第（ｋ，ｌ）成分に対する量子化誤差である。式（１）は、ブロック内の位置（ｍ，ｎ）における符号化歪みに対して、変換行列＾Φの（ｌ，ｍ）要素の量子化誤差の寄与は、以下に示す式（２）であることを示している。

この式（２）の値を用いて、符号化済みのブロックとの境界に位置する画素について、以下の値α［ｋ，ｌ］を求める。

この求めたα［ｋ，ｌ］に対して、閾値ηとの比較を行い、
α［ｋ，ｌ］≧η
を満たす変換係数をデブロッキング処理の対象とする。ここで、閾値ηは外部から与えられるものとする。

α［ｋ，ｌ］は、ブロック境界に位置する画素の符号化歪みの画素平均であり、ブロック境界の不連続性であるブロック歪みをモデル化した値である。従って、α［ｋ，ｌ］が一定の閾値以上の要素に対して、デブロッキング処理を施すことは、ブロック歪みが大きな要素に対してのみ、ブロック歪みを処理することになる。

式（３）に式（２）を代入し、
Φ［ｌ，ｋ，ｍ，ｎ］＝φ［ｌ，ｍ］φ［ｋ，ｎ］
とおくと、式（３）は以下の式（４）のように変形できる。

ここで、Ψ_N ［ｋ，ｌ］を以下の式（５）のようにおく。

このΨ_N ［ｋ，ｌ］は、変換行列のみから定まる値であり、符号化に先立ち、予め、算出しておくことが可能である。

そこで、算出したΨ_N ［ｋ，ｌ］の値を格納しておき、符号化時に呼び出すようにする。このテーブル参照により、符号化時のα［ｋ，ｌ］の算出のための演算量増加は、テーブル参照の演算コストおよび、乗算のみに抑えることができる。なお、Ψ_N ［ｋ，ｌ］を格納したルックアップテーブルをブロック歪み参照テーブルと呼ぶ。

α［ｋ，ｌ］の算出には、ε_C ［ｋ，ｌ］² の値も必要であるが、ε_C ［ｋ，ｌ］² は第（ｋ，ｌ）成分の量子化誤差電力であり、符号化時には、符号化モード選択のために算出されている。このため、ε_C ［ｋ，ｌ］² もレジスタに格納しておき、必要に応じて参照すればよく、改めて、α［ｋ，ｌ］の算出時に、ε_C ［ｋ，ｌ］² を再度、算出する必要はない。

復号側には、ブロック毎にデブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報を伝送すればよい。

あるいは、ε_C ［ｋ，ｌ］² の値は、変換係数の量子化ステップ幅Ｑ_k,l から、
ε_C ［ｋ，ｌ］² ＝βＱ_k,l ²
として推定することも可能である。

ここで、βは、予め外部から与えられるものとする。例えば、量子化誤差が一様分布に従うと仮定すれば、β＝１／１２となる。また、量子化誤差がパラメータλのラプラス分布に従うと仮定すれば、β＝λ／１２となる。このβの設定する単位（シーケンス単位、フレーム単位、ブロック単位）は、歪み・符号量のトレードオフの観点から、別途、定められるものとする。

この推定を利用する場合、復号側には、デブロッキング処理対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報を伝送する必要はなく、βの値を、定められ単位毎に伝送するだけで事足りる。あるいは、βとして用いる値を固定値として、符号化器・復号器で共有しておけば、βの情報すら伝送の必要はない。

［２−２］デブロッキング処理対象となる要素の選択方法（境界線単位）
式（２）の値を用いて、符号化済みのブロックとの境界に位置する画素について、以下の値α_v ［ｋ，ｌ］，α_h ［ｋ，ｌ］を求める。

この求めたα_v ［ｋ，ｌ］，α_h ［ｋ，ｌ］に対して、各々、閾値η_v ，η_h との比較を行い、
α_v ［ｋ，ｌ］≧η_v
を満たす変換係数を垂直方向のブロック境界におけるデブロッキング処理の対象とする。また、
α_h ［ｋ，ｌ］≧η_h
を満たす変換係数を水平方向のブロック境界におけるデブロッキング処理の対象とする。ここで、閾値η_v ，η_h は外部から与えられるものとする。

α_v ［ｋ，ｌ］は、垂直方向のブロック境界に位置する水平に配置された画素列の符号化歪みの画素平均であり、α_h ［ｋ，ｌ］は、水平方向のブロック境界に位置する垂直に配置された画素列の符号化歪みの画素平均であり、ブロック境界の不連続性であるブロック歪みをモデル化した値である。

従って、α_v ［ｋ，ｌ］，α_h ［ｋ，ｌ］が一定の閾値以上の要素に対して、デブロッキング処理を施すことは、ブロック歪みが大きな要素に対してのみ、ブロック歪みを処理することになるが、どちらの方を選択するのかということは（どちらの方向に大きなブロック符号化歪みが発生しているのかということは）、例えば、α_v ［ｋ，ｌ］≧η_v となる変換係数の個数と、α_h ［ｋ，ｌ］≧η_h となる変換係数の個数とを比較して、個数の多い方を選択することにより決定する。

式（６）と式（７）に式（２）を代入し、
Φ［ｌ，ｋ，ｍ，ｎ］＝φ［ｌ，ｍ］φ［ｋ，ｎ］
とおくと、式（６）、式（７）は、各々、以下の式（８）、式（９）のように変形できる。

ここで、Ψ_N,v ［ｋ，ｌ］，Ψ_N,h ［ｋ，ｌ］を、各々、以下の式（１０）、式（１１）のようにおく。

このΨ_N,v ［ｋ，ｌ］，Ψ_N,h ［ｋ，ｌ］は、変換行列のみから定まる値であり、符号化に先立ち、予め、算出しておくことが可能である。

そこで、算出したΨ_N,v ［ｋ，ｌ］，Ψ_N,h ［ｋ，ｌ］の値を格納しておき、符号化時に呼び出すようにする。このテーブル参照により、符号化時のα_v ［ｋ，ｌ］，α_h ［ｋ，ｌ］の算出のための演算量増加は、テーブル参照の演算コストおよび、乗算のみに抑えることができる。なお、Ψ_N,v ［ｋ，ｌ］，Ψ_N,h ［ｋ，ｌ］を格納したルックアップテーブルをブロック歪み参照テーブルと呼ぶ。

α_v ［ｋ，ｌ］，α_h ［ｋ，ｌ］の算出には、ε_C ［ｋ，ｌ］² の値も必要であるが、ε_C ［ｋ，ｌ］² は第（ｋ，ｌ）成分の量子化誤差電力であり、符号化時には、符号化モード選択のために算出されている。このため、ε_C ［ｋ，ｌ］² もレジスタに格納しておき、必要に応じて参照すればよく、改めて、α_v ［ｋ，ｌ］，α_h ［ｋ，ｌ］の算出時に、ε_C ［ｋ，ｌ］² を再度、算出する必要はない。

復号側には、境界線毎にデブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報を伝送すればよい。

あるいは、ε_C ［ｋ，ｌ］² の値は、変換係数の量子化ステップ幅Ｑ_k,l から、
ε_C ［ｋ，ｌ］² ＝βＱ_k,l ²
として推定することも可能である。

ここで、βは、予め外部から与えられるものとする。例えば、量子化誤差が一様分布に従うと仮定すれば、β＝１／１２となる。また、量子化誤差がパラメータλのラプラス分布に従うと仮定すれば、β＝λ／１２となる。このβの設定する単位（シーケンス単位、フレーム単位、ブロック単位）は、歪み・符号量のトレードオフの観点から、別途、定められるものとする。

この推定を利用する場合、復号側には、デブロッキング処理対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報を伝送する必要はなく、βの値を、定められ単位毎に伝送するだけで事足りる。あるいは、βとして用いる値を固定値として、符号化器・復号器で共有しておけば、βの情報すら伝送の必要はない。

境界線を単位にして、デブロッキング処理の対象となる要素を選択する場合には、水平方向と垂直方向のどちらの方向に符号化歪みが大きいのかを判定できることになるので、その方向のみにブロック歪み低減処理の働くデブロッキング処理を施すことになる。

以下、実施例に従って本発明を詳細に説明する。

図１に、本発明の実行するフローチャートを図示する。

本発明では、このフローチャートに示すように、まず最初に、ステップＳ１０１で、逆量子化により得られたＤＣＴ変換の変換係数をレジスタに格納する。

続いて、ステップＳ１０２で、前述の“［２］デブロッキング処理対象となる要素の選択方法”で説明した選択方法に従って、デブロッキング処理の対象となる変換係数の要素を選択する。

続いて、ステップＳ１０３で、レジスタに格納した変換係数のうち、ステップＳ１０２で選択した要素以外は零値とし、ステップＳ１０２で選択した要素はその値をそのままとして、レジスタに書き出す。

続いて、ステップＳ１０４で、ステップＳ１０３でレジスタに書き出した変換係数に対して逆変換を行う。

続いて、ステップＳ１０５で、ステップＳ１０４で得た信号（予測誤差の復号信号）を用いてデブロッキング処理を行う。

一方、ステップＳ１０６で、レジスタに格納した変換係数のうち、ステップＳ１０２で選択した要素は零値とし、ステップＳ１０２で選択した要素以外はそのままとして、レジスタに書き出す。

続いて、ステップＳ１０７で、ステップＳ１０６でレジスタに書き出した変換係数に対して逆変換を行う。

そして、最後に、ステップＳ１０８で、ステップＳ１０５の処理で得られた復号信号と、ステップＳ１０７の処理で得られた復号信号とを加算することで、予測信号の生成に用いる復号信号を生成する。

［１］第１の実施例
次に、第１の実施例について説明する。第１の実施例は、画像復号装置が画像符号化装置から送られてくる符号化情報を復号することで、画像符号化装置の行うデブロッキング処理と同一のデブロッキング処理を実現するという実施例である。

ここで、以下の説明では、説明の便宜上、前述の“［２−１］デブロッキング処理対象となる要素の選択方法（ブロック単位）”で説明した選択方法に従って、デブロッキング処理の対象となる変換係数の要素を選択することを想定する。

図２および図３に、第１の実施例を実現すべく構成される本発明の画像符号化装置の一例を図示し、図４および図５に、第１の実施例を実現すべく構成される本発明の画像復号装置の一例を図示する。

［１−１］画像符号化装置
図２に示すように、本発明の画像符号化装置は、第１の実施例を実現する場合には、入力画像と予測信号との差分信号をＤＣＴ変換する変換部１０１と、変換部１０１の算出した変換係数を記憶する変換係数記憶部１０２と、変換係数記憶部１０２の記憶する変換係数を量子化する量子化部１０３と、量子化部１０３の算出した量子化値を記憶する量子化値記憶部１０４と、量子化値記憶部１０４の記憶する量子化値を逆量子化する逆量子化部１０５と、逆量子化部１０５の算出した逆量子化値（変換係数）を記憶する変換係数記憶部１０６と、本発明を実現すべく備えられて、予測信号と予測誤差の復号信号との和で表される復号信号に対して適応的なデブロッキング処理を施す適応デブロッキング処理部１０７と、変換係数記憶部１０２，１０６の記憶する変換係数を入力として、適応デブロッキング処理部１０７の必要とする量子化誤差電力ε_C ［ｋ，ｌ］² を算出する量子化誤差電力算出部１０８と、適応デブロッキング処理部１０７の必要とするΨ_N ［ｋ，ｌ］の値を格納するブロック歪み参照テーブル１０９と、適応デブロッキング処理部１０７の処理した復号信号を記憶するローカル復号信号記憶部１１０と、ローカル復号信号記憶部１１０の記憶する復号信号を使って予測処理を行う予測処理部１１１と、予測処理部１１１の生成した予測信号を記憶する予測信号記憶部１１２と、予測信号記憶部１１２の記憶する予測信号を遅延させて適応デブロッキング処理部１０７に与える遅延部１１３と、予測処理部１１１の求めた動きベクトルを記憶する動きベクトル記憶部１１４と、量子化値記憶部１０４の記憶する量子化値／動きベクトル記憶部１１４の記憶する動きベクトル／適応デブロッキング処理部１０７の生成したデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）を符号化するエントロピ符号化部１１５と、エントロピ符号化部１１５の生成した符号化ストリームを記憶する符号化ストリーム記憶部１１６とを備える。

図３に、適応デブロッキング処理部１０７の詳細な構成の一例を図示する。

この図に示すように、適応デブロッキング処理部１０７は、変換係数振分部２０１と、第１の変換係数記憶部２０２と、第１の逆変換部２０３と、第１の予測誤差復号信号記憶部２０４と、第２の変換係数記憶部２０５と、第２の逆変換部２０６と、第２の予測誤差復号信号記憶部２０７と、予測信号記憶部２０８と、乗算値設定部２０９と、乗算部２１０と、第１の予測信号記憶部２１１と、第２の予測信号記憶部２１２と、第１の加算部２１３と、デブロッキング部２１４と、第１の復号信号記憶部２１５と、第２の加算部２１６と、第２の復号信号記憶部２１７と、第３の加算部２１８と、処理結果復号信号記憶部２１９とを備える。

変換係数振分部２０１は、量子化誤差電力算出部１０８の算出する量子化誤差電力ε_C ［ｋ，ｌ］² とブロック歪み参照テーブル１０９の格納するΨ_N ［ｋ，ｌ］の値とを参照して前述のα［ｋ，ｌ］を算出して、その算出したα［ｋ，ｌ］を閾値ηと比較することで、変換係数記憶部１０６の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分けるとともに、その振り分け結果のデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）をエントロピ符号化部１１５に出力する。

第１の変換係数記憶部２０２は、変換係数振分部２０１の振り分けたデブロッキング処理の対象となる変換係数の要素をそのまま記憶するとともに、それ以外の要素を零値にして記憶する。第１の逆変換部２０３は、第１の変換係数記憶部２０２の記憶する変換係数の逆変換を行うことで予測誤差の復号信号を生成する。第１の予測誤差復号信号記憶部２０４は、第１の逆変換部２０３の生成した予測誤差の復号信号を記憶する。

第２の変換係数記憶部２０５は、変換係数振分部２０１の振り分けたデブロッキング処理の対象とならない変換係数の要素をそのまま記憶するとともに、それ以外の要素を零値にして記憶する。第２の逆変換部２０６は、第２の変換係数記憶部２０５の記憶する変換係数の逆変換を行うことで予測誤差の復号信号を生成する。第２の予測誤差復号信号記憶部２０７は、第２の逆変換部２０６の生成した予測誤差の復号信号を記憶する。

予測信号記憶部２０８は、遅延部１１３の出力する予測信号を記憶する。乗算値設定部２０９は、乗算値ｔ（０≦ｔ≦１）を設定する。乗算部２１０は、乗算値設定部２０９の設定した乗算値ｔに基づいて、予測信号記憶部２０８の記憶する予測信号をｔ倍と（１−ｔ）倍して出力する。第１の予測信号記憶部２１１は、乗算部２１０の算出した予測信号のｔ倍値を記憶する。第２の予測信号記憶部２１２は、乗算部２１０の算出した予測信号の（１−ｔ）倍値を記憶する。

第１の加算部２１３は、第１の予測誤差復号信号記憶部２０４の記憶する予測誤差の復号信号と第１の予測信号記憶部２１１の記憶する予測信号とを加算する。デブロッキング部２１４は、第１の加算部２１３の加算結果の復号信号に対してデブロッキング処理を施す。第１の復号信号記憶部２１５は、デブロッキング部２１４の処理した復号信号を記憶する。

第２の加算部２１６は、第２の予測誤差復号信号記憶部２０７の記憶する予測誤差の復号信号と第２の予測信号記憶部２１２の記憶する予測信号とを加算する。第２の復号信号記憶部２１７は、第２の加算部２１６の加算結果の復号信号を記憶する。

第３の加算部２１８は、第１の復号信号記憶部２１５の記憶する復号信号と第２の復号信号記憶部２１７の記憶する復号信号とを加算する。処理結果復号信号記憶部２１９は、第３の加算部２１８の出力する復号信号を記憶してローカル復号信号記憶部１１０に出力する。

このように構成される本発明の画像符号化装置では、適応デブロッキング処理部１０７は、量子化誤差電力算出部１０８の算出する量子化誤差電力ε_C ［ｋ，ｌ］² とブロック歪み参照テーブル１０９の格納するΨ_N ［ｋ，ｌ］の値とを参照して前述のα［ｋ，ｌ］を算出して、その算出したα［ｋ，ｌ］を閾値ηと比較することで、変換係数記憶部１０６の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。

そして、デブロッキング処理の対象となる変換係数の要素をそのままにするとともに、それ以外の要素を零値にしてから、逆変換を行って、ｔ＝１に設定される場合には、その結果得られる予測誤差の復号信号に遅延部１１３から与えられる予測信号を加算して、デブロッキング処理を施す。

そして、デブロッキング処理の対象とならない変換係数の要素をそのままにするとともに、それ以外の要素を零値にしてから、逆変換を行って、ｔ＝１に設定される場合には、その結果得られる予測誤差の復号信号と、デブロッキング処理を施した復号信号とを加算して、ローカル復号信号記憶部１１０に出力する。

このようにして、本発明の画像符号化装置では、符号化歪みへの影響の大きさに基づいて、変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とするのである。

この適応処理により、本発明の画像符号化装置によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

［１−２］画像復号装置
図４に示すように、本発明の画像復号装置は、第１の実施例を実現する場合には、画像符号化装置から送られてくる符号化ストリームを記憶する符号化ストリーム記憶部３０１と、符号化ストリーム記憶部３０１の記憶する符号化ストリームを復号するエントロピ復号部３０２と、エントロピ復号部３０２の復号した量子化値を記憶する量子化値記憶部３０３と、量子化値記憶部３０３の記憶する量子化値を逆量子化する逆量子化部３０４と、逆量子化部３０４の算出した変換係数（逆量子化値）を記憶する変換係数記憶部３０５と、本発明を実現すべく備えられて、予測信号と予測誤差の復号信号との和で表される復号信号に対して適応的なデブロッキング処理を施す適応デブロッキング処理部３０６と、エントロピ復号部３０２の復号した適応デブロッキング処理部３０６の必要とするデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）を記憶するデブロッキング変換係数情報記憶部３０７と、エントロピ復号部３０２の復号した動きベクトルを記憶する動きベクトル記憶部３０８と、動きベクトル記憶部３０８の記憶する動きベクトルに基づいて予測信号を生成する予測処理部３０９と、予測処理部３０９の生成した予測信号を記憶する予測信号記憶部３１０と、適応デブロッキング処理部３０６の処理した復号信号を記憶する復号信号記憶部３１１と、復号信号記憶部３１１の記憶する復号信号を遅延させて予測処理部３０９に与える遅延部３１２とを備える。

図５に、適応デブロッキング処理部３０６の詳細な構成の一例を図示する。

この図に示すように、適応デブロッキング処理部３０６は、変換係数振分部４０１と、第１の変換係数記憶部４０２と、第１の逆変換部４０３と、第１の予測誤差復号信号記憶部４０４と、第２の変換係数記憶部４０５と、第２の逆変換部４０６と、第２の予測誤差復号信号記憶部４０７と、乗算値設定部４０８と、乗算部４０９と、第１の予測信号記憶部４１０と、第２の予測信号記憶部４１１と、第１の加算部４１２と、デブロッキング部４１３と、第１の復号信号記憶部４１４と、第２の加算部４１５と、第２の復号信号記憶部４１６と、第３の加算部４１７とを備える。

変換係数振分部４０１は、デブロッキング変換係数情報記憶部３０７の記憶するデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）に従って、変換係数記憶部３０５の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。

第１の変換係数記憶部４０２は、変換係数振分部４０１の振り分けたデブロッキング処理の対象となる変換係数の要素をそのまま記憶するとともに、それ以外の要素を零値にして記憶する。第１の逆変換部４０３は、第１の変換係数記憶部４０２の記憶する変換係数の逆変換を行うことで予測誤差の復号信号を生成する。第１の予測誤差復号信号記憶部４０４は、第１の逆変換部４０３の生成した予測誤差の復号信号を記憶する。

第２の変換係数記憶部４０５は、変換係数振分部４０１の振り分けたデブロッキング処理の対象とならない変換係数の要素をそのまま記憶するとともに、それ以外の要素を零値にして記憶する。第２の逆変換部４０６は、第２の変換係数記憶部４０５の記憶する変換係数の逆変換を行うことで予測誤差の復号信号を生成する。第２の予測誤差復号信号記憶部４０７は、第２の逆変換部４０６の生成した予測誤差の復号信号を記憶する。

乗算値設定部４０８は、乗算値ｔ（０≦ｔ≦１）を設定する。このとき設定する乗算値ｔは、画像符号化装置の乗算値設定部２０９の設定する乗算値ｔと同一値である。乗算部４０９は、乗算値設定部４０８の設定した乗算値ｔに基づいて、予測信号記憶部３１０の記憶する予測信号をｔ倍と（１−ｔ）倍して出力する。第１の予測信号記憶部４１０は、乗算部４０９の算出した予測信号のｔ倍値を記憶する。第２の予測信号記憶部４１１は、乗算部４０９の算出した予測信号の（１−ｔ）倍値を記憶する。

第１の加算部４１２は、第１の予測誤差復号信号記憶部４０４の記憶する予測誤差の復号信号と第１の予測信号記憶部４１０の記憶する予測信号とを加算する。デブロッキング部４１３は、第１の加算部４１２の加算結果の復号信号に対してデブロッキング処理を施す。第１の復号信号記憶部４１４は、デブロッキング部４１３の処理した復号信号を記憶する。

第２の加算部４１５は、第２の予測誤差復号信号記憶部４０７の記憶する予測誤差の復号信号と第２の予測信号記憶部４１１の記憶する予測信号とを加算する。第２の復号信号記憶部４１６は、第２の加算部４１５の加算結果の復号信号を記憶する。第３の加算部４１７は、第１の復号信号記憶部４１４の記憶する復号信号と第２の復号信号記憶部４１６の記憶する復号信号とを加算して、復号信号記憶部３１１に出力する。

このように構成される本発明の画像復号装置では、適応デブロッキング処理部３０６は、デブロッキング変換係数情報記憶部３０７の記憶するデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）に従って、変換係数記憶部３０５の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。

そして、デブロッキング処理の対象となる変換係数の要素をそのままにするとともに、それ以外の要素を零値にしてから、逆変換を行って、ｔ＝１に設定される場合には、その結果得られる予測誤差の復号信号に予測信号記憶部３１０の記憶する予測信号を加算して、デブロッキング処理を施す。

そして、デブロッキング処理の対象とならない変換係数の要素をそのままにするとともに、それ以外の要素を零値にしてから、逆変換を行って、ｔ＝１に設定される場合には、その結果得られる予測誤差の復号信号と、デブロッキング処理を施した復号信号とを加算して、復号信号記憶部３１１に出力する。

このようにして、本発明の画像復号装置では、符号化歪みへの影響の大きさに基づいて、変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号とするのである。

この適応処理により、本発明の画像復号装置によれば、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

［２］第２の実施例
次に、第２の実施例について説明する。第２の実施例は、符号化情報を使わずに、画像復号装置が画像符号化装置の行うデブロッキング処理と同一のデブロッキング処理を実現するという実施例である。

ここで、以下の説明では、説明の便宜上、前述の“［２−１］デブロッキング処理対象となる要素の選択方法（ブロック単位）”で説明した選択方法に従って、デブロッキング処理の対象となる変換係数の要素を選択することを想定する。

図６および図７に、第２の実施例を実現すべく構成される本発明の画像符号化装置の一例を図示し、図８および図９に、第２の実施例を実現すべく構成される本発明の画像復号装置の一例を図示する。

ここで、図６〜図９において、図２〜図５で示したものと同じものについては同一の記号で示してある。

［２−１］画像符号化装置
図６に示すように、本発明の画像符号化装置は、第２の実施例を実現する場合には、第１の実施例で備える図２に示す量子化誤差電力算出部１０８に代えて、量子化誤差電力推定部１１７を備えるようにするとともに、適応デブロッキング処理部１０７がデブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）を生成しないようにする。

この量子化誤差電力推定部１１７は、量子化部１０３から量子化ステップ幅Ｑ_k,l を入力するとともに、前述のパラメータβを入力して、
ε_C ［ｋ，ｌ］² ＝βＱ_k,l ²
という推定式に従って、量子化誤差電力算出部１０８の算出する量子化誤差電力ε_C ［ｋ，ｌ］² を推定して、適応デブロッキング処理部１０７に与えるようにする。

この量子化誤差電力推定部１１７を受けて、適応デブロッキング処理部１０７の備える変換係数振分部２０１は、図７に示すように、量子化誤差電力推定部１１７の算出する量子化誤差電力ε_C ［ｋ，ｌ］² とブロック歪み参照テーブル１０９の格納するΨ_N ［ｋ，ｌ］の値とを参照して前述のα［ｋ，ｌ］を算出して、その算出したα［ｋ，ｌ］を閾値ηと比較することで、変換係数記憶部１０６の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。このとき、変換係数振分部２０１は、デブロッキング変換係数情報（デブロッキング処理の対象となる変換係数のインデックス（ｋ，ｌ）を同定する情報）を生成する必要はない。

適応デブロッキング処理部１０７の備えるその他の各処理部は、第１の実施例と同じ処理を実行する。

これにより、第２の実施例に従う本発明の画像符号化装置もまた、符号化歪みへの影響の大きさに基づいて、変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号を出力するので、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

［２−２］画像復号装置
図８に示すように、本発明の画像復号装置は、第２の実施例を実現する場合には、第１の実施例で備える図４に示すデブロッキング変換係数情報記憶部３０７に代えて、量子化誤差電力推定部３１３と、ブロック歪み参照テーブル３１４とを備えるようにする。

この量子化誤差電力推定部３１３は、逆量子化部３０４から量子化ステップ幅Ｑ_k,l を入力するとともに、前述のパラメータβを入力して、
ε_C ［ｋ，ｌ］² ＝βＱ_k,l ²
という推定式に従って、適応デブロッキング処理部３０６の必要とする量子化誤差電力ε_C ［ｋ，ｌ］² を推定して、適応デブロッキング処理部３０６に与えるようにする。

また、ブロック歪み参照テーブル３１４は、適応デブロッキング処理部３０６の必要とするΨ_N ［ｋ，ｌ］の値を格納する。

この量子化誤差電力推定部３１３およびブロック歪み参照テーブル３１４を受けて、適応デブロッキング処理部３０６の備える変換係数振分部４０１は、図９に示すように、量子化誤差電力推定部３１３の算出する量子化誤差電力ε_C ［ｋ，ｌ］² とブロック歪み参照テーブル３１４の格納するΨ_N ［ｋ，ｌ］の値とを参照して前述のα［ｋ，ｌ］を算出して、その算出したα［ｋ，ｌ］を閾値ηと比較することで、変換係数記憶部３０５の記憶する変換係数をデブロッキング処理の対象になるものとならないものとに振り分ける。

適応デブロッキング処理部３０６の備えるその他の各処理部は、第１の実施例と同じ処理を実行する。

これにより、第２の実施例に従う本発明の画像復号装置もまた、符号化歪みへの影響の大きさに基づいて、変換係数の低域成分に対して、復号処理およびブロック歪み低減処理を行い、低域復号信号を得るとともに、変換係数の高域成分に対しては、復号処理のみを行い、高域復号信号を得て、最終的な復号信号としては、低域復号信号と高域復号信号とを加算した信号を出力するので、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

以上に説明した実施例では、フレーム間予測を用いる場合の装置構成を図示したが、本発明はフレーム内予測を用いる場合にも、同様に適用できるものである。ただし、フレーム内予測を用いる場合は、予測処理部１１１，３０９においてフレーム内予測を行いフレーム内予測モードを符号化情報とするため、動きベクトル記憶部１１４，３０８の代わりにフレーム内予測モードの情報を記憶する記憶部を備えることになる。

本発明は、ブロックベースのフレーム内・フレーム間予測および直交変換に基づき生成される復号信号に対してのブロック歪み低減処理に適用できるものであり、本発明を適用することで、ブロック歪みの低減と高域成分（テクスチャ等）に対するoversmoothing の回避を同時に実現できるようになる。

本発明の実行するフローチャートである。 第１の実施例を実現すべく構成される本発明の画像符号化装置である。 第１の実施例を実現すべく構成される本発明の画像符号化装置である。 第１の実施例を実現すべく構成される本発明の画像復号装置である。 第１の実施例を実現すべく構成される本発明の画像復号装置である。 第２の実施例を実現すべく構成される本発明の画像符号化装置である。 第２の実施例を実現すべく構成される本発明の画像符号化装置である。 第２の実施例を実現すべく構成される本発明の画像復号装置である。 第２の実施例を実現すべく構成される本発明の画像復号装置である。

符号の説明

１０１ 変換部
１０２ 変換係数記憶部
１０３ 量子化部
１０４ 量子化値記憶部
１０５ 逆量子化部
１０６ 変換係数記憶部
１０７ 適応デブロッキング処理部
１０８ 量子化誤差電力算出部
１０９ ブロック歪み参照テーブル
１１０ ローカル復号信号記憶部
１１１ 予測処理部
１１２ 予測信号記憶部
１１３ 遅延部
１１４ 動きベクトル記憶部
１１５ エントロピ符号化部
１１６ 符号化ストリーム記憶部

Claims (12)

1. ブロックベースの予測を行って予測信号を生成し、その予測信号との予測誤差を直交変換し量子化するとともに、その量子化結果を逆量子化して変換係数を得てそれを逆直交変換することで予測誤差の復号信号を生成して、その予測信号にその予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成する画像符号化方法において、
   前記変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定する第１の過程と、
   前記第１の過程で特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の過程と、
   前記第１の過程で特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第３の過程と、
   前記予測により生成した予測信号あるいはそれを低減させた予測信号に前記第２の過程で生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行する第４の過程と、
   前記第３の過程で生成した予測誤差の復号信号と前記第４の過程の実行により得たブロック歪み低減処理を施した復号信号とを加算する第５の過程とを備えることを、
   特徴とする画像符号化方法。
2. 請求項１に記載の画像符号化方法において、
   前記第１の過程では、ブロック境界に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価して、規定の閾値以上の符号化歪みを示す変換係数の要素を、ブロック歪みの生成に大きな影響を与える変換係数の要素として特定することを、
   特徴とする画像符号化方法。
3. 請求項２に記載の画像符号化方法において、
   前記第１の過程では、ブロック境界の各辺毎に、その辺に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価することで、特定の辺に符号化歪みが発生しているのかを判断して、特定の辺に符号化歪みが発生していることを判断する場合には、その辺について特定したブロック歪みの生成に大きな影響を与える変換係数の要素を最終的な変換係数の要素として特定し、
   前記第４の過程では、前記第１の過程で特定の辺に符号化歪みが発生していることを判断する場合には、その辺のみにブロック歪み低減処理の働くブロック歪み低減処理を実行することを、
   特徴とする画像符号化方法。
4. ブロックベースの予測を行うことで生成された予測信号との予測誤差の符号化情報を復号して逆量子化することで変換係数を得て、それを逆直交変換することで予測誤差の復号信号を生成するとともに、予測信号を特定可能にする符号化情報を復号し、それに基づいて予測信号を生成して、その生成した予測信号にその生成した予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成する画像復号方法において、
   前記変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定する第１の過程と、
   前記第１の過程で特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の過程と、
   前記第１の過程で特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第３の過程と、
   前記符号化情報の復号により生成した予測信号あるいはそれを低減させた予測信号に前記第２の過程で生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行する第４の過程と、
   前記第３の過程で生成した予測誤差の復号信号と前記第４の過程の実行により得たブロック歪み低減処理を施した復号信号とを加算する第５の過程とを備えることを、
   特徴とする画像復号方法。
5. 請求項４に記載の画像復号方法において、
   前記第１の過程では、ブロック境界に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価して、規定の閾値以上の符号化歪みを示す変換係数の要素を、ブロック歪みの生成に大きな影響を与える変換係数の要素として特定することを、
   特徴とする画像復号方法。
6. 請求項５に記載の画像復号方法において、
   前記第１の過程では、ブロック境界の各辺毎に、その辺に位置する画素の持つ符号化歪みの大きさを変換係数の要素毎に評価することで、特定の辺に符号化歪みが発生しているのかを判断して、特定の辺に符号化歪みが発生していることを判断する場合には、その辺について特定したブロック歪みの生成に大きな影響を与える変換係数の要素を最終的な変換係数の要素として特定し、
   前記第４の過程では、前記第１の過程で特定の辺に符号化歪みが発生していることを判断する場合には、その辺のみにブロック歪み低減処理の働くブロック歪み低減処理を実行することを、
   特徴とする画像復号方法。
7. ブロックベースの予測を行って予測信号を生成し、その予測信号との予測誤差を直交変換し量子化するとともに、その量子化結果を逆量子化して変換係数を得てそれを逆直交変換することで予測誤差の復号信号を生成して、その予測信号にその予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成する画像符号化装置において、
   前記変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定する特定手段と、
   前記特定手段の特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第１の生成手段と、
   前記特定手段の特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の生成手段と、
   前記予測により生成した予測信号あるいはそれを低減させた予測信号に前記第１の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するフィルタ手段と、
   前記第２の生成手段の生成した予測誤差の復号信号と前記フィルタ手段の実行により得たブロック歪み低減処理を施した復号信号とを加算する加算手段とを備えることを、
   特徴とする画像符号化装置。
8. ブロックベースの予測を行うことで生成された予測信号との予測誤差の符号化情報を復号して逆量子化することで変換係数を得て、それを逆直交変換することで予測誤差の復号信号を生成するとともに、予測信号を特定可能にする符号化情報を復号し、それに基づいて予測信号を生成して、その生成した予測信号にその生成した予測誤差の復号信号を加算することで予測信号の生成に用いる復号信号を生成する画像復号装置において、
   前記変換係数の要素のうち、ブロック歪みの生成に大きな影響を与えるものを特定する特定手段と、
   前記特定手段の特定した変換係数の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第１の生成手段と、
   前記特定手段の特定した変換係数の要素以外の要素のみを逆直交変換して、それらの要素に対応付けられる予測誤差の復号信号を生成する第２の生成手段と、
   前記符号化情報の復号により生成した予測信号あるいはそれを低減させた予測信号に前記第１の生成手段の生成した予測誤差の復号信号を加算することで得られる復号信号に対して、ブロック歪み低減処理を実行するフィルタ手段と、
   前記第２の生成手段の生成した予測誤差の復号信号と前記フィルタ手段の実行により得たブロック歪み低減処理を施した復号信号とを加算する加算手段とを備えることを、
   特徴とする画像復号装置。
9. 請求項１ないし３のいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
10. 請求項１ないし３のいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 請求項４ないし６のいずれか１項に記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
12. 請求項４ないし６のいずれか１項に記載の画像復号方法をコンピュータに実行させるための画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images