JP2011160359A - ブロックノイズ量予測装置、ブロックノイズ量予測方法、画像処理装置、プログラム、及び、記録媒体 - Google Patents

Abstract

【課題】復号画像に含まれるブロックノイズ量を主観評価に応じて予測することができるブロックノイズ量予測装置を実現する。
【解決手段】ブロックノイズ量予測部１９は、復号画像Ｐ’を生成するために参照される量子化パラメータの平均値である平均量子化パラメータＱＰ（Ｐ’）、及び、復号画像Ｐを生成するために参照される符号化データの単位領域サイズあたりの符号量である平均符号量Ｂ（Ｐ’）に基づいて、復号画像Ｐに含まれるブロックノイズの量を予測する。
【選択図】図１

Description

本発明は、復号画像に含まれるブロックノイズ量を予測するブロックノイズ量予測装置、及び、ブロックノイズ量予測方法に関する。また、そのようなブロックノイズ量予測装置を備えた画像処理装置に関する。更に、そのようなブロックノイズ量予測装置としてコンピュータを動作させるためのプログラム、及び、そのようなプログラムを格納したコンピュータ読み取り可能な記録媒体に関する。

２０１１年の地上波アナログ放送停波を目前にして、動画像をデジタルデータとして配信するデジタル放送だけでなく、動画像をデジタルデータとして記録するＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc）など様々なデジタルメディアが普及している。これらの動画像はＭＰＥＧ２フォーマットに代表される動画像符号化方式（動画像圧縮方式）に従って情報量を削減した符号化データとして伝送・蓄積されているが、符号化（圧縮）の弊害として、復号画像にブロックノイズあるいはモスキートノイズと呼ばれるノイズ成分が含まれることが知られている。そのため、ブロックノイズを復号画像から除去するデブロッキングフィルタが利用されている。

例えば、特許文献１には、符号化情報と復号画像の画素データから画質の劣化度合いを予測して、適応的にノイズ除去処理を施す技術が開示されている。

また、特許文献２には、平均ビットレートに応じてフィルタ特性を制御する技術が開示されている。

特開２００７−１６６５２２号公報（公開日：２００７年６月２８日） 特開２００８−３１１９５１号公報（公開日：２００８年１２月２５日）

適応的なブロックノイズの除去において問題になるのは、ブロックノイズ量の予測精度である。ブロックノイズ量を小さく見積もり過ぎれば、ブロックノイズを十分に除去することができず、復号画像にブロックノイズが残留するという問題を生じる。また、ブロックノイズ量を大きく見積もり過ぎれば、本来の信号成分まで平滑化され、復号画像がボケるなどの問題を生じる。

適応的なブロックノイズの除去においては、特許文献１に示されているように、デブロッキングフィルタ処理を適用しようとするブロック境界が属するマクロブロック、又は、そのマクロブロックの周辺のマクロブックに関する符号化情報（サイド情報）に基づいて予測したブロックノイズ量に応じて、デブロッキングフィルタ処理を適用するか否か、及び、適用するデブロッキングフィルタ処理の強度を制御する。ただし、ブロックノイズ量を過小又は過大に予測すると上述のような問題が発生するため、様々な復号画像に対して十分な画質が得られるよう、ブロックノイズ量の予測アルゴリズム及びデブロッキングフィルタの制御アルゴリズムを最適化する必要がある。

特に、動き補償予測によって符号量の削減を図る場合、１つのシーケンスの中にブロックノイズが発生し易いピクチャとブロックノイズが発生し難いピクチャとが混在することになる。このため、一般的な復号画像に対してアルゴリズムを最適化しても、その復号画像よりもブロックノイズが発生し易いピクチャにおいては、ブロックノイズが残留するという問題を生じ、その復号画像よりもブロックノイズが発生し難いピクチャにおいては、ボケが生じるなどといった問題を生じる。

このような問題に対し、特許文献２に記載の技術は、ブロックノイズが発生し易いピクチャとブロックノイズが発生し難いピクチャとを平均ビットレートに基づいて判別し、その判別結果に応じてデブロッキングフィルタを制御する技術と見ることができる。

しかしながら、平均ビットレートが低い場合に、必ずしもブロックノイズ量が大きくなるとは限らない。これは、符号化装置において、生成される符号化データのビットレートが目標範囲に収まるよう、量子化パラメータが制御されているためである。例えば、符号化すべき画像が圧縮率を稼げない画像である場合には、量子化パラメータを大きくすることによって符号量を抑え、符号化データのビットレートを上限値以下に低下させることが行なわれる。このため、符号化データのビットレートが低いからといって、必ずしもブロックノイズ量が大きくなるとは限らない。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、復号画像に含まれるブロックノイズ量を主観評価に応じて予測することができるブロックノイズ量予測装置を実現することにある。そして、その予測結果を利用してデブロッキングフィルタを適切に制御することができる画像処理装置を実現することにある。

発明者は、復号画像に含まれるブロックノイズ量と、その復号画像の平均量子化パラメータ（その復号画像を生成するために参照される量子化パラメータの平均値）及び平均符号量（その復号画像を生成するために参照される符号化データの単位領域サイズあたりの符号量である平均符号量、より具体的にはマクロブロックサイズあたりの符号量である平均符号量）との間に、一定の相関関係（図６参照）が存在することを見出し、本発明を完成させた。

すなわち、上記課題を解決するために、本発明に係るブロックノイズ量予測装置は、復号画像に含まれるブロックノイズ量を予測するブロックノイズ量予測装置であって、上記復号画像を生成するために参照される量子化パラメータの平均値である平均量子化パラメータ、及び、上記復号画像を生成するために参照される符号化データの単位領域サイズあたりの符号量である平均符号量に基づいて、上記復号画像に含まれるブロックノイズの量を予測する予測手段を備えている、ことを特徴とする。

また、上記課題を解決するために、本発明に係るブロックノイズ量予測方法は、復号画像に含まれるブロックノイズ量を予測するブロックノイズ量予測方法であって、上記復号画像を生成するために用いる量子化パラメータの平均値である平均量子化パラメータ、及び、上記復号画像を生成するために参照される符号化データの単位領域サイズあたりの符号量である平均符号量に基づいて、上記復号画像に含まれるブロックノイズの量を予測する予測工程を含んでいる、ことを特徴とする。

本発明に係るブロックノイズ量予測装置において、上記予測手段は、上記平均量子化パラメータを第１の閾値と比較することによって、上記復号画像に含まれるブロックノイズの有無を判定する第１の判定手段と、上記平均符号量を第２の閾値と比較することによって、上記復号画像に含まれるブロックノイズの大小を判定する第２の判定手段を含んでいる、ことが好ましい。

本発明に係るブロックノイズ量予測装置は、上記平均量子化パラメータから上記第２の閾値を算出する閾値算出手段を更に備えている、ことが好ましい。

本発明に係るブロックノイズ量予測装置において、上記閾値算出手段は、上記平均量子化パラメータを変数とする単調増加関数を用いて上記第２の閾値を算出する、ことが好ましい。

本発明に係るブロックノイズ量予測装置において、上記閾値算出手段は、上記平均量子化パラメータを変数とする１次関数を用いて上記第２の閾値を算出する、ことが好ましい。

本発明に係るブロックノイズ量予測装置は、異なる平均ビットレートに関連付けたれた複数の定数が格納された定数テーブルを更に備え、上記閾値算出手段は、上記定数テーブルから選択された平均ビットレートに対応した定数を含む１次関数を用いて、上記第２の閾値を算出する、ことが好ましい。

本発明に係るブロックノイズ量予測装置において、特定の平均ビットレートに対応した定数から、上記符号化データを含むビットストリームの平均ビットレートに対応した定数を算出する定数算出手段を更に備え、上記閾値算出手段は、上記定数算出手段により算出された定数を含む１次関数を用いて、上記第２の閾値を算出する、ことが好ましい。

本発明に係るブロックノイズ量予測装置は、上記第１の閾値、及び、上記第２の閾値の少なくとも何れかを、上記復号画像のピクチャタイプに応じて補正する補正手段を更に備えている、ことが好ましい。

本発明に係るブロックノイズ量予測装置において、上記予測手段は、上記復号画像がＩピクチャであるときの予測結果を、上記復号画像が上記Ｉピクチャと同一のＧＯＰに属する上記Ｉピクチャ以外の画像に対する予測結果として流用する、ことが好ましい。

本発明に係るブロックノイズ量予測装置において、上記量子化パラメータは、マクロブロック毎に定められており、上記復号画像を構成する各マクロブロックにおける量子化パラメータの和を、上記復号画像を構成するマクロブロックの個数で除算することによって、上記平均量子化パラメータを算出する平均量子化パラメータ算出手段を更に備えている、ことが好ましい。

本発明に係るブロックノイズ量予測装置は、上記復号画像を生成するために参照する符号化データの総符号量を、上記復号画像を構成するマクロブロックの個数で除算することによって、上記平均符号量を算出する平均符号量算出手段を更に備えている、ことが好ましい。

復号画像に含まれるブロックノイズ量を予測する上記のブロックノイズ量予測装置と、上記復号画像に作用するフィルタ強度可変なデブロッキングフィルタと、上記復号画像に上記デブロッキングフィルタを適用するか否か、及び、適用する上記デブロッキングフィルタの強度を、上記ブロックノイズ量予測装置によって予測されたブロックノイズ量に応じて制御するデブロッキングフィルタ制御手段と、を備えている画像処理装置も本発明の範疇に含まれる。

なお、本発明に係るブロックノイズ量予測装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより、上記ブロックノイズ量予測装置をコンピュータにおいて実現するプログラム、及び、そのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係るブロックノイズ量予測装置は、以上のように、復号画像に含まれるブロックノイズ量を予測するブロックノイズ量予測装置であって、上記復号画像を生成するために参照される量子化パラメータの平均値である平均量子化パラメータ、及び、上記復号画像を生成するために参照される符号化データの単位領域サイズあたりの符号量である平均符号量に基づいて、上記復号画像に含まれるブロックノイズの量を予測する予測手段を備えている。

また、本発明に係るブロックノイズ量予測方法は、以上のように、復号画像に含まれるブロックノイズ量を予測するブロックノイズ量予測方法であって、上記復号画像を生成するために参照される量子化パラメータの平均値である平均量子化パラメータ、及び、上記復号画像を生成するために参照される符号化データの単位領域サイズあたりの符号量である平均符号量に基づいて、上記復号画像に含まれるブロックノイズの量を予測する予測工程を含んでいる。

上記の構成によれば、復号画像に含まれるブロックノイズ量の予測に際し、主観評価に合致した予測結果を得ることができる。したがって、上記ブロックノイズ量予測装置又は上記ブロックノイズ予測方法を用いて得られる予測結果を参照することにより、例えば、復号画像にデブロッキングフィルタ処理を適用するか否か、及び、適用するデブロッキングフィルタ処理の強度を、ブロックノイズ量の主観評価に即して制御することが可能になる。

また、本発明に係る画像処理装置は、以上のように、復号画像に含まれるブロックノイズ量を予測する上記ブロックノイズ量予測装置と、上記復号画像に作用するフィルタ強度可変なデブロッキングフィルタと、上記復号画像に上記デブロッキングフィルタを適用するか否か、及び、適用する上記デブロッキングフィルタの強度を、上記ブロックノイズ量予測装置によって予測されたブロックノイズ量に応じて制御するデブロッキングフィルタ制御手段と、を備えている。

上記の構成によれば、上記復号画像にデブロッキングフィルタ処理を適用するか否か、及び、適用するデブロッキングフィルタ処理の強度を、上記復号画像におけるブロックノイズ量の主観評価に即して制御することができる。例えば、上記復号画像が視（聴）者にとってブロックノイズ量が大きいと感じ易い復号画像である場合には、デブロッキングフィルタの強度を強め、逆に、上記復号画像が視（聴）者にとってブロックノイズ量が小さいと感じ易い復号画像である場合には、デブロッキングフィルタの強度を弱めたり、デブロッキングフィルタを無効化したりすることが可能になる。

本発明の実施形態に係るブロックノイズ量予測装置（ブロックノイズ量予測部）の構成例を示すブロック図である。 図１のブロックノイズ量予測装置（ブロックノイズ量予測部）を備えた画像処理装置（復号装置）の構成例を示すブロック図である。 図２の画像処理装置（復号装置）が備えているデブロッキングフィルタ制御部の構成例を示すブロック図である。 本発明の実施形態に係るブロックノイズ量予測装置（ブロックノイズ量予測部）の他の構成例を示すブロック図である。 図１のブロックノイズ量側装置（ブロックノイズ量予測部）を備えた他の画像処理装置（復号装置）の構成例を示すブロック図である。 復号画像の平均量子化パラメータ及び平均符号量とブロックノイズ量の主観評価との相関関係を示すグラフである。

本発明に係るブロックノイズ量予測装置の一実施形態について、図面に基づいて説明すれば以下のとおりである。なお、本実施形態に係るブロックノイズ量予測装置は、復号装置（本発明の係る画像処理装置の一実施形態）の一部として実施されているので、以下ではこれを「ブロックノイズ量予測部」と呼称する。ただし、本発明に係るブロックノイズ量予測装置は、必ずしも復号装置の一部として実施されることを要さない。すなわち、符号化装置の一部として実施されてもよいし、復号機能も符号化機能も有さない画像処理装置の一部として実施されてもよいし、単体で実施されてもよい。

（復号装置の構成）
本実施形態に係る復号装置（画像処理装置）１０の構成について、図２を参照して説明する。図２は、復号装置１０のブロック図である。図２に示すように、復号装置１０は、可変長復号部１１と、逆量子化部１２と、逆直交変換部１３と、フレームメモリ１４と、動き補償予測部１５と、加算器１６と、デブロッキングフィルタ１７と、デブロッキングフィルタ制御部（デブロッキングフィルタ制御手段）１８と、ブロックノイズ量予測部（ブロックノイズ量予測装置）１９とを備えている。

復号装置１０に提供される符号化データには、画像Ｐ（以下「原画像Ｐ」と呼称する）をＭ個のブロックＢ1，Ｂ2，…，ＢMに分割し、各ブロックＢnに対して以下のＳＴＥＰ１〜ＳＴＥＰ４の処理を施すことにより生成されたシンボル列Ｒ1，Ｒ2，…，ＲMが含まれている。

ＳＴＥＰ１：ブロックＢnを構成する各画素（ｉ，ｊ）の画素値ｐn（ｉ，ｊ）から、予測画像Ａｎの画素値ａn（ｉ，ｊ）を減算することによって、差分値ｄn（ｉ，ｊ）＝ｐn（ｉ，ｊ）−ａn（ｉ，ｊ）を得る（ブロックＢnがＮ×Ｎ画素からなる場合、０≦ｉ，ｊ≦Ｎ）。

ＳＴＥＰ２：ＳＴＥＰ１にて得られた差分値ｄn（ｉ，ｊ）からなる差分画像Ｄn＝｛ｄn（ｉ，ｊ）｜０≦ｉ，ｊ≦Ｎ｝を直交変換することによって、直交変換係数群Ｃn＝｛ｃn（ｕ，ｖ）｜０≦ｕ，ｖ≦Ｎ｝を得る。ここで、ｃn（ｕ，ｖ）は、周波数（ｕ，ｖ）における直交変換係数である。代表的な直交変換としては、ＤＣＴ（離散コサイン変換）などが挙げられる。この直交変換単位のことを本明細書においては「ブロック」と呼ぶ。

ＳＴＥＰ３：ＳＴＥＰ２にて得られた直交変換係数ｃn（ｕ，ｖ）を量子化することによって、量子化値ｑn（ｕ，ｖ）を得る（０≦ｕ，ｖ≦Ｎ）。量子化値ｑn（ｕ，ｖ）は、直交変換係数ｃn（ｕ，ｖ）を量子化ステップΔで除算することによって得られる商、すなわち、ｃn（ｕ，ｖ）／Δの整数部分である。

ＳＴＥＰ４：ＳＴＥＰ３にて得られた量子化値ｑn（ｕ，ｖ）からなる量子化値群Ｑn＝｛Ｑn（ｕ，ｖ）｜０≦ｕ，ｖ≦Ｎ｝を可変長符号化することによってシンボルＲnを得る。例えば、出現頻度の高い量子化値群Ｑnには、長いシンボルＲnが割り当てられ、出現頻度の低い量子化値群Ｑｎには、短いシンボルＲｎが割り当てられる。このため、シンボル列Ｒ1，Ｒ2，…，ＲMを含む符号化データの符号量は、量子化値群Ｑnの性質（遡っていえば原画像Ｐの性質）に応じて変化する。代表的な可変長符号化方法としては、指数ゴロム符号化やＣＡＶＬＣ（Context-Adaptive Variable Length Coding；コンテキスト適応型可変長符号化）などが挙げられる。

なお、ＳＴＥＰ１にて用いる予測画像Ａnの生成方法としては、（１）符号化中の原画像Ｐに対応する局所復号画像Ｐ’を参照して予測画像Ａnを生成するイントラ予測（フレーム内予測）と、（２）符号化済の原画像Ｑに対応する局所復号画像Ｑ’を参照画像として予測画像Ａnを生成する動き補償予測（フレーム間予測）とが挙げられる。

ＭＰＥＧ２やＨ．２６４／ＡＶＣなどの符号化方式においては、ＳＴＥＰ１にて用いる予測画像Ａｎの生成方法（符号化モード）を、符号化装置側でマクロブロック毎に切り替えることがでる。このため、符号化装置から提供される符号化データには、予測画像Ａnの生成方法を示す符号化モード情報が含まれる。

また、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどの符号化方式においては、ＳＴＥＰ３にて用いる量子化ステップΔの大きさを、符号化装置側でマクロブロック毎に切り替えることがでる。このため、符号化装置から提供される符号化データには、各マクロブロックにおける量子化ステップΔの大きさを示す量子化パラメータが含まれる。

また、ＭＰＥＧ２やＨ．２６４／ＡＶＣなどの符号化方式においては、各マクロブロックをブロックに分割する分割方法を、符号化装置側でマクロブロック毎に切り替える（例えば、１６×１６画素のマクロブロックを８×８画素の４つのブロックに分割したり、８×１６画素の２つのブロックに分割したりする）ことができる。このため、符号化装置から提供される符号化データには、各マクロブロックに関するブロック境界位置を示すブロック境界位置情報が含まれる。

符号化装置から提供される符号化データに含まれるこれらの付加情報は、しばしば、「サイド情報」と呼ばれる。上述したサイド情報の他にも、各画像のピクチャタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を示すピクチャタイプ情報などが、符号化装置から提供される符号化データに含まれる。

復号装置１０は、符号化データに含まれるシンボル列Ｒ1，Ｒ2，…，ＲMから、原画像Ｐを近似する画像Ｐ’（以下「復号画像Ｐ’」と呼称する）をブロック毎に構成する。復号画像Ｐ’を構成する各ブロックＢ’nは、シンボルＲnに対して以下のＳＴＥＰ５〜ＳＴＥＰ８の処理を施すことにより生成される。

ＳＴＥＰ５：可変長復号部１１において、シンボルＲｎを可変長復号することによって、量子化値群Ｑn＝｛ｑn（ｕ，ｖ）｜０≦ｕ，ｖ≦Ｎ｝を得る。得られる量子化値群Ｑnは、ＳＴＥＰ４にて符号化された量子化値群Ｑｎと同一である。

ＳＴＥＰ６：逆量子化部１２において、ＳＴＥＰ５にて得られた各量子化値ｑn（ｕ，ｖ）を逆量子化することによって、直交変換係数ｃ’n（ｕ，ｖ）を得る（０≦ｕ，ｖ≦Ｎ）。この際、逆量子化部１２は、サイド情報として提供された量子化パラメータにより指定される量子化ステップΔを、ＳＴＥＰ５にて得られた量子化値ｑn（ｕ，ｖ）に乗算することによって、ＳＴＥＰ３にて量子化された直交変換係数ｃn（ｕ，ｖ）と略同一の直交変換係数ｃ’n（ｕ，ｖ）を得る。

ＳＴＥＰ７：逆直交変換部１３において、ＳＴＥＰ６にて得られた直交変換係数群Ｃ’n＝｛ｃ’n（ｕ，ｖ）｜０≦ｕ，ｖ≦Ｎ｝を逆直交変換することによって、差分画像Ｄ’n＝｛ｄ’n（ｉ，ｊ）｜０≦ｉ，ｊ≦Ｎ｝を得る。得られる差分画像Ｄ’nは、ＳＴＥＰ２にて直交変換された差分画像Ｄnと略同一の画像である。

ＳＴＥＰ８：加算器１６において、ＳＴＥＰ７にて得られた差分画像Ｄ’nを構成する各画素値ｄ’n（ｉ，j）に、予測画像Ａｎの画素値ａn（ｉ，ｊ）を加算することによって、ブロックＢ’nに属する画素（ｉ，ｊ）の画素値ｐ’n（ｉ，ｊ）を得る（０≦ｉ，ｊ≦Ｎ）。得られた画素値ｐ’n（ｉ，ｊ）は、復号画像Ｐ’の一部としてフレームメモリ１４に格納される。

復号装置１０は、サイド情報として提供された符号化モード情報に従って、ＳＴＥＰ８にて差分画像Ｄ’nに加算する予測画像Ａnの生成方法を決定する。すなわち、イントラ予測（フレーム内予測）が指定されたブロックＢ’nについては、フレームメモリ１４に格納された復号中の復号画像Ｐ’（の復号済領域）を参照して生成した予測画像Ａnを差分画像Ｄ’nに加算し、動き補償予測（フレーム間予測）が指定されたブロックＢ’nについては、復号済の復号画像Ｑ’（フレームメモリ１４に格納されている）を参照して動き補償予測部１５が生成した予測画像Ａnを差分画像Ｄ’nに加算する。

以上のようにして生成された復号画像Ｐ’にはブロックノイズが含まれる。すなわち、復号画像Ｐ’の画素値がブロック境界において不連続に変化することがある。

デブロッキングフィルタ１７は、このようなブロックノイズを復号画像Ｐ’から除去するために、ブロック境界近傍の画素値を平滑化するフィルタである。デブロッキングフィルタ１７は、例えば、係数可変なＦＩＲフィルタにより構成されている。

デブロッキングフィルタ制御部１８は、デブロッキングフィルタ１７の係数をブロック境界毎に切り替え、デブロッキングフィルタ１７を適応的に動作させる。具体的には、各ブロック境界に対してデブロッキングフィルタ処理を適用するか否か、及び、適用するデブロッキングフィルタ処理の強度を、ブロック境界近傍画素の画素値、符号化装置から提供されるサイド情報、及び、ブロックノイズ量予測部１９から提供されるユーザパラメータに応じて決定する。なお、デブロッキングフィルタ制御部１８の具体的な構成例については、参照する図面を代えて後述する。

ブロックノイズ量予測部１９は、復号画像Ｐ’の平均符号量Ｂ（Ｐ’）及び平均量子化パラメータＱＰ（Ｐ’）を算出すると共に、算出した平均符号量Ｂ（Ｐ’）及び平均量子化パラメータＱＰ（Ｐ’）に基づいて復号画像Ｐ’に含まれるブロックノイズ量を予測する。そして、予測したブロックノイズ量に応じたユーザパラメータをデブロッキングフィルタ制御部１８に提供する。なお、平均符号量Ｂ（Ｐ’）及び平均量子化パラメータＱＰ（Ｐ’）の定義、及び、ブロックノイズ予測部１９の具体的な構成例については、参照する図面を代えて後述する。

（デブロッキングフィルタ制御部の構成例）
次に、デブロッキングフィルタ制御部１８の構成例について、図３を参照して説明する。図３は、デブロッキングフィルタ制御部１８の構成例を示したブロック図である。デブロッキングフィルタ制御部１８は、図３に示すように、閾値決定部１８１と、フィルタＯＮ／ＯＦＦ判定部１８２と、フィルタ強度判定部１８３とを備えており、以下に説明するように、概ねＨ．２６４／ＡＶＣの規格に従ってデブロッキングフィルタ１７を制御する。

閾値決定部１８１は、各ブロック境界におけるブロック境界強度Ｂｓを、そのブロック境界が属するマクロブロックに関する符号化モード情報及びブロック境界位置情報に基づいて評価する。この際、閾値決定部１８１が参照する符号化モード情報及びブロック境界位置情報は、符号化装置からサイド情報として提供されたものである。

Ｈ．２６４／ＡＶＣには、各ブロック境界におけるブロック境界強度Ｂｓを、（１）そのブロック境界を介して隣接する２つのブロックの何れか一方がイントラマクロブロックに属しているか否か、（２）そのブロック境界がマクロブロック境界であるか否か、（３）そのブロック境界を介して隣接する２つのブロックの何れか一方が直交変換係数をもつか否か、（４）そのブロック境界を介して隣接する２つのブロックにおいて参照画像及び動きベクトルが同一であるか否かに応じて、５段階評価する方法が規定されている。閾値決定部１８１は、例えば、この規定に従って各ブロック境界におけるブロック境界強度Ｂｓを評価する。

また、閾値決定部１８１は、各ブロック境界における閾値（α，β）を、そのブロック境界を介して隣接する２つのブロックにおける量子化パラメータに基づいて決定する。この際、閾値決定部１８１が参照する量子化パラメータは、符号化装置からサイド情報として提供されたものである。

Ｈ．２６４／ＡＶＣには、ブロック境界を介して隣接する２つのブロックに関する量子化パラメータの平均値と、そのブロック境界に割り当てるべき閾値（α，β）との対応関係が規定されている。例えば、量子化パラメータの平均値＝０には閾値（α，β）＝（０，０）が対応し、量子化パラメータの平均値＝２０には閾値（α，β）＝（７，３）が対応し、量子化パラメータの平均値＝４０には閾値（α，β）＝（８０，１３）が対応する。閾値決定部１８１は、例えば、この対応関係に従って各ブロック境界における閾値（α，β）を、そのブロック境界を介して隣接する２つのブロックにおける量子化パラメータの平均値から決定する。

閾値決定部１８１は、上記の規定に従って決定した閾値α及びβに、オフセット値Δα及びΔβを加算することによって、最終的な閾値（α，β）を決定する。この際、閾値決定部１８１が参照するオフセット値（Δα，Δβ）は、ブロックノイズ量予測部１９からユーザパラメータとして提供されたものである。

すなわち、本実施形態においては、ブロックノイズ量予測部１９から提供されたオフセット値（Δα，Δβ）を用いて閾値（α，β）を調整する。すなわち、Ｈ．２６４／ＡＶＣにおいては、符号化装置側で設定されるオフセット値（Δα，Δβ）に基づいて行われていた閾値（α，β）の調整を、本実施形態においては、復号装置側で予測されるブロックノイズ量に基づいて自動的に行う。

フィルタＯＮ／ＯＦＦ判定部１８２は、各ブロック境界近傍に対してデブロッキングフィルタ処理を施すか否かを、そのブロック境界近傍における復号画像Ｐ’の画素値、並びに、そのブロック境界におけるブロック境界強度Ｂｓ及び最終的な閾値（α，β）に基づいて判定する。そして、デブロッキングフィルタ処理を施すと判定した場合には、デブロッキングフィルタ１７を有効化し、デブロッキングフィルタ処理を施さないと判定した場合には、デブロッキングフィルタ１７を無効化する。

Ｈ．２６４／ＡＶＣにおいては、縦（横）方向に走るブロック境界近傍に対してデブロッキングフィルタ処理を施すか否かを、次のようにして判定することが規定されている。すなわち、以下の条件（ａ）及び（ｂ）を満たす場合に限って、縦（横）方向に走るブロック境界近傍にデブロッキングフィルタ処理を施す。フィルタＯＮ／ＯＦＦ判定部１８２は、例えば、この規定に従って各ブロック境界近傍に対してデブロッキングフィルタ処理を施すか否かを判定し、判定結果に応じてデブロッキングフィルタ１７を制御する。

（ａ）Ｂｓ＞０
（ｂ）｜ｐ0−ｑ0｜＜αかつ｜ｐ1−ｑ0｜＜βかつ｜ｑ1−ｐ0｜＜β
ここで、ｐ0は、ブロック境界の左（上）側に隣接する画素の画素値であり、ｐ1は、その左（上）側に隣接する画素の画素値であり、ｐ2は、更にその左（上）側に隣接する画素の画素値である。また、ｑ0は、ブロック境界の右（下）側に隣接する画素の画素値であり、ｑ1は、その右（下）側に隣接する画素の画素値であり、ｑ2は、更にその右（下）側に隣接する画素の画素値である。

フィルタ強度判定部１８３は、各ブロック境界近傍に対して施すデブロッキングフィルタ処理の強度を、復号画像Ｐ’におけるそのブロック境界近傍の画素値、並びに、そのブロック境界におけるブロック境界強度Ｂｓ及び最終的な閾値（α，β）に基づいて判定する。そして、デブロッキングフィルタ１７が判定結果に応じた強度で動作するよう、デブロッキングフィルタ１７の係数を設定する。

Ｈ．２６４／ＡＶＣにおいては、各ブロック境界近傍に対して、そのブロック境界におけるブロック境界強度Ｂｓ及び閾値（α，β）に応じた、以下のデブロッキングフィルタ処理を施すことが規定されている。フィルタ強度判定部１８３は、例えば、デブロッキングフィルタ１７がこの規定に従って動作するよう、デブロッキングフィルタ１７の係数を設定する。

（ａ）Ｂｓ＜４の場合
入力画素値（ｐ1，ｐ0，ｑ0，ｑ1）から出力画素値（ｐ0’，ｑ0’）を以下のように算出する。ここで、ｐ0’は、ブロック境界の左（上）側に隣接する画素の画素値であり、ｑ0’は、ブロック境界の右（下）側に隣接する画素の画素値である。

p0’＝ｐ0＋Δ；
ｑ0’＝ｑ0＋Δ；
Δ＝CLIP［−ｔc、ｔc、｛（ｑ0−ｐ0）＜＜２＋（ｐ1−ｑ1）＋４｝／８］。

ここで、CLIP［ａ、ｂ、ｃ］は、ａの範囲がａ≦ｃ≦ｂとなるようにクリップ処理を行うことを表しており、ｔcは、｜ｐ2−ｐ0｜、｜ｑ2−ｑ0｜、及び、βの値に応じて決定される。

｜ｐ2−ｐ0｜が閾値βよりも小さい場合には、更に、入力画素値（ｐ2，ｐ1，ｐ0，ｑ1）から出力画素値ｐ1’を以下のように算出する。ここで、ｐ1’は、ブロック境界の左（上）側に隣接する画素の更に左（上）側に隣接する画素の画素値である。

ｐ1’＝ｐ1＋CLIP［−ｔc0、ｔc0、ｐ2＋｛（ｐ0＋ｑ0＋１）―（ｐ1×２）｝／２］。

ここで、ｔc0の値は、ブロック境界強度Ｂｓ及び量子化パラメータＱＰに応じて決定される。

また、｜ｑ2−ｑ0｜が閾値βよりも小さい場合には、更に、入力画素値（ｐ2，ｐ1，ｐ0，ｑ1）から出力画素値ｑ1’を以下のように算出する。ここで、ｑ1’は、ブロック境界の右（下）側に隣接する画素の更に右（下）側に隣接する画素の画素値である。

ｑ1’＝ｑ1＋CLIP［ｑ2＋｛（ｑ0＋ｐ0＋１）―（ｑ1×２）｝／２、−ｔc0、ｔc0］。

（ｂ）Ｂｓ＝４の場合
｜ｐ2−ｐ0｜＜β、かつ、｜ｐ0−ｑ0｜＜α／４＋２の場合、入力画素値（ｐ3，ｐ2，ｐ1，ｐ0，ｑ0，ｑ1）から出力画素値（ｐ0’，ｐ1’，ｐ2’）を以下のように算出する。

ｐ0’＝（ｐ2＋２×ｐ1＋２×ｐ0＋２×ｑ0＋ｑ1）／８；
ｐ1’＝（ｐ2＋ｐ2＋ｐ0＋ｑ1）／４；
ｐ2’＝（２×ｐ3＋３×ｐ2＋ｐ1＋ｐ0＋ｑ0）／８。

また、入力画素値ｑ3，ｑ2，ｑ1，ｑ0，ｐ0，ｐ1から出力画素値ｑ0’，ｑ1’，ｑ2’を同様に算出する。

｜ｐ2−ｐ0｜≧β、又は、｜ｐ0−ｑ0｜≧α／４＋２の場合、入力画素値ｐ1，ｐ0，ｑ0から出力画素値ｐ0’を以下のように算出する。

ｐ０’＝（２×ｐ１＋ｐ０＋ｑ０）／４。

また、入力画素値ｑ1，ｑ0，ｐ0から出力画素値ｑ0’を同様に算出する。

（ブロックノイズ量予測アルゴリズム）
次に、ブロックノイズ量予測部１９におけるブロックノイズ量予測アルゴリズムについて、図６を参照して説明する。図６は、ブロックノイズ量の主観評価の結果と、主観評価の対象とした復号画像Ｐ’の平均量子化パラメータＱＰ＝ＱＰ（Ｐ’）及び平均符号量Ｂ＝Ｂ（Ｐ’）との相関を示すグラフである。同図においては、被験者が「ブロックノイズがない」と認定した復号画像Ｐ’の平均量子化パラメータＱＰ及び平均符号量Ｂを「×」で、被験者が「ブロックノイズが小さい」と認定した復号画像Ｐ’の平均量子化パラメータＱＰ及び平均符号量Ｂを「黒四角」で、被験者が「ブロックノイズが大きい」と認定した復号画像Ｐ’の平均量子化パラメータＱＰ及び平均符号量Ｂを「黒丸」で示している。

ここで、復号画像Ｐ’の平均符号量Ｂ＝Ｂ（Ｐ’）とは、復号画像Ｐ’を生成するために参照される符号化データ（シンボル列及びサイド情報を含む）の単位領域サイズあたりの符号量のことである。本実施形態においては、マクロブロックサイズ（例えば１６×１６ピクセル）あたりの符号量を平均符号量Ｂ（Ｐ’）とするが、本発明はこれに限定されるものではない。すなわち、単位領域の取り方は任意であり、ブロックサイズ（例えば８×８ピクセル）を単位領域サイズとしてもよいし、１ピクセルを単位領域サイズとしてもよい。

例えば、復号画像Ｐ’が１６×１６ピクセルからなるＫ個のマクロブロックにより構成されており、１６×１６ピクセル（マクロブロックサイズ）を単位領域サイズとする場合、復号画像Ｐ’を生成するために参照される符号化データの総符号量を、復号画像Ｐ’に含まれるマクロブロック数Ｋで除算することによって、平均符号量Ｂ（Ｐ’）（１６×１６ピクセルあたり）を算出することができる。

一方、復号画像Ｐ’の平均量子化パラメータＱＰ＝ＱＰ（Ｐ’）とは、復号画像Ｐ’を生成するために、逆量子化工程（ＳＴＥＰ６）において参照される量子化パラメータＱＰの平均値である。例えば、Ｈ．２６４／ＡＶＣのように量子化ステップΔがマクロブロック毎に切り替え可能な場合には、マクロブロック毎に定められた量子化パラメータＱＰkの和｜ＱＰ1｜＋｜ＱＰ2｜＋…＋｜ＱＰK｜をマクロブロック数Ｋで除算することによって、平均量子化パラメータＱＰを算出することができる。この際、スキップドマクロブロックに関しては、量子化パラメータの和に加えなくてもよい。この場合には、総マクロブロック数Ｋからスキップドマクロブロック数ＳＰを減算した値（Ｋ−ＳＰ）で除算することで、平均量子化パラメータを求める。

図６に示したグラフから、（１）平均量子化パラメータＱＰが閾値Ｑthを下回る場合、被験者はブロックノイズが含まれないと認定すること、（２）平均量子化パラメータＱＰが閾値Ｑthを上回る場合、（２−１）平均符号量Ｂが閾値Ｂ1thを上回るときに、被験者はブロックノイズが含まれていないと認定し、（２−２）平均符号量Ｂが閾値Ｂ1thを下回り、かつ、閾値Ｂ0th（Ｂ0th＜Ｂ1th）を上回るときに、被験者はブロックノイズが小さいと認定し、（２−３）平均符号量Ｂが閾値Ｂ0thを下回るときに、被験者はブロックノイズが大きいと認定することが確かめられる。ここで、主観評価の分水嶺となる閾値Ｂ1th及びＢ0thは、平均量子化パラメータＱＰに応じて単調に増加する。

ブロックノイズ量予測部１９におけるブロックノイズ量予測アルゴリズムは、図６に示した主観評価を反映して設計されたものである。すなわち、まず、復号画像Ｐ’の平均量子化パラメータＱＰを閾値Ｑthと比較し、次に、平均符合量Ｂを平均量子化パラメータＱＰに応じた２つの閾値Ｂ0th（ＱＰ）及びＢ1th（ＱＰ）と比較することによって、ブロックノイズ量を３段階評価するものである。具体的には、（１）平均量子化パラメータＱＰが閾値Ｑthよりも小さい場合、復号画像Ｐ’のブロックノイズ量を「なし」と評価し、（２）平均量子化パラメータＱＰが閾値Ｑth以上である場合、（２−１）平均符号量Ｂが閾値Ｂ1th（ＱＰ）よりも大きければ、復号画像Ｐ’のブロックノイズ量を「なし」と評価し、（２−２）平均符号量Ｂが閾値Ｂ1th以下であり、かつ、閾値Ｂ0th（ＱＰ）よりも大きければ、復号画像Ｐ’のブロックノイズ量を「小」と評価し、（２−３）平均符号量Ｂが閾値Ｂ0th（ＱＰ）以下であれば、復号画像Ｐ’のブロックノイズ量を「大」と評価する。

ここで、平均量子化パラメータＱＰから閾値Ｂ1th（ＱＰ）及びＢ0th（ＱＰ）を算出するための関数としては、平均量子化パラメータＱＰの単調増加関数、例えば、平均量子化パラメータＱＰの１次関数を用いることができる。ここで、Ｂ1th_BASE、Ｂ0th_BASE、及び、Ｇは、主観評価の結果に基づいて予め定められた定数である。

Ｂ1th（ＱＰ）＝Ｂ1th_BASE＋ＱＰ×Ｇ・・・（１）
Ｂ0th（ＱＰ）＝Ｂ0th_BASE＋ＱＰ×Ｇ・・・（２）
ただし、グラフが図６に示す主観評価の分水嶺を近似するものであれば、Ｂ1th（ＱＰ）及びＢ0th（ＱＰ）の関数形はこれに限定されない。

なお、ブロックノイズの主観評価は、平均ビットレートにも依存することが実験により確かめられている。したがって、Ｂ1th（ＱＰ）の関数形（上述した例ではＢ1th_BASE及びＧの値）、及び、Ｂ0th（ＱＰ）の関数形（上述した例ではＢ0th_BASE及びＧの値）を、平均ビットレートに応じて変更することにより、ブロックノイズ量の予測値を主観評価により一層近づけることができる。

また、ブロックノイズの主観評価は、復号画像のピクチャタイプにも依存することが実験により確かめられている。したがって、Ｂ1th（ＱＰ）の関数形（上述した例ではＢ1th_BASE及びＧの値）、及び、Ｂ0th（ＱＰ）の関数形（上述した例ではＢ0th_BASE及びＧの値）を、ピクチャタイプに応じて変更することにより、ブロックノイズ量の予測値を主観評価により一層近づけることができる。

ただし、Ｉピクチャに対するブロックノイズ量の予測結果と、同じＧＯＰに属する他のフレーム（又はフィールド）に対するブロックノイズ量の予測結果との相関が非常に高いことが実験により確かめられている。したがって、Ｉピクチャに対するブロックノイズの予測結果を、同じＧＯＰに属する他のフレーム（又はフィールド）に流用しても構わない。

（ブロックノイズ量予測部の構成例１）
次に、ブロックノイズ量予測部（ブロックノイズ量予測装置）１９の第１の構成例について、図１を参照して説明する。図１は、ブロックノイズ量予測部１９の第１の構成例を示したブロック図である。ブロックノイズ量予測部１９は、図１に示すように、ピクチャタイプ情報取得部１９１と、平均量子化パラメータ算出部（平均量子化パラメータ算出手段）１９２と、平均符号量算出部（平均符号量算出手段）１９３と、定数テーブル（テーブル）１９４と、定数選択部１９５と、量子化パラメータ比較部（第１の判定手段）１９６と、閾値算出部（閾値算出手段、補正手段）１９７と、符号量比較部（第２の判定手段）１９８と、ユーザパラメータ決定部１９９とを備えている。

ピクチャタイプ情報取得部１９１は、符号化装置からサイド情報として提供された、復号画像Ｐ’に関するピクチャタイプ情報を取得する。平均量子化パラメータ算出部１９２は、符号化装置からサイド情報として提供された、各マクロブロックに関する量子化パラメータから、平均量子化パラメータＱＰを算出する。平均符号量算出部１９３は、復号画像Ｐ’を生成するために参照する符号化データの総符号量から、平均符号量Ｂを算出する。

定数テーブル１９４には、定数（Ｑth、Ｂ1th_BASE、Ｂ0th_BASE、Ｇ）が平均ビットレート毎に格納されている（例えば、１Ｍｂｐｓ用の定数、１０Ｍｂｐｓ用の定数、１００Ｍｂｐｓ用の定数がそれぞれ格納されている）。Ｑthは、平均量子化パラメータＱＰと比較する閾値として用いる定数であり、（Ｂ1th_BASE、Ｂ0th_BASE、Ｇ）は、平均符号量Ｂと比較する閾値Ｂ1th（ＱＰ）及びＢ0th（ＱＰ）を算出するために用いる定数である。定数選択部１９５は、定数テーブル１９４に格納された定数の中から、ユーザにより指定された平均ビットレートに応じた定数（Ｑth、Ｂ1th_BASE、Ｂ0th_BASE、Ｇ）を選択する。

量子化パラメータ比較部１９６は、平均量子化パラメータ算出部１９２により算出された平均量子化パラメータＱＰと、定数選択部１９５により選択された閾値Ｑthを比較する。比較結果は、後述するユーザパラメータ決定部１９９に通知される。

閾値算出部１９７は、平均量子化パラメータ算出部１９２により算出された平均量子化パラメータＱＰに応じた閾値Ｂ1th（ＱＰ）及びＢ0th（ＱＰ）を算出する。具体的には、定数選択部１９５により選択された定数（Ｂ1th_BASE、Ｂ0th_BASE、Ｇ）を用いて、式（１）及び（２）に従って、閾値Ｂ1th（ＱＰ）及びＢ0th（ＱＰ）を算出する。

閾値算出部１９７は、上記のように算出した閾値Ｂ1th（ＱＰ）及びＢ0th（ＱＰ）を、復号画像Ｐ’のピクチャタイプに応じて補正する。例えば、上記のように算出した閾値Ｂ1th（ＱＰ）及びＢ0th（ＱＰ）に、ピクチャタイプ毎に予め定められた重みＷ（Ｐ＿ＴＹＰ）を乗ずることによって、補正後閾値Ｂ1th’（ＱＰ）及びＢ0th’（ＱＰ）を算出する。ここでＰ＿ＴＹＰは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャなどのピクチャタイプを示す。

Ｂ1th’（ＱＰ）＝Ｂ1th（ＱＰ）×Ｗ（Ｐ＿ＴＹＰ）・・・（３）
Ｂ0th’（ＱＰ）＝Ｂ0th（ＱＰ）×Ｗ（Ｐ＿ＴＹＰ）・・・（４）
符号量比較部１９８は、平均符号量算出部１９３により算出された平均符号量Ｂを、閾値算出部１９７により算出された閾値Ｂ1th’（ＱＰ）及びＢ0th’（ＱＰ）と比較する。比較結果は、後述するユーザパラメータ決定部１９９に通知される。

なお、平均量子化パラメータＱＰと比較する閾値Ｑthについても、ピクチャタイプに応じて補正した補正後閾値Ｑ’thを使用してもよい。すなわち、量子化パラメータ比較部１９６が、平均量子化パラメータ算出部１９２により算出された平均量子化パラメータＱＰを、式（６）に従って算出される補正後閾値Ｑth’と比較する構成を採用してもよい。

Ｑth’＝Ｑth×Ｗ（Ｐ＿ＴＹＰ） ・・・（５）
ユーザパラメータ決定部１９９は、量子化パラメータ比較部１９６及び符号量比較部１９８から通知された比較結果に基づいてブロックノイズ量を予測すると共に、予測したブロックノイズ量に応じたユーザパラメータを以下のように設定する。

（１）平均量子化パラメータＱＰが閾値Ｑth（又は補正後閾値Ｑth’）よりも小さい場合には、復号画像Ｐ’のブロックノイズ量を「なし」と予測し、デブロッキングフィルタ１７にてデブロッキングフィルタ処理が行われないよう、あるいは、デフォルト強度よりも弱いデブロッキングフィルタ処理が行われるよう、デブロッキングフィルタ制御部１８に提供するユーザパラメータの値を設定する（例えば、オフセット値Δα及びΔβを何れも負の数に設定する）。なお、デフォルト強度とは、ブロック境界強度Ｂｓ、及び、オフセット（Δα，Δβ）を加算する前の閾値（α，β）に応じて定まるフィルタ強度のことを指す。

（２−１）平均量子化パラメータＱＰが閾値Ｑth（又は補正後閾値Ｑth’）以上であり、かつ、平均符号量Ｂが閾値Ｂ1th（ＱＰ）（又は補正後閾値Ｂ1th’（ＱＰ））よりも大きい場合には、復号画像Ｐ’のブロックノイズ量を「なし」と予測し、デブロッキングフィルタ１７にてデブロッキングフィルタ処理が行われないよう、あるいは、デフォルト強度よりも弱いデブロッキングフィルタ処理が行われるよう、デブロッキングフィルタ制御部１８に提供するユーザパラメータの値を設定する（例えば、オフセット値Δα及びΔβを何れも負の数に設定する）。

（２−２）平均量子化パラメータＱＰが閾値Ｑth（又は補正後閾値Ｑth’）以上であり、平均符号量Ｂが閾値Ｂ1th（ＱＰ）（又は補正後閾値Ｂ1th’（ＱＰ））以下であり、かつ、閾値Ｂ0th（ＱＰ）（又は補正後閾値Ｂ0th’（ＱＰ））よりも大きい場合には、復号画像Ｐ’のブロックノイズ量を「小」と予測し、デフォルト強度でデブロッキングフィルタ処理が行われるよう、デブロッキングフィルタ制御部１８に提供するユーザパラメータの値を設定する（例えば、オフセット値Δα及びΔβを何れも０に設定する）。

（２ー３）平均量子化パラメータＱＰが閾値Ｑth（又は補正後閾値Ｑth’）以上であり、かつ、平均符号量Ｂが閾値Ｂ0th（ＱＰ）（又は補正後閾値Ｂ0th’（ＱＰ））以下であれば、復号画像Ｐ’のブロックノイズ量を「大」と予測し、デフォルト強度よりも強いデブロッキングフィルタ処理が行われるよう、デブロッキングフィルタ制御部１８に提供するユーザパラメータの値を設定する（例えば、オフセット値Δα及びΔβを何れも正の数に設定する）。

なお、上述したとおり、Ｉピクチャに対するブロックノイズ量の予測結果は、同じＧＯＰ内の他のピクチャに対する予測結果を十分な精度で近似することから、Ｉピクチャに対して決定したユーザパラメータを、同じＧＯＰに属するＰピクチャやＢピクチャに対するユーザパラメータとして流用しても構わない。

（ブロックノイズ量予測部の構成例２）
次に、ブロックノイズ量予測部の第２の構成例について、図４を参照して説明する。図４は、ブロックノイズ量予測部１９の第２の構成例を示したブロック図である。図１に示した構成例と図４に示した構成例との相違点は、定数テーブル１９４及び定数選択部１９５が省略され、代わりに、平均ビットレート算出部２０１及び定数算出部２０２が追加されている点である。

平均ビットレート算出部２０１は、復号画像Ｐ’を生成するために参照される符号化データを含むビットストリームの平均ビットレートを算出する。ここで、ビットレートとは、符号化データの単位再生時間あたりの符号量のことを指し、平均ビットレートとは、予め定められた期間に渡ってサンプリングされたビットレートの平均値のことを指す。符号化装置側で可変ビットレートの符号化を行う場合には、対象となる動画像の性質によってビットレートが大きく変動するので、ビットレートをサンプリングする期間を十分に長く（ビットレートの変動周期よりも長く）設定しておくことが望ましい。

定数算出部２０２は、平均ビットレート算出部２０１にて算出された平均ビットレートｍに応じた定数（Ｑth（ｍ）、Ｂ1th_BASE（ｍ）、Ｂ0th_BASE（ｍ）、Ｇ（ｍ））を算出する。具体的には、平均ビットレートが特定の値Ｍである場合に最適化された定数（Ｑth（Ｍ）、Ｂ1th_BASE（Ｍ）、Ｂ0th_BASE（Ｍ）、Ｇ（Ｍ））から、式（６）〜（１０）に従って定数（Ｑth（ｍ）、Ｂ1th_BASE（ｍ）、Ｂ0th_BASE（ｍ）、Ｇ（ｍ））を算出する。なお、平均ビットレートＭ、及び、４つの定数Ｑth（Ｍ）、Ｂ0th_BASE（Ｍ）、Ｂ1th_BASE（Ｍ）、Ｇ（Ｍ）の値は予めメモリ（不図示）に記録されており、定数算出部２０２はメモリに記録されたこれらの値を参照する。

γ＝ｍ／Ｍ ・・・（６）
Ｑth（ｍ）＝Ｑth（Ｍ）／γ ・・・（７）
Ｂ0th_BASE（ｍ）＝Ｂ0th_BASE（Ｍ）×γ ・・・（８）
Ｂ1th_BASE（ｍ）＝Ｂ1th_BASE（Ｍ）×γ ・・・（９）
Ｇ（ｍ）＝Ｇ（Ｍ）×γ ・・・（１０）
これらの式は、平均ビットレートと平均符号量とが比例しており、かつ、同じ画像においては量子化パラメータと符号量との積が一定になるという仮定に基づいているが、実際の実験結果と一致することが確認されている。

（プログラム及び記録媒体）
復号装置１０は、各機能を実現するプログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるプログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を復号装置１０に供給し、復号装置１０がその記録媒体に記録されているプログラムコードを読み出し実行することによっても達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、復号装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して復号装置１０に供給するようにしてもよい。この通信ネットワークとしては、とくに限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、とくに限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

さらに、上述した復号装置１０に含まれる各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

（付記事項）
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

例えば、本実施形態においては、デブロッキングフィルタが復号ループの外に設けられている復号装置に対する本発明の適用例を説明したが、本発明の適用範囲はこれに限定されない。すなわち、デブロッキングフィルタが復号ループの中に設けられている復号装置に対しても本発明を適用することができる。

デブロッキングフィルタが復号ループの中に設けられている復号装置１０’の構成を図５に示す。復号装置１０’の各ブロックが有する機能は、同じ参照符号が付された復号装置１０（図２参照）のブロックが有する機能と同一である。復号装置１０’における復号装置１０との相違点は、デブロッキングフィルタ処理済みの復号画像がフレームメモリ１４に格納され、動き補償予測部１５によって参照される点である。符号化装置と復号装置との双方においてこのような構成を採用することで、原画像と予測画像との差分残差を小さくし、符号化効率を向上させることができる。

なお、Ｈ２４６には、デブロッキングフィルタを復号ループ内に設けることが規定されている。このため、Ｈ２４６に対応したデコーダは、普通、図５に示した構成をとる。一方、ＭＰＥＧ２においては、デブロッキングフィルタを設けることが規定されていない。このため、ＭＰＥＧ２に対応したデコーダは、普通、図２に示した構成をとる。

また、本実施形態においては、デブロッキングフィルタを備えた復号装置に対する本発明の適用例を説明したが、本発明の適用範囲はこれに限定されない。すなわち、例えば、デブロッキングフィルタを備えた符号化装置に対しても本発明を適用することができる。復号装置においては、復号画像にデブロッキングフィルタが適用されるのに対し、符号化装置においては、動き補償予測のために参照される局所復号画像（原画像に対してＳＴＥＰ１〜ＳＴＥＰ８の処理を施すことによって得られる画像）にデブロッキングフィルタが適用される。符号化装置におけるデブロッキングフィルタの制御を、本実施形態に係る復号装置におけるブロッキングフィルタの制御と同様に行うことができる。更に、デブロッキングフィルタを備えた画像処理装置であれば、符号化機能も復号機能も有さない画像処理装置であっても、本発明を適用することができる。

本発明は、デブロッキングフィルタを備えた画像処理装置一般に広く利用することができる。特に、デブロッキングフィルタを備えた符号化装置及び復号装置などに好適に利用することができる。光ディスクレコーダやハードディスクレコーダなどの記録装置（再生装置、記録／再生装置）や、テレビジョン受像機などの表示装置等に取り分け好適に利用することができる。

１０ 復号装置（画像処理装置）
１１ 可変長復号部
１２ 逆量子化部
１３ 逆直交変換部
１４ フレームメモリ
１５ 動き補償予測部
１６ 加算器
１７ デブロッキングフィルタ
１８ デブロッキングフィルタ制御部（デブロッキングフィルタ制御手段）
１９ ブロックノイズ量予測部（ブロックノイズ量予測装置）
１９１ ピクチャタイプ情報取得部
１９２ 平均量子化パラメータ算出部（平均量子化パラメータ算出手段）
１９３ 平均符号量算出部（平均符号量算出手段）
１９４ 定数テーブル
１９５ 定数選択部
２０１ 平均ビットレート算出部
２０２ 定数算出部（定数算出手段）
１９６ 量子化パラメータ比較部（予測手段、第１の判定手段）
１９７ 閾値算出部（閾値算出手段、補正手段）
１９８ 符号量比較部（予測手段、第２の判定手段）
１９９ ユーザパラメータ決定部（予測手段）

Claims (15)

1. 復号画像に含まれるブロックノイズ量を予測するブロックノイズ量予測装置であって、
   上記復号画像を生成するために参照される量子化パラメータの平均値である平均量子化パラメータ、及び、上記復号画像を生成するために参照される符号化データの単位領域サイズあたりの符号量である平均符号量に基づいて、上記復号画像に含まれるブロックノイズの量を予測する予測手段を備えている、ことを特徴とするブロックノイズ量予測装置。
2. 上記予測手段は、
   上記平均量子化パラメータを第１の閾値と比較することによって、上記復号画像に含まれるブロックノイズの有無を判定する第１の判定手段と、
   上記平均符号量を第２の閾値と比較することによって、上記復号画像に含まれるブロックノイズの大小を判定する第２の判定手段を含んでいる、
   ことを特徴とする請求項１に記載のブロックノイズ量予測装置。
3. 上記平均量子化パラメータから上記第２の閾値を算出する閾値算出手段を更に備えている、
   ことを特徴とする請求項２に記載のブロックノイズ量予測装置。
4. 上記閾値算出手段は、上記平均量子化パラメータを変数とする単調増加関数を用いて上記第２の閾値を算出する、
   ことを特徴とする請求項３に記載のブロックノイズ量予測装置。
5. 上記閾値算出手段は、上記平均量子化パラメータを変数とする１次関数を用いて上記第２の閾値を算出する、
   ことを特徴とする請求項４に記載のブロックノイズ量予測装置。
6. 異なる平均ビットレートに関連付けたれた複数の定数が格納された定数テーブルを更に備え、
   上記閾値算出手段は、上記定数テーブルから選択された平均ビットレートに対応した定数を含む１次関数を用いて、上記第２の閾値を算出する、
   ことを特徴とする請求項５に記載のブロックノイズ量予測装置。
7. 特定の平均ビットレートに対応した定数から、上記符号化データを含むビットストリームの平均ビットレートに対応した定数を算出する定数算出手段を更に備え、
   上記閾値算出手段は、上記定数算出手段により算出された定数を含む１次関数を用いて、上記第２の閾値を算出する、
   ことを特徴とする請求項５に記載のブロックノイズ量予測装置。
8. 上記第１の閾値、及び、上記第２の閾値の少なくとも何れかを、上記復号画像のピクチャタイプに応じて補正する補正手段を更に備えている、
   ことを特徴とする請求項２から７までの何れか１項に記載のブロックノイズ量予測装置。
9. 上記予測手段は、上記復号画像がＩピクチャであるときの予測結果を、上記復号画像が上記Ｉピクチャと同じＧＯＰに属する上記Ｉピクチャ以外の画像に対する予測結果として流用する、
   ことを特徴とする請求項１から８の何れか１項に記載のブロックノイズ量予測装置。
10. 上記量子化パラメータは、マクロブロック毎に定められており、
    上記復号画像を構成する各マクロブロックにおける量子化パラメータの和を、上記復号画像を構成するマクロブロックの個数で除算することによって、上記平均量子化パラメータを算出する平均量子化パラメータ算出手段を更に備えている、
    ことを特徴とする請求項１から９までの何れか１項に記載のブロックノイズ量予測装置。
11. 上記復号画像を生成するために参照する符号化データの総符号量を、上記復号画像を構成するマクロブロックの個数で除算することによって、上記平均符号量を算出する平均符号量算出手段を更に備えている、
    ことを特徴とする請求項１から１０までの何れか１項に記載のブロックノイズ量予測装置。
12. 復号画像に含まれるブロックノイズ量を予測する請求項１から１１までの何れか１項に記載のブロックノイズ量予測装置と、
    上記復号画像に作用するフィルタ強度可変なデブロッキングフィルタと、
    上記復号画像に上記デブロッキングフィルタを適用するか否か、及び、適用する上記デブロッキングフィルタの強度を、上記ブロックノイズ量予測装置によって予測されたブロックノイズ量に応じて制御するデブロッキングフィルタ制御手段と、を備えている、
    ことを特徴とする画像処理装置。
13. 復号画像に含まれるブロックノイズ量を予測するブロックノイズ量予測方法であって、
    上記復号画像を生成するために参照される量子化パラメータの平均値である平均量子化パラメータ、及び、上記復号画像を生成するために参照される符号化データの単位領域サイズあたりの符号量である平均符号量に基づいて、上記復号画像に含まれるブロックノイズの量を予測する予測工程を含んでいる、ことを特徴とするブロックノイズ量予測方法。
14. コンピュータを請求項１から１１までの何れか１項に記載にブロックノイズ量予測装置として動作させるためのプログラムであって、上記コンピュータを上記ブロックノイズ量予測装置が備えている各手段として機能させるプログラム。
15. 請求項１４に記載のプログラムが記録されているコンピュータ読み取り可能な記録媒体。

Images