JP2011030177A - 復号装置、復号制御装置、復号方法およびそのプログラム - Google Patents

Abstract

【課題】モスキートノイズのような量子化ノイズをフィルタにより低減する際に、マクロブロック内のブロック毎の符号化の状態を考慮してフィルタのパラメータを設定する。
【解決手段】モスキートノイズフィルタモジュール２００は、加算器１７５から出力されるマクロブロック毎の画像データに対して、モスキートノイズを低減するための平滑化処理を行う。モスキートノイズ発生指標生成部１８０は、可変長復号部１１０によって生成された復号情報に基づいて、マクロブロック内のブロック毎の符号化の状態に応じてモスキートノイズの発生指標を生成する。ブロック毎の符号化の状態を判断するために、ＭＰＥＧ−２のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎが参照される。パラメータ設定部１９０は、生成されたモスキートノイズの発生指標に基づいて、モスキートノイズフィルタモジュール２００のパラメータを設定する。
【選択図】図１

Description

本発明は、符号化データを復号する復号装置に関し、特に復号に際してノイズ低減処理を行う復号装置、復号制御装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

映像信号をデジタル圧縮する際の圧縮符号化方式として、符号化対象の映像信号の水平方向および垂直方向に隣接する複数の画素を１つの矩形ブロックとして扱い、このブロック単位で圧縮符号化を行う画像圧縮符号化方式が知られている。このような画像圧縮符号化方式として、例えばＭＰＥＧ−２やＨ．２６４／ＡＶＣといった規格が標準化されている。このような圧縮符号化方式により圧縮符号化処理された映像信号は、復号処理の際においても、矩形ブロック単位で行われることで、元の映像信号が復号され、復元される。例えば、ＭＰＥＧ−２では、映像信号である画像データは縦８ライン×横８画素の６４画素のマクロブロックに分割される。そして、このマクロブロック毎に離散コサイン変換（ＤＣＴ）などの直交変換が行われて、周波数成分（ＤＣＴ係数）に変換され、このＤＣＴ係数を符号化することにより画像データの圧縮が行われる。

このような圧縮符号化および復号方式においては、直交変換後の係数値を量子化する際に高周波成分を大きく省略することにより符号量を削減して、これにより符号化効率（圧縮率）を高めている。しかしながら、この量子化ステップを大きくし過ぎると、省略された高周波成分の量子化誤差によって、復号後の画像データにおいて画質の劣化を招いてしまう。

量子化誤差による画質劣化に関し、特に画像のエッジ部周辺においては、モスキートノイズまたはリンギングノイズとよばれる、エッジ周辺に散在するノイズが発生することが知られている。これは、量子化処理において高周波成分を削減したことに起因して、エッジ周辺の情報が欠落したために発生するものである。このようなモスキートノイズを除去するために、例えば、復号器の後段にデジタル画像処理用のポストフィルタを設けた電子情報機器が提案されている（例えば、特許文献１参照。）。

特開２００７−１３３９８号公報（図１）

上述の従来技術では、マクロブロック毎に量子化パラメータが取得され、この量子化パラメータが量子化閾値以上であるマクロブロックに対してのみモスキートノイズの除去処理が行われるようになっている。しかしながら、この従来技術のようにマクロブロックを単位としてノイズ除去の必要性を判断してしまうと、マクロブロック内の一部のブロックにノイズが集中しているような場合などにはモスキートノイズが検出されないという問題が生じる。一方、この問題を解消するために、モスキートノイズが検出され易いように閾値を設定してしまうと、過剰にモスキートノイズを検出してしまうという問題が生じる。

また、従来技術のように復号器の後段にポストフィルタを設けた場合には、両者間にバッファを設ける必要が生じる。すなわち、復号処理はマクロブロック単位で行われるが、表示処理はライン単位でスキャンされるため、両者間で必要な画素情報を保持するためのバッファが余計に必要となる。

本発明はこのような状況に鑑みてなされたものであり、モスキートノイズのような量子化ノイズをフィルタにより低減する際に、マクロブロック内のブロック毎の符号化の状態を考慮してフィルタのパラメータを設定することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、符号化データから復号に必要な復号情報をマクロブロック毎に取得する復号情報取得部と、上記復号情報に基づいて上記符号化データを復号して復号データとして生成する復号部と、上記復号データに対して所定の量子化ノイズの低減処理を上記マクロブロック毎に施す量子化ノイズフィルタ部と、上記復号情報に基づき上記マクロブロック内のブロック毎の符号化の状態に応じて上記所定の量子化ノイズの発生指標を生成する量子化ノイズ発生指標生成部と、上記発生指標に基づき上記量子化ノイズフィルタ部に対してパラメータを設定するパラメータ設定部とを具備する復号装置、その復号方法またはプログラムである。これにより、マクロブロック内のブロック毎の符号化の状態に応じて量子化ノイズの低減処理を行うという作用をもたらす。

また、この第１の側面において、上記量子化ノイズ発生指標生成部は、上記復号情報における上記ブロック毎の符号化の有無を示す符号化ブロックパターン情報（ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ（））を利用して上記発生指標を生成するようにしてもよい。

また、この第１の側面において、上記量子化ノイズ発生指標生成部は、上記マクロブロック内の符号化されたブロックの数を上記符号化ブロックパターン情報から求めて、上記符号化されたブロックの数に基づいて上記発生指標を生成するようにしてもよい。また、上記量子化ノイズ発生指標生成部は、上記マクロブロック内の符号化されたブロックの数を上記符号化ブロックパターン情報から輝度および色差毎に求めて、上記輝度および色差毎の上記符号化されたブロックの数に基づいて上記発生指標を生成するようにしてもよい。ブロックの数を輝度および色差毎に求めた場合には、これらの比率を変化させることにより柔軟に発生指標を生成することができる。一方、輝度および色差を区別せずに求めた場合には、処理を簡略化することができる。

また、この第１の側面において、上記量子化ノイズ発生指標生成部は、上記復号情報における量子化スケールと発生符号量とを掛け合わせた数に上記符号化ブロックパターン情報による重み付けを行った数を利用して上記発生指標を生成するようにしてもよい。また、この場合において、上記量子化ノイズ発生指標生成部は、上記符号化ブロックパターン情報による重み付けを行った数にさらに上記復号情報におけるピクチャタイプによる重み付けを行った数を利用して上記発生指標を生成するようにしてもよい。

また、この第１の側面において、上記パラメータ設定部は、上記発生指標が高いほど上記量子化ノイズフィルタ部における上記低減処理が強く施されるよう上記パラメータを設定するようにしてもよい。

また、この第１の側面において、上記復号データに含まれるエッジ画像を検出するエッジ検出部をさらに具備し、上記量子化ノイズフィルタ部は、上記エッジ検出部によって上記エッジ画像が検出されたマクロブロックに対しては上記低減処理を施さないようにしてもよい。これにより、ブロック毎の符号化の状態からノイズ低減処理の要否が不明な場合であっても、エッジ画像が検出されたマクロブロックに対しては低減処理を施さないという作用をもたらす。

また、この第１の側面において、上記パラメータ設定部は、上記復号情報における動き情報および上記量子化ノイズ発生指標生成部により生成された上記発生指標に基づいて上記パラメータを設定するようにしてもよい。これにより、動きの状態をさらに加味して量子化ノイズの低減処理を行うという作用をもたらす。この場合において、上記パラメータ設定部は、上記動き情報が大きな動きを示しているほど上記量子化ノイズフィルタ部における上記低減処理が強く施されるよう上記パラメータを設定するようにしてもよい。

また、この第１の側面において、上記所定の量子化ノイズは、モスキートノイズであり、上記量子化ノイズフィルタ部は、上記モスキートノイズの低減処理として平滑化処理を行うようにしてもよい。

また、この第１の側面において、上記発生指標は画像における字幕またはテロップの存在指標であり、上記量子化ノイズフィルタ部は、上記字幕またはテロップの存在領域におけるノイズの低減処理として平滑化処理を行うようにしてもよい。

また、本発明の第２の側面は、符号化データから復号に必要な復号情報をマクロブロック毎に取得する復号情報取得部と、上記復号情報に基づき上記マクロブロック内のブロック毎の符号化の状態に応じて所定の量子化ノイズの発生指標を生成する量子化ノイズ発生指標生成部と、上記発生指標に基づき上記所定の量子化ノイズの低減処理のためのパラメータを生成するパラメータ生成部とを具備する復号制御装置、その復号方法またはプログラムである。これにより、マクロブロック内のブロック毎の符号化の状態に応じて量子化ノイズの低減処理を制御するという作用をもたらす。

本発明によれば、モスキートノイズのような量子化ノイズをフィルタにより低減する際に、マクロブロック内のブロック毎の符号化の状態を考慮してフィルタのパラメータを設定することができるという優れた効果を奏し得る。

本発明の実施の形態における復号装置１００の回路構成例を示す図である。 本発明の実施の形態におけるモスキートノイズフィルタモジュール２００の回路構成例を示す図である。 ＭＰＥＧ−２におけるデータ構造の概要を示す図である。 本発明の実施の形態における平滑化処理部２３０の処理例を示す図である。 本発明の実施の形態において使用される符号化ブロックパターン情報の内容を示す図である。 ＭＰＥＧ−２におけるマクロブロックの構文を示す図である。 ＭＰＥＧ−２における符号化ブロックパターン情報（ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ（））の構文を示す図である。 本発明の実施の形態において想定するマクロブロックとブロックの関係を示す図である。 本発明の第１の実施の形態による復号装置１００のパラメータ設定の動作例を示す流れ図である。 本発明の実施の形態による符号化ブロックパターン情報に基づく重み付け処理（ステップＳ９１０）の第１の動作例を示す流れ図である。 本発明の実施の形態による符号化ブロックパターン情報に基づく重み付け処理（ステップＳ９１０）の第２の動作例を示す流れ図である。 本発明の第１の実施の形態による復号装置１００のノイズ低減処理の動作例を示す流れ図である。 本発明の第２の実施の形態による復号装置１００のパラメータ設定の動作例を示す流れ図である。 本発明の第２の実施の形態における基準Ａによるパラメータ設定処理（ステップＳ９４０）の動作例を示す流れ図である。 本発明の第２の実施の形態における基準Ｂによるパラメータ設定処理（ステップＳ９５０）の動作例を示す流れ図である。 本発明の第２の実施の形態における基準Ｃによるパラメータ設定処理（ステップＳ９６０）の動作例を示す流れ図である。 本発明の第２の実施の形態における基準Ｄによるパラメータ設定処理（ステップＳ９７０）の動作例を示す流れ図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（量子化ノイズ発生指標によりフィルタパラメータを設定する例）
２．第２の実施の形態（量子化ノイズ発生指標に動き情報を加味してフィルタパラメータを設定する例）
３．変形例

＜１．第１の実施の形態＞
［復号装置１００の回路構成例］
図１は、本発明の実施の形態における復号装置１００の回路構成例を示す図である。本発明の実施の形態における復号装置１００は、ＭＰＥＧ（Moving Picture Experts Group）−２方式により符号化された符号化データに対して復号処理を行うことを想定している。この復号装置１００は、可変長復号部１１０と、逆量子化部１２０と、逆離散コサイン変換部１３０と、動きベクトル予測部１４０と、動き補償部１５０と、画面内予測部１６０と、選択器１７０と、加算器１７５と、フレームメモリ３００とを備えている。また、この復号装置１００は、通常のＭＰＥＧ−２の復号装置に加えて、モスキートノイズ発生指標生成部１８０と、パラメータ設定部１９０と、モスキートノイズフィルタモジュール２００とを備えている。

可変長復号部１１０は、符号化データにおける可変長符号（ＶＬＣ：Variable Length Code）を復号するものである。ＭＰＥＧ−２等では、動き補償フレーム間予測や離散コサイン変換（ＤＣＴ）による符号化の際の発生確率の偏りを利用して、ハフマン（Huffman）符号に基づく可変長符号化（エントロピ符号化）が行われる。可変長復号部１１０は、このような可変長符号化されたデータを可変長復号して、マクロブロックの復号に必要な復号情報を生成する。この可変長復号部１１０によって生成された復号情報は、逆量子化部１２０、動きベクトル予測部１４０およびモスキートノイズ発生指標生成部１８０に供給される。

逆量子化部１２０は、可変長復号されたデータを逆量子化してＤＣＴ係数の直流成分と交流成分を生成するものである。逆離散コサイン変換部１３０は、逆量子化部１２０によって逆量子化されたＤＣＴ係数の直流成分および交流成分に対して逆離散コサイン変換を行い、画像データを生成するものである。動きベクトル予測部１４０は、可変長復号されたデータの動きベクトルに関する情報から動きベクトルを予測して、信号線１４９に出力するものである。動き補償部１５０は、動きベクトル予測部１４０によって予測された動きベクトルと、フレームメモリ３００に保持されたフレームデータとから、画面間の動き補償（Motion Compensation）を行い、画像データを生成するものである。画面内予測部１６０は、画面内の予測を行い、画像データを生成するものである。選択器１７０は、動き補償部１５０または画面内予測部１６０により生成された画像データの何れか一方を選択するセレクタである。加算器１７５は、逆離散コサイン変換部１３０により生成された画像データと選択器１７０により選択された画像データを合成（加算）して、画像データを信号線１７９に出力するものである。これらの処理はマクロブロックを単位として行われる。

モスキートノイズ発生指標生成部１８０は、可変長復号部１１０によって生成された復号情報に基づいて、マクロブロック内のブロック毎の符号化の状態に応じてモスキートノイズの発生指標を生成するものである。発生指標の具体的生成方法については後述するが、復号情報のうち特に、量子化スケール、発生符号量、符号化ブロックパターン情報およびピクチャタイプを用いることができる。なお、モスキートノイズ発生指標生成部１８０は、特許請求の範囲に記載の量子化ノイズ発生指標生成部の一例である。

パラメータ設定部１９０は、モスキートノイズ発生指標生成部１８０によって生成されたモスキートノイズの発生指標に基づいて、信号線１９９を介し、モスキートノイズフィルタモジュール２００に対してパラメータを設定するものである。パラメータの具体的設定方法については後述するが、モスキートノイズの発生指標が高いほどモスキートノイズフィルタモジュール２００におけるノイズ低減処理が強く施されるよう設定される。

モスキートノイズフィルタモジュール２００は、信号線１７９に出力された画像データに対してモスキートノイズの低減処理を施すものである。この低減処理のパラメータはパラメータ設定部１９０により設定される。このモスキートノイズフィルタモジュール２００により処理された画像データは、信号線２０９を介してフレームメモリ３００に保持される。

フレームメモリ３００は、加算器１７５によって合成された画像データまたはモスキートノイズフィルタモジュール２００により処理された画像データを保持するものである。このフレームメモリ３００に保持された画像データは、信号線３０９を介して動き補償部１５０によって参照される。

なお、可変長復号部１１０は、特許請求の範囲に記載の復号情報取得部の一例である。また、逆量子化部１２０、逆離散コサイン変換部１３０、動きベクトル予測部１４０、動き補償部１５０、画面内予測部１６０、選択器１７０、加算器１７５、フレームメモリ３００は、特許請求の範囲に記載の復号部の一例である。また、モスキートノイズフィルタモジュール２００は、特許請求の範囲に記載の量子化ノイズフィルタ部の一例である。

［モスキートノイズフィルタモジュール２００の回路構成例］
図２は、本発明の実施の形態におけるモスキートノイズフィルタモジュール２００の回路構成例を示す図である。このモスキートノイズフィルタモジュール２００は、画素選択部２１０と、周辺画素レジスタ２２０と、平滑化処理部２３０と、エッジ検出部２４０と、画素切替部２５０と、画素切替制御部２６０とを備える。

画素選択部２１０は、信号線１７９を介して入力された画像データをマクロブロック毎に取得して周辺画素レジスタ２２０に保持するとともに、周辺画素レジスタ２２０に保持された画像データから処理に必要な画素データを選択するものである。この画素選択部２１０によって選択される画素データは、例えば縦３ライン×横３画素の９画素である。周辺画素レジスタ２２０は、画素選択部２１０によって取得されたマクロブロック毎の画像データを保持するものである。この周辺画素レジスタ２２０により保持された画像データは、画素選択部２１０によって再利用される。

平滑化処理部２３０は、画素選択部２１０によって選択された画素データに対してモスキートノイズを低減するための平滑化処理を行うものである。この平滑化処理部２３０における平滑化係数は、信号線１９９に含まれる信号線１９６を介して、パラメータ設定部１９０によって設定される。

エッジ検出部２４０は、画素選択部２１０によって選択された画素データに含まれるエッジ画像を検出するものである。このエッジ検出部２４０におけるエッジ検出レベルは、信号線１９９に含まれる信号線１９７を介して、パラメータ設定部１９０によって設定される。

画素切替部２５０は、平滑化処理部２３０によって平滑化処理された画素データまたは平滑化処理されていない画素データの何れか一方に切り替えて、その画素データを信号線２０９に出力するものである。画素切替制御部２６０は、画素切替部２５０において何れの画素に切り替えるかを制御するものである。この画素切替制御部２６０は、エッジ検出部２４０によってエッジが検出されたマクロブロックについては平滑化処理されていない画素データの方に切り替えるように画素切替部２５０を制御する。また、この画素切替制御部２６０は、信号線１９９に含まれる信号線１９８を介して、パラメータ設定部１９０によって設定された内容に従って画素切替部２５０を制御する。すなわち、モスキートノイズの発生指標が所定の閾値よりも低い場合には、画素切替制御部２６０は、そのマクロブロックについては平滑化処理されていない画素データの方に切り替えるように画素切替部２５０を制御する。

［ＭＰＥＧ−２におけるデータ構造］
図３は、ＭＰＥＧ−２におけるデータ構造の概要を示す図である。ＭＰＥＧ−２では、符号化データのデータ列は、シーケンス層、ピクチャ層、スライス層およびマクロブロック層の４つの層に大別される。

シーケンス層に含まれる各ピクチャ２０は１枚の画像を表す。このピクチャ２０は複数のスライス３０に分割される。このスライス３０は、ピクチャ２０を１６ライン毎に帯状に分割したものである。

スライス３０は、複数のマクロブロック４０により構成される。マクロブロック４０は、画面上の縦１６ライン×横１６画素の領域に対応する画像データである。各マクロブロック４０は、ＤＣＴの処理単位として、さらに縦８ライン×横８画素のブロックに分割される。

［平滑化処理部２３０の処理例］
図４は、本発明の実施の形態における平滑化処理部２３０の処理例を示す図である。平滑化処理部２３０は、ノイズフィルタ２３２を備えており、パラメータ設定部１９０によって設定された平滑化係数２３１に従ってノイズ低減のための平滑化処理を行う。このノイズフィルタ２３２は、例えば、３×３の２次元ＦＩＲフィルタにより実現される。この平滑化処理では、ブロック２２１における縦８ライン×横８画素の各画素が対象画素２１１となり、例えば、対象画素２１１の周辺画素２１２を含む縦３ライン×横３画素の９画素が参照される。したがって、画素選択部２１０は、この９画素を選択して平滑化処理部２３０に供給する。なお、ここでは、縦８ライン×横８画素のブロックを単位として平滑化処理を行う例について説明するが、本発明はこれに限定されるものではなく、例えば縦１６ライン×横１６画素のマクロブロックを単位として平滑化処理を行うようにしてもよい。

平滑化処理では、ブロック２２１の左上の画素を対象画素とした処理が完了すると、次に右隣の画素を対象画素とした処理に移る。その後、同様に右隣の画素に処理が移行するが、最右の画素を対象画素とした処理が終了すると、その下のラインの最左の画素に処理が移行する。同様の要領でブロック２２１の右下の画素を対象画素とした処理が完了すると、そのブロック２２１の平滑化処理は終了する。

平滑化処理の際、ブロック２２１の周辺部では、同図のように周辺画素が存在しない場合がある。この場合は、ブロック２２１の周辺部の画素値から、必要な周辺画素を補間することができる。例えば、隣接する画素値をそのまま利用してもよく、また、近接する２画素または３画素の加重平均値を求めてもよい。

なお、ここでは、平滑化処理部２３０における参照画素について説明したが、エッジ検出部２４０における参照画素も同様に扱うことができる。

［符号化ブロックパターン情報の内容］
図５は、本発明の実施の形態において使用される符号化ブロックパターン情報の内容を示す図である。符号化ブロックパターン情報（ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ）は、ＭＰＥＧ−２方式において利用されている情報であり、マクロブロック内のブロックについて符号化の有無を示す情報である。ＭＰＥＧ−２方式においては、画像データは輝度（Ｙ）および色差（ＣｒおよびＣｂ）により表される。そして、これらの成分の標本化周波数の比率により、「４：２：０」、「４：２：２」および「４：４：４」の３つの形式が想定されている。

すなわち、「４：２：２」形式は、マクロブロックを単位として見ると、図５（ｂ）のように輝度Ｙとして４成分、色差Ｃｒとして２成分、色差Ｃｂとして２成分である。また、「４：４：４」形式は、マクロブロックを単位として見ると、図５（ｃ）のように輝度Ｙとして４成分、色差Ｃｒとして４成分、色差Ｃｂとして４成分である。ただし、「４：２：０」形式は、奇数ラインと偶数ラインで交互に「４：２：０」と「４：０：２」とを繰り返すものであり、マクロブロックを単位として見ると、図５（ａ）のように輝度Ｙとして４成分、色差Ｃｒとして１成分、色差Ｃｂとして１成分となっている。

［マクロブロックの構文］
図６は、ＭＰＥＧ−２におけるマクロブロックの構文を示す図である。図３により説明したように、マクロブロックはスライスを構成するものであり、６つのブロックを含んでいる。

ｍａｃｒｏｂｌｏｃｋ＿ｅｓｃａｐｅは、固定値「０００００００１０００」であり、直前のマクロブロックアドレスとの差異が「３３」を超える場合に使用される。ｍａｃｒｏｂｌｏｃｋ＿ａｄｄｒｅｓｓ＿ｉｎｃｒｅｍｅｎｔは、直前のマクロブロックアドレスとの差異を示すものである。ｍａｃｒｏｂｌｏｃｋ＿ｍｏｄｅｓ（）は、マクロブロックの符号化モードを示すものである。ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅは、マクロブロックの量子化ステップサイズを示すものである。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒｓ（０）および（１）は、前方参照および後方参照の動きベクトルに関する情報を示すものである。ｍａｒｋｅｒ＿ｂｉｔは、位置合わせのために用いられるビット値「１」である。

ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ（）は、マクロブロック内のブロックの符号化の有無を示す符号化ブロックパターン情報である。この符号化ブロックパターン情報の内容については次図により説明する。ｂｌｏｃｋ（ｉ）は、マクロブロック内のブロックに関する情報である。

［符号化ブロックパターン情報の構文］
図７は、ＭＰＥＧ−２における符号化ブロックパターン情報、すなわち、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ（）の構文を示す図である。この符号化ブロックパターン情報は、上述の３つの形式毎にその内容が異なる。まず、「４：２：０」形式の場合は、符号化ブロックパターン情報はｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿４２０となる。このｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿４２０は、可変長符号化されており、３乃至９ビットのビット幅を有する。可変長復号後のビットパターンは６ビット幅であり、図５（ａ）のようにＬＳＢ側から輝度Ｙの左上ブロック、右上ブロック、左下ブロック、右下ブロック、色差Ｃｒ、色差Ｃｂの順に１ビットずつ割り当てられる。割り当てられたビットが「１」を示していれば符号化されており（coded）、「０」を示していれば符号化されていない（not coded）ことになる。

また、「４：２：２」形式の場合は、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿４２０に、さらに２ビット幅のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿１が追加される。これは、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿４２０のＭＳＢ側に、図５（ｂ）に示す順番により、色差Ｃｒの下ブロックと色差Ｃｂの下ブロックをさらに割り当てたものである。

また、「４：４：４」形式の場合は、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿４２０に、さらに６ビット幅のｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿２が追加される。これは、ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＿４２０のＭＳＢ側に、図５（ｃ）に示す順番により、色差Ｃｒの左下、色差Ｃｂの左下、色差Ｃｒの右上、色差Ｃｂの右上、色差Ｃｒの右下、色差Ｃｂの右下、の各ブロックをさらに割り当てたものである。

［マクロブロックとブロックの関係］
図８は、本発明の実施の形態において想定するマクロブロックとブロックの関係を示す図である。一般に、モスキートノイズなどの非可逆圧縮によるノイズは、量子化によるデータの削除が主要因である。このため、ＭＰＥＧ−２で量子化のレベルとなる量子化スケールを利用して、データの削除がどのくらい行われたかを判別することができる。ここで、モスキートノイズは文字や細かいテクスチャの周りに発生するため、モスキートノイズが発生しているマクロブロックにおいては、画像の複雑度も高く、つまり、マクロブロック内で発生する符号量が増加することが予測される。

一方、モスキートノイズは直交変換単位であるＤＣＴ処理単位で発生することから、マクロブロック内のブロック単位で判別することが望ましい。しかしながら、量子化スケールおよび該当するマクロブロックの発生符号量は、マクロブロック単位で取り扱われる。そのため、例えば、図８（ａ）のようにマクロブロック内部の一部のブロックのみがモスキートノイズを発生させるような場合には、図８（ｂ）のように１つのマクロブロック内に符号化量が大きいブロックと小さいブロックとが混在することになる。もし、マクロブロック全体としての量子化スケールと発生符号量によりモスキートノイズを検出することとすると、マクロブロック内でそれらの値が単純に平均化されてしまい、適切にモスキートノイズを検出することができなくなるおそれがある。なお、ここでは、一例として、輝度の画素ブロックについて説明をしている。

また、図８（ｂ）および（ｃ）から理解されるように、符号量の大小と符号化の有無には相関がある。そこで、本発明の実施の形態では、上述の符号化ブロックパターン情報を用いて、量子化スケールと該当するマクロブロックの発生符号量とを掛け合わせた結果に重み付けを行う。これにより、モスキートノイズの検出漏れを防止し、より適応的にノイズ検出を図るものである。

さらに、量子化スケールと、該当するマクロブロックの発生符号量は、復号されるピクチャタイプによっても変動する。このピクチャタイプとは、予測符号化方式に対応した画像タイプであり、Ｉピクチャ、Ｐピクチャ、Ｂピクチャに大別される。Ｉピクチャは、ピクチャ内の情報のみから符号化された画面であり、フレーム間予測をすることなく生成されるものである。Ｐピクチャは、ＩピクチャまたはＰピクチャからの予測を行うことにより生成される画面であり、フレーム間予測画面の参照方向は順方向である。Ｂピクチャは、双方向予測により生成される画面であり、フレーム間予測画面の参照方向は順方向および逆方向である。本発明の実施の形態では、ピクチャタイプによって検出結果に重み付けを行うことで、さらに検出精度の向上を図っている。

すなわち、量子化スケールと発生符号量の乗算結果Ｃ０に対して符号化ブロックパターン情報に基づく重み付けを行ってＣ１を算出し、さらにピクチャタイプによって重み付けを行ってＣ２を算出する。これにより得られたＣ２が、モスキートノイズの発生指標となる。そして、この発生指標と所定の閾値とを比較することにより、モスキートノイズ軽減のための平滑化処理の要否、平滑化処理の平滑化係数、エッジ検出レベルの各パラメータが決定される。この発生指標が高いほど、モスキートノイズフィルタモジュール２００における低減処理が強く施されるよう、各パラメータが設定される。

［パラメータ設定の動作例］
図９は、本発明の第１の実施の形態による復号装置１００のパラメータ設定の動作例を示す流れ図である。まず、可変長復号部１１０は、信号線１０１に供給されたビットストリームから、復号に必要な復号情報をマクロブロック毎に取得する（ステップＳ９００）。この復号情報には、例えば、量子化スケール、発生符号量、符号化ブロックパターン情報およびピクチャタイプが含まれる。量子化スケールは、図６に示したマクロブロックのｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅを用いることができる。発生符号量は、可変長復号部１１０による可変長復号の過程から生成することができる。符号化ブロックパターン情報は、図６に示したマクロブロックのｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ（）を用いることができる。ピクチャタイプは、（図示しない）ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（）のｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅを用いることができる。

モスキートノイズ発生指標生成部１８０は、復号情報における量子化スケールと発生符号量（符号ビット数）を乗算した結果をＣ０とする（ステップＳ９０１）。そして、モスキートノイズ発生指標生成部１８０は、Ｃ０に対して符号化ブロックパターン情報に基づく重み付けを行った結果をＣ１とする（ステップＳ９１０）。この重み付けは、後述する手順により求められた重みｃｂｐ＿ｒａｔｅをＣ０に乗算することにより実現される。

そして、モスキートノイズ発生指標生成部１８０は、Ｃ１に対してピクチャタイプに基づく重み付けを行った結果をモスキートノイズの発生指標Ｃ２とする（ステップＳ９０２）。ピクチャタイプの重みｔｙｐｅ＿ｒａｔｅとしては、例えば、Ｉピクチャの場合には「１」（重み無し）、Ｐピクチャの場合には「１．５」、Ｂピクチャの場合には「２」とすることが考えられる。

このようにして得られた発生指標Ｃ２に対して、パラメータ設定部１９０は、例えば３段階の閾値Ｄｅｔ＿ｔｈ１、Ｄｅｔ＿ｔｈ２、Ｄｅｔ＿ｔｈ３を想定することにより、モスキートノイズフィルタモジュール２００のパラメータを設定する。ただし、
Ｄｅｔ＿ｔｈ１＜Ｄｅｔ＿ｔｈ２＜Ｄｅｔ＿ｔｈ３
である。

発生指標Ｃ２が閾値Ｄｅｔ＿ｔｈ１よりも小さい場合（ステップＳ９０３）、モスキートノイズはほとんど発生していないものとして、平滑化処理不要を示すｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇが「１」に設定される（ステップＳ９０４）。これにより、画素切替部２５０では、平滑化処理部２３０による処理が行われていない画素に切り替えられることになる。

発生指標Ｃ２が閾値Ｄｅｔ＿ｔｈ１以上で閾値Ｄｅｔ＿ｔｈ２よりも小さい場合（ステップＳ９０５）、ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇは「０」（平滑化処理必要）に設定される（ステップＳ９０６）。この場合、エッジ検出レベルｋｈ２および平滑化係数ｋ２としては、比較的軽いものが設定される（ステップＳ９０６）。

発生指標Ｃ２が閾値Ｄｅｔ＿ｔｈ２以上で閾値Ｄｅｔ＿ｔｈ３よりも小さい場合（ステップＳ９０７）、ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇは「０」に設定される（ステップＳ９０８）。この場合、エッジ検出レベルｋｈ３および平滑化係数ｋ３としては、中程度のものが設定される（ステップＳ９０８）。

発生指標Ｃ２が閾値Ｄｅｔ＿ｔｈ３以上の場合（ステップＳ９０７）、ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇは「０」に設定される（ステップＳ９０９）。この場合、エッジ検出レベルｋｈ４および平滑化係数ｋ４としては、比較的強いものが設定される（ステップＳ９０９）。

すなわち、発生指標Ｃ２が高いほど、モスキートノイズフィルタモジュール２００における平滑化処理が強く施されるよう平滑化係数が設定され、また、エッジ検出のレベルが高くなるようエッジ検出レベルが設定される。これにより、モスキートノイズの発生指標Ｃ２に応じたモスキートノイズ低減処理が行われる。また、発生指標Ｃ２が低い場合には平滑化処理自体が抑制される。

なお、平滑化係数の具体的な値としては、例えば、ｋ２＝１：２：１、ｋ３＝２：３：２、ｋ４＝１：１：１などに設定することが考えられる。また、エッジ検出レベルの具体的な値としては、例えば、ｋｈ２＝６０、ｋｈ３＝７０、ｋｈ４＝８０などに設定することが考えられる。

図１０は、本発明の実施の形態による符号化ブロックパターン情報に基づく重み付け処理（ステップＳ９１０）の第１の動作例を示す流れ図である。復号情報に含まれる符号化ブロックパターン情報は、図５により説明したように、マクロブロック内のブロックに対応して、輝度および色差の符号化の有無を１ビットずつ保持している。この符号化ブロックパターン情報について、輝度Ｙの符号化されたブロック数が変数ｃｏｕｎｔ＿Ｙに設定され、色差ＣｒおよびＣｂの符号化されたブロック数が変数ｃｏｕｎｔ＿ＣｂＣｒに設定される（ステップＳ９１１）。また、変数ｃｏｕｎｔ＿Ｙと変数ｃｏｕｎｔ＿ＣｂＣｒの和が変数ｃｏｕｎｔ＿ａｌｌに設定される（ステップＳ９１１）。

変数ｃｏｕｎｔ＿ａｌｌが０の場合（ステップＳ９１２）、すなわち符号化されたブロックがマクロブロック内に存在しない場合には、符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅに０が設定される（ステップＳ９１３）。変数ｃｏｕｎｔ＿ａｌｌが０でなければ（ステップＳ９１２）、標本化周波数の比率の形式に応じて、以下のように符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅが設定される。

「４：２：０」形式の場合（ステップＳ９１４）、まず次式により輝度Ｙと色差ＣｂおよびＣｒについて、重みｃｂｐ＿ａｔｅ＿Ｙとｃｂｐ＿ａｔｅ＿ＣｂＣｒが算出される（ステップＳ９１５）。
ｃｂｐ＿ｒａｔｅ＿Ｙ ＝ ５ − ｃｏｕｎｔ＿Ｙ
ｃｂｐ＿ｒａｔｅ＿ＣｂＣｒ ＝ ３ − ｃｏｕｎｔ＿ＣｂＣｒ
そして、これらを組み合わせて符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅが算出される（ステップＳ９１５）。
ｃｂｐ＿ｒａｔｅ ＝ （（ｃｂｐ＿ｒａｔｅ＿Ｙ＜＜１）＋
（ｃｂｐ＿ｒａｔｅ＿Ｙ＞＞１）＋
ｃｂｐ＿ｒａｔｅ＿ＣｂＣｒ）＞＞１
これは、一般に、ノイズの原因となる高周波成分を含む情報は輝度側に偏る傾向があるため、輝度Ｙと色差ＣｂおよびＣｒとで前者の重みが高くなるよう重み付けの比率を変化させたものである。他の形式についても同様である。

「４：２：２」形式の場合（ステップＳ９１６）、まず次式により輝度Ｙと色差ＣｂおよびＣｒについて、重みｃｂｐ＿ａｔｅ＿Ｙとｃｂｐ＿ａｔｅ＿ＣｂＣｒが算出される（ステップＳ９１７）。
ｃｂｐ＿ｒａｔｅ＿Ｙ ＝ ５ − ｃｏｕｎｔ＿Ｙ
ｃｂｐ＿ｒａｔｅ＿ＣｂＣｒ ＝ ５ − ｃｏｕｎｔ＿ＣｂＣｒ
そして、これらを組み合わせて符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅが算出される（ステップＳ９１７）。
ｃｂｐ＿ｒａｔｅ ＝ （（ｃｂｐ＿ｒａｔｅ＿Ｙ＜＜１）＋
ｃｂｐ＿ｒａｔｅ＿Ｙ＋
ｃｂｐ＿ｒａｔｅ＿ＣｂＣｒ）＞＞１

「４：４：４」形式の場合（ステップＳ９１６）、まず次式により輝度Ｙと色差ＣｂおよびＣｒについて、重みｃｂｐ＿ａｔｅ＿Ｙとｃｂｐ＿ａｔｅ＿ＣｂＣｒが算出される（ステップＳ９１８）。
ｃｂｐ＿ｒａｔｅ＿Ｙ ＝ ５ − ｃｏｕｎｔ＿Ｙ
ｃｂｐ＿ｒａｔｅ＿ＣｂＣｒ ＝ ９ − ｃｏｕｎｔ＿ＣｂＣｒ
そして、これらを組み合わせて符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅが算出される（ステップＳ９１８）。
ｃｂｐ＿ｒａｔｅ ＝ （（ｃｂｐ＿ｒａｔｅ＿Ｙ＜＜１）＋
ｃｂｐ＿ｒａｔｅ＿Ｙ＋
ｃｂｐ＿ｒａｔｅ＿ＣｂＣｒ＋
（ｃｂｐ＿ｒａｔｅ＿ＣｂＣｒ＞＞１））＞＞１

このようにして形式に応じて符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅが算出された後、量子化スケールと発生符号量の乗算結果Ｃ０に対して重みｃｂｐ＿ｒａｔｅが乗算され、その乗算結果がＣ１となる（ステップＳ９１９）。

この符号化ブロックパターン情報に基づく重み付け処理の第１の動作例では、輝度Ｙと色差ＣｂおよびＣｒとで比率を変化させるために演算内容が複雑になり、演算器の性能によっては処理が困難になる場合も想定される。そこで、以下では、この重み付け処理を簡易に行う第２の動作例について説明する。

図１１は、本発明の実施の形態による符号化ブロックパターン情報に基づく重み付け処理（ステップＳ９１０）の第２の動作例を示す流れ図である。この第２の動作例では、第１の動作例と同様に、符号化ブロック数が集計される（ステップＳ９１１）。

変数ｃｏｕｎｔ＿ａｌｌが０の場合（ステップＳ９１２）、すなわち符号化されたブロックがマクロブロック内に存在しない場合には、符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅに１が設定される（ステップＳ９２３）。変数ｃｏｕｎｔ＿ａｌｌが０でなければ（ステップＳ９１２）、第１の動作例と同様に、標本化周波数の比率の形式に応じて、以下のように符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅが設定される。

「４：２：０」形式の場合（ステップＳ９１４）、符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅは次式により算出される（ステップＳ９２５）。
ｃｂｐ＿ｒａｔｅ ＝ ８ − ｃｏｕｎｔ＿ａｌｌ

「４：２：２」形式の場合（ステップＳ９１６）、符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅは次式により算出される（ステップＳ９２７）。
ｃｂｐ＿ｒａｔｅ ＝ １０ − ｃｏｕｎｔ＿ａｌｌ

「４：４：４」形式の場合（ステップＳ９１６）、符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅは次式により算出される（ステップＳ９２８）。
ｃｂｐ＿ｒａｔｅ ＝ １３ − ｃｏｕｎｔ＿ａｌｌ

このようにして形式に応じて符号化ブロックパターン情報に基づく重みｃｂｐ＿ｒａｔｅが簡略に算出された後、量子化スケールと発生符号量の乗算結果Ｃ０に対して重みｃｂｐ＿ｒａｔｅが乗算され、その乗算結果がＣ１となる（ステップＳ９１９）。なお、この簡略化手法により重みｃｂｐ＿ｒａｔｅを算出した場合、意図的に過検出となるように閾値Ｄｅｔ＿ｔｈ１、Ｄｅｔ＿ｔｈ２、Ｄｅｔ＿ｔｈ３やエッジ検出レベルｋｈ２、ｋｈ３、ｋｈ４を設定して整合性を図ることが望ましい。

［ノイズ低減処理の動作例］
図１２は、本発明の第１の実施の形態による復号装置１００のノイズ低減処理の動作例を示す流れ図である。上述の動作によりパラメータ設定が行われた後、モスキートノイズフィルタモジュール２００においてモスキートノイズの低減処理が行われる。まず、画素選択部２１０は、縦３ライン×横３画素の９画素分の画素データと、信号線１７９を介して送られてきた処理対象となる画素およびその周辺画素とを周辺画素レジスタ２２０から取得する（ステップＳ９９１）。これら取得された画素は、平滑化処理部２３０およびエッジ検出部２４０に供給される。ただし、ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇが「１」を示している場合には（ステップＳ９９２）、画素切替部２５０は平滑化処理が行われていない画素データ（すなわち、画素選択部２１０の選択した処理対象画素データ）を出力する（ステップＳ９９５）。

ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇが「０」を示している場合には（ステップＳ９９２）、エッジ検出部２４０においてエッジ検出処理が行われる（ステップＳ９９３）。その結果、処理対象となる画素データにおいてエッジが検出された場合には（ステップＳ９９４）、ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇが「１」である場合と同様に、画素切替部２５０は平滑化処理が行われていない画素データを出力する（ステップＳ９９５）。

処理対象となる画素データにおいてエッジが検出されなかった場合には（ステップＳ９９４）、平滑化処理部２３０において平滑化処理が行われ（ステップＳ９９６）、画素切替部２５０は平滑化処理された画素データを出力する（ステップＳ９９７）。

このように、本発明の第１の実施の形態によれば、符号化ブロックパターン情報を含む復号情報に基づいてモスキートノイズの発生指標Ｃ２が生成され、この発生指標Ｃ２によりモスキートノイズフィルタモジュール２００のパラメータが設定される。したがって、マクロブロック内のブロック毎の符号化の状態に応じて、モスキートノイズフィルタモジュール２００におけるノイズ低減処理の強度を調整することができる。

＜２．第２の実施の形態＞
圧縮符号化された画像において動きが大きい場合には、画像間の相関性が低くなり、符号化効率が悪化することは一般的に知られている。一般に、動きの大きい画像では、符号化時に符号化量を抑制するために、動きの少ない画像よりも量子化スケールが大きく設定されるため、ノイズの発生が高まる。そこで、本発明の第２の実施の形態では、モスキートノイズの検出精度を高めるために、動き情報が利用される。

図６により説明したように、マクロブロックには動きベクトルに関する情報が含まれている。この動きベクトルに関する情報から、水平予測、垂直予測、前方（forward）／後方（backward）予測、デュアルプライム（dual_prime）予測の何れであるかを判断して、マクロブロックの動き量の絶対値が生成される。この動き量の絶対値は、モスキートノイズ発生指標生成部１８０またはパラメータ設定部１９０において生成され、パラメータ設定部１９０において利用される。回路構成は、上述の第１の実施の形態と同様のもので構わない。なお、動き量の絶対値は、特許請求の範囲に記載の動き情報の一例である。

［パラメータ設定の動作例］
図１３は、本発明の第２の実施の形態による復号装置１００のパラメータ設定の動作例を示す流れ図である。ステップＳ９００からＳ９０２までは、図９により説明した第１の実施の形態と同様である。モスキートノイズの発生指標Ｃ２が得られた後、モスキートノイズ発生指標生成部１８０またはパラメータ設定部１９０において、動き量の絶対値｜ｍｖ｜に対して、例えば３段階の閾値ｌｅｖｅｌ０、ｌｅｖｅｌ１、ｌｅｖｅｌ２が考慮される。ただし、
ｌｅｖｅｌ０＜ｌｅｖｅｌ１＜ｌｅｖｅｌ２
である。

動き量の絶対値｜ｍｖ｜が閾値ｌｅｖｅｌ０以下である場合（ステップＳ９３３）、基準Ａによるパラメータ設定処理が行われる（ステップＳ９４０）。動き量の絶対値｜ｍｖ｜が閾値ｌｅｖｅｌ０を超え、閾値ｌｅｖｅｌ１以下である場合（ステップＳ９３５）、基準Ｂによるパラメータ設定処理が行われる（ステップＳ９５０）。動き量の絶対値｜ｍｖ｜が閾値ｌｅｖｅｌ１を超え、閾値ｌｅｖｅｌ２以下である場合（ステップＳ９３７）、基準Ｃによるパラメータ設定処理が行われる（ステップＳ９６０）。動き量の絶対値｜ｍｖ｜が閾値ｌｅｖｅｌ２を超える場合（ステップＳ９３７）、基準Ｄによるパラメータ設定処理が行われる（ステップＳ９７０）。

これにより、動き量の絶対値｜ｍｖ｜が大きいほどモスキートノイズフィルタモジュール２００の低減処理は強くなるように設定される。

図１４乃至１７は、本発明の第２の実施の形態における基準Ａ乃至Ｄによるパラメータ設定処理（ステップＳ９４０、Ｓ９５０、Ｓ９６０、Ｓ９７０）の動作例を示す流れ図である。これらは、閾値とパラメータとの関係以外は互いに同様の内容になっているため、代表して図１４について説明する。

図１４を参照すると、発生指標Ｃ２が閾値Ｄｅｔ＿ｔｈ０１よりも小さい場合（ステップＳ９４３）、モスキートノイズはほとんど発生していないものとして、平滑化処理不要を示すｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇが「１」に設定される（ステップＳ９４４）。これにより、画素切替部２５０では、平滑化処理部２３０による処理が行われていない画素に切り替えられることになる。

発生指標Ｃ２が閾値Ｄｅｔ＿ｔｈ０１以上で閾値Ｄｅｔ＿ｔｈ０２よりも小さい場合（ステップＳ９４５）、ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇは「０」（平滑化処理必要）に設定される（ステップＳ９４６）。この場合、エッジ検出レベルｋｈ０２および平滑化係数ｋ０２としては、ステップＳ９４８やＳ９４９により設定されるものと比べて、比較的軽いものが設定される（ステップＳ９４６）。

発生指標Ｃ２が閾値Ｄｅｔ＿ｔｈ０２以上で閾値Ｄｅｔ＿ｔｈ０３よりも小さい場合（ステップＳ９４７）、ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇは「０」に設定される（ステップＳ９４８）。この場合、エッジ検出レベルｋｈ０３および平滑化係数ｋ０３としては、ステップＳ９４６やＳ９４９により設定されるもの中間程度のものが設定される（ステップＳ９４８）。

発生指標Ｃ２が閾値Ｄｅｔ＿ｔｈ０３以上の場合（ステップＳ９４７）、ｆｉｌｔｅｒ＿ｏｆｆ＿ｆｌｇは「０」に設定される（ステップＳ９４９）。この場合、エッジ検出レベルｋｈ０４および平滑化係数ｋ０４としては、ステップＳ９４６やＳ９４８により設定されるものと比べて、比較的強いものが設定される（ステップＳ９４９）。

すなわち、基準Ａ内においては、発生指標Ｃ２が高いほど、モスキートノイズフィルタモジュール２００における平滑化処理が強く施されるよう平滑化係数が設定され、また、エッジ検出のレベルが高くなるようエッジ検出レベルが設定される。これにより、モスキートノイズの発生指標Ｃ２に応じたモスキートノイズ低減処理が行われる。また、発生指標Ｃ２が低い場合には平滑化処理自体が抑制される。

また、基準Ａと比べて、基準Ｂでは全体として、モスキートノイズフィルタモジュール２００における平滑化処理が強く施されるよう平滑化係数が設定され、また、エッジ検出のレベルが高くなるようエッジ検出レベルが設定される。また、基準Ｂと比べて、基準Ｃでは全体として、モスキートノイズフィルタモジュール２００における平滑化処理がより強く施されるよう平滑化係数が設定され、また、エッジ検出のレベルがより高くなるようエッジ検出レベルが設定される。また、基準Ｃと比べて、基準Ｄでは全体として、モスキートノイズフィルタモジュール２００における平滑化処理がより強く施されるよう平滑化係数が設定され、また、エッジ検出のレベルがより高くなるようエッジ検出レベルが設定される。

このように、本発明の第２の実施の形態によれば、さらに動き量の絶対値｜ｍｖ｜を加味してモスキートノイズフィルタモジュール２００のパラメータが設定される。したがって、マクロブロック内のブロック毎の符号化の状態および動き量の絶対値に応じて、モスキートノイズフィルタモジュール２００におけるノイズ低減処理の強度を調整することができる。

＜３．変形例＞
本発明は、上述の本発明の第１および第２の実施の形態に限られるものではない。例えば、本発明の実施の形態では、平滑化係数やエッジ検出レベルの分割数を３段階に分けているが、この分割数を任意の数に変更してもよい。

また、本発明の実施の形態では、量子化スケールと発生符号量を乗算した結果をＣ０としたが、量子化スケールまたは発生符号量の何れか一方をＣ０とすることも可能である。また、本発明の実施の形態では、Ｃ１に対してピクチャタイプによる重み付けを行ったものを発生指標Ｃ２としているが、ピクチャタイプによる重み付けを行うことなくＣ１をそのまま発生指標Ｃ２とすることも可能である。

また、本発明の第２の実施の形態では、動き情報として動き量の絶対値を用いたが、動き量の絶対値のみならず、予測の方向が画面内（intra）か画面間（inter）かによって平滑化係数やエッジ検出レベルを変更するようにしてもよい。

また、本発明の実施の形態では、ＭＰＥＧ−２における適用例について説明したが、ＭＰＥＧ−２以外の符号化方式においても、符号化ブロックパターン情報に相当する復号情報を利用することができる場合には、同様の手法により本発明を利用することができる。

本発明の実施の形態ではモスキートノイズの除去に着目して説明したが、このようなモスキートノイズは、例えば画像として含まれる字幕やテロップ部分において発生することが多い。換言すれば、本発明の実施の形態によるモスキートノイズ検出技術を使用すれば、モスキートノイズの発生指標Ｃ２を字幕やテロップの存在指標として利用して、画像の中から字幕やテロップ部分を含む領域を抽出することができる。そのためには、以下のように、上述の復号情報における動き情報および量子化ノイズ発生指標の判定基準などを、適宜調整することが考えられる。例えば、固定された字幕やテロップは動き情報の動き量と動きの差分が無い場合に判別することができる。また、画面横方向に一定速度で流れるテロップ字幕は、横方向の動き情報の動き量があり、かつ、動きの差分が無い場合に判別することができる。また、一定速度の縦スクロールの字幕などでは縦方向の動き情報と、動きの差分が無い場合などに判別することができる。また、ここまで説明したモスキートノイズの除去手法により、字幕やテロップ部分のノイズを除去することができるが、さらに字幕やテロップ部分をトランスコードすることを想定することができる。すなわち、本発明の実施の形態による手法を適用することにより字幕やテロップ部分の存在領域を抽出し、その領域についてトランスコードを行って画質を向上させることが可能となる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 復号装置
１１０ 可変長復号部
１２０ 逆量子化部
１３０ 逆離散コサイン変換部
１４０ 動きベクトル予測部
１５０ 動き補償部
１６０ 画面内予測部
１７０ 選択器
１７５ 加算器
１８０ モスキートノイズ発生指標生成部
１９０ パラメータ設定部
２００ モスキートノイズフィルタモジュール
２１０ 画素選択部
２２０ 周辺画素レジスタ
２３０ 平滑化処理部
２４０ エッジ検出部
２５０ 画素切替部
２６０ 画素切替制御部
３００ フレームメモリ

Claims (15)

1. 符号化データから復号に必要な復号情報をマクロブロック毎に取得する復号情報取得部と、
   前記復号情報に基づいて前記符号化データを復号して復号データとして生成する復号部と、
   前記復号データに対して所定の量子化ノイズの低減処理を前記マクロブロック毎に施す量子化ノイズフィルタ部と、
   前記復号情報に基づき前記マクロブロック内のブロック毎の符号化の状態に応じて前記所定の量子化ノイズの発生指標を生成する量子化ノイズ発生指標生成部と、
   前記発生指標に基づき前記量子化ノイズフィルタ部に対してパラメータを設定するパラメータ設定部と
   を具備する復号装置。
2. 前記量子化ノイズ発生指標生成部は、前記復号情報における前記ブロック毎の符号化の有無を示す符号化ブロックパターン情報を利用して前記発生指標を生成する請求項１記載の復号装置。
3. 前記量子化ノイズ発生指標生成部は、前記マクロブロック内の符号化されたブロックの数を前記符号化ブロックパターン情報から求めて、前記符号化されたブロックの数に基づいて前記発生指標を生成する請求項２記載の復号装置。
4. 前記量子化ノイズ発生指標生成部は、前記マクロブロック内の符号化されたブロックの数を前記符号化ブロックパターン情報から輝度および色差毎に求めて、前記輝度および色差毎の前記符号化されたブロックの数に基づいて前記発生指標を生成する請求項２記載の復号装置。
5. 前記量子化ノイズ発生指標生成部は、前記復号情報における量子化スケールと発生符号量とを掛け合わせた数に前記符号化ブロックパターン情報による重み付けを行った数を利用して前記発生指標を生成する請求項２記載の復号装置。
6. 前記量子化ノイズ発生指標生成部は、前記符号化ブロックパターン情報による重み付けを行った数にさらに前記復号情報におけるピクチャタイプによる重み付けを行った数を利用して前記発生指標を生成する請求項５記載の復号装置。
7. 前記パラメータ設定部は、前記発生指標が高いほど前記量子化ノイズフィルタ部における前記低減処理が強く施されるよう前記パラメータを設定する請求項１記載の復号装置。
8. 前記復号データに含まれるエッジ画像を検出するエッジ検出部をさらに具備し、
   前記量子化ノイズフィルタ部は、前記エッジ検出部によって前記エッジ画像が検出されたマクロブロックに対しては前記低減処理を施さない
   請求項１記載の復号装置。
9. 前記パラメータ設定部は、前記復号情報における動き情報および前記量子化ノイズ発生指標生成部により生成された前記発生指標に基づいて前記パラメータを設定する請求項１記載の復号装置。
10. 前記パラメータ設定部は、前記動き情報が大きな動きを示しているほど前記量子化ノイズフィルタ部における前記低減処理が強く施されるよう前記パラメータを設定する請求項９記載の復号装置。
11. 前記所定の量子化ノイズは、モスキートノイズであり、
    前記量子化ノイズフィルタ部は、前記モスキートノイズの低減処理として平滑化処理を行う
    請求項１記載の復号装置。
12. 前記発生指標は画像における字幕またはテロップの存在指標であり、
    前記量子化ノイズフィルタ部は、前記字幕またはテロップの存在領域におけるノイズの低減処理として平滑化処理を行う
    請求項１記載の復号装置。
13. 符号化データから復号に必要な復号情報をマクロブロック毎に取得する復号情報取得部と、
    前記復号情報に基づき前記マクロブロック内のブロック毎の符号化の状態に応じて所定の量子化ノイズの発生指標を生成する量子化ノイズ発生指標生成部と、
    前記発生指標に基づき前記所定の量子化ノイズの低減処理のためのパラメータを生成するパラメータ生成部と
    を具備する復号制御装置。
14. 符号化データから復号に必要な復号情報をマクロブロック毎に取得する復号情報取得手順と、
    前記復号情報に基づいて前記符号化データを復号して復号データとして生成する復号手順と、
    前記復号情報に基づき前記マクロブロック内のブロック毎の符号化の状態に応じて所定の量子化ノイズの発生指標を前記マクロブロック毎に生成する量子化ノイズ発生指標生成手順と、
    前記発生指標に基づき前記所定の量子化ノイズの低減処理のためのパラメータを生成するパラメータ生成手順と、
    前記復号データに対して前記パラメータに従って前記低減処理を前記マクロブロック毎に施す量子化ノイズ低減処理手順と
    を具備する復号方法。
15. 符号化データから復号に必要な復号情報をマクロブロック毎に取得する復号情報取得手順と、
    前記復号情報に基づいて前記符号化データを復号して復号データとして生成する復号手順と、
    前記復号情報に基づき前記マクロブロック内のブロック毎の符号化の状態に応じて所定の量子化ノイズの発生指標を前記マクロブロック毎に生成する量子化ノイズ発生指標生成手順と、
    前記発生指標に基づき前記所定の量子化ノイズの低減処理のためのパラメータを生成するパラメータ生成手順と、
    前記復号データに対して前記パラメータに従って前記低減処理を前記マクロブロック毎に施す量子化ノイズ低減処理手順と
    をコンピュータに実行させるプログラム。

Images