JP2007013398A

JP2007013398A - ポストフィルタ、ポストフィルタリングプログラムおよび電子情報機器

Info

Publication number: JP2007013398A
Application number: JP2005189787A
Authority: JP
Inventors: Takahiro Kitagawa; 敬寛北川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-06-29
Filing date: 2005-06-29
Publication date: 2007-01-18

Abstract

【課題】実時間で効果的にモスキート雑音を除去することのできるポストフィルタおよびそれを備えた電子情報機器を提供する。
【解決手段】復号画素ブロックデータを取得する復号画素ブロックデータ取得手段１１と、復号画素ブロックデータの量子化パラメータを取得する量子化パラメータ取得手段１２と、量子化パラメータに対する量子化閾値を設定する閾値設定手段１３と、復号画素ブロックデータにモスキート雑音除去処理を施すモスキート雑音除去手段１４と、復号画素ブロックデータをそのまま出力するバイパス手段１５と、量子化パラメータが量子化閾値以上であるときに復号画素ブロックデータをモスキート雑音除去手段１４に導きモスキート雑音除去手段１４でモスキート雑音が除去された復号画素ブロックデータを選択し、量子化パラメータが量子化閾値未満であるときにバイパス手段１５を介して復号画素ブロックデータを選択する選択手段１６とを含む。
【選択図】図１

Description

本発明は、デジタル画像処理用のポストフィルタおよびそれを備えた電子情報機器に係り、表示画面から高速かつ効率的にモスキートノイズを除去することのできるポストフィルタ、ポストフィルタリングプログラムおよびそれを備えた電子情報機器に関する。

画像データの符号化には、ＤＣＴ（離散コサイン変換）と量子化とを組み合わせた方法が広く使用されている。しかし、上記方法を使用して符号化された画像データには符号化雑音が含まれるので、復号後の画像閲覧の際に閲覧者に違和感を与えることとなる。

これは、原画像に含まれていた高周波成分がＤＣＴ、量子化の過程で失われてしまい、復号の際に再現できなくなるという、いわゆる量子化誤差に起因している。

量子化誤差は量子化パラメータが大きくなるほど大きくなるので、量子化パラメータが大きい場合には、復号後の画面に量子化誤差に起因する雑音が表われ、画質が劣化する。

従って、画質を重視するときには量子化パラメータは小さいほうが望ましいが、量子化パラメータを小さくすると所定時間内に符号化できる画像データ量は減少してしまい、実時間性あるいは画像の円滑な動作が損なわれるおそれがある。

量子化パラメータは、画像サイズが同じであれば符号化画像データの転送レートが高いほど小さく設定され、転送レートが同じであれば画面サイズが大きいほど大きく設定されるので、画面サイズが大きく転送レートが低い場合には画質の劣化が顕著となる。

この符号化雑音の一種に画面の縁に蚊がチラチラ飛んでいるような斑点が表われるモスキート雑音（リンギング雑音、コロナ雑音ともいう）があるが、このモスキート雑音を除去することを目的としたポストフィルタが既に提案されている（例えば、特許文献１および特許文献２参照）。

図７は特許文献１に記載されたポストフィルタの動作を説明するフローチャートであって、逆離散コサイン変換後の画素の１つを選択し（ステップＳ７０）、その画素の離散コサイン係数および動きベクトルを取得する（ステップＳ７１）。

次に、離散コサイン係数および動きベクトルに基づいて画像の複雑度と相関を有する空間周波数領域におけるパワーを算出し（ステップＳ７２）、このパワーに基づいてフィルタ強度を決定する（ステップＳ７３）。

選択された画素を中心とする処理ウインドウを設定し（ステップＳ７４）、この処理ウインドウ内の画素をフィルタでフィルタリングすることにより画素値を修正してモスキート雑音を除去する（ステップＳ７５）。

最後に上記の処理を全画素について実施したか否かを判定して（ステップＳ７６）、全画素について処理が完了したときにモスキート雑音の除去を終了する。

図８は特許文献２に記載されたポストフィルタの動作を説明するフローチャートであって、処理対象画素を決定して（ステップＳ８０）、この処理対象画素を中心とするウインドウを設定する（ステップＳ８１）。

そして、処理対象画素とこれに隣接する８個の隣接画素とに関する差絶対値を算出し、それら差絶対値があらかじめ定めた閾値より大きいすべての隣接画素を処理対象画素の値で置換して８個の周辺画素に関する平均値を算出し、この平均値をもって処理対象画素の画素値とする（ステップＳ８２）。

最後に上記の処理を全画素について実施したか否かを判定して（ステップＳ８３）、全画素について処理が完了したときにモスキート雑音の除去を終了する。
特開平６−３１１４９９号公報（［００２１］、図３）特開２０００−１０６６３０号公報（［０００９］、図１）

しかしながら、上記の従来のポストフィルタには、画面内のすべての画素についてモスキート雑音除去処理を施す必要があるため処理量は膨大となり、実時間で効果的にモスキート雑音を除去することが困難となるという課題があった。

本発明は、従来の課題を解決するためになされたものであって、実時間で効果的にモスキート雑音を除去することのできるポストフィルタおよびそれを備えた電子情報機器を提供することを目的とする。

本発明のポストフィルタは、所定単位ごとにブロック化して符号化された画像データを復号した復号画像データに発生するモスキート雑音を除去するポストフィルタであって、前記復号画像データから復号画素ブロックデータを取得する復号画素ブロックデータ取得手段と、前記復号画素ブロックデータの量子化パラメータを取得する量子化パラメータ取得手段と、前記量子化パラメータに対する閾値である量子化閾値を設定する閾値設定手段と、前記復号画素ブロックデータにモスキート雑音除去処理を施すモスキート雑音除去手段と、前記復号画素ブロックデータをそのまま出力するバイパス手段と、前記量子化パラメータが前記量子化閾値以上であるときに、前記復号画素ブロックデータを前記モスキート雑音除去手段に導き、前記モスキート雑音が除去された復号画素ブロックを選択し、前記量子化パラメータが前記量子化閾値未満であるときに、バイパス手段を介して前記復号画素ブロックデータを選択する選択手段とを含む構成を有している。

この構成により、量子化パラメータが小さいとき、即ち、圧縮率が小さいときにモスキート雑音除去処理をバイパスすることにより、モスキート雑音除去の演算量を低減することができることとなる。

本発明のポストフィルタは、前記閾値設定手段が、前記復号画像データの解像度に基づいて前記量子化閾値を決定する閾値決定手段を含む構成を有している。

この構成により、符号化画像データの転送画面サイズに応じて、モスキート雑音を除去するか否かを制御できることとなる。

本発明のポストフィルタは、前記モスキート雑音除去手段が、前記復号画素ブロックデータの１つの処理対象画素と前記処理対象画素の上下、左右に隣接する４つの隣接画素との差の絶対値を算出する差絶対値算出部と、予め定められた画素閾値以上の前記差絶対値を有する前記隣接画素の画素値を前記処理対象画素の画素値で置換し前記画素閾値未満の前記差絶対値を有する前記隣接画素の画素値を不変に維持する画素値処理部と、前記処理対象画素の画素値を前記画素値処理後の前記隣接画素の画素値の平均値で置換する画素値置換部とを含む構成を有している。

本発明は、量子化パラメータが小さいとき、即ち、圧縮率が小さいときにモスキート雑音の除去をバイパスする経路を設けることにより、実時間で効果的にモスキート雑音を除去することのできるポストフィルタ、ポストフィルタリングプログラムおよびそれを備えた電子情報機器を提供することができるものである。

以下、本発明の実施の形態のポストフィルタについて、図面を用いて説明する。

図１は本発明に係るポストフィルタ１を備える電子情報機器２０のシステム構成を示すブロック図であって、本発明に係るポストフィルタ１は、例えば携帯電話２０である電子情報機器の中に組み込まれる。

静止画あるいは動画である原画像２１は、テレビカメラ２２で撮像され、符号化器２３で符号化画像データに符号化され、通信回線２４に送出される。

通信回線２４に接続された携帯電話２０は、復号器２５で符号化画像データを復号して復号画像データとする。

そして、本発明のポストフィルタ１は、復号器２５が出力する復号画像データを所定復号画素ブロック（例えば、１マクロブロック［１６×１６画素］）分取り込み、モスキート雑音の除去処理を実行し、処理後の復号画像ブロックを表示パネル２６に表示する。

本発明の実施の形態のポストフィルタのブロック図を図２に示す。

本発明の実施の形態のポストフィルタ１は、所定単位ごとにブロック化して符号化された画像データを復号した復号画像データに発生するモスキート雑音を除去するポストフィルタであって、復号画像データから復号画素ブロックデータを取得する復号画素ブロックデータ取得手段１１と、復号画素ブロックデータの量子化パラメータＱを取得する量子化パラメータ取得手段１２と、量子化パラメータＱに対する閾値である量子化閾値Ｔ_Qを設定する閾値設定手段１３と、復号画素ブロックデータにモスキート雑音除去処理を施すモスキート雑音除去手段１４と、復号画素ブロックデータをそのまま出力するバイパス手段１５と、量子化パラメータＱが量子化閾値Ｔ_Q以上であるときに復号画素ブロックデータをモスキート雑音除去手段１４に導き、モスキート雑音が除去された復号画素ブロックデータを選択し、量子化パラメータＱが量子化閾値Ｔ_Q未満であるときに、バイパス手段１５を介して復号画素ブロックデータを選択する選択手段１６とを含む。

図３は、本発明のポストフィルタ１のハードウエア構成を示すブロック図であって、
ＤＳＰのようなプログラマブルロジック素子により構成される。

即ち、プログラマブルロジック素子は、バス３０に、ポストフィルタリングルーチンを実行するＣＰＵ３１、ポストフィルタリングルーチンを記憶するメモリ３２、復号器２５から復号画素ブロックデータを取得する復号画素メモリ３３、出力画面を一時的に記憶する出力画面メモリ３４、および、外部から量子化パラメータＱ、量子化閾値Ｔ_Q等のデータを取得するデータ取得インターフェース（Ｉ／Ｆ）３５を接続した構成を有する。

そして、メモリ３２にポストフィルタリングプログラムをインストールすることにより、プログラマブルロジック素子はポストフィルタとして機能することとなる。

以下に、ポストフィルタリングプログラムのフローチャートを参照しつつ、本発明に係るポストフィルタの動作を説明する。

図４は、ポストフィルタリングプログラムのフローチャートであって、ポストフィルタ１のＣＰＵ３１は、まず、復号器２５から、例えば１マクロブロック分の復号画素ブロックデータを取得する（ステップＳ４０）。

次に、ＣＰＵ３１は、符号化器２３で原画像２１を符号化するときに使用された量子化パラメータＱを復号器２５から取得する（ステップＳ４１）。なお、量子化パラメータＱは画素ブロック（マクロブロック）ごとに決定される。また、量子化パラメータＱは、符号化器２３から通信回線２４を介して伝送される場合もあり、復号器２５内に設定してもよい。また、符号化データ内に量子化パラメータＱを持たせてもよい。

なお、量子化パラメータＱは、原画像２１を符号化画像データとして符号化する際の圧縮率と相関を有しており、圧縮率が大きくなるほど量子化パラメータＱは大きくなる。

ＣＰＵ３１は、量子化パラメータＱが予め定められた量子化閾値Ｔ_Q以上であるか否かを判定し（ステップＳ４２）、量子化パラメータＱが予め定められた量子化閾値Ｔ_Q以上であるときは原画像２１の符号化の際に発生し復号画素ブロックデータ中に含まれるモスキート雑音を除去して（ステップＳ４３）、ステップＳ４４に進む。

ＣＰＵ３１は、ステップＳ４２において量子化パラメータＱが予め定められた量子化閾値Ｔ_Q未満であると判定したときは、ステップＳ４３の処理をバイパスして、直接ステップＳ４４に進む。

ＣＰＵ３１は、全画素について処理が終了したか否かを判定し（ステップＳ４４）、全画素について処理が終了していないと判定したときはステップＳ４０に戻り、次の復号画素ブロックデータを処理する。

一方、ＣＰＵ３１は、全画素について処理が終了したときは、量子化パラメータＱが量子化閾値Ｔ_Q以上である復号画素ブロックデータに対してはモスキート雑音が除去された復号画素ブロックデータを使用し、量子化閾値Ｔ_Q未満である復号画素ブロックデータはそのまま使用して１フレーム分の画像を出力して（ステップＳ４５）、このルーチンを終了する。

図５は、ステップＳ４３で実行されるモスキート雑音除去ルーチンのフローチャートであって、ＣＰＵ３１はモスキート雑音の除去が必要であると判定された復号画素ブロックデータから処理対象画素Ｐを選択する（ステップＳ５０）。なお、処理対象画素Ｐは、通常、画面の左から右、上から下に順次選択される。

次に、ＣＰＵ３１は、加算画素値ＶＲをリセットし（ステップＳ５１）、処理対象画素Ｐに隣接する隣接画素を識別するインデックスｉを“１”に初期化する（ステップＳ５２）。

なお、本発明に係るポストフィルタでは、処理対象画素Ｐの上下および左右に隣接する４つの画素を使用してモスキート雑音を除去する。図５の右上方に示すように、処理対象画素Ｐの直上に隣接する画素をｐ（１）、左方に隣接する画素をｐ（２）、右方に隣接する画素をｐ（３）、直下に隣接する画素をｐ（４）と表す。

ＣＰＵ３１は、隣接画素ｐ（ｉ）の画素値ｖ（ｉ）と処理対象画素Ｐの画素値Ｖとの差の絶対値が、予め定められた画素閾値Ｔ_X以上であるか否かを判定し（ステップＳ５３）、差の絶対値が画素閾値Ｔ_X以上であれば隣接画素ｐ（ｉ）の画素値を処理対象画素Ｐの画素値Ｖで置換して（ステップＳ５４）、ステップＳ５５の処理に進む。

一方、差の絶対値が画素閾値Ｔ_X未満であれば、ステップＳ５４の処理をバイパスして隣接画素ｐ（ｉ）の画素値ｖ（ｉ）をそのまま維持して、直接ステップＳ５５の処理に進む。

そして、ＣＰＵ３１は、加算画素値ＶＲに隣接画素ｐ（ｉ）の画素値ｖ（ｉ）を加算する（ステップＳ５５）。

ＣＰＵ３１は、４つの隣接画素について処理が完了したか否かを判定し（ステップＳ５６）、完了していないときはインデックスｉをインクリメントして（ステップＳ５７）、ステップＳ５３の処理に戻る。

一方、すべての隣接画素について処理を終了したときには、処理対象画素Ｐの画素値を、加算画素値ＶＲを隣接画素数４で除した値に置換して（ステップＳ５８）、復号画素ブロック内の全画素についてモスキート雑音除去処理が完了したか否かを判定する（ステップＳ５９）。

ＣＰＵ３１は、復号画素ブロック内の全画素について処理が完了していないときはステップＳ５０の処理に戻り、復号画素ブロック内の全画素について処理が完了したときはこのルーチンを終了する。

即ち、このルーチンは、隣接する画素間の画素値の差を小さくしてモスキート雑音を除去している。

上記の実施の形態では、量子化閾値Ｔ_Qを予め定められた固定値としているが、符号化画像データの転送レートＲ、および、復号画像データの解像度Ｓの関数として量子化閾値Ｔ_Qを定めることによりモスキート雑音を確実に除去することが可能となる。

即ち、符号化画像データの転送レートＲを大きくすると、圧縮率が低いためモスキート雑音が発生しにくい。

一方、解像度Ｓが大きいときは符号化画像データ量が大きくなり、動画の転送のように所定時間内に１画面の転送を終了する必要のあるときは、圧縮率を高める必要があるが、圧縮率を高めるとモスキート雑音が発生しやすくなる。

よって、解像度Ｓを高くするに従って、モスキート雑音の除去を容易にするために、量子化閾値Ｔ_Qを小さくすることが必要となる。

図６はＣＰＵ３１が実行する量子化閾値算出ルーチンのフローチャートであって、まず、符号化画像データ転送レートＲを復号器２５から取得し（ステップＳ６０）、次に解像度Ｓを復号器２５から取得する（ステップＳ６１）。

そして、ＣＰＵ３１は、符号化画像データ転送レートＲおよび解像度Ｓの関数ｆとして量子化閾値Ｔ_Qを算出する（ステップＳ６２）。なお、関数ｆは、符号化画像データ転送レートＲおよび解像度Ｓの減少関数となる。

ここで、上述したように、所定時間内に１フレーム分の画像を終了しなければならないという状況下では、一般に解像度Ｓが大きいほど低ビットレートとし、解像度Ｓが小さいほど高ビットレートとするように通信システム等により通信速度を制御している。従って、解像度Ｓのみに着目して量子化閾値を適応的に制御することが可能となる。

例えば、画像転送レートが低くなる高解像度の画像転送時にはモスキート雑音除去処理を行い、画像転送レートが高くなる低解像度の画像転送時にはモスキート雑音除去処理を行わないように量子化閾値を適応的に制御してもよい。

以上説明したように、本発明のポストフィルタによれば、復号画素ブロックデータの量子化パラメータが量子化閾値より小さいときにモスキート雑音除去処理をバイパスする経路を設けることにより、モスキート雑音除去処理の演算量を低減することが可能となる。

上記実施の形態では、本発明のポストフィルタは携帯電話に組み込まれているものとしているが、ビデオカメラ、パーソナルコンピュータ、ＰＤＡのような電子情報機器に組み込むことができることは、当業者にとって明らかである。

以上のように、本発明に係るポストフィルタおよびそれを備えた電子情報機器は、実時間で効果的にモスキート雑音を除去することができるという効果を有し、雑音除去装置等として有効である。

本発明の実施の形態におけるポストフィルタのブロック図本発明に係るポストフィルタの使用形態を示すブロック図本発明のポストフィルタのハードウエア構成を示すブロック図本発明のポストフィルタで実行されるポストフィルタリングプログラムのフローチャート本発明のポストフィルタで実行されるモスキート雑音除去ルーチンのフローチャート本発明のポストフィルタで実行される量子化閾値算出ルーチンのフローチャート従来のポストフィルタの動作を説明するフローチャート（１／２）従来のポストフィルタの動作を説明するフローチャート（２／２）

符号の説明

１ポストフィルタ
１１復号画素ブロックデータ取得手段
１２量子化パラメータ取得手段
１３閾値設定手段
１４モスキート雑音除去手段
１５バイパス手段

Claims

所定単位ごとにブロック化して符号化された画像データを復号した復号画像データに発生するモスキート雑音を除去するポストフィルタであって、
前記復号画像データから画素ブロックデータを取得する復号画素ブロックデータ取得手段と、
前記復号画素ブロックデータの量子化パラメータを取得する量子化パラメータ取得手段と、
前記量子化パラメータに対する閾値である量子化閾値を設定する閾値設定手段と、
前記復号画素ブロックデータにモスキート雑音除去処理を施すモスキート雑音除去手段と、
前記復号画素ブロックデータをそのまま出力するバイパス手段と、
前記量子化パラメータが前記量子化閾値以上であるときに、前記復号画素ブロックデータを前記モスキート雑音除去手段に導き、前記モスキート雑音が除去された復号画素ブロックデータを選択し、前記量子化パラメータが前記量子化閾値未満であるときに、バイパス手段を介して前記復号画素ブロックデータを選択する選択手段とを含むポストフィルタ。
前記閾値設定手段が、前記復号画像データの解像度に基づいて前記量子化閾値を決定する閾値決定手段を含む請求項１に記載のポストフィルタ。
前記モスキート雑音除去手段が、
前記復号画素ブロックデータの１つの処理対象画素と前記処理対象画素の上下、左右に隣接する４つの隣接画素との差の絶対値を算出する差絶対値算出部と、
予め定められた画素閾値以上の前記差絶対値を有する前記隣接画素の画素値を前記処理対象画素の画素値で置換し、前記画素閾値未満の前記差絶対値を有する前記隣接画素の画素値を不変に維持する画素値処理部と、
前記処理対象画素の画素値を前記画素値処理後の前記隣接画素の画素値の平均値で置換する画素値置換部とを含む請求項１または請求項２に記載のポストフィルタ。
所定単位ごとにブロック化して符号化された画像データを復号した復号画像データに発生するモスキート雑音を除去するポストフィルタリングプログラムであって、
前記復号画像データから復号画素ブロックデータを取得する復号画素ブロックデータ取得段階と、
前記復号画素ブロックデータの量子化パラメータを取得する量子化パラメータ取得段階と、
前記量子化パラメータに対する閾値である量子化閾値を設定する閾値設定段階と、
前記復号画素ブロックデータにモスキート雑音除去処理を施すモスキート雑音除去段階と、
前記復号画素ブロックデータをそのまま出力するバイパス段階と、
前記量子化パラメータが前記量子化閾値以上であるときに、前記復号画素ブロックデータを前記モスキート雑音除去段階で前記モスキート雑音が除去された復号画素ブロックデータを選択し、前記量子化パラメータが前記量子化閾値未満であるときにバイパス段階を介して前記復号画素ブロックデータを選択する選択段階とを含むポストフィルタリングプログラム。
請求項１から請求項３のいずれか１項に記載のポストフィルタを備える電子情報機器。