JP2014228926A - 巡回型ディジタルフィルタと画像処理方法 - Google Patents

Abstract

【課題】エッジを保存したままの平滑化処理を低コストで提供することを目的とする。【解決手段】入力信号のレベル適応処理を導入して入力信号の急峻な変化であるエッジ領域を保持したまま平滑化処理を遂行し、好ましくは水平方向と垂直方向とに分離して各々処理を遂行し、さらに好ましくは水平方向においても垂直方向においても、各々順方向／逆方向の２パス処理を遂行して、巡回型フィルタにおける非対称のインパルス応答を補償する巡回型ディジタルフィルタとする。【選択図】図１

Description

本発明は、効果的なノイズ除去が可能な巡回型ディジタルフィルタ（レベル適応フィルタ）と画像処理方法に関する。

従来、単純な移動平均や周波数応答を設計仕様としたデジタルフィルタによる平滑化処理が知られている。また、信号のレベルに関する順序統計量を用いた中央値フィルタ（メジアンフィルタ）のような非線形のフィルタも知られている。

下記特許文献１には、比較的小さい回路規模でハードウェア処理によりバイラテラルフィルターの演算を高速に行う画像処理装置および画像形成装置を得ることを目的とする発明であって、注目画素の画素値と近傍画素の画素値との差分絶対値に対応するバイラテラルフィルターにおける指数関数部の値を有する変換テーブルと、注目画素の画素値についての差分絶対値を演算する第１演算回路と、変換テーブルにおける第１演算回路による差分絶対値に対応する指数関数部の値に基づいてバイラテラルフィルターによるフィルタリング後の注目画素の画素値を演算する第２演算回路とを備える画像処理装置が開示されている。

これによれば、指数関数部の値を変換テーブルで得るため、第１演算回路および第２演算回路での演算が四則演算のみとなり、比較的小さい回路規模でハードウェア処理によりバイラテラルフィルターの演算を高速に行うことができ、比較的小さい回路規模でハードウェア処理によりバイラテラルフィルターの演算を高速に行うことができることが記載されている。

特開２０１２−２２６３９９号公報

単純な移動平均や周波数応答を設計仕様とした従来のデジタルフィルタでは、信号の急峻なレベル変化を保持したまま平滑化を行うことができなかった。また、信号の急峻な変化点は、データ解析の観点からも、画像・映像におけるエッジ領域であることに伴う画質の観点からも、重要である。

また、エッジ領域には高い周波数成分が含まれているため、周波数応答におけるカットオフ周波数を高く設定すると、エッジは鈍らないものの、ノイズ成分の除去が十分ではなくなるとのトレードオフの関係にある。また、同様に、カットオフ周波数を低く設定すると、ノイズ除去はできるもののエッジは鈍ってしまうとのトレードオフの関係にある。

従来、カットオフ周波数を適宜調整することで、ノイズ除去とエッジ保持のトレードオフの最適化を行っていた。従来、中央値フィルタも信号の変化点を保存するとされているが、非線形処理のため、その特性を解析することはできず、設計方法も発見的なものであった。

本発明は、上述の問題点に鑑み為されたものであり、エッジを保存したままの平滑化処理を低コストで提供することを目的とする。

本発明においては、巡回型デジタルフィルタに信号のレベル適応処理を導入することにより、信号の急峻な変化であるエッジ領域を保持したまま平滑化を行うことができる。すなわち、波形特性が重要な画像・映像へ応用するためには、水平垂直方向に分離して処理を遂行する。そして、巡回型フィルタによるインパルス応答の非対称性を補償するために、各方向ともに順方向／逆方向の２パス処理を遂行する。はじめに、水平方向に処理を行い、次に、その結果に対して時間軸を反転した逆方向に処理を遂行する。さらに、その結果に対して垂直方向においても同様に処理を遂行する。カラー画像の場合には、ベクトル信号としてレベル変化に対する重み係数を計算するものとする。これにより、例えばノイズ除去フィルタとして利用することが可能となる。

本発明の巡回型ディジタルフィルタは、入力信号のレベル適応処理を導入して入力信号の急峻な変化であるエッジ領域を保持したまま平滑化処理を遂行することを特徴とする。

本発明の巡回型ディジタルフィルタは、好ましくは水平方向と垂直方向とに分離して各々処理を遂行することを特徴とする。

本発明の巡回型ディジタルフィルタは、さらに好ましくは水平方向においても垂直方向においても、各々順方向／逆方向の２パス処理を遂行して、巡回型フィルタにおける非対称のインパルス応答を補償することを特徴とする。

本発明の巡回型ディジタルフィルタは、さらに好ましくは最初に水平方向の処理を遂行し、水平方向の処理結果に対して時間軸を反転した逆方向の処理を遂行し、次に、垂直方向の処理を遂行し、垂直方向の処理結果に対して時間軸を反転した逆方向の処理を遂行することを特徴とする。

本発明の巡回型ディジタルフィルタは、さらに好ましくは入力信号がカラー画像の場合には、ベクトル信号としてレベル変化に対する重み係数を計算し、ノイズ除去を遂行することを特徴とする。

本発明の画像処理方法は、入力信号のレベル適応処理を導入して前記入力信号の急峻な変化であるエッジ領域を保持したまま平滑化処理を遂行することを特徴とする。

本発明の画像処理方法は、好ましくは水平方向と垂直方向とに分離して各々処理を遂行することを特徴とする。

本発明の画像処理方法は、さらに好ましくは水平方向においても垂直方向においても、各々順方向／逆方向の２パス処理を遂行して、巡回型フィルタにおける非対称のインパルス応答を補償することを特徴とする。

本発明の画像処理方法は、さらに好ましくは最初に水平方向の処理を遂行し、水平方向の処理結果に対して時間軸を反転した逆方向の処理を遂行し、次に、垂直方向の処理を遂行し、垂直方向の処理結果に対して時間軸を反転した逆方向の処理を遂行することを特徴とする。

本発明の画像処理方法は、さらに好ましくは入力信号がカラー画像の場合には、ベクトル信号としてレベル変化に対する重み係数を計算し、ノイズ除去を遂行することを特徴とする。

本発明により、エッジを保存したままの平滑化処理を低コストで提供することが可能となる。

巡回型レベル適応フィルタを画像に適用する場合において、水平垂直分離および各方向における順方向／逆方向による２パス処理の遂行について説明する図である。 １次遅れ巡回型フィルタ（α＝０．１，０．２，０．５）のインパルス応答を説明する図である。 順方向／逆方向に２パス処理した１次遅れ巡回型フィルタのインパルス応答を説明する図である。 順方向のみ（ｏｎｅ−ｐａｓｓ）、順方向／逆方向（ｔｗｏ−ｐａｓｓ）の１次遅れ巡回型フィルタ（ｌａｇ１ｓｔ）、１次バタワース巡回型フィルタ（ｂｕｔｔｅｒｗｏｒｔｈ１ｓｔ）、２次バタワース巡回型フィルタ（ｂｕｔｔｅｒｗｏｒｔｈ２ｎｄ）の周波数応答（いずれもｆｃ＝０．０１Ｈｚ）について説明する図であり、横軸は正規化周波数である。 ノイズ除去処理の評価に用いた画像について説明する図であり、上段がモノクロ画像について説明する図であり、下段がカラー画像について説明する図である。 １次遅れ巡回型レベル適応フィルタ処理結果を説明する図である。 １次遅れ巡回型レベル適応フィルタ処理結果を説明する図であり、（ａ）が処理前を示し、（ｂ）が処理後（α＝０．１、σｒ＝３０）を示すものである。 １次遅れ巡回型レベル適応フィルタのカラー画像の処理結果について説明する図であり、ＲＧＢ色空間における３次元ベクトル信号として処理し、物体境界に偽色は発生せずにエッジが保持されている状態を示す図である。 １次遅れ巡回型レベル適応フィルタのカラー画像の処理結果について説明する図であり、（ａ）が処理前、（ｂ）が処理後（α＝０．１、σｒ＝３０）であって、ＲＧＢ色空間における３次元ベクトル信号として処理した結果を示す図である。 １次遅れ巡回型レベル適応フィルタ（２パス）のノイズ除去処理結果の一例を説明する図であり、モノクロＬｅｎａ画像、ノイズレベルσ＝１０の場合、α＝０．６、σｒ＝４２で、最大ＰＳＮＲ＝３３．９０ｄＢであり、（ａ）が処理前を示し、（ｂ）が最適な平滑化パラメータによる処理後を示し、（ｃ）が平滑化パラメータ（α，σｒ）に対するＰＳＮＲ等高線図を示している。 １次遅れ巡回型レベル適応フィルタ（２パス）のノイズ除去処理結果の一例を説明する図であり、カラーＣａｐｓ画像、ノイズレベルσ＝１０の場合、α＝０．４、σｒ＝２２、最大ＰＳＮＲ＝３５．２５ｄＢであり、（ａ）が処理前を示し、（ｂ）が最適な平滑化パラメータによる処理後を示し、（ｃ）が平滑化パラメータ（α，σｒ）に対するＰＳＮＲ等高線図を示している。 １次バタワース巡回型フィルタ（ｆｃ＝０．０１、０．０２、０．０５Ｈｚ）のインパルス応答を説明する図である。 順方向／逆方向に２パス処理した１次バタワース巡回型フィルタ（ｆｃ＝０．０１、０．０２、０．０５Ｈｚ）のインパルス応答を説明する図である。 ２次バタワース巡回型フィルタ（ｆｃ＝０．０１、０．０２、０．０５Ｈｚ）のインパルス応答を説明する図である。 順方向／逆方向に２パス処理した２次バタワース巡回型フィルタ（ｆｃ＝０．０１、０．０２、０．０５Ｈｚ）のインパルス応答を説明する図である。 レベル適応フィルタのハードウェアによるひとつの実施例を説明する図である。 レベル適応フィルタのハードウェアによるひとつの実施例を説明する図である。 水平方向の処理における各メモリ１〜３の書き込みと読み出しのタイミング図である。 フィールド（フレーム）メモリをＤＤＲ等の外付け大容量メモリとして、そのメモリコントローラおよびフィルタ処理を行う演算回路を水平および垂直方向ともに同時に実現する装置を説明する図である。

本発明においては、エッジを保存したまま平滑化を可能とするために、信号のレベルに適応した重み係数を導入する。フィルタ処理を行うデータとその近傍データのレベル差に応じた重み係数を時間空間的なフィルタ係数に乗じることにより、エッジを保存したまま平滑化を行うことが可能となる。典型的には、巡回型フィルタに、信号のレベル差に応じた重み係数を導入して、レベル適応平滑化処理を行うことが好ましい。

また、巡回型フィルタに適用することにより、時間空間的なフィルタ処理自体のコストを抑えたエッジ保存平滑化が可能となる。波形特性が重要な画像・映像へ応用するためには、水平垂直方向に分離して処理を行う。そして、巡回型フィルタによるインパルス応答の非対称性を補償するために、各方向ともに順方向／逆方向の２パス処理を行う。

すなわち、まずはじめに、水平方向に処理を行い、次に、その結果に対して時間軸を反転した逆方向に処理を行う。さらに、その結果に対して垂直方向においても同様に処理を行う。また、カラー画像の場合、ベクトル信号としてレベル変化に対する重み係数を計算するものとする。

このような技術思想のフィルタは、ベースバンドビデオ信号を処理するハードウェア装置により実現してもよく、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現してもよく、また、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いれば、多様な構成による実現が可能である。

入力信号を

出力信号を

とすると、レベル適応巡回型フィルタの一般形は、下記［数１］となる。

ここで、

である。

また、


は、信号のレベル差に応じた重み係数であり、


は、信号のレベル差の許容範囲を調整するパラメータである。

また、

となると、

となって、入力信号がそのまま出力され、


となると、

で示される通常のデジタルフィルタ（巡回型フィルタ）に漸近する。

また、１次遅れ巡回型レベル適応フィルタは、


とすると、

であり、［数１］から１次遅れ巡回型バイラテラルフィルタは次のようになる。

ただし、

である。

図１は、巡回型フィルタによる拡張バイラテラルフィルタを画像に適用する場合において、水平垂直分離および各方向における順方向／逆方向による２パス処理の遂行について説明する図である。

（無限インパルス応答システムによる拡張バイラテラルフィルタ）
（無限インパルス応答フィルタ）

入力信号を

出力信号を

とすると、ディジタルフィルタの一般形は次のようになる。

ここで、低域通過フィルタの場合、直流成分が保存される様、すべての係数の総和を１に正規化する。すなわち、

である。係数ｂｋ＝０の場合、出力は入力信号のみにより決定されるが、そうでなければ、出力は過去の出力を入力として再び用いて計算される。

前者は非巡回型フィルタと呼ばれ、後者は巡回型フィルタと呼ばれる。フィルタの特性を表すインパルス応答は、非巡回型フィルタの場合に有限長であるが、巡回型フィルタの場合には、無限に続くため、無限インパルス応答（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｃｅ、ＩＩＲ）システムとも呼ばれる。

無限インパルス応答フィルタは、有限インパルス応答フィルタに比べて、少ない演算量で高い遮断特性を得ることができるが、インパルス応答が無限に続いて対称ではないため、その出力波形は対称にはならない。波形特性を重視する画像／映像処理においては、一般に有限インパルス応答フィルタが多く用いられている。図２に１次遅れ巡回型フィルタのインパルス応答を示す。図２は、１次遅れ巡回型フィルタ（α＝０．１，０．２，０．５）のインパルス応答を説明する図である。

最も単純な巡回型フィルタである１次遅れ巡回型フィルタと、周波数応答が通過帯域で最大平坦となる１次／２次バタワース巡回型フィルタを以下に示す。

（例１）１次遅れ巡回型フィルタ

ここで、０＜α＜１である。
（例２）１次バタワース巡回型フィルタ

ここで、

ここで、

は双一次変換によりプリウォーピング（ｐｒｅｗａｒｐｉｎｇ）された１次バタワース巡回型フィルタのアナログカットオフ角周波数、Ｔｓはサンプリング周期であり、ディジタルカットオフ角周波数を

とすると、

の関係がある。

（例３）２次バタワース巡回型フィルタ

ここで、

（バイラテラルフィルタ）
バイラテラルフィルタは次のようなものである。入力信号を


出力信号を


とすると、

ここで、重み係数Ｗｃｋは、信号の領域における距離の関数であり、Ｗｓｋは、信号のレベルにおける相似関数である。バイラテラルフィルタは、これら両者を掛け合わせたものを重み係数とするフィルタである。これによりエッジを保存した平滑化が可能となる。単純かつ重要な具体例として、重み係数Ｗｃｋ、Ｗｓｋがともに次のようなガウス関数の場合を挙げている。

バイラテラルフィルタは、通常のディジタルフィルタの［数８］のように、予めフィルタ係数を計算して正規化しておくことはできない。その重み係数Ｗｓｋは、入力信号に応じてサンプル毎に計算しなければならない。［数式１５］の正規化係数λ_２ｐも同様である。２次元画像信号Ｉ（ｉ，ｊ）の場合は次のようになる。

ここで、

ここで、

カラー画像の場合には、ベクトル信号として［数式２１］のレベルに関する重み係数を計算する。

（巡回型レベル適応フィルタ）
入力信号を

出力信号を


とすると、巡回型フィルタによるレベル適応フィルタの一般形を上述した［数１］のように書き、ここで［数２］の関係が成立するものとする。

Ｗａｋ、Ｗｂｋは信号のレベル差に応じた重み係数であり、

は信号のレベル差の許容範囲を調整するためのパラメータである。

となると、

となって、入力信号がそのまま出力され、

となると、［数７］の通常の巡回型フィルタに漸近する。巡回型フィルタとしての係数

は信号の領域に関する係数であり、それらに信号のレベル差に応じた重み係数

を乗じた巡回型レベル適応フィルタとしての係数の総和は、正規化係数


を掛けることにより、［数７］の通常の巡回型フィルタ同様に１になる。

１次遅れ巡回型フィルタと１次／２次バタワース巡回型フィルタの場合の巡回型レベル適応フィルタを以下に示す。

（例４）１次遅れ巡回型レベル適応フィルタ

とすると、［数２］より、［数４］であり、［数１］から、１次遅れ巡回型レベル適応フィルタは［数５］ようになる。

（例５）１次バタワース巡回型レベル適応フィルタ

であり、［数１］から、１次バタワース巡回型レベル適応フィルタは次のようになる。

ただし、

（例６）２次バタワース巡回型レベル適応フィルタ

であり、［数１］から、２次バタワース巡回型レベル適応フィルタは次のようになる。

ただし、

巡回型レベル適応フィルタを画像に適用する場合、水平垂直方向に分離して処理を行う。そして、巡回型フィルタによるインパルス応答の非対称性を補償するために、各方向ともに順方向／逆方向の２パス処理を行う（図１参照）。はじめに、水平方向に処理を行い、次に、その結果に対して時間軸を反転した逆方向に処理を行う。

さらに、その結果に対して垂直方向においても同様に処理を行う。図３は、順方向／逆方向に２パス処理した１次遅れ巡回型フィルタのインパルス応答を説明する図である。図２の通常の順方向のみのインパルス応答と比較して、図３においては対称になっているのがわかる。これにより出力波形が対称になる。

また、図４は、順方向のみ（ｏｎｅ−ｐａｓｓ）、順方向／逆方向（ｔｗｏ−ｐａｓｓ）の１次遅れ巡回型フィルタ（ｌａｇ１ｓｔ）、１次バタワース巡回型フィルタ（ｂｕｔｔｅｒｗｏｒｔｈ１ｓｔ）、２次バタワース巡回型フィルタ（ｂｕｔｔｅｒｗｏｒｔｈ２ｎｄ）の周波数応答（いずれもｆｃ＝０．０１Ｈｚ）について説明する図であり、横軸は正規化周波数である。順方向／逆方向の２パス処理により、いずれのフィルタも遮断特性が２倍になっているのがわかる。

また、［数１１］の１次遅れ巡回型レベル適応フィルタにおいて、パラメータ

を種々の値に変えた場合の処理結果を図６、図７に示す。図６は、１次遅れ巡回型レベル適応フィルタ処理結果を説明する図である。αが小さくなると、１次遅れ巡回型フィルタとしてのカットオフ周波数が低くなり平滑化作用が強まる。

一方、σｒが大きくなると、通常の１次遅れ巡回型フィルタに漸近するので、平滑化作用が強まるが、σｒが小さくなると、通常のバイラテラルフィルタ同様、レベル適応が働いてエッジが保持されている。順方向／逆方向の２パス処理により、波形歪も見られない。

図７は、１次遅れ巡回型レベル適応フィルタ処理結果を説明する図であり、（ａ）が処理前を示し、（ｂ）が処理後（α＝０．１、σｒ＝３０）を示すものである。

また、図８及び図９は、１次遅れ巡回型レベル適応フィルタのカラー画像の処理結果について説明する図である。図８が、ＲＧＢ色空間における３次元ベクトル信号として処理し、物体境界に偽色は発生せずにエッジが保持されている状態を示し、図９（ａ）が処理前、図９（ｂ）が処理後（α＝０．１、σｒ＝３０）であって、ＲＧＢ色空間における３次元ベクトル信号として処理した結果を示す図である。

カラー画像の場合、ベクトル信号として重み係数Ｗａｋ、Ｗｂｋを計算すればよい。ここでは、ＲＧＢ色空間における３次元ベクトル信号として計算した。モノクロ画像同様、αは巡回型フィルタ自体の平滑化を支配し、σｒはレベル適応によるエッジ保持を支配している。ベクトル信号による重み係数を用いることにより、物体境界に偽色は発生せずにエッジが保持されている。

（画像シミュレーション実験）
巡回型レベル適応フィルタによるノイズ除去処理の性能を評価する。標準的な評価画像に期待値０、標準偏差σの正規乱数誤差を加えて、以下の６つのフィルタにより処理を行う。
（１）厳密なバイラテラルフィルタ
（２）水平垂直分離バイラテラルフィルタ
（３）１次遅れ巡回型レベル適応フィルタ（１パス）
（４）１次遅れ巡回型レベル適応フィルタ（２パス）
（５）１次バタワース巡回型フィルタによる巡回型レベル適応フィルタ（２パス）
（６）２次バタワース巡回型フィルタによる巡回型レベル適応フィルタ（２パス）

厳密なバイラテラルフィルタの処理カーネルは、９×９画素領域とする。水平垂直分離バイラテラルフィルタの処理カーネルは、水平垂直方向ともに９画素とする。そして、すべてのフィルタの平滑化パラメータは、原画像との平均二乗誤差画像のＰＳＮＲを最大にする値を探索によって決定する。上述したように図５には、ノイズ除去処理の評価に用いたモノクロ（上段）／カラー（下段）画像について説明する図を示した。いずれも各画像毎に異なるノイズを加えて５回の処理を行い、その平均ＰＳＮＲを処理結果とする。

表１、表２に、６つのフィルタによるノイズ除去処理の結果を示す。表１が、モノクロ画像のノイズ除去処理の結果を示しており、ノイズレベルσに対する原画像との平均二乗誤差画像のＰＳＮＲ［ｄＢ］である。画像とノイズレベルによる各セルは、上段左が厳密なバイラテラルフィルタ、上段右が水平垂直分離バイラテラルフィルタ、中段左が１次遅れ巡回型レベル適応フィルタ（１パス）、中段右が１次遅れ巡回型レベル適応フィルタ（２パス）、下段左が１次バタワース巡回型フィルタによる巡回型レベル適応フィルタ（２パス）、下段右が２次バタワース巡回型フィルタによる巡回型レベル適応フィルタ（２パス）。いずれも５回の結果の平均。最後の１列はすべての画像の結果の平均を示す。

また、表２は、カラー画像のノイズ除去処理の結果を示し、ノイズレベルσに対する原画像との平均二乗誤差画像のＰＳＮＲ［ｄＢ］である。画像とノイズレベルによる各セルはモノクロ画像と同じとし、いずれも５回の結果の平均とし、最後の１列はすべての画像の結果の平均である。

表１及び表２に示すようにいずれのフィルタでも、ほとんど同様な結果であるが、詳細に見てみると、厳密なバイラテラルフィルタは、モノクロ／カラー画像ともに水平垂直分離バイラテラルフィルタよりもよいが、巡回型レベル適応フィルタも、ほぼ匹敵するノイズ除去性能を有しているのがわかる。画像、ノイズレベルによっては、厳密／水平垂直分離バイラテラルフィルタを僅かではあるものの上回る結果も見られる。

また、１次遅れ巡回型レベル適応フィルタの１パス処理の場合、明瞭なエッジではレベル適応が働いて保存されるものの、それ以外の領域においては、インパルス応答の非対称性による波形歪が見られる。画像を、水平方向は左から右へ、垂直方向は上から下へ走査して処理しているので、パラメータによっては、エッジ以外の領域が右下に流れるように見える。

一方、順方向／逆方向による２パス処理の場合は、インパルス応答が対称になるため、波形歪が補償され、かつ処理結果も１パス処理よりもよい。１次遅れ巡回型レベル適応フィルタの２パス処理が最もよく、１次あるいは２次バタワース巡回型レベル適応フィルタの結果は、僅かではあるが劣る場合が多い。通常の巡回型フィルタの場合には、次数が増すと遮断特性が増すが、レベル適応を行うと、レベル差による重み係数の部分的な僅かな変化であっても、巡回型フィルタとしての特性が変動するためであると思われる。

厳密なバイラテラルフィルタの計算量は、フィルタの処理カーネルをＮ×Ｎ画素領域とすると、Ｏ（Ｎ^２）である。

水平垂直分離バイラテラルフィルタは、２次元の処理カーネルを水平垂直方向に分離することにより、Ｏ（２Ｎ）である。本実施形態における巡回型レベル適応フィルタは、巡回型フィルタにおけるインパルス応答の非対称性を補償するために水平垂直方向に分離して、さらに各方向において順方向／逆方向の２パス処理を行うので、Ｏ（４Ｎ）である。

しかし、巡回型フィルタは、より小さい処理カーネルで、同等の非巡回型フィルタの処理カーネル相当とすることができる。したがって、巡回型レベル適応フィルタは、２パス処理を行ったとしても、水平垂直分離バイラテラルフィルタより高速な処理が可能である。

（まとめ）
本発明は、巡回型フィルタにレベル適応の拡張を行った。代表的な巡回型フィルタである１次遅れ巡回型フィルタ、１次／２次バタワース巡回型フィルタによるレベル適応フィルタを定義して、その特徴を調べるとともに、モノクロ画像とカラー画像におけるノイズ除去性能を評価した。

巡回型フィルタの無限インパルス応答の非対称性に起因する波形歪を、水平垂直方向に分離して、それぞれの方向において順方向／逆方向の２パス処理を行うことによって補償した。巡回型レベル適応フィルタは、従来のバイラテラルフィルタと比較して、少ない演算量により高速な処理が可能である。そのノイズ除去性能もほぼ同等であることを実験的に確認した。

図１０は、１次遅れ巡回型レベル適応フィルタ（２パス）のノイズ除去処理結果の一例を説明する図であり、モノクロＬｅｎａ画像、ノイズレベルσ＝１０の場合、α＝０．６、σｒ＝４２で、最大ＰＳＮＲ＝３３．９０ｄＢであり、（ａ）が処理前を示し、（ｂ）が最適な平滑化パラメータによる処理後を示し、（ｃ）が平滑化パラメータ（α，σｒ）に対するＰＳＮＲ等高線図を示している。

図１１は、１次遅れ巡回型レベル適応フィルタ（２パス）のノイズ除去処理結果の一例を説明する図であり、カラーＣａｐｓ画像、ノイズレベルσ＝１０の場合、α＝０．４、σｒ＝２２、最大ＰＳＮＲ＝３５．２５ｄＢであり、（ａ）が処理前を示し、（ｂ）が最適な平滑化パラメータによる処理後を示し、（ｃ）が平滑化パラメータ（α，σｒ）に対するＰＳＮＲ等高線図を示している。

また、図１２は、１次バタワース巡回型フィルタ（ｆｃ＝０．０１、０．０２、０．０５Ｈｚ）のインパルス応答を説明する図である。

また、図１３は、順方向／逆方向に２パス処理した１次バタワース巡回型フィルタ（ｆｃ＝０．０１、０．０２、０．０５Ｈｚ）のインパルス応答を説明する図である。

また、図１４は、２次バタワース巡回型フィルタ（ｆｃ＝０．０１、０．０２、０．０５Ｈｚ）のインパルス応答を説明する図である。

また、図１５は、順方向／逆方向に２パス処理した２次バタワース巡回型フィルタ（ｆｃ＝０．０１、０．０２、０．０５Ｈｚ）のインパルス応答を説明する図である。

また、図１６、図１７は、レベル適応フィルタのハードウェアによるひとつの実施例である。フィルタ処理は、水平および垂直方向の処理に分割する。各方向における処理はそれぞれ図１７に示すようになる。

図１６及び図１７において、入力映像信号はダブルバッファ構成のメモリ１あるいはメモリ２にセレクタ１あるいはセレクタ２を介して水平あるいは垂直同期信号により同期して交互に書き込まれる。

入力映像信号をメモリ１あるいはメモリ２に書き込む際には、入力映像信号クロックにより書き込む。メモリ１あるいはメモリ２に書き込まれた映像信号はセレクタ３により選択されて入力映像の２倍のクロックにより読み出されてフィルタ処理を行い、フィルタ処理の結果を入力映像信号の２倍のクロックによりメモリ１あるいはメモリ２のいずれかに書き込まれる。

その後、フィルタ処理の結果を時間方向に書き込まれた順番の逆順で読み出してフィルタ処理を行い、フィルタ処理の結果を出力段のメモリ３に入力映像信号の２倍のクロックで書き込みを行う。出力段のメモリ３からの最終的なフィルタ処理の結果を入力映像信号のクロックにより時間方向の順番で読み出す。また、各メモリ容量は水平方向で１ライン、垂直方向で１フィールド（フレーム）である。

図１８は、水平方向の処理における各メモリ１〜３の書き込みと読み出しのタイミング図である。図１８において、フィルタ処理に掛かる遅延は数クロック程度であり無視できる。メモリ１〜３はデュアルポート構成のものを用いてもよいし、それぞれ書き込み用と読み出し用メモリを分けてもよいが、中規模程度ＦＰＧＡであれば、ラインメモリ程度であれば十分内蔵することができるし、図１９に示すように、フィールド（フレーム）メモリをＤＤＲ等の外付け大容量メモリとして、そのメモリコントローラおよびフィルタ処理を行う演算回路を水平および垂直方向ともに同時に実現することも可能である。

（「無限インパルス応答システムによる拡張バイラテラルフィルタ」補足資料）
ＴｏｍａｓｉとＭａｎｄｕｃｈｉは、バイラテラルフィルタと呼ぶエッジを保存する平滑化フィルタを提案した［１］。

非特許文献［１］
Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，Ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｇｒａｙ ａｎｄ ｃｏｌｏｒ ｉｍａｇｅｓ，
ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ’９８），Ｊａｎｕａｒｙ １９９８，
ｐｐ．８３９−８４６．

バイラテラルフィルタは、通常の信号の領域に対する、いわゆる“ディジタルフィルタ”に、信号のレベル差に応じた重み係数を乗じるというものであったが、その効果は明らかであり、広く利用されている。その後も高速化処理や様々な応用研究が行われている。

バイラテラルフィルタを高速化する方法としては、厳密な処理に対して、計算効率に重点を置いた何らかの近似を行う方法がある。

非特許文献［２］
Ｆ．Ｄｕｒａｎｄ ａｎｄ Ｊ．Ｄｏｒｓｅｙ，Ｆａｓｔ ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｔｈｅ ｄｉｓｐｌａｙ ｏｆ ｈｉｇｈ−ｄｙｎａｍｉｃ−ｒａｎｇｅ ｉｍａｇｅｓ，ＡＣＭ ＳＩＧＧＲＡＰＨ ２００２（ＳＩＧＧＲＡＰＨ’０２），２００２，ｐｐ．２５７−２６６．

非特許文献［３］
Ｔ．Ｑ．Ｐｈａｍ ａｎｄ Ｌ．Ｊ．ｖａｎ Ｖｌｉｅｔ，Ｓｅｐａｒａｂｌｅ ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｆａｓｔ ｖｉｄｅｏ ｐｒｅｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ（ＩＣＭＥ２００５），Ｊｕｌｙ ２００５，ｐｐ．４５４−４５７．

非特許文献［４］
Ｆ．Ｐｏｒｉｋｌｉ，Ｃｏｎｓｔａｎｔ ｔｉｍｅ Ｏ（１）ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒｉｎｇ，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ ２００８），Ｊｕｎｅ ２００８，ｐｐ．１−８．

その実現方法を工夫することにより、従来方法と比較して少ない演算量や回路規模を達成するものもある。

特許文献［１］
特開２０１２−２２６３９９「画像処理装置および画像形成装置」

演算器の替わりにルックアップテーブルメモリ（ＬＵＴ）を併用することにより、バイラテラルフィルタを実現するためのハードウェア回路規模を削減する方法が開示されている。しかし、演算器をすべてＬＵＴで置き換えることができるわけではない。例えば、画像のコントラスト強調を行うためには、大きなフィルタサイズによる平滑化を行わなければ低周波成分を強調することはできない。ＬＵＴを併用しても、基本的に演算器の数が必要となるような処理の場合には、やはり回路規模は大きくなってしまう。ハードウェア回路においては乗算器が最もゲート数を必要とするため、回路規模を削減するには乗算器の数を減らさなければならない。

本発明では、ＩＩＲフィルタ構成を用いることにより、ＦＩＲフィルタよりも演算器の数を相当数減らしつつ、レベルに適応したフィルタ処理が可能となる。

本発明は、映像処理全般に適用し応用することが可能であり、特に、時系列データの平滑化、画像・映像におけるノイズ除去処理等に適用してもよい。

Claims (10)

1. 入力信号のレベル適応処理を導入して前記入力信号の急峻な変化であるエッジ領域を保持したまま平滑化処理を遂行する
   ことを特徴とする巡回型ディジタルフィルタ。
2. 請求項１に記載の巡回型ディジタルフィルタにおいて、
   水平方向と垂直方向とに分離して各々処理を遂行する
   ことを特徴とする巡回型ディジタルフィルタ。
3. 請求項２に記載の巡回型ディジタルフィルタにおいて、
   前記水平方向においても前記垂直方向においても、各々順方向／逆方向の２パス処理を遂行して、巡回型フィルタにおける非対称のインパルス応答を補償する
   ことを特徴とする巡回型ディジタルフィルタ。
4. 請求項３に記載の巡回型ディジタルフィルタにおいて、
   最初に前記水平方向の処理を遂行し、前記水平方向の処理結果に対して時間軸を反転した逆方向の処理を遂行し、次に、前記垂直方向の処理を遂行し、前記垂直方向の処理結果に対して時間軸を反転した逆方向の処理を遂行する
   ことを特徴とする巡回型ディジタルフィルタ。
5. 請求項１乃至請求項４のいずれか一項に記載の巡回型ディジタルフィルタにおいて、
   前記入力信号がカラー画像の場合には、ベクトル信号としてレベル変化に対する重み係数を計算し、ノイズ除去を遂行する
   ことを特徴とする巡回型ディジタルフィルタ。
6. 入力信号のレベル適応処理を導入して前記入力信号の急峻な変化であるエッジ領域を保持したまま平滑化処理を遂行する
   ことを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法において、
   水平方向と垂直方向とに分離して各々処理を遂行する
   ことを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法において、
   前記水平方向においても前記垂直方向においても、各々順方向／逆方向の２パス処理を遂行して、巡回型フィルタにおける非対称のインパルス応答を補償する
   ことを特徴とする画像処理方法。
9. 請求項８に記載の画像処理方法において、
   最初に前記水平方向の処理を遂行し、前記水平方向の処理結果に対して時間軸を反転した逆方向の処理を遂行し、次に、前記垂直方向の処理を遂行し、前記垂直方向の処理結果に対して時間軸を反転した逆方向の処理を遂行する
   ことを特徴とする画像処理方法。
10. 請求項６乃至請求項９のいずれか一項に記載の画像処理方法において、
    前記入力信号がカラー画像の場合には、ベクトル信号としてレベル変化に対する重み係数を計算し、ノイズ除去を遂行する
    ことを特徴とする画像処理方法。