JP2006014164A - 画像撮像装置およびノイズ除去方法 - Google Patents

Abstract

【課題】 画質の劣化をできるだけ押さえながら、効果的にノイズ除去を行う画像撮像装置およびノイズ除去方法を提供する。
【解決手段】 特徴検出回路７は、静止画または動画の１画面を構成する画像信号から、対象画素とその対象画素の周囲７つの画素を含む画素群の画素データを入力し、周波数特性の異なる複数のＨＰＦで画素群のフィルタリングを行う。特徴算出回路８は、ＨＰＦの出力結果から、その画素群の画像に関する平坦度を算出する。その後、フィルタ係数決定回路９は、平坦度が、その画素群の画像について起伏が小さいことを示す場合には、カットオフ周波数の下限が低域に設定され、起伏が大きいことを示す場合には、カットオフ周波数の下限が高域に設定されるようにフィルタ係数を決定する。こうして決定されたフィルタ係数は、ノイズ低減回路１１のＬＰＦのフィルタ係数として用いられ、そこで、対象画素のフィルタリングが行われる。
【選択図】 図１

Description

この発明は、撮像画像のノイズ除去を行う画像撮像装置およびノイズ除去方法に関する。

一般に、画像撮像装置が画像信号を記録する際、ノイズによる影響を受ける。その結果、このようにして記録された画像信号には、ノイズが含まれることになる。そこで、従来より、入力された画像信号からノイズを検出して、その画像信号からノイズを除去する様々な方法が提案されている。

第１の方法は、レベル変化の小さい、すなわち高周波成分の入力画像信号をノイズとみなすことによって（コアリング処理）、あるいは、空間周波数または時間周波数を検出して、いずれも、高い周波数の成分をノイズとみなすことによって、ノイズを検出し、こうして検出されたノイズを減衰することによって本来の画像信号成分と、ノイズ成分を分離する。

第２の方法は、ローパスフィルタ（ＬＰＦ：Low Pass Filter）を用いるノイズ除去処理である。この方法は、空間周波数の高い成分をノイズとみなして、これらのノイズを除去する処理を、画像全体に一様に行うものである。

第３の方法は、動画の画像信号に対して、時間方向の再帰的ＬＰＦを用いるノイズ除去方法である。この方法は、時間周波数の高い成分をノイズとみなして、これらのノイズを除去する。

しかしながら、第１の方法に関して上述したコアリング処理においては、入力画像信号のレベル変化の大小を基準にノイズが検出されるので、ノイズではない、本来の画像信号であっても、レベル変化が小さい場合にはノイズとして検出されてしまい、正確なノイズの除去が困難であるという問題がある。たとえば、人間の毛髪等を撮影した画像信号は、通常、レベル変化の小さな画像信号であり、このような画像信号が入力された場合には、これらがノイズとして検出されてしまい、本来有効な画像信号であるはずのこれらの情報が除去されてしまう。

また、第２の方法については、エッジ等の高周波成分からなる、意味のある（本来有効な）画像信号をノイズとみなして除去してしまうという問題が存在する。

また、第３の方法については、動きのある画像の質が劣化するという問題を有し、さらに、この時間方向のＬＰＦを用いるノイズ除去方法においては、時間方向の情報を用いるので、フレームメモリが必要となり、コスト高になるという問題もある。

そして、このような問題を解決するために提案されたノイズ除去方法として、特許文献１のノイズ検出回路が提案されている。

特開平８−１６３４０８号公報

特許文献１には、２次元１次微分フィルタによって、撮像された画像信号における輝度変化の方向と輝度変化の勾配を求め、その値からノイズ係数を算出しＬＰＦの係数を変化させることでノイズを除去する回路が開示されている。

しかしながら、上記特許文献１の回路では、撮像された画像の全方向において高周波である画像信号に対してＬＰＦをかけてしまい、結果として画像のシャープさを失ってしまう恐れがある。

したがって、この発明の目的は、画質の劣化をできるだけ押さえながら、効果的にノイズ除去を行う画像撮像装置およびノイズ除去方法を提供することにある。

第１の実施態様に係る発明は、静止画または動画の１画面を構成するディジタル画像信号内の、対象画素および対象画素の近傍の画素からなる画素群の画素データについて、それぞれ異なる周波数特性を有する複数のハイパスフィルタによりハイパスフィルタ処理を実行する第１フィルタリング手段と、ハイパスフィルタの出力と所定のしきい値とをそれぞれ比較し、その比較結果に基づいて、対象画素を中心とする画素群の画像の起伏の度合いを表す平坦度を算出する算出手段と、平坦度に基づいて、適応的に対象画素に対するローパスフィルタ処理を実行する第２フィルタリング手段とを有するように構成される画像撮像装置である。

第２の実施態様に係る発明は、第１の実施態様に係る発明において、第２フィルタリング手段が、平坦度に基づいてフィルタ特性を決定し、フィルタ特性を有したローパスフィルタにより、ローパスフィルタ処理を実行するように構成される画像撮像装置である。

第３の実施態様に係る発明は、第１の実施態様に係る発明において、第２フィルタリング手段が、それぞれ異なるフィルタ特性を有する複数のローパスフィルタを有し、異なるフィルタ特性を有する複数のローパスフィルタを平坦度に応じて選択的に用いて対象画素に対するローパスフィルタ処理を実行するように構成される画像撮像装置である。

第４の実施態様に係る発明は、第１の実施態様に係る発明において、画素群が、ディジタル画像信号内の水平方向または垂直方向の連続する複数の画素から構成される画像撮像装置である。

第５の実施態様に係る発明は、第１の実施態様に係る発明において、画素データが、輝度信号、色差信号、またはＲＧＢ信号のうちいずれかの信号のデータであるように構成される画像撮像装置である。

第６の実施態様に係る発明は、第１の実施態様に係る発明において、複数の異なる周波数特性は、画素群に属する複数の画素間で画素データの差の検出を行うように設定されるように構成される画像撮像装置である。

第７の実施態様に係る発明は、第６の実施態様に係る発明において、画素データの差が、対象画素の画素データと、対象画素と隣接する、または１画素以上の間隔を有する画素の画素データとの差、所定の画素の画素データと、所定の画素の両隣にある画素の画素データの平均値との差、および対象画素以外の画素の画素データと、対象画素以外の画素と１画素以上の間隔を有する画素の画素データとの差のうち、すくなくとも１つを含むように構成される画像撮像装置である。

第８の実施態様に係る発明は、第１の実施態様に係る発明において、算出手段が、ハイパスフィルタの出力と所定のしきい値との比較結果を、それぞれ２値データで表し、２値データに対して所定の論理演算を行うことによって、平坦度を算出するように構成される画像撮像装置である。

第９の実施態様に係る発明は、第１の実施態様に係る発明において、第２フィルタリング手段が、平坦度が、画素群の画像について起伏が小さいことを示す場合は、より低いカットオフ周波数でローパスフィルタ処理を実行し、平坦度が、画素群の画像について起伏が大きいことを示す場合は、より高いカットオフ周波数でローパスフィルタ処理を実行するように構成される画像撮像装置である。

第１０の実施態様に係る発明は、静止画または動画の１画面を構成するディジタル画像信号内の、対象画素および対象画素の近傍の画素からなる画素群の画素データについて、それぞれ異なる周波数特性を有する複数のハイパスフィルタによりハイパスフィルタ処理を実行する第１フィルタリングステップと、ハイパスフィルタの出力と所定のしきい値とをそれぞれ比較し、その比較結果に基づいて、対象画素を中心とする画素群の画像の起伏の度合いを表す平坦度を算出する算出ステップと、平坦度に基づいて、適応的に対象画素に対するローパスフィルタ処理を実行する第２フィルタリングステップとを有するように構成されるノイズ除去方法である。

第１１の実施態様に係る発明は、第１０の実施態様に係る発明において、第２フィルタリングステップが、平坦度に基づいてフィルタ特性を決定し、フィルタ特性を有したローパスフィルタにより、ローパスフィルタ処理を実行するように構成されたノイズ除去方法である。

第１２の実施態様に係る発明は、第１０の実施態様に係る発明において、第２フィルタリングステップが、それぞれ異なるフィルタ特性を有する複数のローパスフィルタを、平坦度に応じて選択的に用いて対象画素に対するローパスフィルタ処理を実行するように構成されたノイズ除去方法である。

第１３の実施態様に係る発明は、第１０の実施態様に係る発明において、画素群が、ディジタル画像信号内の水平方向または垂直方向の連続する複数の画素から構成されるように構成されるノイズ除去方法である。

第１４の実施態様に係る発明は、第１０の実施態様に係る発明において、画素データが、輝度信号、色差信号、またはＲＧＢ信号のうちいずれかの信号のデータであるように構成されるノイズ除去方法である。

第１５の実施態様に係る発明は、第１０の実施態様に係る発明において、複数の異なる周波数特性が、画素群に属する複数の画素間で画素データの差の検出を行うように設定されるように構成されるノイズ除去方法である。

第１６の実施態様に係る発明は、第１５の実施態様に係る発明において、画素データの差が、対象画素の画素データと、対象画素と隣接する、または１画素以上の間隔を有する画素の画素データとの差、所定の画素の画素データと、所定の画素の両隣にある画素の画素データの平均値との差、および対象画素以外の画素の画素データと、対象画素以外の画素と１画素以上の間隔を有する画素の画素データとの差のうち、すくなくとも１つを含むように構成されるノイズ除去方法である。

第１７の実施態様に係る発明は、第１０の実施態様に係る発明において、算出ステップが、第１フィルタリングステップによる出力と所定のしきい値との比較結果を、それぞれ２値データで表し、２値データに対して所定の論理演算を行うことによって、平坦度を算出するように構成されるノイズ除去方法である。

第１８の実施態様に係る発明は、第１０の実施態様に係る発明において、第２フィルタリングステップが、平坦度が画素群の画像について起伏が小さいことを示す場合は、より低いカットオフ周波数でローパスフィルタ処理を実行し、平坦度が画素群の画像について起伏が大きいことを示す場合は、より高いカットオフ周波数でローパスフィルタ処理を実行するように構成されるノイズ除去方法である。

上述した第１ないし第１４の実施態様に係る発明により、対象画素のノイズ除去を行うローパスフィルタのフィルタ係数が、対象画素および、その対象画素の周辺の画素を含む画素群の平坦度に応じて段階的に設定される。

この発明によって、従来のコアリング処理、空間周波数、および時間周波数によるノイズ除去での問題点が解決される。すなわち、この発明においては、画像の起伏の激しい部分に対してはＬＰＦのカットオフ周波数を高域に持っていくことで、従来の、有効な画像情報が失われるという問題が解消される。

また、この発明によって、画像データとして起伏の少ないところにある、ざらついたノイズが効果的に除去され、結果的に滑らかな画像が生成される。さらに、画像のエッジ部分や高周波成分を含む部分に対してＬＰＦのカットオフ周波数を高域に設定するので、エッジ部分の鈍りが抑えられ、全体としてノイズ感の減った画像データが得られる。

最初に、この発明の一実施形態に係る画像撮像装置の構成について、図１を参照して説明する。この発明は、画像信号の空間周波数にもとづいて、適応的にローパスフィルタ処理を施し、画像信号のノイズを除去する。また、画像信号の空間周波数は、異なる空間周波数特性を有する複数のハイパスフィルタによって段階的に求められる。

図１に示す、この発明の画像撮像装置１は、たとえば、色フィルタを有するＣＣＤ撮像素子のようなイメージセンサ２、ＡＤＣ（ＡＤ変換装置）３、画像の調整を行うＷＢ（White Balance:ホワイトバランス）処理やγ（ガンマ）処理を行う信号処理部４、ＲＧＢなどの色情報を持ったデータを輝度と色差の情報に変換するＹＣ変換部５、ノイズ低減部６、およびラインメモリ１２を有し、ノイズ低減部６はさらに、ハイパスフィルタ（ＨＰＦ：High Pass Filter）を利用して画像信号の特徴を検出する特徴検出回路７、特徴検出回路７の結果から画像の定量的な特徴量を得る特徴算出回路８、特徴算出回路８で算出された特徴量を基にＬＰＦのフィルタ係数（フィルタ特性）を決定するフィルタ係数決定回路９、ディレイライン１０、および実際にノイズの低減を行うＬＰＦを含むノイズ低減回路１１からなる。

画像撮像装置１で扱われる画像は、静止画または動画のどちらであってもよい。また、図１には、便宜上、この発明の特徴に関連する構成要素について示されている。したがって、ラインメモリ１２に蓄積された画像信号はその後、その画像信号が静止画であるか動画であるかに基づいて、適宜対応する回路に送信され、そこで所定の信号処理が施される。

ここで、特徴検出回路７は第１フィルタリング手段に対応し、特徴算出回路８は算出手段に対応し、フィルタ係数決定手段およびノイズ低減回路１１は第２フィルタリング手段に対応する。

特徴検出回路７は、上述のとおりＨＰＦを有しており、ＨＰＦからの出力結果がしきい値以上であるかどうかを判定し、しきい値以下である場合には、画像情報の中の高周波成分（空間周波数における高周波成分）はノイズであるとみなす。より詳細には、特徴検出回路７は、帯域（空間周波数特性）の異なるＨＰＦを複数有し、たとえば輝度Ｙといった画像信号をそれぞれのＨＰＦに提供する。各ＨＰＦによるフィルタリングの結果はしきい値と比較され、その比較結果がさらに、特徴算出回路８で定量的な値に変換される。

特徴算出回路８からの定量的な値は、次にフィルタ係数決定回路９に提供され、そこでＬＰＦの仕様を決定するフィルタ係数が生成される。次に、ノイズ低減回路１１において、ディレイライン１０を介して提供された画像信号がＬＰＦに提供されるが、ここで、フィルタ係数決定回路９により生成されたフィルタ係数が用いられる。

ノイズ低減回路１１は、ＬＰＦからのフィルタリング結果を画像信号として置き換えて出力し、これによってノイズが低減された画像信号がラインメモリ１２等に提供される。上述した一連の処理は、撮像画像のすべての画素について行われ、１つの画素については、たとえば、周囲の７つの画素の画像信号が参照される。また、この１つの画素と、その周囲の７つの画素（画素群）として、たとえば、ノイズ低減対象となる１つの画素（ここでは、対象画素と称する）と同じ水平ライン（撮像画像における行）上の画素が選択される。また、この画素群として、対象画素と同じ垂直ライン（撮像画像における列）上の画素を選択することもできる。

このようなフィルタリングは、画像信号の高周波成分に対してはノイズ低減をほとんど行わないか、またはまったく行わないので、その高周波成分を損なわず、画像のシャープさを保つことができる。一方、画像信号の低周波成分に関しては、ＬＰＦを強くかけるのでノイズを大幅に除去することができる。また、特徴算出回路８によって求められる定量的な値は段階的なものであり、高周波成分におけるノイズ低減と低周波成分のノイズ低減との間でなめらかに遷移するので、ＬＰＦの帯域の差による画像の急激な変化は生じない。

次に、特徴検出回路７および特徴算出回路８の動作について詳細に説明する。ここで、図１にも示したように、画像信号は、ＹＣ変換部５によって輝度色差信号ＹＣに変換され、特徴検出回路７には輝度信号Ｙが提供され、ディレイライン１０には、輝度信号Ｙおよび色差信号Ｃの両方が提供される。この例では、特徴検出回路７による特徴検出処理を、輝度信号Ｙを用いて行うが、色差信号Ｃ（Ｃｂ、Ｃｒ）やＲＧＢの各データを用いて検出するようにしてもよい。

また、ここでは、特徴検出回路７および特徴算出回路８の動作をまとめて説明する。これらの間における処理の分担は任意に定めることが可能である。

対象画素の処理に際しては、一次元方向（対象画素と同じ行、あるいは同じ列）に連続ｎ画素の輝度データが保持される。今回、説明のためにｎ＝８とする。そうすると、たとえば、図２に示すような形で連続した８画素のデータが定義されることになる。ここで、ｉは対象画素、すなわち、ノイズ低減回路１１によって置き換えられる画素に関するインデックスである。対象画素の輝度データは、Ｙ（ｉ）と表され、これに隣接する輝度データ（以降、適宜画素データと称する）は、それぞれＹ（ｉ−１）、Ｙ（ｉ＋１）と表される。８画素分のデータは、Ｙ（ｉ−３）ないしＹ（ｉ＋４）として表される。

次に、上記の輝度データＹ（ｉ−３）ないしＹ（ｉ＋４）から、以下の各値が求められる。これらの値は、たとえば、特徴検出回路７内に配置された複数のＨＰＦによってパラレルに求められ得る。
Ｄ２Ａ（ｉ）＝Ｙ（ｉ＋１）−Ｙ（ｉ） ・・・（式１）
Ｄ２Ｂ（ｉ）＝Ｙ（ｉ）−Ｙ（ｉ−１） ・・・（式２）
Ｄ３（ｉ＋ｎ）＝Ｙ（ｉ＋ｎ＋１）−Ｙ（ｉ＋ｎ−１） ・・・（式３）
ただし、ｎ＝０、±１、±２、＋３
σ３（ｉ＋ｎ）＝｛Ｙ（ｉ＋ｎ＋１）＋Ｙ（ｉ＋ｎ−１）｝／２−Ｙ（ｉ＋ｎ） ・・・（式４）
ただし、ｎ＝０、±１、±２、＋３
Ｄ４（ｉ）＝Ｙ（ｉ＋１）−Ｙ（ｉ−２） ・・・（式５）
Ｄ５（ｉ）＝Ｙ（ｉ＋２）−Ｙ（ｉ−２） ・・・（式６）
Ｄ６（ｉ）＝Ｙ（ｉ＋３）−Ｙ（ｉ−２） ・・・（式７）
Ｄ７（ｉ）＝Ｙ（ｉ＋３）−Ｙ（ｉ−３） ・・・（式８）
Ｄ８（ｉ）＝Ｙ（ｉ＋４）−Ｙ（ｉ−３） ・・・（式９）

上記の式を８つの画素データの位置関係に着目してまとめると、図３に示す表のようになる。Ｄ２Ａ（ｉ）等の上述した式１ないし式９の値のそれぞれに対応して８つの数字が示されており、その８つの数字は、それぞれ１つの画素データに対応する。数字の「１」は、対応する画素データが加算されることを意味し、数字の「−１」は、対応する画素データが減算されることを意味する（８つの数字は、画素データの係数と考えることができる）。たとえば、Ｄ２Ａは、Ｙ（ｉ＋１）に対応する箇所に数字の「１」が置かれ、Ｙ（ｉ）に対応する箇所に数字の「−１」が置かれ、その他の箇所には数字の「０」が置かれており、これによって、Ｄ２ＡがＹ（ｉ＋１）−Ｙ（ｉ）を意味するようになっている。数字の「１／２」は、画素データが２で除算されることを意味する。

図３から分かるように、式１から式９によって求められる値は、対象画素の画素データＹ（ｉ）を中心として、様々なバリエーションで、その周囲の画素データの関係（すなわち、画素データ間の差、傾き）を求めたものである。図３では、たとえば、対象画素の画素データと、対象画素と隣接する、または１画素以上の間隔を有する画素の画素データとの差、所定の画素の画素データと、その所定の画素の両隣にある画素の画素データの平均値との差、および対象画素以外の画素の画素データと、その対象画素以外の画素と１画素以上の間隔を有する画素の画素データとの差が求められる。これらの画素データの差のうち、すくなくとも１種類を求めるように構成することも可能であり、また、他のパターンの画素データ間の差分をとるようにもできる。

また、図３に示す８つの数字は、ＨＰＦにおける８タップフィルタ（１次元フィルタ）係数に対応する。

次に、画像信号の平坦さＦ（ここでは、随時、「平坦度Ｆ」と称する）を求める手順について説明する。
（手順１）
最初に、Ｆ＝０とする。
ここで、Ｆは、ＨＰＦによる結果をＬＰＦのフィルタ係数に反映するためのパラメータとして導入しており、画像信号の平坦さ、高周波成分を持っていない度合いを表す指標である。Ｆは、その値が大きいほど画像に含まれる高周波成分が少なく、小さいほど高周波成分が多いことを示す。

（手順２）
（｜Ｄ３（ｉ＋ｎ）｜＜ＤＴＨ）かつ（｜σ３（ｉ＋ｎ）｜＜σＴＨ）である場合、Ｆ＝Ｆ＋１とする。
そうでない場合、Ｆ＝Ｆとする。
ただし、ｎ＝０、±１、±２、＋３である。
手順２は、ＬＰＦによって値が置き換えられる対象画素の両隣の画素について調べている（図３参照）。これらの画素を調べることによって、平坦さの指標Ｆが、隣接画素の間で急激に変化することを防止する。Ｆの急激な変化を防ぐことは、最終的に画像信号に対してかけるＬＰＦの帯域制限を急激に変化させないことにつながるので、ＬＰＦ後の不自然な信号の変化つまりノイズを追加してしまうような現象を排除できる。

また、手順２では、Ｄ３（ｉ＋ｎ）とσ３（ｉ＋ｎ）がそれぞれ６個あるので、上述の判断を６回行うことになる。ここで、ＤＴＨは、Ｄ３（ｉ＋ｎ）に関するしきい値、σＴＨは、σ３（ｉ＋ｎ）に関するしきい値である。

（手順３）
（｜Ｄ２Ａ（ｉ）｜＞ＤＴＨ）または（｜Ｄ２Ｂ（ｉ）｜＞ＤＴＨ）である場合、Ｆ＝Ｆ−１とする。
そうでない場合、Ｆ＝Ｆ＋１とする。
手順３は、対象画素がもっとも高い高周波、サンプリング周波数の情報を含んでいないかを判別している。すなわち、対象画素の隣の画素との輝度データの差が、所定のしきい値を越えていないかを判定する。対象画素が鋭いエッジの場合、手順２による周辺画素の判定で平坦度が高くなっていると、エッジが鈍るので、このことを防止するために行う処理である。

（手順４）
（｜Ｄ４（ｉ）｜＜ＤＴＨ）かつ（Ｄ３（ｉ）｜＜ＤＴＨ）かつ（（｜Ｄ２Ａ（ｉ）｜＜ＤＴＨ）または（｜Ｄ２Ｂ（ｉ）｜＜ＤＴＨ））である場合、Ｆ＝Ｆ＋１とする。
そうでない場合、Ｆ＝Ｆとする。

手順４以降は、ＨＰＦの通過帯域を下げていくことで画像がどの程度の高周波まで持っているのかを簡単に調べている。

（手順５）
（｜Ｄ５（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ４（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ３（ｉ）｜＜ＤＴＨ）かつ（（｜Ｄ２Ａ（ｉ）｜＜ＤＴＨ）または（｜Ｄ２Ｂ（ｉ）｜＜ＤＴＨ））である場合、Ｆ＝Ｆ＋１とする。
そうでない場合、Ｆ＝Ｆとする。

（手順６）
（｜Ｄ６（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ５（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ４（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ３（ｉ）｜＜ＤＴＨ）かつ（（｜Ｄ２Ａ（ｉ）｜＜ＤＴＨ）または（｜Ｄ２Ｂ（ｉ）｜＜ＤＴＨ））である場合、Ｆ＝Ｆ＋１とする。
そうでない場合、Ｆ＝Ｆとする。

（手順７）
（｜Ｄ７（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ６（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ５（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ４（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ３（ｉ）｜＜ＤＴＨ）かつ（（｜Ｄ２Ａ（ｉ）｜＜ＤＴＨ）または（｜Ｄ２Ｂ（ｉ）｜＜ＤＴＨ））である場合、Ｆ＝Ｆ＋１とする。
そうでない場合、Ｆ＝Ｆとする。

（手順８）
（｜Ｄ８（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ７（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ６（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ５（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ４（ｉ）｜＜ＤＴＨ）かつ（｜Ｄ３（ｉ）｜＜ＤＴＨ）かつ（（｜Ｄ２Ａ（ｉ）｜＜ＤＴＨ）または（｜Ｄ２Ｂ（ｉ）｜＜ＤＴＨ））である場合、Ｆ＝Ｆ＋１とする。
そうでない場合、Ｆ＝Ｆとする。

ここで、式１から式９の示す周波数特性を図４ないし図６に示す。これらの図を参照すると、手順４以降がＨＰＦの帯域を下げていることがわかる。図４Ａ、図４Ｂ、図４Ｃ、図５Ａ、図５Ｂ、図５Ｃ、図６Ａ、図６Ｂ、および図６Ｃのそれぞれは、周波数空間上で与えた式の特性を表現するグラフであり、すべてのグラフにおいて、縦軸がｄＢ（デシベル）、横軸が周波数であり、さらに、グラフの右端は、サンプリング周波数（ｆｓ：Sampling Frequency）の１／２となっている。

また、図４Ａは、式１（Ｄ２Ａ（ｉ）＝Ｙ（ｉ＋１）−Ｙ（ｉ））に対応する特性を表したグラフであり、図４Ｂは、式３において、ｎが０の場合（Ｄ３（ｉ）＝Ｙ（ｉ＋１）−Ｙ（ｉ−１））に対応する特性を表したグラフであり、図４Ｃは、式４において、ｎが０の場合（σ３（ｉ）＝｛Ｙ（ｉ＋１）＋Ｙ（ｉ−１）｝／２−Ｙ（ｉ））に対応する特性を表したグラフである。

さらに、図５Ａは、式５（Ｄ４（ｉ）＝Ｙ（ｉ＋１）−Ｙ（ｉ−２））に対応する特性を表したグラフであり、図５Ｂは、式６（Ｄ５（ｉ）＝Ｙ（ｉ＋２）−Ｙ（ｉ−２））に対応する特性を表したグラフであり、図５Ｃは、式７（Ｄ６（ｉ）＝Ｙ（ｉ＋３）−Ｙ（ｉ−２））に対応する特性を表したグラフである。

またさらに、図６Ａは、式８（Ｄ７（ｉ）＝Ｙ（ｉ＋３）−Ｙ（ｉ−３））に対応する特性を表したグラフであり、図６Ｂは、式９（Ｄ８（ｉ）＝Ｙ（ｉ＋４）−Ｙ（ｉ−３））に対応する特性を表したグラフであり、図６Ｃは、図４Ａから図６Ｂまでのグラフに示されたすべての曲線を同時に示したものである。

図４ないし図６は、上述のように、周波数空間上の特性を表現しているが、同様のものを実空間上で表現すると図７に示す曲線２０のようになる。図７のグラフの縦軸は輝度レベル、横軸は各画素の位置（距離）を示すものである。これは画像が平坦であるかどうかを探っているのと同等の意味を持っている。図の直線２１は、曲線２０上の所定の２地点を結んでおり、これらの２地点の間で値の変化が大きくないため、比較的傾斜のない直線となっており、低周波の（すなわち平坦な）画像であるということができる。一方、直線２１は、曲線２０上の別の２地点を結んでおり、これらの２地点間では値の差が大きいために、直線の傾きは非常に大きなものとなっており、高周波の（すなわち、平坦でない）画像であるということができる。

ここで、手順２ないし手順８のそれぞれは、他の手順の終了を待つ必要はないので、どのような順序で実行しても良く、さらには、各手順をパラレルで実行することも可能である。すべての手順の終了後、各手順で求められたＦを足し合わせることによって最終的な平坦度Ｆが求められる。このような手順で求められた平坦度Ｆは、−１から１２の１４段階の値をとることになる。

なお、この例では、１つの対象画素と、対象画素の周囲７画素の計８画素の画素データを用いて平坦度Ｆを求めているが、これ以外の数の画素を用いることも可能である。この画素数を８より大きな整数ｍとすると、上記式３、式４、および手順２における「ｎ」は、以下のように表される。
ｎ＝−（ｍ／２−２）、−（ｍ／２−３）、・・・、ｍ／２−１ ・・・（式１０）
ただし、ｍは偶数である。
ｎ＝−（（ｍ−１）／２−１）、−（（ｍ−１）／２−２）、・・・、（ｍ−１）／２ ・・・（式１１）
ただし、ｍは奇数である。

また、ｍが８より大きいために、式１ないし式９に加えて、以下のような新たな式が必要となる。
Ｄｍ（ｉ）＝Ｙ（ｉ＋（ｍ−１）／２）−Ｙ（ｉ−（ｍ−１）／２） ・・・（式１２）
ただし、ｍは奇数
Ｄｍ（ａｉ）＝Ｙ（ｉ＋ｍ／２）−Ｙ（ｉ−ｍ／２） ・・・（式１３）
ただし、ｍは偶数

さらに、手順８以降の新たな手順ｍは、以下のように定義される。
（手順ｍ）
（｜Ｄｎ（ｉ）｜＜ＤＴＨ）かつ（｜Ｄｎ−１（ｉ）｜＜ＤＴＨ）かつ、・・・かつ（（｜Ｄ２Ａ（ｉ）｜＜ＤＴＨ）または（｜Ｄ２Ｂ（ｉ）｜＜ＤＴＨ））である場合、Ｆ＝Ｆ＋１とする。
そうでない場合、Ｆ＝Ｆとする。

このような手順を実行した結果、特徴算出回路８から平坦度Ｆが出力される。Ｆは、前述したように、その値が大きいほど画像に含まれる高周波成分が少なく、小さいほど高周波成分が多いことを示す。このＦは、各手順における判定の結果を、２値のデータ（ここでは、所定の条件を満たす場合「１」（手順３のみ「−１」とし、満たさない場合「０」としている）に対応付け、最終的にこれらの２値のデータに対して論理演算を行う（ここでは、足し算）ことによって求められている。ただし、２値のデータとして他のものを用いてもよいし、判定の条件等によっては、単なる足し算ではない他の論理演算を採用することも可能である。

次に、フィルタ係数決定回路９の処理内容について説明する。フィルタ係数決定回路９は、特徴算出回路８から提供された平坦度Ｆを用いて、ノイズ低減回路１１のＬＰＦの係数を生成する。ノイズ低減回路１１のＬＰＦは、平坦度Ｆの値の増加または減少に応じて、ＬＰＦの強弱が変更されるように構成されていればどのようなものでも可能である。しかしながら、平坦度Ｆの値の段階（とりうる値の数）よりもＬＰＦの帯域の段数が少ない場合は最良の結果を得ることが出来ないので、ＬＰＦの段数が、平坦度Ｆのとりうる値の数より大きくなるように回路を設計すべきである。

この発明の一実施形態における平坦度Ｆは、画像信号の高周波成分の量の少なさ、平坦さを表す指標であり、Ｆの値が大きいほど画像が平坦であることを示す。画像が平坦であるということは、画像のノイズが目立ち易いと考えられるので、この場合はＬＰＦをきつくかける。Ｆの値が小さい場合、画像は高周波な画像であるとみなして、ＬＰＦを出来るだけ弱く、またはまったくかけないように処理する必要がある。つまり、ＬＰＦについては、平坦度Ｆが大きい場合（すなわち、対象画素を含む画素群の画像について起伏が小さいことを意味する場合）は、カットオフ周波数の下限が低域に設定され、平坦度Ｆが小さい場合（すなわち、対象画素を含む画素群の画像について起伏が大きいことを意味する場合）は、カットオフ周波数の下限が高域に設定されるようにフィルタ係数が決定される。

ここで、ノイズ低減回路１１のＬＰＦの一例を示す。下記の式１４は、一般的に用いられるＳｙｎｃ関数であり、この例では、８個の画素データを想定しているので、離散な変数ｎは−３ないし４となる。また、帯域の制限は離散的な変数ｂを用い、ｂの値を０ないし２５５までとしている。
Ｓ（ｎ）＝ｓｉｎ｛π×２５６×ｎ×（２５６−ｂ）／（２５６）²｝／｛π×２５６×ｎ×（２５６−ｂ）／（２５６）²｝ ・・・（式１４）
ただし、ｎ＝０、±１、±２、±３、＋４とする。

ＬＰＦによって実際にフィルタリングを行う際は、リンギングなどを防止するため窓関数が必要となり、この例では、ハミング窓関数を用いてリンギングを抑えることにする、ここで、窓関数は、下記の式１５で与えられる。
Ｗ（ｎ）＝０．５４＋０．４６×ｃｏｓ（２×π×ｎ／（８−１）） ・・・（式１５）

また、フィルタ係数ａ（ｎ）は、以下の式１６、式１７によって求められる。式１７では、フィルタ係数の規格化が行われている。
Ａ（ｎ）＝Ｓ（ｎ）×Ｗ（ｎ） ・・・（式１６）
ａ（ｎ）＝Ａ（ｎ）／（Σ_n=-3〜4Ａ（ｎ）） ・・・（式１７）

上記によってフィルタ係数が得られるが、このときの変数ｂを、平坦度Ｆの関数とすること（すなわち、ｂ＝Ｂ（Ｆ））で、フィルタ係数と変数Ｆの関係をとることができる。関数Ｂとしては、さまざまなパターンが考えられるが、基本的には、平坦度Ｆの値の増加に伴って、ｂの値が増加する関数であり、たとえば、Ｂ（−１）＝０、Ｂ（０）＝２０、Ｂ（１）＝４０、Ｂ（２）＝６０、Ｂ（３）＝８０、Ｂ(４)＝１００、Ｂ(５)＝１２０、Ｂ（６）＝１４０、Ｂ（７）＝１６０、Ｂ（８）＝１８０、Ｂ（９）＝２００、Ｂ（１０）＝２２０、Ｂ（１１）＝２４０、Ｂ（１２）＝２５５といったように、平坦度Ｆの各値に対応する所定の固定値とする方法がある。その他、平坦度Ｆの値に比例させて、値ｂを設定するようにしてもよい。

図８には、上記固定値を用いた場合のｂの値と、それぞれの周波数特性が示されており、平坦度Ｆの増加と共にＬＰＦの通過帯域が下がって高周波成分を抑制していることがわかる。図に示すグラフは、縦軸がｄＢ（デシベル（２０ｌｏｇ｜Ｈ（ｆ）｜））であり、横軸が空間周波数／サンプリング周波数（ｆ／ｆｓ）である。また、図に示すように、曲線３１がｂ＝０の場合の周波数特性であり、以降同様に、曲線３２、３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３、４４が、それぞれｂ＝２０、４０、６０、８０、１００、１２０、１４０、１６０、１８０、２００、２２０、２４０、２５５の場合の周波数特性に対応する。ｂの値は、たとえば、回路内のＲＯＭに記憶され、または算出回路、ＣＰＵ、マイコン等によって随時計算される。

ノイズ低減回路１１は、上述のように求められたフィルタ係数を元に、ディレイライン１０を介して提供された画像信号に対してＬＰＦをかける。ディレイライン１０は、画像信号の到着時間を、特徴検出回路７、特徴算出回路８、およびフィルタ係数決定回路９による各処理を通して対応するフィルタ係数が与えられるタイミングと合わせるために設けられている。

こうして、画像信号に対してＬＰＦ処理が施されることにより、ノイズが低減される。なお、これまで説明してきたノイズ除去方法は、１次元画素データに対するものであり、２次元画素データからノイズを除去する場合は、水平方向の画素を処理するための回路と、これと同様の、垂直方向の画素を処理する回路を有し、垂直方向に対して必要なライン数の情報を取得するラインメモリを別途用意する必要がある。

この発明における一連のノイズ低減処理は、水平ライン上の画素群と垂直ライン上の画素群の両方に施すよう構成することができる。たとえば、最初に水平ライン上の画素群についてすべてのノイズ低減処理を行った後、ノイズ低減処理のされた画素を一旦ディレイライン（フレームメモリ）に記憶し、次に、その記憶された画素群（画像信号）を垂直ラインの方向に読み出し、垂直ライン上の画素群についてすべてのノイズ低減処理を行うように構成される。

また、この発明において、平坦度Ｆに対応して得られるフィルタ係数を有するＬＰＦをあらかじめ備えておき（たとえば、上記の例では１２個のＬＰＦを用意する）、それぞれのＬＰＦで対象画素にフィルタリング処理を施し、最終的に、求められた平坦度Ｆに対応するＬＰＦの出力をノイズ低減処理が施された画素として扱うように構成可能である。勿論、異なる特性を有する複数のＬＰＦを、平坦度Ｆに応じて選択的に用いるようにしてもよい。一方、１つのＬＰＦを備え、平坦度Ｆに基づいて得られたフィルタ係数をその都度与えて、対象画素にフィルタリング処理を施すように構成することもできる。

この発明の一実施形態に係る映像撮像装置の構成例を示すブロック図である。 ノイズを除去する対象となる画素と、特徴検出を行うために用いる周辺画素との位置関係の例を示す略線図である。 特徴検出を行うための式と、各式で輝度データを使用する画素との関係の一例をまとめた略線図である。 特徴検出を行うために用いる式が示す周波数特性を表すグラフである。 特徴検出を行うために用いる式が示す周波数特性を表すグラフである。 特徴検出を行うために用いる式が示す周波数特性を表すグラフである。 図４ないし図６に示したグラフと同様の内容を、実空間上で表現したグラフである。 フィルタ係数ごとの周波数特性を表したグラフである。

符号の説明

１・・・映像撮像装置、２・・・イメージセンサ、３・・・ＡＤＣ、４・・・信号処理部、５・・・ＹＣ変換部、６・・・ノイズ低減部、７・・・特徴検出回路、８・・・特徴算出回路、９・・・フィルタ係数決定回路、１０・・・ディレイライン、１１・・・ノイズ低減回路、１２・・・ラインメモリ

Claims (18)

1. 静止画または動画の１画面を構成するディジタル画像信号内の、対象画素および前記対象画素の近傍の画素からなる画素群の画素データについて、それぞれ異なる周波数特性を有する複数のハイパスフィルタによりハイパスフィルタ処理を実行する第１フィルタリング手段と、 前記ハイパスフィルタの出力と所定のしきい値とをそれぞれ比較し、その比較結果に基づいて、前記対象画素を中心とする前記画素群の画像の起伏の度合いを表す平坦度を算出する算出手段と、 前記平坦度に基づいて、適応的に前記対象画素に対するローパスフィルタ処理を実行する第２フィルタリング手段とを有することを特徴とする画像撮像装置。
2. 請求項１に記載の画像撮像装置において、 前記第２フィルタリング手段は、前記平坦度に基づいてフィルタ特性を決定し、前記フィルタ特性を有したローパスフィルタにより、前記ローパスフィルタ処理を実行することを特徴とする画像撮像装置。
3. 請求項１に記載の画像撮像装置において、 前記第２フィルタリング手段は、それぞれ異なるフィルタ特性を有する複数のローパスフィルタを有し、 前記異なるフィルタ特性を有する複数のローパスフィルタを前記平坦度に応じて選択的に用いて、前記対象画素に対するローパスフィルタ処理を実行することを特徴とする画像撮像装置。
4. 請求項１に記載の画像撮像装置において、 前記画素群が、前記ディジタル画像信号内の水平方向または垂直方向の連続する複数の画素から構成されることを特徴とする画像撮像装置。
5. 請求項１に記載の画像撮像装置において、 前記画素データは、輝度信号、色差信号、またはＲＧＢ信号のうちいずれかの信号のデータであることを特徴とする画像撮像装置。
6. 請求項１に記載の画像撮像装置において、 複数の前記異なる周波数特性は、前記画素群に属する複数の画素間で画素データの差の検出を行うように設定されることを特徴とする画像撮像装置。
7. 請求項６に記載の画像撮像装置において、 前記画素データの差は、 前記対象画素の画素データと、前記対象画素と隣接する、または１画素以上の間隔を有する画素の画素データとの差、 所定の画素の画素データと、前記所定の画素の両隣にある画素の画素データの平均値との差、および、 前記対象画素以外の画素の画素データと、前記対象画素以外の画素と１画素以上の間隔を有する画素の画素データとの差のうち、すくなくとも１つを含むことを特徴とする画像撮像装置。
8. 請求項１に記載の画像撮像装置において、 前記算出手段は、前記ハイパスフィルタの出力と所定のしきい値との比較結果を、それぞれ２値データで表し、前記２値データに対して所定の論理演算を行うことによって、前記平坦度を算出することを特徴とする画像撮像装置。
9. 請求項１に記載の画像撮像装置において、 前記第２フィルタリング手段は、 前記平坦度が、前記画素群の画像について起伏が小さいことを示す場合は、より低いカットオフ周波数で前記ローパスフィルタ処理を実行し、 前記平坦度が、前記画素群の画像について起伏が大きいことを示す場合は、より高いカットオフ周波数で前記ローパスフィルタ処理を実行することを特徴とする画像撮像装置。
10. 静止画または動画の１画面を構成するディジタル画像信号内の、対象画素および前記対象画素の近傍の画素からなる画素群の画素データについて、それぞれ異なる周波数特性を有する複数のハイパスフィルタによりハイパスフィルタ処理を実行する第１フィルタリングステップと、 前記ハイパスフィルタの出力と所定のしきい値とをそれぞれ比較し、その比較結果に基づいて、前記対象画素を中心とする前記画素群の画像の起伏の度合いを表す平坦度を算出する算出ステップと、 前記平坦度に基づいて、適応的に前記対象画素に対するローパスフィルタ処理を実行する第２フィルタリングステップとを有することを特徴とするノイズ除去方法。
11. 請求項１０に記載のノイズ除去方法において、 前記第２フィルタリングステップは、前記平坦度に基づいてフィルタ特性を決定し、前記フィルタ特性を有したローパスフィルタにより、前記ローパスフィルタ処理を実行することを特徴とするノイズ除去方法。
12. 請求項１０に記載のノイズ除去方法において、 前記第２フィルタリングステップは、それぞれ異なるフィルタ特性を有する複数のローパスフィルタを前記平坦度に応じて選択的に用いて、前記対象画素に対するローパスフィルタ処理を実行することを特徴とするノイズ除去方法。
13. 請求項１０に記載のノイズ除去方法において、 前記画素群が、前記ディジタル画像信号内の水平方向または垂直方向の連続する複数の画素から構成されることを特徴とするノイズ除去方法。
14. 請求項１０に記載のノイズ除去方法において、 前記画素データは、輝度信号、色差信号、またはＲＧＢ信号のうちいずれかの信号のデータであることを特徴とするノイズ除去方法。
15. 請求項１０に記載のノイズ除去方法において、 複数の前記異なる周波数特性は、前記画素群に属する複数の画素間で画素データの差の検出を行うように設定されることを特徴とするノイズ除去方法。
16. 請求項１５に記載のノイズ除去方法において、 前記画素データの差は、 前記対象画素の画素データと、前記対象画素と隣接する、または１画素以上の間隔を有する画素の画素データとの差、 所定の画素の画素データと、前記所定の画素の両隣にある画素の画素データの平均値との差、および、 前記対象画素以外の画素の画素データと、前記対象画素以外の画素と１画素以上の間隔を有する画素の画素データとの差のうち、すくなくとも１つを含むことを特徴とするノイズ除去方法。
17. 請求項１０に記載のノイズ除去方法において、 前記算出ステップは、前記第１フィルタリングステップによる出力と所定のしきい値との比較結果を、それぞれ２値データで表し、前記２値データに対して所定の論理演算を行うことによって、前記平坦度を算出することを特徴とするノイズ除去方法。
18. 請求項１０に記載のノイズ除去方法において、 前記第２フィルタリングステップは、 前記平坦度が、前記画素群の画像について起伏が小さいことを示す場合は、より低いカットオフ周波数で前記ローパスフィルタ処理を実行し、 前記平坦度が、前記画素群の画像について起伏が大きいことを示す場合は、より高いカットオフ周波数で前記ローパスフィルタ処理を実行することを特徴とするノイズ除去方法。

Images