JP2008153917A - 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディジタルスチルカメラに適用して、簡易な処理、構成により十分にノイズを抑圧することができるようにする。
【解決手段】本発明は、条件付平均フィルタ１６のタップ係数を所定箇所で値０に設定し、高域の折り返しをローパスフィルタ１５で抑圧する。
【選択図】 図１

Description

本発明は、撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディジタルスチルカメラに適用することができる。本発明は、条件付平均フィルタのタップ係数を所定箇所で値０に設定し、高域の折り返しをローパスフィルタで抑圧することにより、簡易な処理、構成により十分にノイズを抑圧することができるようにする。

従来、ディジタルスチルカメラでは、撮像素子の画素配列で順次得られるＲＡＷデータをデモザイク処理してフルカラー画像を生成した後、輝度信号、色差信号の画像データに変換して記録媒体に記録している。このようなディジタルスチルカメラ等の画像処理では、例えば特開２００４−１７２７２６号公報に開示されているように、条件付平均フィルタであるεフィルタを用いてノイズを抑圧している。

ところでディジタルスチルカメラでは、極めて速いシャッター速度で撮影する場合もあり、このような撮影では、撮像結果のＳ／Ｎ比が著しく劣化する場合がある。ディジタルスチルカメラでは、このような著しくＳ／Ｎ比の劣化した撮像結果についても、効率良くノイズを抑圧することが望まれ、そのためには例えばεフィルタを用いてノイズ抑圧する場合には、このεフィルタの性能を向上させる必要がある。

ここでεフィルタでは、タップ数を増大させて平均値化の処理に使用する画素数を増大させれば、ノイズ抑圧の性能を向上させることができる。しかしながらタップ数を増大させると、εフィルタの構成が煩雑になる。また演算処理によりεフィルタを構成する場合には、演算処理量が著しく増大することになり、処理に時間を要することになる。
特開２００４−１７２７２６号公報

本発明は以上の点を考慮してなされたもので、簡易な処理、構成により十分にノイズを抑圧することができる撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、撮像装置に適用して、撮像結果を取得して画像データを出力する撮像部と、前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、前記ノイズ抑圧部は、前記画像データを帯域制限する２次元のローパスフィルタと、前記ローパスフィルタから出力される画像データを帯域制限して前記出力データを出力する２次元の条件付平均フィルタとを有し、前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、該タップ係数を値０に設定したことによる高域の折り返しが、前記ローパスフィルタで抑圧されるようにする。

また請求項１１の発明は、前記画像データのノイズを抑圧して出力データを出力する画像処理装置に適用して、前記画像データを帯域制限する２次元のローパスフィルタと、前記ローパスフィルタから出力される画像データを帯域制限して前記出力データを出力する２次元の条件付平均フィルタとを有し、前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、該タップ係数を値０に設定したことによる高域の折り返しが、前記ローパスフィルタで抑圧されるようにする。

また請求項１２の発明は、画像データのノイズを抑圧して出力データを出力する画像処理方法に適用して、前記画像データを帯域制限して低域成分を出力する第１の帯域制限のステップと、前記低域成分を帯域制限して前記出力データを出力する第２の帯域制限のステップとを有し、前記第２の帯域制限のステップによる帯域制限が、２次元の条件付平均フィルタによる帯域制限であり、前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、該タップ係数を値０に設定したことによる高域の折り返しが、前記第１の帯域制限のステップで抑圧されるようにする。

また請求項１３の発明は、画像データのノイズを抑圧して出力データを出力する画像処理方法のプログラムに適用して、前記画像データを帯域制限して低域成分を出力する第１の帯域制限のステップと、前記低域成分を帯域制限して前記出力データを出力する第２の帯域制限のステップとを有し、前記第２の帯域制限のステップによる帯域制限が、２次元の条件付平均フィルタによる帯域制限であり、前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、該タップ係数を値０に設定したことによる高域の折り返しが、前記第１の帯域制限のステップで抑圧されるようにする。

また請求項１４の発明は、画像データのノイズを抑圧して出力データを出力する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記画像データを帯域制限して低域成分を出力する第１の帯域制限のステップと、前記低域成分を帯域制限して前記出力データを出力する第２の帯域制限のステップとを有し、前記第２の帯域制限のステップによる帯域制限が、２次元の条件付平均フィルタによる帯域制限であり、前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、該タップ係数を値０に設定したことによる高域の折り返しが、前記第１の帯域制限のステップで抑圧されるようにする。

請求項１、請求項１１、請求項１２、請求項１３、又は請求項１４の構成により、タップ係数が値０に設定されているタップについては、計算を省略することができることから、処理、構成を簡略化することができる。またタップ係数を値０に設定して発生する高域の折り返しについては、ローパスフィルタで抑圧することにより、実用上十分に折り返しが目立たないようにし、さらには十分にノイズを抑圧することができる。

本発明によれば、簡易な処理、構成により十分にノイズを抑圧することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例のディジタルスチルカメラを示すブロック図である。このディジタルスチルカメラ１において、撮像素子３は、ＣＣＤ（Charge Coupled Device ）固体撮像素子、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）固体撮像素子等により構成される。撮像素子３は、図示しないレンズユニットにより撮像面に形成された光学像を光電変換処理し、赤色、青色、緑色の画素値をベイヤー配列に対応する順序で順次出力する。

前処理部４は、撮像素子３の出力信号を相関二重サンプリング処理、自動利得調整処理、アナログディジタル変換処理し、ＲＡＷデータＤ１を出力する。

光学補正部５は、例えばディジタルシグナルプロセッサにより構成され、この前処理部４から出力されるＲＡＷデータＤ１を欠陥補正処理、ホワイトバランス調整処理、ノイズ抑圧処理し、ＲＡＷデータＤ２を出力する。このノイズ抑圧処理において、光学補正部５は、シャッター速度が速くなるに従ってノイズ抑圧量が増大するように、図示しないコントローラの制御により、順次段階的にノイズ抑圧処理の特性を切り換える。

画像処理部６は、このＲＡＷデータＤ２に対してデモザイク処理、解像度変換処理、ガンマ補正処理、画質補正処理等を実行し、輝度信号及び色差信号の画像データＤ３に変換して出力する。このディジタルスチルカメラ１は、この画像処理部６で処理した画像データＤ３を図示しない表示装置で表示し、撮像結果のモニタ画像を表示する。

エンコーダ（ＥＮＣ）７は、例えばＪＰＥＧ（Joint Photographic Coding Experts Group ）等の静止画像の符号化方式により、画像処理部６から出力される画像データＤ３をデータ圧縮して出力する。

インターフェース（ＩＦ）８は、このエンコーダ７の出力データ、又は光学補正部５から出力されるＲＡＷデータＤ２を記録媒体９に記録する。なお記録媒体９は、この実施例ではメモリカードであり、インターフェース８から出力される各種のデータを記録する。なお記録媒体９は、メモリカードに限らず、光ディスク、磁気ディスク等、種々の記録媒体を広く適用することができる。

図１は、光学補正部５のノイズの除去処理に関する構成を示すブロック図である。光学補正部５は、前処理部４から出力されるＲＡＷデータＤ１をラインバッファ１１を介して入力する。

周辺画素参照部１２は、それぞれ画像データＤ１を出力可能な複数のラインバッファの直列回路で構成され、バッファ１１から出力されるＲＡＷデータＤ１を順次入力して転送しながら、これら複数のラインバッファから同時並列的に出力することにより、ＲＡＷデータＤ１により構成されるモザイク画像上に順次注目画素を設定し、この注目画素の画像データを周辺画素の画像データと共に出力する。

高域通過フィルタ１３は、周辺画素参照部１２から出力されるＲＡＷデータを帯域制限し、高域成分を選択的に出力する。なおここで図３に、この高域通過フィルタ１３の周波数特性を示す。

高域ノイズ除去部１４は、２次元のメディアンフィルタ等で構成され、高域通過フィルタ１３の出力データからノイズを抑圧して出力する。

低域通過フィルタ１５は、周辺画素参照部１２から出力されるＲＡＷデータを帯域制限し、低域成分を選択的に出力する。またタップ係数切り換え部１７の制御によりタップ係数を切り換え、何ら周辺画素参照部１２から出力されるＲＡＷデータを処理することなく出力する。なおここで図４に、ＲＡＷデータから低域成分を抽出する場合の、低域通過フィルタ１５の特性を示す。

低域ノイズ除去部１６は、例えば所定タップ数の２次元のεフィルタで構成され、低域通過フィルタ１５の出力データからノイズを抑圧して出力する。

タップ係数切り換え部１７は、図示しないコントローラの制御により低域通過フィルタ１５、低域ノイズ除去部１６のタップ係数を切り換え、低域成分のノイズ抑圧特性を切り換える。

画像合成部１８は、高域ノイズ除去部１４、低域ノイズ除去部１６の出力データを加算し、ノイズを抑圧したＲＡＷデータＤ２を出力する。

図５は、この図１の構成による光学補正部５の処理手順を示すフローチャートである。なおここで width、heightは、処理対象であるＲＡＷデータＤ１の水平方向及び垂直方向の画素数であり、ｉ、ｊは、それぞれ注目画素の垂直方向及び水平方向の位置を、height、 widthとの対比により示す変数である。

この処理手順を開始すると、光学補正部５は、ステップＳＰ１からステップＳＰ２に移り、垂直方向の位置を示す変数ｉを値０に初期化する。また続くステップＳＰ３において、水平方向の位置を示す変数ｊを値０に初期化する。続いて光学補正部５は、ステップＳＰ４において、変数ｉ、ｊにより特定される注目画素のＲＡＷデータＤ１を周辺画素のＲＡＷデータＤ１と共に読み出して高域通過フィルタ１３に入力する。また高域通過フィルタ１３でＲＡＷデータＤ１を帯域制限して高域成分を抽出し、続くステップＳＰ５において、高域ノイズ除去部１４でこの高域成分のノイズを抑圧する。

続いて光学補正部５は、ステップＳＰ６において、変数ｉ、ｊにより特定される注目画素のＲＡＷデータＤ１を周辺画素のＲＡＷデータＤ１と共に読み出して低域通過フィルタ１５に入力する。またこの低域通過フィルタ１５でＲＡＷデータＤ１を帯域制限して低域成分を抽出し、続くステップＳＰ７において、低域ノイズ除去部１６でこの低域成分のノイズを抑圧する。続いて光学補正部５は、ステップＳＰ８において、画像合成部１８で高域ノイズ除去部１４、低域ノイズ除去部１６の出力データを加算して出力し、続くステップＳＰ９において、水平方向の位置を示す変数ｊを値１だけインクリメントし、続くステップＳＰ１０でこの変数ｊを水平方向の画素数 widthと比較して１ライン分の処理が未だ完了していないか否か判断する。

ここで肯定結果が得られると、光学補正部５は、ステップＳＰ４に戻り、続く水平方向の注目画素について処理を繰り返す。これに対してステップＳＰ１０で否定結果が得られると、光学補正部５は、ステップＳＰ１１に移り、垂直方向の位置を示す変数ｉを値１だけインクリメントし、続くステップＳＰ１２でこの変数ｉを垂直方向の画素数heightと比較して１画面分の処理が未だ完了していないか否か判断する。

ここで肯定結果が得られると、光学補正部５は、ステップＳＰ３に戻り、続くラインの処理を開始する。これに対してステップＳＰ１２で否定結果が得られると、ステップＳＰ１３に移り、ノイズ抑圧処理を完了する。

ここで図６は、低域ノイズ除去部１６の説明に供する特性曲線図である。この図６において、符号Ｌ１は、１次元のローパスフィルタの周波数特性であり、符号Ｌ２は、１次元のεフィルタの微小振幅時の周波数特性である。なおここでローパスフィルタは、タップ係数が〔１、２、１〕の３タップのフィルタである。またεフィルタは、全てのタップ係数が値１の１３タップのフィルタである。このεフィルタでは、周波数の増大に伴って所定の周波数毎にＮＵＬＬ点が発生し、周波数が増大するに従って徐々に減衰率が増大する。また符号Ｌ１＋Ｌ２は、このローパスフィルタとεフィルタとの直列回路の周波数特性であり、この場合、ローパスフィルタの周波数特性により、εフィルタの周波数特性が高域側で一段と抑圧された特性となる。

これに対して図７の符号Ｌ３は、この図６に示すεフィルタのタップ係数を交互に値１、値０に設定した場合の周波数特性である。従ってこの符号Ｌ３の例において、εフィルタは、タップ係数が〔１、０、１、０、１、０、１、０、１、０、１、０、１〕である。このεフィルタの場合、図６に示すεフィルタの場合に比して、高域側で減衰率が減少し、周波数Ｆｓ／２でゲインが大きくなり、高域の折り返しが発生する。しかしながら符号Ｌ１で示すタップ係数〔１、２、１〕の１次元のローパスフィルタと直列接続した場合には、符号Ｌ１＋Ｌ３で示すように、ローパスフィルタの周波数特性により、高域側の周波数特性が抑圧され、高域の折り返しが目立たなくなる。実際上、高域側におけるゲインが０．２以下になると、この高域側のノイズは目立たなくなり、十分にノイズを抑圧することができる。また完全には折り返しを防止できない場合でも、シャッター速度が極端に速いＳ／Ｎ比の劣化した画像では、ノイズによる画質劣化が相対的に目立つことにより、折り返しによる画質劣化が目立たなくなり、十分に実用に供することができる。

ここでεフィルタでは、タップ係数を交互に値１、値０に設定すると、タップ係数を全て値１に設定した場合に比して、計算量が７／１３（＝５３〔％〕）となり、計算量を大幅に減少させることができる。この図７に示す構成のεフィルタを２次元に適用すれば、タップ係数を全て値１に設定する場合に比して、計算量を（７／１３）×（７／１３）（＝２９〔％〕）に低減することができる。

しかしながらこの図７に示す構成のεフィルタを単に２次元に適用した場合、ＮＵＬＬ点付近の絵柄に影響が発生し、ストライプ柄の画質が劣化することになる。また一定の領域内では、特定画素のタップ係数が連続して値０に設定されることになり、この画素の情報がこの一定領域内ではノイズ除去処理に反映されなくなり、望ましくない。そこで図８に示すように、垂直方向と水平方向とで特性の異なる２次元のεフィルタの特性を考慮する。ここでこの図８に示す２次元のεフィルタは、タップ係数が全て値０の並びが垂直方向と水平方向とで異なるように設定されて、垂直方向と水平方向とが異なる周波数特性に設定されたフィルタである。具体的に、このεフィルタは、水平方向には左から３列目、６列目、８列目、１１列目のタップ係数が全て値０に設定され、垂直方向には上から３行目、５行目、６行目、８行目、９行目、１１行目のタップ係数が全て値０に設定される。

ここでこの図８に示す水平方向及び垂直方向のタップ係数をそれぞれ水平方向及び垂直方向に加算すると、垂直方向の加算により、符号Ｆ１で示すように、〔３、２、０、２、３、０、５、０、３、２、０、２、３〕のタップ係数が求められ、また水平方向の加算により符号Ｆ２により示すように、〔３、２、０、５、０、０、５、０、０、５、０、２、３〕のタップ係数が求められる。なお以下において、この符号Ｆ１及びＦ２のタップ係数をそれぞれ垂直方向及び水平方向の総合タップ係数と呼ぶ。このεフィルタは、この水平方向及び垂直方向の総合タップ係数により、水平方向及び垂直方向の周波数特性を考察することができる。

ここで図９の符号Ｌ４は、この垂直方向の総合タップ係数による周波数特性である。この場合、ＦＳ／４付近で折り返しが大きくなるものの、符号Ｌ１＋Ｌ４で示すように、タップ係数〔１、２、１〕の１次元のローパスフィルタと直列接続した場合には、このローパスフィルタの周波数特性により高域側の周波数特性が抑圧され、高域の折り返しが目立たなくなる。またこの図９の例でも、高域側におけるゲインが０．２以下となる。

また図１０の符号Ｌ５は、水平方向の総合のタップ係数による周波数特性である。この場合も、ＦＳ／４付近で折り返しが大きくなるものの、符号Ｌ１＋Ｌ５で示すように、タップ係数〔１、２、１〕の１次元のローパスフィルタと直列接続した場合には、このローパスフィルタの周波数特性により高域側の周波数特性が抑圧され、高域の折り返しが目立たなくなる。この図９の例でも、高域側におけるゲインが０．２以下となる。

ここでこの図８に示す特性のεフィルタでは、全てのタップ係数を値１に設定した１３画素×１３画素のεフィルタに比して、２５／１６９（＝１５〔％〕）に計算量を減少させることができる。

実際上、この図８に示す特性のεフィルタでは、最も低次のＮＵＬＬ点の周波数でノイズ抑圧の性能が決まり、このＮＵＬＬ点の周波数が低い程、低域のノイズを抑圧することができる。またＮＵＬＬ点より高い周波数では、折り返しによりゲインが高くなるが、ローパスフィルタとの総合の特性でこの折り返しによるゲインの増大を０．２以下に押さえることができれば、十分に実用に供することができる。

そこでタップ係数切り換え部１７は、シャッター速度を３段階に区分し、最もシャッター速度の遅い第１の区分では、平坦な周波数特性となるように、低域通過フィルタ１５のタップ係数を設定する。また注目画素を中心とした一定の範囲だけタップ係数が値１であり、残りのタップ係数が値０となるように、低域ノイズ除去部１６のεフィルタを設定する。従ってこの場合、光学補正部５は、単にεフィルタのみでノイズを抑圧し、εフィルタの出力データにノイズを抑圧した高域成分を合成してＲＡＷデータＤ２を出力する。

これに対してタップ係数切り換え部１７は、他のシャッター速度の区分では、注目画素のタップ係数が値２であり、他のタップ係数が値１となるように、低域通過フィルタ１５のタップ係数を設定する。従ってこの場合、低域通過フィルタ１５は、図４に示す周波数特性で、また図６、図７、図９、図１０において符号Ｌ１で示した周波数特性で、ＲＡＷデータＤ１を帯域制限して低域成分を抽出する。

またタップ係数切り換え部１７は、この他のシャッター速度の区分のうちの、シャッター速度の遅い側の第２の区分では、図８に示す配列のタップ係数と、この図８に示す配列を９０度回転させた配置のタップ係数とで、εフィルタのタップ係数を、所定画素毎に、及び又は所定ライン毎に切り換える。すなわちこの場合、光学補正部５は、ローパスフィルタで抽出した低域成分をεフィルタで帯域制限するようにして、このεフィルタのタップ係数を所定箇所で値０に設定して処理を簡略化し、またこのタップ係数を値０に設定したことによる高域の折り返しを、ローパスフィルタで抑圧して、ゲイン０．２以下に設定する。また水平方向の周波数特性と垂直方向の周波数特性とでＮＵＬＬ点の周波数が変化するように、εフィルタのタップ係数を垂直方向と水平方向とで異なるように設定し、さらにこのＮＵＬＬ点の周波数が変化するように、所定画素毎に、及び又は所定ライン毎に、水平方向と垂直方向とでタップ係数を切り換える。

従ってこの場合、εフィルタは、例えば赤色の画素Ｒについて、低域成分を帯域制限する場合、図１１に示すように、水平方向及び垂直方向に連続する１３画素×１３画素の赤色画素Ｒのうち、タップ係数が値１に設定されたタップに入力されるＲＡＷデータのみ演算処理してノイズを抑圧する。なおこの図１１の例は、図８に示す特性により帯域制限する場合であり、値０に設定されるタップ係数に対応する画素である演算処理に使用されない画素をハッチングで示す。また符号Ｒｃで注目画素を示す。

さらにタップ係数切り換え部１７は、この他のシャッター速度の区分のうちの、シャッター速度の速い側の第３の区分では、図８に示す場合に比して、さらに水平方向及び垂直方向のタップ係数を増大させて、第２の区分の場合と同様にεフィルタのタップ係数を設定する。従ってこの場合、光学補正部５は、第２の区分の場合と同様に、水平方向及び垂直方向のタップ係数を所定箇所で値０に設定して処理を簡略化し、タップ係数を値０に設定したことによる高域の折り返しを、ローパスフィルタで抑圧して、ゲイン０．２以下に設定する。また水平方向の周波数特性と垂直方向の周波数特性とでＮＵＬＬ点の周波数が変化するように、εフィルタのタップ係数を垂直方向と水平方向とで異なるように設定し、さらにこのＮＵＬＬ点の周波数が変化するように、所定画素毎に、及び又は所定ライン毎に、水平方向と垂直方向とでタップ係数を切り換える。

なおこれら第１〜第３の区分において、εフィルタは、エッジ情報を保持するしきい値については、何ら変更することなく一定の値に設定されるものの、必要に応じてこのしき値を各区分で変更するようにしてもよい。

（２）実施例の動作
以上の構成において、このディジタルスチルカメラ１では（図２）、撮像素子３から出力される撮像信号が前処理部４でアナログディジタル変換処理されてＲＡＷデータＤ１が生成され、このＲＡＷデータＤ１のノイズが光学補正部５で抑圧される。また続く画像処理部６において、ＲＡＷデータＤ２がデモザイク処理されてフルカラーの画像データが生成され、このフルカラーの画像データが輝度信号及び色差信号による画像データＤ３に変換された後、エンコーダ７によりデータ圧縮されて記録媒体９に記録される。またユーザーがＲＡＷデータによる記録を指示した場合には、光学補正部５から出力されるＲＡＷデータＤ２が記録媒体９に記録される。

この光学補正部５におけるノイズ除去処理において（図１及び図５）、ＲＡＷデータＤ１は、ラインバッファ１１、周辺画素参照部１２を介して高域通過フィルタ１３、低域通過フィルタ１５に入力され、ここでそれぞれ高域成分及び低域成分に分離される（図３及び図４）。またこれら高域成分及び低域成分がそれぞれ高域ノイズ除去部１４、低域ノイズ除去部１６に入力されてノイズが抑圧された後、画像合成部１８で合成されてＲＡＷデータＤ２が生成される。従ってこのディジタルスチルカメラ１では、ＲＡＷデータＤ１による画像データを高域成分と低域成分とに帯域分離してそれぞれノイズ抑圧することになり、何ら帯域分離することなくノイズ抑圧する場合に比して、画質の劣化を低減して効率良くノイズを抑圧することができる。

ここでこの光学補正部５における低域側のノイズの抑圧において、シャッター速度が遅く、十分なＳ／Ｎ比のＲＡＷデータＤ１が得られる場合、ＲＡＷデータＤ１は、低域通過フィルタ１５で何ら帯域制限されることなく、続く低域ノイズ除去部１６に設けられた条件付平均フィルタで低域成分が抽出され、さらにノイズ抑圧処理が実行される。より具体的には、この条件付平均フィルタにおいて、中心から一定範囲のタップ係数が値１に設定され、この一定範囲より外側のタップ係数については、値０に設定される。従ってこの場合、ＲＡＷデータＤ１は、単に条件付平均フィルタの一部タップのみで低域成分のノイズが抑圧される。

しかしながらシャッター速度が速くなると、ＲＡＷデータＤ１のＳ／Ｎ比が劣化することになり、条件付平均フィルタの全てのタップ係数を値１に設定しても、単に条件付平均フィルタのみでノイズ抑圧する場合には、十分にノイズを抑圧できなくなる。この場合に、条件付平均フィルタのタップ数を増大させて平均値化の処理に使用する画素数を増大させることにより、ノイズ抑圧の性能を向上させることも考えられるが、この場合には、条件付平均フィルタの処理が煩雑になる。

そこでこの実施例では、シャッター速度が一定値以上に速くなると、条件付平均フィルタのタップ係数が所定箇所で値０に設定される（図８）。ここで値０に設定されたタップについては、演算処理しなくてもよいことから、条件付平均フィルタのタップ係数を所定箇所で値０に設定した場合には、全てのタップ係数を値０以外に設定する場合に比して、条件付平均フィルタの処理を簡略化することができる。またこのような値０のタップについては、条件付平均フィルタの構成を部分的に省略して構成を簡略化することもできる。また係数が値０に設定されたタップについては、値０以外のタップ係数の処理に振り分けて、少ないタップ数の条件付平均フィルタで、広い範囲を平均化することもできる。従ってディジタルスチルカメラ１の構成、処理を簡略化することができる。

またさらにこのようにタップ係数を所定箇所で値０に設定して発生する高域の折り返しについては、前段の低域通過フィルタ１５で抑圧して、ゲインが０．２以下となるように設定し、その結果、実用上十分に折り返しノイズが目立たないようにする（図６、図７、図９、図１０）。

実際上、ノイズ抑圧の性能を大きくすることが必要な場合は、シャッター速度の速い信号レベルの小さなＲＡＷデータを処理する場合である。この場合、ＲＡＷデータは、シャッター速度の遅い場合に比して相対的に画質の劣化したＳ／Ｎ比の劣化した画像であり、折り返しが目立ち難い特徴がある。従って折り返しのゲインを０．２以下に設定すれば、実用上十分にノイズを抑圧することができる。

なおこの実施例では、さらにシャッター速度が速くなってＲＡＷデータのＳ／Ｎ比が一段と劣化した場合には、同様に、条件付平均フィルタのタップ係数を所定箇所で値０に設定し、高域の折り返しをローパスフィルタで抑圧するようにして、条件付平均フィルタにおけるタップ数が増大するように設定され、一段とＲＡＷデータのノイズを抑圧するように設定される。

このようにして条件付平均フィルタのタップ係数を所定箇所で値０に設定する場合において、条件付平均フィルタは、水平方向の周波数特性と垂直方向の周波数特性とでＮＵＬＬ点の周波数が異なるように、タップ係数が設定される。すなわちＮＵＬＬ点の周波数近傍では、局所的にゲインが小さくなることから、他の周波数成分に比して出力データにおける信号レベルが小さくなる。従ってこのＮＵＬＬ点の周波数に対応する繰り返しの模様を撮影した場合には、この繰り返しの模様がぼけて撮影されてしまうことになる。

しかしながら水平方向と垂直方向とで、このＮＵＬＬ点の周波数が異なるように設定すれば、水平方向と垂直方向とで、ぼけて撮影される繰り返し模様のピッチを異ならせることができ、このぼけを知覚し難くして画質を向上することができる。

またこのような画質劣化は、ＮＵＬＬ点の周波数に対応する模様が垂直方向及び水平方向に長く延長する縞模様の場合、顕著になる。そこで光学補正部５では、所定画素毎に、及び又は所定ライン毎に、水平方向と垂直方向とで条件付平均フィルタのタップ係数が切り換えられ、このタップ係数を切り換える所定画素毎、所定ライン毎に、水平方向及び垂直方向のＮＵＬＬ点の周波数が変化するように設定される。従って所定ピッチの縞模様等についても、ぼけないようにすることができ、画質劣化を有効に回避することができる。

またこのような水平方向及び垂直方向のＮＵＬＬ点の周波数の変化を、条件付平均フィルタのタップ係数を水平方向と垂直方向とで切り換えて実行することにより、タップ係数を記憶する構成を簡略化することができる。

（３）実施例の効果
以上の構成によれば、条件付平均フィルタのタップ係数を所定箇所で値０に設定し、高域の折り返しをローパスフィルタで抑圧することにより、簡易な処理、構成により十分にノイズを抑圧することができる。

またこの場合に、処理対象の画像データを帯域分離してノイズを抑圧することにより、何ら帯域分離することなくノイズを抑圧する場合に比して、画質の劣化を低減して効率良くノイズを抑圧することができる。

またこの場合に、条件付平均フィルタにεフィルタを適用してノイズを抑圧することにより、簡易な構成でノイズを抑圧することができる。

また水平方向の周波数特性と垂直方向の周波数特性とでＮＵＬＬ点の周波数が異なるように、２次元の条件付平均フィルタのタップ係数を垂直方向と水平方向とで異ならせることにより、ＮＵＬＬ点周波数におけるぼやけた表示を防止することができる。

またＮＵＬＬ点の周波数が変化するように、所定画素毎に、及び又は所定ライン毎に、条件付平均フィルタのタップ係数を切り換えることにより、特定ピッチの縞模様のぼけた表示を防止することができる。

この実施例のディジタルスチルカメラでは、欠陥画素の出力値を用いてノイズ除去処理しないように、注目画素が欠陥画素の場合を除いて、欠陥画素にはタップ係数を値０に設定するように、低域ノイズ除去部１６におけるタップ係数を適宜切り換える。なおこの実施例では、このタップ係数の切り換えに関する構成を除いて、実施例１と同一に構成される。

すなわちこの実施例では、工場出荷時の検査工程において、欠陥画素が検出され、この欠陥画素の位置情報が図示しないメモリに格納される。タップ係数切り換え部１７は、この位置情報に基づいて、低域通過フィルタ１５、低域ノイズ除去部１６におけるタップ係数を切り換える。なおここで低域ノイズ除去部１６におけるタップ係数の切り換えは、実施例１について上述した水平方向及び垂直方向の切り換えである。また低域通過フィルタ１５におけるタップ係数の切り換えは、欠陥画素の出力値に値０のタップ係数を割り当てて実行される。

この実施例のように、注目画素が欠陥画素の場合を除いて、欠陥画素にはタップ係数を値０に設定するように、条件付平均フィルタのタップ係数を切り換えるようにすれば、欠陥画素の影響による画質劣化を防止するようにして、実施例１と同様の効果を得ることができる。

この実施例のディジタルスチルカメラでは、ノイズ除去処理に使用する画像データに偏りを持たせ、メモリへのアクセス頻度を低減する。なおこの実施例では、この画像データに偏りを持たせてメモリへのアクセス頻度を低減する構成を除いて、実施例１又は実施例２と同一に構成される。

すなわちこの実施例のディジタルスチルカメラは、低域通過フィルタ１５から出力される低域成分の画像データをバッファメモリに格納して一時保持する。値０以外のタップ係数が割り当てられた画像データを、また注目画素毎に、このバッファメモリから選択的にロードして低域ノイズ除去部１６で処理する。

またこのバッファメモリからのロードの処理において、直前の注目画素におけるノイズ除去処理で、既に、低域ノイズ除去部１６にロードされている画像データについては、バッファメモリからのロードを中止し、既にロードされている画像データを使用して続く注目画素のノイズ除去処理を実行する。

またさらに少なくとも連続する注目画素の処理では、同一の画素に割り当てるタップ係数が値０以外となるように条件付平均フィルタのタップ係数を切り換え、連続する注目画素の処理で、同一の画像データを繰り返し使用するようにし、ノイズ除去処理に使用する画像データに偏りをもたせる。

この実施例によれば、少なくとも連続する注目画素の処理では、同一の画素に割り当てるタップ係数が値０以外となるように条件付平均フィルタのタップ係数を切り換えることにより、ノイズ除去処理に使用する画像データに偏りを持たせてメモリへのアクセス頻度を低減することができ、一段と高速度に画像データを処理して上述の実施例１又は実施例２と同一の効果を得ることができる。

この実施例のディジタルスチルカメラでは、連続する注目画素のノイズ除去処理において、同一画素の画像データを繰り返しノイズ除去処理に使用しないようにし、連続する注目画素のノイズ除去処理を並列処理する場合の処理を高速度化する。なおこの実施例では、このノイズ除去処理に使用する画像データの設定に関する構成を除いて、実施例１又は実施例２と同一に構成される。

すなわちこの実施例のディジタルスチルカメラでは、低域通過フィルタ１５から出力される低域成分の画像データをバッファメモリに格納して一時保持する。また値０以外のタップ係数が割り当てられた画像データを、このバッファメモリから選択的にロードして低域ノイズ除去部１６で処理する。

また低域ノイズ除去部１６は、条件付平均フィルタを少なくとも２系統有し、この２系統の条件付平均フィルタで、連続する注目画素のノイズ除去処理を同時並列的に実行し、出力バッファを介して順次出力する。またこの２系統のノイズ除去処理において、同時並列的に、値０以外のタップ係数が割り当てられた画像データをバッファメモリから、各系統の条件付平均フィルタにロードする。

またさらにこの同時並列的に処理を実行する連続する注目画素では、同一の画素のタップ係数が連続して値０以外とならないように、各条件付平均フィルタのタップ係数を切り換え、２系統の条件付平均フィルタのうちの一方でロードした画像データについては、他方ではロードしないようにする。

この実施例によれば、少なくとも連続する注目画素の処理において、同一の画素のタップ係数が連続して値０以外とならないように、条件付平均フィルタのタップ係数を切り換えることにより、連続する注目画素のノイズ除去処理を並列処理する場合の処理を高速度化して、上述の実施例１又は実施例２と同一の効果を得ることができる。

この実施例は、ディジタルビデオカメラに適用して、動画を撮影して記録媒体に記録する。このディジタルビデオカメラは、この動画の撮影時、上述の各実施例と同様にして、画像データのノイズを除去する。またこのとき、ＮＵＬＬ点の周波数が変化するように、所定フィールド又は所定フレーム毎に、条件付平均フィルタのタップ係数を切り換え、時間軸方向にＮＵＬＬ点の周波数を変化させて、特定縞模様のぼけを防止する。この実施例のディジタルビデオカメラは、この動画像の処理に関する構成を除いて、上述の各実施例と同一に構成される。

この実施例のように、ＮＵＬＬ点の周波数が変化するように、所定フィールド又は所定フレーム毎に、条件付平均フィルタのタップ係数を切り換えるようにしても、特定縞模様のぼけを防止して上述の実施例と同様の効果を得ることができる。

なお上述の実施例においては、高域の折り返しをローパスフィルタでゲイン０．２以下に抑圧する場合について述べたが、本発明はこれに限らず、この折り返しの抑圧は、ノイズを抑圧して得られる画質の向上と、高域の折り返しによる画質劣化との兼ね合いで決まることから、ノイズが著しい場合には、ゲイン０．２５程度の抑圧でも足りる。また高域の折り返しが目立つ難い画質の場合には、ゲイン０．３程度の抑圧でも足りる。しかしながら種々に検討した結果によれば、折り返しの一部帯域がゲイン０．２以上である場合でも、この一部帯域のゲインが０．３５以下に抑圧され、さらに他の折り返しによる帯域がゲイン０．２以下に抑圧されていれば、概ね高域の折り返しを目立たなくして十分にノイズを抑圧することができ、さらに画質の向上を求める場合には、折り返しによる全ての帯域をゲイン０．２以下に抑圧して、高域の折り返しを目立たなくして十分にノイズを抑圧することができる。

また上述の実施例においては、ＲＡＷデータを高域成分及び低域成分に帯域分割して処理する場合について述べたが、本発明はこれに限らず、３つの帯域以上に分割して処理する場合にも広く適用することができる。またこの場合、低域の処理に加えて、中域の処理にも適用するようにしてもよい。

また上述の実施例においては、条件付平均フィルタのタップ係数を値０又は値１に設定して所望のノイズ抑圧特性を確保する場合について述べたが、本発明はこれに限らず、条件付平均フィルタのタップ係数を値０又は値０以外に設定して所望のノイズ抑圧特性を確保するようにしてもよい。

また上述の実施例においては、条件付平均フィルタにεフィルタを適用する場合について述べたが、本発明はこれに限らず、バイラテラルフィルタ等、種々の条件付平均フィルタを広く適用することができる。

また上述の実施例１等においては、垂直方向と水平方向とでタップ係数を切り換える場合について述べたが、本発明はこれに限らず、ＮＵＬＬ点の周波数が異なるタップ係数の設定を複数種類用意しておき、これを切り換えて使用するようにしてもよい。

また上述の実施例においては、低域通過フィルタの特性を固定して、条件付平均フィルタのタップ係数を種々に切り換える場合について述べたが、本発明はこれに限らず、条件付平均フィルタのタップ係数に連動させて、低域通過フィルタの特性を切り換えるようにしてもよい。

また上述の実施例においては、画像データのＳ／Ｎ比が劣化する場合にのみ、低域通過フィルタと低域ノイズ除去部とでノイズを除去する場合について述べたが、本発明はこれに限らず、画像データのＳ／Ｎ比がそれ程劣化していない場合にも適用することができる。

また上述の実施例においては、ＲＡＷデータによる画像データのノイズを除去する場合について述べたが、本発明はこれに限らず、輝度信号及び色差信号の画像データを処理対象に設定してノイズを除去する場合等、種々のフォーマットによる画像データのノイズを除去する場合に広く適用することができる。

また上述の実施例においては、デモザイク処理の前段階でノイズを除去する場合について述べたが、本発明はこれに限らず、デモザイク処理の後にノイズ除去する場合、画像処理部における処理途中、処理後にノイズ除去する場合等、種々の過程でノイズ除去する場合に広く適用することができる。

また上述の実施例においては、本発明をディジタルスチルカメラ、ディジタルビデオカメラに適用する場合について述べたが、本発明はこれに限らず、画像データを処理する各種画像処理装置、各種画像処理プログラムに広く適用することができる。なおこの画像処理プログラムは、コンピュータ、画像処理装置等に事前にインストールして提供するようにしてもよく、またこれに代えて光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

本発明は、例えばディジタルスチルカメラに適用することができる。

本発明の実施例１のディジタルスチルカメラの光学補正部の構成を示すブロック図である。 本発明の実施例１のディジタルスチルカメラを示すブロック図である。 図１の光学補正部の高域通過フィルタの特性を示す特性曲線図である。 図１の光学補正部の低域通過フィルタの特性を示す特性曲線図である。 図１の光学補正部の処理手順を示すフローチャートである。 図１の光学補正部の低域ノイズ除去部に、タップ係数が全て値１のεフィルタを適用した場合の説明に供する特性曲線図である。 図１の光学補正部の低域ノイズ除去部に、タップ係数が交互に値１、値０のεフィルタを適用した場合の説明に供する特性曲線図である。 図１の光学補正部の低域ノイズ除去部のタップ係数を示す平面図である。 図８の垂直方向の総合タップ係数による周波数特性を示す特性曲線図である。 図８の水平方向の総合タップ係数による周波数特性を示す特性曲線図である。 図８のタップ係数による赤色画素の処理の説明に供する平面図である。

符号の説明

１……ディジタルスチルカメラ、３……撮像素子、５……光学補正部、６……画像処理部、１３……高域通過フィルタ、１４……高域ノイズ除去部、１５……低域通過フィルタ、１６……低域ノイズ除去部、１８……画像合成部

Claims (14)

1. 撮像結果を取得して画像データを出力する撮像部と、
   前記画像データのノイズを抑圧して出力データを出力するノイズ抑圧部とを有し、
   前記ノイズ抑圧部は、
   前記画像データを帯域制限する２次元のローパスフィルタと、
   前記ローパスフィルタから出力される画像データを帯域制限して前記出力データを出力する２次元の条件付平均フィルタとを有し、
   前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、
   該タップ係数を値０に設定したことによる高域の折り返しが、前記ローパスフィルタで抑圧された
   ことを特徴とする撮像装置。
2. 前記ノイズ抑圧部は、
   前記画像データを帯域制限して高域成分を出力するハイパスフィルタと、
   前記高域成分のノイズを抑圧する高域成分のノイズ抑圧部と、
   前記ノイズ抑圧部から出力される高域成分を前記出力データと合成する合成部とを有する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記２次元の条件付平均フィルタが、εフィルタである
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記画像データがＲＡＷデータである
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記ノイズ抑圧部は、
   水平方向の周波数特性と垂直方向の周波数特性とでＮＵＬＬ点の周波数が異なるように、前記２次元の条件付平均フィルタのタップ係数が、水平方向と垂直方向とで異なるように設定された
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記ノイズ抑圧部は、
   ＮＵＬＬ点の周波数が変化するように、所定画素毎に、及び又は所定ライン毎に、前記２次元の条件付平均フィルタのタップ係数を切り換える
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記ノイズ抑圧部は、
   注目画素が前記撮像部の欠陥画素の場合を除いて、前記欠陥画素で、タップ係数が値０となるように前記２次元の条件付平均フィルタのタップ係数を切り換える
   ことを特徴とする請求項１に記載の撮像装置。
8. 前記ノイズ抑圧部は、
   少なくとも連続する注目画素の処理において、同一の画素のタップ係数が値０以外となるように前記２次元の条件付平均フィルタのタップ係数を切り換える
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記ノイズ抑圧部は、
   少なくとも連続する注目画素の処理において、同一の画素のタップ係数が連続して値０以外とならないように前記２次元の条件付平均フィルタのタップ係数を切り換える
   ことを特徴とする請求項１に記載の撮像装置。
10. 前記画像データが動画の画像データであり、
    前記ノイズ抑圧部は、
    ＮＵＬＬ点の周波数が変化するように、所定フィールド毎に又は所定フレーム毎に、前記２次元の条件付平均フィルタのタップ係数を切り換える
    ことを特徴とする請求項１に記載の撮像装置。
11. 前記画像データのノイズを抑圧して出力データを出力する画像処理装置において、
    前記画像データを帯域制限する２次元のローパスフィルタと、
    前記ローパスフィルタから出力される画像データを帯域制限して前記出力データを出力する２次元の条件付平均フィルタとを有し、
    前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、
    該タップ係数を値０に設定したことによる高域の折り返しが、前記ローパスフィルタで抑圧された
    ことを特徴とする画像処理装置。
12. 画像データのノイズを抑圧して出力データを出力する画像処理方法において、
    前記画像データを帯域制限して低域成分を出力する第１の帯域制限のステップと、
    前記低域成分を帯域制限して前記出力データを出力する第２の帯域制限のステップとを有し、
    前記第２の帯域制限のステップによる帯域制限が、２次元の条件付平均フィルタによる帯域制限であり、
    前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、
    該タップ係数を値０に設定したことによる高域の折り返しが、前記第１の帯域制限のステップで抑圧された
    ことを特徴とする画像処理方法。
13. 画像データのノイズを抑圧して出力データを出力する画像処理方法のプログラムにおいて、
    前記画像データを帯域制限して低域成分を出力する第１の帯域制限のステップと、
    前記低域成分を帯域制限して前記出力データを出力する第２の帯域制限のステップとを有し、
    前記第２の帯域制限のステップによる帯域制限が、２次元の条件付平均フィルタによる帯域制限であり、
    前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、
    該タップ係数を値０に設定したことによる高域の折り返しが、前記第１の帯域制限のステップで抑圧された
    ことを特徴とする画像処理方法のプログラム。
14. 画像データのノイズを抑圧して出力データを出力する画像処理方法のプログラムを記録した記録媒体において、
    前記画像処理方法のプログラムは、
    前記画像データを帯域制限して低域成分を出力する第１の帯域制限のステップと、
    前記低域成分を帯域制限して前記出力データを出力する第２の帯域制限のステップとを有し、
    前記第２の帯域制限のステップによる帯域制限が、２次元の条件付平均フィルタによる帯域制限であり、
    前記２次元の条件付平均フィルタのタップ係数が、水平方向及び垂直方向に所定箇所で値０に設定され、
    該タップ係数を値０に設定したことによる高域の折り返しが、前記第１の帯域制限のステップで抑圧された
    ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
    

Images