JP2006087030A - ノイズ低減装置 - Google Patents

Abstract

【課題】原信号の保存性に優れるノイズ低減装置を提供すること。
【解決手段】ノイズ低減装置であって、注目画素におけるノイズ量を推定するノイズ量推定手段108と、注目画素を平滑化する平滑化手段106と、ノイズ量及び注目画素とその近傍画素の情報に基づいて、平滑化手段106を制御する制御手段109とを具備する。
【選択図】 図１

Description

本発明は、画像信号内のノイズを低減するノイズ低減装置に関する。

画像信号に対するノイズ低減装置としては、例えば特開2001-157057や特開2002-247412が挙げられる。特開2001-157057は、ノイズ量を信号レベルに対して関数化し、この関数を基に推定したノイズ量に応じてフィルタリングの周波数特性を制御することで、信号レベルに対して適応的なノイズ低減処理を行なう装置を開示している。また、特開2002-247412は、注目画素とその近傍画素の信号値を基に、注目画素を本来の画像信号成分（以後、原信号とする）、ノイズ成分、不確定成分のいずれかに分類し、各成分に応じて異なる処理を行なうことで、原信号の劣化を抑えながらノイズを除去する装置を開示している。
特開2001-157057 特開2002-247412

特開2001-157057では、ノイズ量Nを、濃度値に変換した信号レベルDを用いて
N=ab^ｃDのように関数化している。ここでa,b,cは定数項であり、静的に与えられる。しかしながら、ノイズ量は撮影時の撮像素子の温度や，露光時間に応じたアナログゲインなどの要因により動的に変化する。よって特開2001-157057に示される構成では、撮影時の諸条件を反映したより正確なノイズ量が推定できないという課題がある。また、ノイズ量からフィルタリングの周波数特性を制御しているが、このフィルタリングは平坦部もエッジ部も区別することなく同等に処理するため、ノイズ量が大きいと推定された領域のエッジ部は大きく劣化し、原信号の保存性が悪いという課題がある。

一方、特開2002-247412では、注目画素を原信号、ノイズ成分、不確定成分のいずれかに分類し、処理を切り替えているが、信号を分類する際の閾値は静的に与えている。このため、結局は信号レベル、撮像素子温度，アナログゲインなどの各要因により動的に変化するノイズ量に対して適切な対応をとることができず、ノイズ成分の残存や原信号の劣化等が発生するという課題がある。

また、自然画像においては、映る像によってノイズに対する感知の度合いが異なる場合がある。例えば、無地の壁、空、肌などは僅かでもノイズが混ざると、ざらつきを感じるが、髪の毛や衣服の模様など、ある低度の構造を持つ対象では、ノイズが混ざっても感知され難い。このため、映る像を判断しながらノイズ低減を制御する必要がある。これらの課題に対し有効な解決策を示したノイズ低減装置は提案されていない。

本発明は、このような課題に着目してなされたものであり、その目的とするところは、信号レベルのみならず撮影時の撮像素子温度、アナログゲインなど動的に変化する要因を考慮してノイズ量を推定し、このノイズ量及び注目画素と近傍画素の情報に応じて平滑化処理を制御することにより、原信号の保存性に優れるノイズ低減装置を提供することにある。

上記の目的を達成するために、本発明の第１の態様によれば、ノイズ低減装置であって、注目画素におけるノイズ量を推定するノイズ量推定手段と、前記注目画素を平滑化する平滑化手段と、前記ノイズ量及び前記注目画素とその近傍画素の情報に基づいて、前記平滑化手段を制御する制御手段と、を具備する。

また、本発明の第２の態様によれば、第１の態様において、前記平滑化手段は、注目画素及び近傍画素の信号値を加算平均するフィルタ処理手段を有し、前記制御手段は、前記フィルタ処理手段で用いるフィルタ係数を前記ノイズ量及び前記注目画素と近傍画素の信号値差に基づき設定する係数設定手段を有する。

また、本発明の第３の態様によれば、第２の態様において、前記係数設定手段は、注目画素以外の近傍画素に対するフィルタ係数をノイズ量に対する増加関数として算出する係数算出手段を有する。

また、本発明の第４の態様によれば、第２の態様において、前記係数設定手段は、注目画素以外の近傍画素に対するフィルタ係数を注目画素と近傍画素の信号値差に対する減少関数として算出する係数算出手段を有する。

また、本発明の第５の態様によれば、第１の態様において、前記平滑化手段は、注目画素近傍が平坦部である場合に行なわれる平坦部処理手段と、注目画素近傍がエッジ部である場合に行なわれるエッジ部処理手段とを有し、前記制御手段は、注目画素近傍が平坦部かエッジ部かを前記ノイズ量を基に判断する判断手段を有する。

また、本発明の第６の態様によれば、第５の態様において、前記エッジ部処理手段は、前記ノイズ量を基に注目画素と信号値が類似する近傍画素を検出する類似画素検出手段と、前記類似画素及び注目画素の信号値を用いて処理を行なう類似画素間処理手段を有する。

また、本発明の第７の態様によれば、第１の態様において、前記ノイズ量推定手段は、注目画素におけるノイズ推定用の信号値レベルを、注目画素及びその近傍画素の信号値より算出する信号値レベル算出手段を有する。

また、本発明の第８の態様によれば、第７の態様において、前記ノイズ量推定手段は、前記撮像素子の温度を測定する温度測定手段を有する。

また、本発明の第９の態様によれば、第７の態様において、前記ノイズ量推定手段は、前記撮像素子中のＯＢ(Optical Black)領域の信号の分散を求めるＯＢ分散算出手段と、前記分散から撮像素子の温度を推定する温度推定手段とを有する。

また、本発明の第１０の態様によれば、第７〜第９のいずれか１つの態様において、前記ノイズ量推定手段は、撮像信号に対するゲイン情報を取得するゲイン情報取得手段を有する。

また、本発明の第１１の態様によれば、第１の態様において、前記注目画素近傍の方向性のレベルを判断する方向性判断手段を更に備え、前記制御手段において更に前記方向性のレベルに基づいて前記平滑化手段を制御する。

また、本発明の第１２の態様によれば、第１の態様において、前記注目画素近傍が特定色であるか否かを判断する特定色判断手段を更に備え、前記制御手段において更に前記特定色の情報に基づいて前記平滑化手段を制御する。

本発明のノイズ低減装置によれば、以下の効果が得られる。

１．信号値レベル、撮像素子温度、ゲインの情報を基に画素単位でノイズ量を推定し、このノイズ量、及び注目画素と近傍画素の信号値差に応じたフィルタ係数を用いて、加算平均処理を行なうようにしたので、原信号の保存性に優れたノイズ低減が可能となる。

２．ＯＢ領域データを基に撮像素子温度を推定するため、温度測定手段が不要となりコストの低減が図れる。また信号値レベル、撮像素子温度、ゲインの情報を基に画素単位でノイズ量を推定し、このノイズ量、及び注目画素と近傍画素の情報より、平坦部とエッジ部を判断して各々に異なる処理を行なうようにしたので、原信号の保存性に優れたノイズ低減が可能となる。

３．注目画素近傍のテクスチャ、色情報を基にノイズ低減の度合いを制御するようにしたので、人間の感性にあったノイズ低減が可能となる。

以下、図面を参照して本発明の実施形態を詳細に説明する。本実施形態として、デジタル撮影機（以下、単に撮影機と称する）におけるノイズ低減装置を示すが、本発明はノイズを含むデジタル画像信号を扱う他の機器にも適用可能である。

（第１実施の形態）
図１は、本発明の第１実施の形態に係るノイズ低減装置の構成を示す図である。なお撮影機においては、図中の平滑化手段106の後に、各種信号処理を行ない最終的な画像を出力または記録するが、これらの構成については本発明で特に限定しないため図示しない。また各手段において計算等に用いるメモリに関しても特に図示しない。

では、以下、構成に関して説明する。第１実施の形態に係るノイズ低減装置は、撮影対象を結像するための光学系101、結像した像をアナログ電気信号に変換する撮像素子102、アナログ電気信号を増幅する信号増幅部103、増幅された信号をデジタル信号へと変換するA/D変換部104、デジタル信号を画像情報として取り込む画像メモリ105、撮影時の外部光の状況や後述の外部I/F110での設定内容に応じて信号増幅部103におけるゲインを算出する測光評価部107、ゲイン、撮像素子温度、画像情報より任意画素でのノイズ量を推定するノイズ量推定手段108、画像を平滑化することでノイズを低減する平滑化手段106、ノイズ量及び画像情報を基に平滑化手段106での平滑化を制御する制御手段109、ISO感度、露光条件、絞り、シャッター速度、撮影シーン等の諸設定及び撮影指示を行なう外部I/F110、及び図示しない後段の各種信号処理部と出力部から構成される。

更にノイズ量推定手段108は、注目画素近傍の信号値レベルを算出する信号値レベル算出手段1081、測光評価部107で算出されたゲインの情報を取得するゲイン情報取得手段1082、撮像素子の温度を測定する温度測定手段1083を含む。また、平滑化手段106は、注目画素及び近傍画素に対する加算平均を行なうフィルタ処理手段1061を含む。さらに制御手段109は、フィルタ処理手段1061で用いるフィルタ係数を設定する係数設定手段1091を含む。

図２は、第１実施の形態に係るノイズ低減装置における処理の流れを示す図である。以下、図１の構成を適宜参照しながら詳細を説明する。

まず、撮影機では撮影動作に先立ち、ユーザーが外部I/F110を操作することで、撮影の際の諸条件を設定する（ステップＳ１）。この際の条件とは、絞り、シャッター速度、露出、ISO感度、フラッシュ、ホワイトバランス、フォーカス、撮影シーン等の個別設定またはオート設定や、記録画像フォーマット等の設定である。これら諸条件を設定した後、撮影対象を画角に収め、シャッター釦を半押しすると、測光評価部107は外部光の測光を行ない、前述の条件を考慮した上でアナログ信号に対するゲインを決定する（ステップ２）。なお、撮影機の中には、後述の本撮影に準じたルートでデジタル画像を取得し、これを基にゲインを決定する構成のものもある。

半押しされたシャッター釦が押しきられると本撮影となり、光学系101を通して結像した撮影対象の像は、撮像素子102により電気信号に変換され（ステップＳ３）、信号増幅部103に送られる。信号増幅部103では、測光評価部107で決定されたゲインに従い、アナログ信号を増幅する（ステップＳ４）。

当然、露出やISO感度が高く設定された場合には、ゲインは大きくなる。また、中には色フィルタ毎の信号に対して異なるゲインをかけることで、ホワイトバランスを同時にとる構成のものもある。

増幅されたアナログ信号は、A/D変換部104においてデジタル信号へと変換され、後の各種信号処理を行なうための画像メモリ105に蓄えられる（ステップＳ５）。ここで、蓄えられたデジタル信号は、図３に示すように、所定サイズの2次元配列データと看做すことができ、画像領域151における任意画素の信号値152となる。なお、この2次元配列データの周囲部分には、通常OpticalBlack（ＯＢ）と呼ばれる暗電流レベルを示す画素からなる領域150も含まれており、各画素の信号値は、このＯＢレベルをゼロレベルとして算出される。

複数の色フィルタ毎に異なる撮像素子が存在する撮影機では、色フィルタ毎にこれら2次元配列データ（以後、画像データと記述）が得られる。また、一枚の撮像素子と複数の色フィルタをモザイク状に配列した構成の撮影機では、得られた信号を色フィルタ配列に応じて再サンプリングすることにより、図４に示すような、色フィルタ毎の画像データ（Ａ）〜（Ｄ）に分離することができる。

以後の処理ステップＳ７〜Ｓ１２は、色フィルタ毎の画像データに対する処理である。このため複数の色フィルタが存在する撮影機では、同様の処理を色フィルタ毎に行なう。

ノイズ量推定部108内のゲイン情報取得手段1082は、測光評価部107で決定されたゲイン情報を取得し（ステップ６）、温度測定手段1083は、撮像素子付近に配置された温度センサ（図示せず）を用いて撮像素子の温度を測定する（ステップＳ７）。次に、ノイズ量推定部108内の信号値レベル算出手段1081は、画像データ内の任意の注目画素に対する信号値レベルを算出する（ステップＳ８）。信号値レベルの算出方法は様々であるが、例として以下のものを示す。

・ 注目画素の信号値を、信号値レベルとする。

・ 注目画素及びその近傍画素の信号値の加算平均値を、信号値レベルとする。図５は一例を示しており、各画素の信号値に所定の加算係数を乗算して得られた値を加算することにより加算平均値を求めている。すなわち、信号値レベル＝（Ｐ４＊４＋（Ｐ１＋Ｐ３＋Ｐ５＋Ｐ７）＊２＋Ｐ０＋Ｐ２＋Ｐ６＋Ｐ８）／１６となる。

・ 注目画素及びその近傍画素のうち注目画素との信号値差が少ない上位N個の画素の平均値を信号値レベルとする。図６は一例を示しており、注目画素の信号値Ｐ４と各近傍画素の信号値Ｐｘとの差の絶対値Ｄｘをそれぞれ算出し、昇順にソートして上位３個の値Ｄ３，Ｄ２，Ｄ５に対応する近傍画素の信号値Ｐ３，Ｐ２，Ｐ５を選出する。その後、注目画素の信号値Ｐ４と近傍画素の信号値Ｐ３，Ｐ２，Ｐ５との間で平均値を算出する。すなわち、信号値レベル＝（Ｐ４＋Ｐ３＋Ｐ２＋Ｐ５）／（１＋３）となる。

次に、ゲイン、撮像素子温度、注目画素に対する信号値レベルを得た後、ノイズ量推定手段108は、注目画素におけるノイズ量を推定する（ステップＳ９）。推定の方法としては、ノイズ量を前記各値の関数として定式化して求める方法がある。図７は、信号値レベルに対するノイズ量をプロットしたグラフである。ここでノイズ量は、信号値レベルのベキ乗の関数に定数項が加算されたものとして表され、信号値レベルをL、ノイズ量をNとすると、

で示される。ここで、A,B,Cは任意定数であるが、実際には素子の温度TやゲインGによって変化する。

図８は、信号値レベル、温度、ゲインに対するノイズ量をプロットしたグラフである。個々の曲線は（式1）に示される形態をしているが、その係数は温度T、ゲインGにより変動するため、上記を考慮した形で定式化を行うと、

となる。（式２）において、a(),b(),c()の各関数は、事前に素子系の特性を測定することで容易に得ることができる。

よってノイズ量推定手段108はこれらの情報をメモリに保持しておき、ステップＳ７、Ｓ８で得た、温度T、ゲインG、信号値レベルLを用いて算術的にノイズ量を求めることが可能である。

本実施の形態では、信号値レベルに対するベキ乗関数を例に挙げたが、線形関数の組み合わせでノイズ量を表したり、定式化せずにルックアップテーブルを用いて求める方法も考えられる。また、温度T，ゲインGに関しては必ずしも撮影ごとに求める必要はなく、例えば、温度Tは電源投入時から一定時間経過すれば安定するため、一度算出した温度情報をメモリに記録しておき、以後の計算で用いることが可能である。

注目画素に対するノイズ量が推定された後、制御手段109内の係数設定手段1091は、平滑化に用いるフィルタ係数を設定する（ステップＳ１０）。フィルタ係数Kは注目画素以外の近傍画素ｘに対して個別に設定される。

以下の式３はフィルタ係数Kxの算出式の一例である。

（式３）において、W:定数（正）、N：ノイズ量、ΔLｘ：注目画素と近傍画素ｘの信号値差（正）である。また、係数Kxはノイズ量Nに対する増加関数であり、注目画素との信号値差ΔLｘに対する減少関数である（図９参照）。この理由については後述する。係数設定後、平滑化手段106内のフィルタ処理手段1061は、（式４）に示す加算平均処理（ステップＳ１１）を行ない、注目画素の信号値Pt、及び近傍画素の信号値Pxを加算平均して得られる新たな信号値Pt'を、前記注目画素位置での信号値とする平滑化画像を作成する。

（式４）において、Pt’：加算平均後の注目画素信号値
Kx：近傍画素毎のフィルタ係数
Px：近傍画素の信号値
Pt：注目画素の信号値
Kxはノイズ量に対して増加関数のため、ノイズ量が大きくなった場合、加算平均の際の注目画素に対する近傍画素の加算比率は高くなる。結果として、画像はよりボケる。

図１０は、ノイズ量の差により平滑化処理の結果がどのように異なるかを示す図である。つまりノイズ量が大きい場所ほど平滑化が強くかかり滑らかな状態になる。このため、ノイズ量に応じたノイズ低減が実現される。一方、Kxは注目画素との信号値差に対して減少関数のため、信号値差が大きな画素ほど加算比率は低くなる。

よって図１１の（Ａ）〜（Ｄ）に示すように、注目画素は信号値が同レベルの近傍画素情報を多く用いて平滑化されるため、エッジなど本来の画像情報を良好に保存したままノイズ低減を行なうことが可能となる。なお、図１０、図１１では、注目画素位置のみの変化を示しているが、実際には個々の近傍画素も同様の平滑化がなされ、新たな値となる。但し、ノイズ量に応じた平滑化となる点や、エッジを保存した平滑化となる点に関して効果は変わらない。

ステップＳ８からＳ１１までの処理ステップを任意の注目画素について行ない、その画素位置での新たな値を得た後、制御手段109は、全ての画素が処理されたかを判定する（ステップＳ１２）。判定がNoの場合には、再度、ステップＳ８からＳ１１のステップを繰り返し、全ての画素に対して加算平均による平滑化を行なう。以後は各種信号処理を行ない（ステップＳ１３）、結果を出力して（ステップＳ１４）。撮影機での処理は終了する。

なお、本実施の形態では、近傍画素として注目画素の周辺3×3の矩形領域を示したが、サイズ、領域形状などはこれに限定する必要はなく、ノイズ量に連動して決定してもよい。また本実施の形態のフィルタ係数設定では、ノイズ量、信号値差を用いているが、更に注目画素との距離を考慮し、係数を設定しても良い。その場合には、係数は距離に関する減少関数となるが、周波数空間において特定周波数における極端な減衰がないよう設定することが望ましい。

以上、本発明の第1の実施の形態によれば、信号値レベル、撮像素子温度、ゲイン情報を基に画素単位でノイズ量を推定し、このノイズ量、及び注目画素と近傍画素の信号値差に応じたフィルタ係数を用いて、加算平均処理を行なうことにより、原信号の保存性に優れたノイズ低減が可能である。

（第２実施の形態）
図１２は、本発明の第２実施の形態に係るノイズ低減装置の構成を示す図である。第２実施の形態のノイズ低減装置では、ノイズ量推定手段108が、第１実施の形態のように、撮像素子の温度を測定する温度測定手段1083を備えるのではなく、OpticalBlack（ＯＢ）領域の分散を求める分散算出手段2083と、前記分散の値より撮像素子温度を推定する温度推定手段2084とを備えている。また、制御手段109は、第１実施の形態のように、平滑化の際の係数を設定する係数設定手段1091を備えるのではなく、注目画素近傍の領域が平坦部であるかエッジ部であるかを判断する判断手段2091を備えている。さらに、平滑化手段106は、第１実施の形態のように、フィルタ処理手段1061を備えるのではなく、平坦部処理手段2061及びエッジ部処理手段2062を備えている。他の構成に関しては第1実施の形態と同様であり、同一の名称と番号を割り当てている。

図１３は、第２実施の形態に係るノイズ低減装置における処理の流れを示す図である。以下、図１２の構成を適宜参照しながら詳細を説明する。なお、第1実施の形態と共通する部分に関しては図示、説明を省く。

第２の実施の形態では、本撮影における画像データが蓄積され、ゲイン情報取得手段1082が、測光評価部107で決定されたゲイン情報を取得した後、ＯＢ分散算出手段2083は、OpticalBlack（ＯＢ）領域の値を読み出し、分散値を算出する（ステップＳ２０）。次に温度推定手段2084は、分散値と撮像素子の温度に関する関係を記録したメモリを基に撮像素子の温度を推定する（ステップＳ２１）。

図１４は、ＯＢ領域の分散と素子の温度との関係を示す図であり、ＯＢ領域の分散が大きくなるに従い、撮像素子の温度が上昇していくことを示している。入射光のないＯＢ領域でのノイズは暗電流ノイズが支配的であり、これは素子の温度に関係する。それ故、ＯＢ領域のノイズを分散値として算出して、素子の温度変化に対する分散値を事前に計測しておくことで、分散値から素子の温度を推定することが可能となる。

なお、四方に存在するＯＢ領域（図３参照）を利用し、注目画素に関して上端，下端，左端，右端のＯＢ領域の分散値から線形補間により注目画素に対する分散値を求めても良い。これにより、素子の温度が不均一な場合も精度の高い温度推定が可能となる。ゲイン、素子温度が得られた後は、第1実施の形態と同様に、注目画素近傍の信号値レベル算出（ステップＳ８）、ノイズ量の推定（ステップＳ９）を行なう。

ノイズ量の推定後、判断手段2091は、求めたノイズ量Nと、注目画素近傍の画素情報を基に、注目画素近傍が平坦部であるかあるいはエッジ部であるかを判断する（ステップＳ２２）。判断の方法としては以下の方法がある。

・ 近傍画素内の最大信号値L_max、最小信号値L_minの差L_max-L_minと、ノイズ量Nを基に算出した閾値Threshod＝α1×N（α1：係数）を比較し、差が閾値を上回れば、エッジ部と判断する。

・ 近傍画素内の分散σと、ノイズ量Nを基に算出した閾値Threshod＝α2×N（α2：係数）を比較し、分散が閾値を上回れば、エッジ部であると判断する。

判断の結果が平坦部であった場合、平坦部処理手段2061は注目画素を平坦化する。実際には近傍画素における加算平均値で、注目画素の値を置き換える。一方、エッジ部であると判断された場合、エッジ部処理手段2062は、まず注目画素と同レベルの信号値を持つ近傍画素（＝信号値類似画素）を選択する（ステップＳ２４）。

これは、注目画素と近傍画素の信号値差ΔL（正）と、ノイズ量Nを基に算出した閾値Threshod＝β×N（β：係数）を比較し、信号値差が閾値内であれば信号値類似画素とすることで実現できる。近傍画素全てを同様に処理した後、エッジ部処理手段2062は、信号値類似画素の数を確認する（ステップＳ２５）。近傍画素内に類似画素が1つもない場合には、注目画素はスパイク状のノイズである可能性が高い。よってこの場合は平坦部判断と同様に、近傍全画素における加算平均値で、注目画素の値を置き換える。信号値類似画素が存在した場合には、エッジ部処理手段2062は、信号値類似画素間における加算平均値で、注目画素の値を置き換える（ステップＳ２６）。これにより原信号に含まれるエッジ成分は保存される。以上の処理を、全画素に対して行なった後は、第1実施の形態のステップＳ１３以降のステップにて終了する。

以上、本発明の第２実施の形態によれば、ＯＢ領域データを基に撮像素子温度を推定するため、温度測定手段が不要となりコスト定価が図れる。また信号値レベル、撮像素子温度、ゲインの情報を基に画素単位でノイズ量を推定し、このノイズ量、及び注目画素と近傍画素の情報より、平坦部とエッジ部を判断して、各々に異なる処理を行なうことにより、原信号の保存性に優れたノイズ低減が可能である。

（第３実施の形態）
図１５は、本発明の第３実施の形態に係るノイズ低減装置の構成を示す図である。第３実施の形態のノイズ低減装置は、第１または第２実施の形態のノイズ低減装置の構成に加えて、方向性判断手段3111と、特定色判断手段3121とを備えるものである。

第3実施の形態では、本撮影における画像データを用いて方向性判断手段3111が、注目画素近傍の方向性のレベルを判断する。以下に、図5に示す注目画素の近傍3×3画素の信号値を用いて方向性のレベルを判断する手順を(1)〜(6)で示す。

(1) まず、垂直方向の方向性指標E1を以下の（式５）により求める。

（式５）において、ave1：P0,P3,P6の平均信号値 std1：P0,P3,P6の標準偏差
ave2：P1,P4,P7の平均信号 std2：P1,P4,P7の標準偏差
ave3：P2,P5,P8の平均信号値 std3：P2,P5,P8の標準偏差
(2) 次に、水平方向の方向性指標E2を以下の（式６）により求める。

（式６）において、 ave4：P0,P1,P2の平均信号値 std4：P0,P1,P2の標準偏差
ave5：P3,P4,P5の平均信号値 std5：P3,P4,P5の標準偏差
ave6：P6,P7,P8の平均信号値 std6：P6,P7,P8の標準偏差
(3) 次に、斜め（右下がり）方向の方向性指標E3を以下の（式７）により求める。

（式７）において、 ave7：P1,P5の平均信号値 std7：P1,P5の標準偏差
ave8：P0,P4,P8の平均信号値 std8：P0,P4,P8の標準偏差
ave9：P3,P7の平均信号値 std9：P3,P7の標準偏差
(4) 次に、斜め（右上がり）方向の方向性指標E4を以下の（式８）により求める。

（式８）において、ave10：P1,P3の平均信号値 std10：P1,P3の標準偏差
ave11：P2,P4,P6の平均信号値 std11：P2,P4,P6の標準偏差
ave12：P5,P7の平均信号値 std12：P5,P7の標準偏差
(5) 求めた方向性指標E1〜E4の最大値E_maxを求める。

(6) 次に、E_maxを閾値Thresholdと比較し、閾値以上であれば方向性が高いと判断する。なお閾値Thresholdは、事前に設定した固定値でも良いし、
Threshold＝γ^N（γ：係数、N：ノイズ量（算出法は第1実施の形態と同様））としてもよい。

上記により方向性が高いと判断された場合には、方向性判断手段3111は、得られた方向性の情報（E_max値など）を制御手段109に送る。

また、特定色判断手段3121は、一時的に注目画素近傍における全ての色フィルタの信号値を画像メモリ105より取得し、これを基に注目画素での色を求める。なお、色フィルタをモザイク状に配列した構成の撮影機では、注目画素位置において一つの色フィルタに対する信号値しか得られない。そこで、この場合には他の色フィルタの信号値は、近傍画素における同様のフィルタの信号値を線形補間することにより算出する。

色の情報を求めた後、特定色判断手段3121は、求めた色が特定色（例えば、空の色、肌の色、髪の色）であるかを判断し、該当する場合には、色の情報を制御手段109に送る。制御手段109は、方向性の情報、色の情報を基に、ノイズ低減の度合いを制御する。例えば、方向性が高い場合にはノイズ低減を弱めて原信号を保持し、空、肌の色の場合にはノイズ低減を強めて滑らかにする等である。また構造と色を複合的に判断し、髪の色でかつ方向性が高い場合はノイズ低減を弱めるなどの制御方法も考えられる。

以上、本発明の第3の実施の形態によれば、注目画素近傍のテクスチャ、色情報を基に、ノイズ低減の度合いを制御するため、より人間の感性にあったノイズ低減が可能である。

本発明の第１実施の形態に係るノイズ低減装置の構成を示す図である。 第１実施の形態に係るノイズ低減装置における処理の流れを示す図である。 撮像素子からの２次元配列データを示す図である。 単板カラー撮像データの同一色データへの分割例を示す図である。 信号値レベルの算出例（その１）を示す図である。 信号値レベルの算出例（その２）を示す図である。 信号値レベルに対するノイズ量子化器の関係を示す図である。 ゲイン、温度、信号値レベルに対するノイズ量の関係を示す図である。 ノイズ量、信号値差に対するフィルタ係数の関係を示す図である。 推定ノイズ量の差により平滑化処理の結果がどのように異なるかを示す図である。 近傍画素との信号値の差により平滑化処理の結果がどのように異なるかを示す図である。 本発明の第２実施の形態に係るノイズ低減装置の構成を示す図である。 第２実施の形態に係るノイズ低減装置における処理の流れを示す図である。 ＯＢ領域の分散と撮像素子の温度の関係を示す図である。 本発明の第３実施の形態に係るノイズ低減装置の構成を示す図である。

符号の説明

１０１…光学系、
１０２…撮像素子、
１０３…信号増幅部、
１０４…Ａ／Ｄ変換部、
１０５…画像メモリ、
１０６…平滑化手段、
１０６１…フィルタ処理手段、
１０７…測光評価部、
１０８…ノイズ量推定手段、
１０８１…信号値レベル算出手段、
１０８２…ゲイン情報取得手段、
１０８３…温度測定手段、
１０９…制御手段、
１０９１…係数設定手段、
１１０…外部Ｉ／Ｆ。

Claims (12)

1. 注目画素におけるノイズ量を推定するノイズ量推定手段と、
   前記注目画素を平滑化する平滑化手段と、
   前記ノイズ量及び前記注目画素とその近傍画素の情報に基づいて、前記平滑化手段を制御する制御手段と、
   を具備することを特徴とするノイズ低減装置。
2. 前記平滑化手段は、注目画素及び近傍画素の信号値を加算平均するフィルタ処理手段を有し、前記制御手段は、前記フィルタ処理手段で用いるフィルタ係数を前記ノイズ量及び前記注目画素と近傍画素の信号値差に基づき設定する係数設定手段を有することを特徴とする請求項１記載のノイズ低減装置。
3. 前記係数設定手段は、注目画素以外の近傍画素に対するフィルタ係数をノイズ量に対する増加関数として算出する係数算出手段を有することを特徴とする請求項２記載のノイズ低減装置。
4. 前記係数設定手段は、注目画素以外の近傍画素に対するフィルタ係数を注目画素と近傍画素の信号値差に対する減少関数として算出する係数算出手段を有することを特徴とする請求項２記載のノイズ低減装置。
5. 前記平滑化手段は、注目画素近傍が平坦部である場合に行なわれる平坦部処理手段と、注目画素近傍がエッジ部である場合に行なわれるエッジ部処理手段とを有し、前記制御手段は、注目画素近傍が平坦部かエッジ部かを前記ノイズ量を基に判断する判断手段を有することを特徴とする請求項１記載のノイズ低減装置。
6. 前記エッジ部処理手段は、前記ノイズ量を基に注目画素と信号値が類似する近傍画素を検出する類似画素検出手段と、前記類似画素及び注目画素の信号値を用いて処理を行なう類似画素間処理手段を有することを特徴とする請求項５記載のノイズ低減装置。
7. 前記ノイズ量推定手段は、注目画素におけるノイズ推定用の信号値レベルを、注目画素及びその近傍画素の信号値より算出する信号値レベル算出手段を有することを特徴とする請求項１記載のノイズ低減装置。
8. 前記ノイズ量推定手段は、前記撮像素子の温度を測定する温度測定手段を有することを特徴とする請求項７記載のノイズ低減装置。
9. 前記ノイズ量推定手段は、前記撮像素子中のＯＢ(Optical Black)領域の信号の分散を求めるＯＢ分散算出手段と、前記分散から撮像素子の温度を推定する温度推定手段とを有することを特徴とする請求項７記載のノイズ低減装置。
10. 前記ノイズ量推定手段は、撮像信号に対するゲイン情報を取得するゲイン情報取得手段を有することを特徴とする請求項７〜９のいずれか１つに記載のノイズ低減装置。
11. 前記注目画素近傍の方向性のレベルを判断する方向性判断手段を更に備え、前記制御手段において更に前記方向性のレベルに基づいて前記平滑化手段を制御することを特徴とする請求項１記載のノイズ低減装置。
12. 前記注目画素近傍が特定色であるか否かを判断する特定色判断手段を更に備え、前記制御手段において更に前記特定色の情報に基づいて前記平滑化手段を制御することを特徴とする請求項１記載のノイズ低減装置。

Images