JP2007150441A

JP2007150441A - ノイズリダクション装置及びノイズリダクション方法

Info

Publication number: JP2007150441A
Application number: JP2005338937A
Authority: JP
Inventors: Mitsuru Iwawaki; 充岩脇
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-11-24
Filing date: 2005-11-24
Publication date: 2007-06-14
Anticipated expiration: 2025-11-24
Also published as: JP4599279B2

Abstract

【課題】ノイズを効果的に除去して画質を向上させることが可能なノイズリダクション装置を提供。
【解決手段】注目画素データを含む大エリアＬと小エリアＳを少なくとも含む複数のエリア毎に、エリアに含まれる注目画素データと同一色成分の画素データ（エリア同色画素データ）の平均値を算出する平均値算出部７１と、算出した平均値に基づいて、複数のエリア毎にエリア同色画素データの分散を算出する分散算出部７７と、注目画素データに含まれるノイズ量を推定するノイズ量推定部８０と、複数のエリア毎の分散に基づいて、複数のエリアのうち注目画素データのノイズリダクションを行うために最適なエリアである最適エリアを判定する最適エリア判定部７８と、最適エリアについて算出された平均値と注目画素データとの差分を、推定されたノイズ量に応じて小さくして注目画素データのＮＲ処理を行うＮＲ処理部７５とを備える。
【選択図】図５

Description

本発明は、固体撮像素子から出力されたＲＡＷ画像データのノイズリダクション（ＮＲ）処理を行うノイズリダクション装置に関する。

従来、固体撮像素子から出力される信号は、低感度撮影等を行った際等にＳ／Ｎが悪化するため、十分満足な画質が得られなかった。又、このような場合においては、通常のノイズに加え、低周波成分を含むノイズに起因するような偽色及び色ノイズが問題となっており、これは特に低輝度となる暗部でより顕著であった。従来、ＮＲ処理を行う手法として様々なものが提案されている（特許文献１〜４参照）。

特開２０００−２３２３８４号公報特開２００３−１５０９５６号公報特開平１０−６３８３９号公報特開２０００−１７５０４６号公報

画像の低輝度部分に含まれるノイズを効果的に除去するには、ＮＲ処理の対象となる画素データを、その周辺の広い範囲内にある画素データを用いてＮＲ処理するのが有効である。しかし、広い範囲の画素データを用いてＮＲ処理を行うと低輝度部分での画質は改善されるが、その他の部分の画質が劣化してしまう可能性がある。

本発明は、上記事情に鑑みてなされたものであり、ノイズを効果的に除去して画質を向上させることが可能なノイズリダクション装置を提供することを目的とする。

本発明のノイズリダクション装置は、固体撮像素子から得られるＲＡＷ画像データのノイズリダクションを行うノイズリダクション装置であって、前記ＲＡＷ画像データの注目画素データを含む、サイズの大きい大エリアと、前記大エリアよりもサイズの小さい小エリアとを少なくとも含む複数のエリア毎に、前記エリアに含まれる前記注目画素データと同一色成分の画素データ（以下、エリア同色画素データという）の平均値を算出する平均値算出手段と、前記平均値に基づいて、前記複数のエリア毎に、前記エリア同色画素データの分散を算出する分散算出手段と、前記注目画素データに含まれるノイズ量を推定するノイズ量推定手段と、前記複数のエリア毎の前記分散に基づいて、前記複数のエリアのうち、前記注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する最適エリア判定手段と、前記最適エリアについて算出された前記平均値に、前記推定されたノイズ量に応じて前記注目画素データを近づける処理を行って、前記注目画素データのノイズリダクション処理を行うノイズリダクション処理手段とを備える。

本発明のノイズリダクション装置は、前記最適エリアを判定するための判定基準となる閾値であって、前記ノイズ量に応じて決まる閾値を第一の閾値とし、前記最適エリア判定手段は、前記複数のエリア毎の前記分散と、前記複数のエリア毎の前記平均値と、前記第一の閾値とを用いて、前記最適エリアを判定する。

本発明のノイズリダクション装置は、前記最適エリアを利用して前記注目画素データにノイズリダクション処理を行うべきか否かを判定するための判定基準となる閾値であって、前記ノイズ量に応じて決まる閾値を第二の閾値とし、前記最適エリアについて算出された前記分散と前記第二の閾値とを用いて、前記最適エリアを利用して前記注目画素データにノイズリダクションを行うべきか否かを判定するノイズリダクション実施判定手段と、前記ノイズリダクション実施判定手段による判定結果に応じて、前記注目画素データ及び前記ノイズリダクション処理後の注目画素データのいずれかを出力する出力手段とを備える。

本発明のノイズリダクション装置は、前記ＲＡＷ画像データが、赤色（Ｒ）成分と緑色（Ｇ）成分と青色（Ｂ）成分の画素データを含み、前記注目画素データが前記Ｒ成分又は前記Ｂ成分であった場合、前記最適エリア判定手段は、前記大エリアに含まれる前記Ｒ成分又は前記Ｂ成分の画素データの分散と前記第一の閾値とに基づいて、前記大エリアが前記最適エリアであるか否かを判定し、前記大エリアが前記最適エリアでないと判定した場合に、前記小エリアに含まれる前記Ｒ成分又は前記Ｂ成分の画素データの分散と前記第一の閾値とに基づいて、前記小エリアが前記最適エリアであるか否かを判定し、前記ノイズリダクション実施判定手段は、前記大エリア又は前記小エリアが前記最適エリアと判定された場合には、前記注目画素データにノイズリダクションを行うべきと判定し、前記小エリアが前記最適エリアでないと判定された場合には、前記注目画素データにノイズリダクションを行うべきでないと判定する。

本発明のノイズリダクション装置は、前記ノイズ量推定手段が、階調チャートを前記固体撮像素子により撮像して得られるＲＡＷ画像データによって予め求められた、各階調の画素データに含まれるノイズ量に相当するデータに基づいて、前記注目画素データに含まれるノイズ量を推定する。

本発明のノイズリダクション方法は、固体撮像素子から得られるＲＡＷ画像データのノイズリダクションを行うノイズリダクション方法であって、前記ＲＡＷ画像データの注目画素データを含む、サイズの大きい大エリアと、前記大エリアよりもサイズの小さい小エリアとを少なくとも含む複数のエリア毎に、前記エリアに含まれる前記注目画素データと同一色成分の画素データ（以下、エリア同色画素データという）の平均値を算出する平均値算出ステップと、前記平均値に基づいて、前記複数のエリア毎に、前記エリア同色画素データの分散を算出する分散算出ステップと、前記注目画素データに含まれるノイズ量を推定するノイズ量推定ステップと、前記複数のエリア毎の前記分散に基づいて、前記複数のエリアのうち、前記注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する最適エリア判定ステップと、前記最適エリアについて算出された前記平均値に、前記推定されたノイズ量に応じて前記注目画素データを近づける処理を行って、前記注目画素データのノイズリダクション処理を行うノイズリダクション処理ステップとを含む。

本発明によれば、ノイズを効果的に除去して画質を向上させることが可能なノイズリダクション装置を提供することができる。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の実施形態を説明するためのデジタルカメラの要部概略構成を示す図である。
図１に示すデジタルカメラは、固体撮像素子１と、Ａ／Ｄ変換部２と、バッファ３と、前処理回路４と、タイミングジェネレータ（ＴＧ）５と、画素データ保持部６と、ノイズリダクション（ＮＲ）装置７と、信号処理部８とを備える。

固体撮像素子１は、半導体基板上の行方向及びこれに直交する列方向に配列された多数の光電変換素子を有するＣＣＤ型やＭＯＳ型のカラー固体撮像素子である。固体撮像素子１は、図２（ａ）に示すように、多数の光電変換素子１０が半導体基板上の行方向（Ｘ方向）とこれに直交する列方向（Ｙ方向）に正方格子状に配列されたものや、図２（ｂ）に示すように、多数の光電変換素子１０が特開平１０−１３６３９１号公報に記載されたようないわゆるハニカム状に配列されたもの等を用いることができる。以下の説明では、固体撮像素子１に含まれる多数の光電変換素子はハニカム状に配列されているものとする。又、本実施形態では、１つの光電変換素子から出力される撮像信号をデジタル化したデータのことを画素データと定義する。

固体撮像素子１は原色系のカラーフィルタを有しており、多数の光電変換素子には、例えば赤色（Ｒ）を検出する光電変換素子と、緑色（Ｇ）を検出する光電変換素子と、青色（Ｂ）を検出する光電変換素子とが含まれる。尚、カラーフィルタは補色系のものであっても良い。又、カラーフィルタの配列は規則配列（一意にＲＧＢの相対位置を定めた配列）であれば特に限定されない。

Ａ／Ｄ変換部２は、固体撮像素子１から出力された多数の画素データをデジタル変換する。ここでデジタル変換された多数の画素データは、いわゆるＲＡＷ画像データとなる。ＲＡＷ画像データは、固体撮像素子１から出力された点順次の撮像信号をそのままデジタル化したデータであり、このデータのままでは、１撮像点に１つの色成分の画素データしか存在していないため、カラー画像を生成することはできない形式のデータである。

バッファ３は、固体撮像素子１と信号処理部８との駆動速度差を吸収するものであり、一般的なＦＩＦＯ等によって構成される。

前処理回路４は、バッファ３から供給されるＲＡＷ画像データに対し、ＯＢ補正、ゲイン調整、スミア補正、シェーディング補正、及びガンマ補正等の各種信号処理を行う。

画素データ保持部６は、前処理回路４から出力された多数の画素データを保持し、ＮＲ装置７に画素データを供給するものであり、Ｎ−１個のラインメモリ６１と、Ｎ個の遅延素子６２とを備える。

ＮＲ装置７は、画素データ保持部６から出力される画素データに対し、後述する処理アルゴリズムによってＮＲ処理を行う。

信号処理部８は、ＮＲ処理後の多数の画素データから、１撮像点にＲ（赤色），Ｇ（緑色），Ｂ（青色）の画素データを持たせる同時化処理やＹＣ変換処理等を行う。これらの処理により、カラー画像を再生することが可能となる。

尚、前処理回路４、画素データ保持部６、ＮＲ装置７、及び信号処理部８のいずれにおいてもパイプライン処理がなされているものとし、これによって画素データの高速逐次処理が可能となる。又、前処理回路４は、ＲＡＷ画像データに対して信号処理を行うことができれば良いため、図３に示すように、ＮＲ装置７と信号処理部８との間に設けておいても良い。

ＮＲ装置７では、画素データ保持部６から供給される多数の画素データに対して、ＮＲ処理を行う対象となる注目画素データを含む複数のエリアを設定し、この複数のエリアから注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定し、この最適エリアに含まれる画素データを利用して、注目画素データに対するＮＲ処理を行う。

図４は、図１に示す画素データ保持部６からＮＲ装置７に供給される画素データを二次元状に配置したイメージ図である。
ＮＲ装置７では、例えば図４に示すように、注目画素データを含むサイズの大きい大エリアＬと、注目画素データを含むサイズの小さい小エリアＳと、注目画素データを含む横長の横エリアＨと、注目画素データを含む縦長の縦エリアＶとを設定する。エリアＳ，Ｈ，ＶはエリアＬの内側に設定される。

図５は、図１に示すＮＲ装置７の概略構成を示すブロック図である。
ＮＲ装置７は、平均算出部７１と、二乗平均算出部７２と、判別回路７３と、メモリ７４と、ＮＲ処理部７５と、出力部７６とを備える。

ＮＲ装置７では、注目画素データに含まれると推定されるノイズ量をメモリ７４に予め記憶しておくことで、ノイズ量の推定に要する回路規模の削減を実現している。例えば、平坦な２５６階調のグレースケールチャートを用意し、これを固体撮像素子１によって低感度から高感度までの各撮影感度で撮影する。そして、グレースケールチャートの各階調画像を撮影して得られた画素データに含まれる各色成分の画素データの偏差の平均を求める。そして、図６に示すように、０〜２５５までの各階調毎の前記偏差の平均を示す偏差ヒストグラムをメモリ７４に記憶しておく。メモリ７４には、図６に示すような偏差ヒストグラムが、Ｒ成分、Ｇ成分、及びＢ成分のそれぞれについて、各撮影感度毎に記憶されている。ある階調の画像を撮影して得られた画素データに含まれる各色成分の画素データの偏差の平均は、その階調の画像に含まれる各色成分のノイズ量に相当する。つまり、図６に示す偏差ヒストグラムを用いることで、撮影して得られた画素データに含まれるノイズ量を推定することができる。

尚、図６に示す破線のように、画措置を複数の画素値のブロックに区切り、各々のブロックで最も近い一次直線を繋ぎ合わせたものを用いれば、メモリ７４をよりコンパクトにすることができる。どちらの構成にするかは、自由度とハードウェア量とのトレードオフ次第である。

平均算出部７１は、各エリア毎に、エリアに含まれる注目画素データと同一色成分の画素データ（以下、エリア同色画素データという）の平均を算出して判別回路７３に出力する。

二乗平均算出部７２は、各エリア毎に、エリア同色画素データの二乗平均を算出して判別回路７３に出力する。エリア同色画素データをｖａｌとすると、エリア同色画素データの二乗平均は、

で求まる。尚、各エリアは、重複する部分があるため、画像データの積算経路を工夫することで、効率の良い回路を実現することができる。
図７は、小エリアＳを５行×５列、大エリアＬを１３行×１３列とし、注目画素データがＧ成分であるときのＧ成分の画素データの積算経路の一例を示す図である。
図７に示す符号７１ａ、７１ｄ、及び７１ｆは、それぞれ遅延素子である。図７に示す符号７１ｂ、７１ｃ、７１ｅ、７１ｇ、７１ｈ、及び７１ｉは、それぞれ積算器である。図７に示すように、小エリアＳでの積算結果を大エリアＬでの積算結果に積算することで、重複演算を避けることができ、効率の良い演算が可能となる。

判別回路７３には、分散算出部７７と、最適エリア判定部７８と、ＮＲ実施判定部７９と、ノイズ量推定部８０とが含まれる。

分散算出部７７は、各エリア毎に、エリア同色画素データの分散を算出する。エリア同色画素データの分散は、エリア同色画素データをｖａｌとし、エリア同色画素データの平均をａｖｅとしたとき、以下の式１で算出することができるが、本実施形態では、より計算に向いた式２の近似式を用いて分散を算出するものとする。もちろん、式１を用いて分散を算出しても良い。式２の右辺第一項は二乗平均であり、右辺第二項は平均の二乗であるため、分散算出部７７は、平均算出部７１及び二乗平均算出部７２から供給されたデータに基づいて、エリア同色画素データの分散を算出することができる。

ノイズ量推定部８０は、メモリ７４に記憶されている偏差ヒストグラムから、注目画素データの画素値に対応する偏差を取得し、取得した偏差を、注目画素データに含まれるノイズ量として推定する。尚、ノイズ量の推定方法としては、公知の手法を用いても良い。

最適エリア判定部７８は、各エリアの分散に基づいて、各エリアのうち、注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する。判定のアルゴリズムは後述する。

ＮＲ実施判定部７９は、注目画素データに対してＮＲ処理を行うべきか否かを判定し、判定結果をＮＲ処理部７５と出力部７６に通知する。

ＮＲ処理部７５は、ＮＲ実施判定部７９からＮＲ処理を行うべき旨の通知を受けたときに、注目画素データに含まれるノイズを低減するＮＲ処理を行い、ＮＲ処理後の注目画素データを出力部７６に出力する。本実施形態では、最適エリアの分散が小さくなれば、注目画素データのノイズが低減されるということに着目して、ＮＲ処理を行う。最適エリアの分散を小さくするためには、最適エリアに含まれるエリア同色画素データの偏差を小さくすれば良い。

図８は、最適エリアの分散を小さくする処理のイメージを示す図である。図８の実線は、最適エリア内のエリア同色画素データの偏差の分布を示しており、図８の破線は、分散を小さくした後の最適エリア内のエリア同色画素データの偏差の分布を示している。図８の実線の分布を破線の分布にする処理を行うことで、画質を劣化させることなく、最適エリアの分散を小さくすることができる。

図８の破線のような分布を得るためには、次の式３で示されるような係数ｒａｔｉｏを、最適エリアについて算出された平均値と各エリア同色画素データとの差分に乗じて、この差分を小さくする処理を行えば良い。

式３：係数ｒａｔｉｏ＝ｆ＋｛（ｆ−ｇ）／（ｓｉｇｍａ×ｈ）｝×｜ｖａｌｃ−ａｖｅｓ｜
ここで、ｆ，ｇ，ｈは所定の係数であり、ｓｉｇｍａは注目画素データに対応する偏差であり、ｖａｌｃは注目画素データの画素値であり、ａｖｅｓは最適エリアについて算出された平均値である。

注目画素データのＮＲ処理は、注目画素データに含まれると推定されるノイズ量に応じて行う必要があるため、係数ｒａｔｉｏは、注目画素データに対応する偏差ｓｉｇｍａに応じて変化する値となっている。

実際には、注目画素データに含まれるノイズを低減することが目的であるため、最適エリアについて算出された平均値と各エリア同色画素データとの差分に係数ｒａｔｉｏを乗じ、この差分を小さくする処理は、注目画素データについてのみ行えば良い。つまり、実際の動作では、ＮＲ処理部７５は、注目画素データに対応する偏差（ｓｉｇｍａ）に基づいて係数ｒａｔｉｏを算出し、この係数ｒａｔｉｏを用いた以下の式４により、最適エリアについて算出された平均値と注目画素データとの差分を小さくする処理（最適エリアについて算出された平均値に、推定されたノイズ量に応じて注目画素データを近づける処理と同義）を行って、注目画素データのノイズリダクション処理を行う。

式４：ＮＲ処理後の注目画素データｖａｌ_ｎｅｗ＝ａｖｅｓ＋（ｖａｌｃ−ａｖｅｓ）×ｒａｔｉｏ

画像の低輝度部分での偽色及び色ノイズは、広い範囲の画像を利用することで効果的に減らすことができる。つまり、画像の低輝度部分での偽色及び色ノイズの低減には、大エリアＬを最適エリアとすることが効果的である。ただし、大エリアＬだけを用いてＮＲ処理を行うと、画質は維持できない。そこで、本実施形態では、大エリアＬ以外に、小エリアＳ，横エリアＨ，縦エリアＶを設定し、これらのエリアを画像に応じて選択的に利用することで、画質の向上を実現している。

出力部７６は、ＮＲ実施判定部７９の判定結果に応じて、ＮＲ処理部７５でＮＲ処理後の注目画素データと、ＮＲ処理が施されていない注目画素データとのいずれかを、信号処理部８に出力する。出力部７６には、判別回路７３を介して注目画素データが供給される。

次に、ノイズリダクション装置７の動作を説明する。
図９は、注目画素データがＧ成分であるときの、図５に示したノイズリダクション装置の動作フローを示す図である。尚、注目画素データがＲ成分又はＧ成分であるときの動作も図９と同様である。図９では、大エリアＬ、小エリアＳ、横エリアＨ、及び縦エリアＶの各々の符号を省略している。
撮像が行われ、ＲＡＷ画像データが入力されると、平均算出部７１、二乗平均算出部７２、及び分散算出部７７によって、大エリアＬ、小エリアＳ、横エリアＨ、及び縦エリアＶの各々の平均と分散が算出される（Ｓ１０）。

次に、ノイズ量推定部８０は、入力されたＲＡＷ画像データを得るために行った撮影の撮影感度と、注目画素データの色成分とに対応する偏差ヒストグラムから、注目画素データの画素値に対応する偏差ｓｉｇｍａを取得する（Ｓ２０）。

次に、最適エリア判定部７８は、偏差ｓｉｇｍａから、最適エリアを判定するための判定基準となる第一の閾値である閾値Ａ及び閾値Ｂと、最適エリアを利用して注目画素データにＮＲ処理を行うべきか否かを判定するための判定基準となる第二の閾値である閾値Ｃとを生成する（Ｓ３０）。閾値Ａは、偏差ｓｉｇｍａに所定の係数ａを乗じた値である。閾値Ｂは、偏差ｓｉｇｍａに所定の係数ｂを乗じた値を二乗した値である。閾値Ｃは、偏差ｓｉｇｍａに所定の係数ｃを乗じた値を二乗した値である。

次に、最適エリア判定部７８は、大エリアＬと小エリアＳの分散と平均をそれぞれ比較する（Ｓ４０）。大エリアＬと小エリアＳの分散を比較するのは、分散が小さいエリアの方が、画像に変化が少ないと考えられることから、大エリアＬと小エリアＳのどちらがＮＲ処理を行うために適しているかを判定するためである。
又、仮に大エリアＬの分散より小エリアＳの分散が小さい場合でも、大エリアＬと小エリアＳの平均にあまり差がないような場合には、大エリアＬ内の画像と小エリアＳ内の画像にあまり差がないと考えられる。低輝度部分の偽色や色ノイズは画質に大きな影響を与えるため、このような場合には、大エリアＬを優先的に利用するのが望ましい。このような理由から、最適エリア判定部７８は、大エリアＬと小エリアＳの平均も比較することで、大エリアＬと小エリアＳのどちらがＮＲ処理を行うために適しているかを判定する。

Ｓ４０での比較の結果、大エリアＬの分散よりも小エリアＳの分散の方が大きかったり、大エリアＬと小エリアＳの平均の差が閾値Ａの所定％未満であったりした場合（Ｓ４０：Ｎ）、最適エリア判定部７８は、大エリアＬを最適エリアとして判定する（Ｓ４１）。ただし、ここで判定された最適エリアは、４つのエリアの中で最適であると判定されただけであり、大エリアＬ内の画像が変化の少ないものであるかどうかははっきりしていない。大エリアＬ内の画像が変化の少ないものであれば、ＮＲ処理を行うことで、良好な画像を得ることができる。しかし、大エリアＬ内の画像が網目等の変化の多いものであった場合、ＮＲ処理を行ってしまうと、エッジが丸まってしまい、解像感が低下してしまう。そこで、ノイズリダクション装置７では、大エリアＬが最適エリアとして判定された後、ＮＲ実施判定部７９が、大エリアＬの分散と閾値Ｃを比較し、大エリアＬにＮＲ処理を行うべきか否かを最終的に判定する（Ｓ４２）。

大エリアＬの分散が閾値Ｃよりも大きかった場合（Ｓ４２：Ｙ）、大エリアＬ内の画像は変化の多いものであると考えられるため、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきではないと判定し（Ｓ４２Ｙ）、その旨をＮＲ処理部７５と出力部７６に通知する。一方、大エリアＬの分散が閾値Ｃ以下だった場合（Ｓ４２：Ｎ）、大エリアＬ内の画像は変化の少ないものであると考えられるため、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきと判定し、その旨をＮＲ処理部７５と出力部７６に通知する。ＮＲ処理部７５は、注目画素データにＮＲ処理をすべき旨の通知があったときに、最適エリア判定部７８によって判定された最適エリアの平均と、偏差ｓｉｇｍａと、注目画素データとを用いてＮＲ処理を行う（Ｓ６０）。出力部７６は、ＮＲ実施判定部７９からの通知にしたがって、注目画素データ又はＮＲ処理後の注目画素データを出力する。

Ｓ４０での比較の結果、大エリアＬの分散よりも小エリアＳの分散の方が小さく、且つ、大エリアＬと小エリアＳの平均の差が閾値Ａの所定％以上であった場合（Ｓ４０：Ｙ）、最適エリア判定部７８は、大エリアＬを非最適エリアとして判定する。

次に、最適エリア判定部７８は、縦エリアＶの分散と横エリアＨの分散の差が閾値Ｂの所定％以上か否かを判定する。縦エリアＶの分散と横エリアＨの分散との差が閾値Ｂの所定％未満であった場合（Ｓ４３：Ｎ）は、小エリアＳ内の画像に縦と横で変化が少ないと考えられることから、このような場合、最適エリア判定部７８は、小エリアＳを最適エリアとして判定する（Ｓ４４）。

小エリアＳが最適エリアとして判定された後、ＮＲ実施判定部７９が、小エリアＳの分散と閾値Ｃを比較し、小エリアＳにＮＲ処理を行うべきか否かを最終的に判定する（Ｓ４５）。小エリアＳの分散が閾値Ｃよりも大きかった場合（Ｓ４５：Ｙ）、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきではないと判定し（Ｓ４５Ｙ）、その旨をＮＲ処理部７５と出力部７６に通知する。一方、小エリアＳの分散が閾値Ｃ以下だった場合（Ｓ４５：Ｎ）、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきと判定し、その旨をＮＲ処理部７５と出力部７６に通知する。以後はＳ６０へと処理が移行する。

一方、Ｓ４３において、縦エリアＶの分散と横エリアＨの分散との差が閾値Ｂの所定％以上であった場合（Ｓ４３：Ｙ）は、小エリアＳ内の画像に縦と横で変化が大きいと考えられることから、このような場合、最適エリア判定部７８は、小エリアＳを非最適エリアとして判定する。

次に、最適エリア判定部７８は、横エリアＨと縦エリアＶの分散を比較する（Ｓ４６）。横エリアＨの分散の方が大きかった場合（Ｓ４６：Ｙ）、最適エリア判定部７８は、縦エリアＶを最適エリアとして判定する（Ｓ４７）。縦エリアＶが最適エリアとして判定された後、ＮＲ実施判定部７９が、縦エリアＶの分散と閾値Ｃを比較し、縦エリアＶにＮＲ処理を行うべきか否かを最終的に判定する（Ｓ４８）。縦エリアＶの分散が閾値Ｃよりも大きかった場合（Ｓ４８：Ｙ）、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきではないと判定し（Ｓ４８Ｙ）、その旨をＮＲ処理部７５と出力部７６に通知する。一方、縦エリアＶの分散が閾値Ｃ以下だった場合（Ｓ４８：Ｎ）、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきと判定し、その旨をＮＲ処理部７５と出力部７６に通知する。以後はＳ６０へと処理が移行する。

Ｓ４６において、縦エリアＶの分散の方が大きかった場合（Ｓ４６：Ｎ）、最適エリア判定部７８は、横エリアＨを最適エリアとして判定する（Ｓ４９）。横エリアＨが最適エリアとして判定された後、ＮＲ実施判定部７９が、横エリアＨの分散と閾値Ｃを比較し、横エリアＨにＮＲ処理を行うべきか否かを最終的に判定する（Ｓ５０）。横エリアＨの分散が閾値Ｃよりも大きかった場合（Ｓ５０：Ｙ）、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきではないと判定し（Ｓ５０Ｙ）、その旨をＮＲ処理部７５と出力部７６に通知する。一方、横エリアＨの分散が閾値Ｃ以下だった場合（Ｓ５０：Ｎ）、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきと判定し、その旨をＮＲ処理部７５と出力部７６に通知する。以後はＳ６０へと処理が移行する。

図１０は、図５に示すノイズリダクション装置の動作時のイメージを示す図である。図１０中に示す破線は大エリア及び小エリアを示している。図１０に示すイメージは、上述した縦エリア及び横エリアについては考慮していないときのものである。
エリアが（Ａ），（Ｃ），（Ｄ），（Ｅ）のような位置に設定された場合には、大エリアＬと小エリアＳの分散及び平均に差があまりないため、大エリアＬが最適エリアとして判定される。又、エリアが（Ｂ）や（Ｆ）のような位置に設定された場合には、大エリアＬの分散よりも小エリアＳの分散が小さく、且つ、大エリアＬと小エリアＳの平均に差が大きく、且つ、横エリアＨと縦エリアＶに差があまりないため、小エリアＳが最適エリアとして判定される。最適エリアと判定されても、その最適エリア内に境界や網目等が存在している（Ｃ）や（Ｄ）のような場合には、解像感を低下させないために、ＮＲ処理は行われない。

以上のように、ノイズリダクション装置７によれば、複数のエリアを設定し、各エリア内に入っている画像に応じて、エリアを選択的に利用してＮＲ処理を行っているため、画質を向上させることができる。又、各エリアの分散を比較して最適エリアの判定を行うため、簡単なアルゴリズムで画像の判別を行うことができる。又、予め求めておいた偏差ヒストグラムからノイズ量を推定し、このノイズ量をも考慮して画像の判別を行っているため、高い判別精度を実現することができる。

又、ノイズリダクション装置７によれば、画像の判別を行って最適エリアを判定した後に、ノイズ量を考慮した閾値Ｃを用いて、ＮＲ処理を行うべきか否かを判定するため、変化の多い画像に対してＮＲ処理を行ってしまうことで発生する解像感の低下を抑制することができる。尚、解像感の低下を無視すれば、ＮＲ実施判定部７９による判定処理は省略しても構わない。この場合は、図９において、Ｓ４１、Ｓ４４、Ｓ４７、及びＳ４９の処理の後、すぐにＮＲ処理部７５によってＮＲ処理を開始するようにすれば良い。

又、ノイズリダクション装置７によれば、ノイズ量の推定を行う回路等を持つ必要がないため、従来に比べ、回路規模を削減することができる。

又、ノイズリダクション装置７は、最適エリアの分散を小さくするという考えを用いて、注目画素データのＮＲ処理を行っている。最適エリアにフィルタリング等のＮＲ処理を行うと、複数のエリアの切り替わりで不自然な輪郭ができてしまう可能性があるが、本実施形態のように、分散という統計的な数値を小さくするという考えを用いることで、不自然な輪郭の発生を防ぐことができる。とはいえ、大エリアＬと小エリアＳのサイズに差があり過ぎた場合には、大エリアＬと小エリアＳの分散の差が大きくなってしまうため、エリアの境界部付近で不連続感のある画像となってしまう。したがって、大エリアＬのサイズは、小エリアＳのサイズの２倍程度に止めておくことが望ましい。又は、大エリアＬと小エリアＳの間に中間サイズのエリアを追加する等の措置をとることが望ましい。

尚、以上の説明では、最適エリアの判定精度を上げるために、図９のＳ４０において大エリアＬと小エリアＳの平均の差と閾値Ａとを比較しているが、この比較は省略しても良い。この場合は、Ｓ４０において、大エリアＬと小エリアＳの分散のみを比較し、大エリアＬの方が大きい場合はＳ４１へ、小エリアＳの方が大きい場合はＳ４３へ処理を移行すれば良い。

又、以上の説明では、エリアを４つ設定するものとしたが、設定するエリアは、大エリアＬと小エリアＳの少なくとも２つあれば良い。本実施形態のように横エリアＨと縦エリアＶを設定することで、画像の判別を細かく行うことができ、高精度のＮＲ処理が可能となる。横エリアＨと縦エリアＶを設定いない場合の動作フローは、図９のＳ４０の判断がＹＥＳであったときにＳ４４に処理を移行する形となる。

尚、以上の説明では、注目画素データがＲ成分、Ｇ成分、Ｂ成分のいずれである場合でも、ノイズリダクション装置７で同一の処理を行うものとしたが、注目画素データがＲ成分又はＢ成分である場合には、ノイズリダクション装置７をより簡単なアルゴリズムで動作させても問題はない。以下、この簡単なアルゴリズムについて説明する。

図１１は、注目画素データがＲ成分又はＢ成分である場合のノイズリダクション装置７の動作フローを示す図である。図１１では、大エリアＬ及び小エリアＳの各々の符号を省略している。又、図１１では、Ｒ成分又はＢ成分のことを、Ｒ／Ｂとして表記している。
撮像が行われ、ＲＡＷ画像データが入力されると、平均算出部７１、二乗平均算出部７２、及び分散算出部７７によって、大エリアＬと小エリアＳのそれぞれに含まれるＲ成分又はＢ成分の平均及び分散と、大エリアＬと小エリアＳのそれぞれに含まれるＧ成分の分散とが算出される（Ｓ７０）。

次に、ノイズ量推定部８０は、入力されたＲＡＷ画像データを得るために行った撮影の撮影感度と、注目画素データとに対応する偏差ヒストグラムから、注目画素データの画素値に対応する偏差ｓｉｇｍａ（Ｒ／Ｂ）を取得し、入力されたＲＡＷ画像データを得るために行った撮影の撮影感度とＧ成分とに対応する偏差ヒストグラムから、注目画素データに隣接するＧ成分の画素データのいずれかに対応する偏差ｓｉｇｍａ（Ｇ）を取得する（Ｓ８０）。

最適エリア判定部７８は、偏差ｓｉｇｍａ（Ｒ／Ｂ）から、最適エリアを判定するための判定基準となる第一の閾値である閾値Ｄを生成し、偏差ｓｉｇｍａ（Ｇ）から、最適エリアを判定するための判定基準となる第一の閾値である閾値Ｅを生成する（Ｓ９０）。閾値Ｄは、偏差ｓｉｇｍａ（Ｒ／Ｂ）に所定の係数ｄを乗じた値を二乗した値である。閾値Ｅは、偏差ｓｉｇｍａ（Ｇ）に所定の係数ｅを乗じた値を二乗した値である。

次に、最適エリア判定部７８は、大エリアＬに含まれるＲ成分又はＢ成分の分散と閾値Ｄとを比較し、大エリアＬに含まれるＧ成分の分散と閾値Ｅとを比較する（Ｓ１００）。ここで、Ｇ成分の分散と閾値Ｅとを比較している理由は、Ｒ成分又はＢ成分だけでは、輝度に対するセンシビリティが弱く、画像の判別がしづらいためである。大エリアＬに含まれるＲ成分又はＢ成分の分散と、大エリアＬに含まれるＧ成分の分散とのいずれもが閾値Ｄ，Ｅ未満であった場合（Ｓ１００：Ｎ）、この場合は、大エリアＬ内の画像に変化が少ないと考えられるため、最適エリア判定部７８は、大エリアＬを最適エリアとして判定する（Ｓ１００Ｎ）。

一方、大エリアＬに含まれるＲ成分又はＢ成分の分散と、大エリアＬに含まれるＧ成分の分散とのいずれかが閾値Ｄ，Ｅ以上であった場合（Ｓ１００：Ｙ）、この場合は、大エリアＬ内の画像に変化が多いと考えられるため、最適エリア判定部７８は、大エリアＬを非最適エリアとして判定し、小エリアＳに含まれるＲ成分又はＢ成分の分散と閾値Ｄとを比較し、小エリアＳに含まれるＧ成分の分散と閾値Ｅとを比較する（Ｓ１２０）。

小エリアＳに含まれるＲ成分又はＢ成分の分散と、小エリアＳに含まれるＧ成分の分散とのいずれもが閾値Ｄ，Ｅ未満であった場合（Ｓ１２０：Ｎ）、この場合は、小エリアＳ内の画像に変化が少ないと考えられるため、最適エリア判定部７８は、小エリアＳを最適エリアとして判定する（Ｓ１２０Ｎ）。

注目画素データがＧ成分であるときの動作では、ＮＲ実施判定部７９が、Ｓ１００ＮやＳ１２０Ｎにおいて最適エリアが判定された後、ＮＲ処理を実施すべきか否かの判定を行っている。しかし、低輝度部分での偽色・色ノイズは大部分がＲ成分及びＢ成分に起因しているため、又、Ｇ成分とのバランスをとるため、できうる限りＮＲ処理を行った方が良い。又、Ｒ成分又はＢ成分がＧ成分ほど解像に寄与しないため、ＮＲ処理による画質劣化もそれほど大きくない。このような理由から、ＮＲ実施判定部７９は、Ｓ１００ＮやＳ１２０Ｎにおいて最適エリアが判定された後は、ＮＲ処理をすべきと判定する。これにより、最適エリアの決定後はＮＲ処理が必ず行われ（Ｓ６０）、出力部７６からはＮＲ処理後の注目画素データが出力される。

Ｓ１２０において、小エリアＳに含まれるＲ成分又はＢ成分の分散と、小エリアＳに含まれるＧ成分の分散とのいずれかが閾値Ｄ，Ｅ以上であった場合（Ｓ１２０：Ｙ）、この場合は、小エリアＳ内の画像に変化が多いと考えられるため、最適エリア判定部７８は、小エリアＳを非最適エリアとして判定する。小エリアＳが非最適エリアとして判定された場合、ＮＲ実施判定部７９は、注目画素データにＮＲ処理をすべきでないと判定し、その旨をＮＲ処理部７５及び出力部７６に通知する（Ｓ１２０Ｙ）。これにより、出力部７６からは、ＮＲ処理されていない注目画素データが出力される。Ｒ成分又はＢ成分はＧ成分ほど解像に寄与せず、Ｓ１２０Ｙ以降に最適エリアの判定を行わなくとも画質を維持することが可能である。このため、注目画素データがＲ成分又はＢ成分であるときは、図１１に示すような簡単な処理で十分である。

図１１に示したような処理によれば、大エリアＬが最適エリアであるかどうかの判定を優先して行っているため、低輝度部分での偽色及び色ノイズの除去を優先的に行うことができ、画質向上につながる。又、注目画素データがＧ成分であるときよりもアルゴリズムを簡単にすることができる。

尚、図１１のＳ１００及びＳ１２０において、Ｇ成分の分散と閾値Ｅとを比較するのは、上述したように、画像の判別をよりしやすくするためであるため、必ずしも必須ではない。Ｇ成分の分散と閾値Ｅとを比較を行わない場合は、図１１のＳ１００において、大エリアＬのＲ成分又はＢ成分の分散が閾値Ｄ未満のときにＳ１００Ｎに処理を移行し、大エリアＬのＲ成分又はＢ成分の分散が閾値Ｄ以上のときにＳ１２０に処理を移行すれば良い。又、図１１のＳ１２０において、小エリアＳのＲ成分又はＢ成分の分散が閾値Ｄ未満のときにＳ１２０Ｎに処理を移行し、小エリアＳのＲ成分又はＢ成分の分散が閾値Ｄ以上のときにＳ１２０Ｙに処理を移行すれば良い。

本発明の実施形態を説明するためのデジタルカメラの要部概略構成を示す図図１に示す固体撮像素子の光電変換素子の配列例を示す図本発明の実施形態を説明するためのデジタルカメラの要部概略構成の変形例を示す図図１に示す画素データ保持部からＮＲ装置に供給される画素データを二次元状に配置したイメージ図図１に示すＮＲ装置の概略構成を示すブロック図偏差ヒストグラムを示す図小エリアＳを５行×５列、大エリアＬを１３行×１３列とし、注目画素データがＧ成分であるときのＧ成分の画素データの積算経路の一例を示す図最適エリアの分散を小さくする処理のイメージを示す図図５に示したノイズリダクション装置の動作フローを示す図図５に示すノイズリダクション装置の動作時のイメージを示す図注目画素データがＲ成分又はＢ成分である場合のノイズリダクション装置の動作フローを示す図

符号の説明

１固体撮像素子
２Ａ／Ｄ変換部
３バッファ
４前処理回路
５ＴＧ
６画素データ保持部
７ノイズリダクション装置
８信号処理部
７１平均算出部
７２二乗平均算出部
７３判別回路
７４メモリ
７５ノイズリダクション処理部
７６出力部
７７分散算出部
７８最適エリア判定部
７９ノイズリダクション実施判定部
８０ノイズ量推定部

Claims

固体撮像素子から得られるＲＡＷ画像データのノイズリダクションを行うノイズリダクション装置であって、
前記ＲＡＷ画像データの注目画素データを含む、サイズの大きい大エリアと、前記大エリアよりもサイズの小さい小エリアとを少なくとも含む複数のエリア毎に、前記エリアに含まれる前記注目画素データと同一色成分の画素データ（以下、エリア同色画素データという）の平均値を算出する平均値算出手段と、
前記平均値に基づいて、前記複数のエリア毎に、前記エリア同色画素データの分散を算出する分散算出手段と、
前記注目画素データに含まれるノイズ量を推定するノイズ量推定手段と、
前記複数のエリア毎の前記分散に基づいて、前記複数のエリアのうち、前記注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する最適エリア判定手段と、
前記最適エリアについて算出された前記平均値に、前記推定されたノイズ量に応じて前記注目画素データを近づける処理を行って、前記注目画素データのノイズリダクション処理を行うノイズリダクション処理手段とを備えるノイズリダクション装置。
請求項１記載のノイズリダクション装置であって、
前記最適エリアを判定するための判定基準となる閾値であって、前記ノイズ量に応じて決まる閾値を第一の閾値とし、
前記最適エリア判定手段は、前記複数のエリア毎の前記分散と、前記複数のエリア毎の前記平均値と、前記第一の閾値とを用いて、前記最適エリアを判定するノイズリダクション装置。
請求項１又は２記載のノイズリダクション装置であって、
前記最適エリアを利用して前記注目画素データにノイズリダクション処理を行うべきか否かを判定するための判定基準となる閾値であって、前記ノイズ量に応じて決まる閾値を第二の閾値とし、
前記最適エリアについて算出された前記分散と前記第二の閾値とを用いて、前記最適エリアを利用して前記注目画素データにノイズリダクションを行うべきか否かを判定するノイズリダクション実施判定手段と、
前記ノイズリダクション実施判定手段による判定結果に応じて、前記注目画素データ及び前記ノイズリダクション処理後の注目画素データのいずれかを出力する出力手段とを備えるノイズリダクション装置。
請求項３記載のノイズリダクション装置であって、
前記ＲＡＷ画像データが、赤色（Ｒ）成分と緑色（Ｇ）成分と青色（Ｂ）成分の画素データを含み、
前記注目画素データが前記Ｒ成分又は前記Ｂ成分であった場合、
前記最適エリア判定手段は、前記大エリアに含まれる前記Ｒ成分又は前記Ｂ成分の画素データの分散と前記第一の閾値とに基づいて、前記大エリアが前記最適エリアであるか否かを判定し、前記大エリアが前記最適エリアでないと判定した場合に、前記小エリアに含まれる前記Ｒ成分又は前記Ｂ成分の画素データの分散と前記第一の閾値とに基づいて、前記小エリアが前記最適エリアであるか否かを判定し、
前記ノイズリダクション実施判定手段は、前記大エリア又は前記小エリアが前記最適エリアと判定された場合には、前記注目画素データにノイズリダクションを行うべきと判定し、前記小エリアが前記最適エリアでないと判定された場合には、前記注目画素データにノイズリダクションを行うべきでないと判定するノイズリダクション装置。
請求項１〜４のいずれか記載のノイズリダクション装置であって、
前記ノイズ量推定手段は、階調チャートを前記固体撮像素子により撮像して得られるＲＡＷ画像データによって予め求められた、各階調の画素データに含まれるノイズ量に相当するデータに基づいて、前記注目画素データに含まれるノイズ量を推定するノイズリダクション装置。
固体撮像素子から得られるＲＡＷ画像データのノイズリダクションを行うノイズリダクション方法であって、
前記ＲＡＷ画像データの注目画素データを含む、サイズの大きい大エリアと、前記大エリアよりもサイズの小さい小エリアとを少なくとも含む複数のエリア毎に、前記エリアに含まれる前記注目画素データと同一色成分の画素データ（以下、エリア同色画素データという）の平均値を算出する平均値算出ステップと、
前記平均値に基づいて、前記複数のエリア毎に、前記エリア同色画素データの分散を算出する分散算出ステップと、
前記注目画素データに含まれるノイズ量を推定するノイズ量推定ステップと、
前記複数のエリア毎の前記分散に基づいて、前記複数のエリアのうち、前記注目画素データのノイズリダクション処理に利用するのに最適なエリアである最適エリアを判定する最適エリア判定ステップと、
前記最適エリアについて算出された前記平均値に、前記推定されたノイズ量に応じて前記注目画素データを近づける処理を行って、前記注目画素データのノイズリダクション処理を行うノイズリダクション処理ステップとを含むノイズリダクション方法。