JP2004201207A - ノイズ低減装置、撮像装置、およびノイズ低減プログラム - Google Patents

Abstract

【課題】本発明は、電子カメラの長時間露光において発生する輝点状の画像ノイズを低減する技術を提供することを目的とする。
【解決手段】本発明のノイズ低減装置は、平滑化部およびノイズ低減部を備える。この平滑化部は、ノイズ低減の対象画素について近傍に位置する複数の画素（周辺画素）の信号レベルを取得し、その周辺画素の平滑値を算出する。ノイズ低減部は、対象画素と平滑値との差分が、予め定められた所定値Ｆ（ただしＦ≧０）より大きい場合に対象画素の信号レベルを周辺画素の信号レベルに近づける。このような構成により、周辺画素の平滑値よりも所定値Ｆ以上大きな対象画素を輝点状ノイズとして検出し、その輝点状ノイズが目立たないようにノイズ低減することが可能になる。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、長時間露光で撮像された画像データからノイズを除去するノイズ低減装置、撮像装置、およびノイズ低減プログラムに関する。
【０００２】
【従来の技術】
［従来例１］
従来、撮像素子の暗電流によって、画像データに固定パターンノイズを生じることが知られている。この固定パターンノイズを除去するため、次の手順（１）〜（３）のノイズ低減処理が知られている。
【０００３】
（１）撮像素子の撮像面に被写体像を投影した状態で、所定時間Ｔだけ電荷蓄積を行い、撮像画像データを得る。この撮像画像データは、画素単位にＡ／Ｄ変換された後、画像メモリに格納される。
（２）続いて、電子カメラのシャッターを閉じた暗状態で、同様に所定時間Ｔだけ電荷蓄積を行い、ノイズデータを得る。このノイズデータは、画素単位にＡ／Ｄ変換された後、画像メモリに格納される。
（３）画像メモリに格納された『撮像画像データ』と『ノイズデータ』とを、画素単位に減算することにより、固定パターンを除去した真の画像データを得る。
このようなノイズ低減を行う従来例として、例えば、下記の特許文献１が知られている。
【０００４】
［従来例２］
また従来、空間周波数フィルタを使用して画像データのノイズを低減する技術も知られている。この種の空間周波数フィルタは、画素ごとに局所領域を設定し、その局所領域ごとに平滑値をそれぞれ求める。全画素をこれら平滑値に置き換えることにより、画像全体を平滑化し、画像データに含まれる高域ノイズを低減することができる。
【０００５】
【特許文献１】
特開２００１−１７７７６２号公報
【０００６】
【発明が解決しようとする課題】
ところで、上述した従来例１においては、次のような問題点があった。
通常、撮像素子で生成される信号レベルが限度を超えて大きくなると、その箇所の画像データが飽和する。この飽和状態の画像データから固定パターンノイズを減算しても、真の画像データを復元することはできない。逆に、飽和状態の画像データから大きな固定パターンノイズを減算することによって、画像データの信号レベルが必要以上に低下し、黒引き状のノイズを生じるケースもある。
【０００７】
さらに、上述した従来例１では、通常の撮像動作とは別に、暗状態において露光動作を再度行う必要があった。そのため、暗状態の露光時間およびその画素読み出し時間の分だけ、１回当たりの撮影の所要時間が長くなるという問題点があった。特に、長時間露光の撮影ではこの撮影所要時間が特に長くなるため、次コマの撮影をすぐに行えないなどの不都合が懸念される。
【０００８】
一方、上述した従来例２では、画像全体の高域成分（画像のディテールやエッジ）が平滑化によって損なわれ、画像全体の鮮鋭感が低下しやすいという問題点があった。
【０００９】
このような問題点に鑑みて、本発明では、信号レベルの大きなノイズ（特に輝点状ノイズ）を顕著に低減できるノイズ除去技術を提供することを目的とする。
また、本発明の別の目的は、従来例１に比べて撮影所要時間を短縮するノイズ低減技術を提供することである。
また、本発明の別の目的は、鮮鋭感低下の少ないノイズ低減技術を提供することである。
【００１０】
【課題を解決するための手段】
以下、本発明について説明する。
【００１１】
《請求項１》
請求項１のノイズ低減装置は、長時間露光で撮像された画像データのノイズを低減するノイズ低減装置であって、ノイズ低減の対象画素について近傍に位置する複数の画素（周辺画素）の信号レベルを取得し、周辺画素の信号レベルの平滑値を算出する平滑化部と、対象画素の信号レベルから平滑値を引いて得られる差分が、予め定められた所定値Ｆ（ただしＦ≧０）より大きい場合、対象画素の信号レベルを周辺画素の信号レベルに近づけるノイズ低減部とを備えたことを特徴とする。
【００１２】
上記構成では、周辺画素の平滑値よりも所定値Ｆを超えて大きな信号レベルの画素を『輝点』として検出する。
通常、点のようにみえる夜空の星であっても、撮影レンズの回折限界や撮像素子の光学的ローパスフィルタ（ＯＬＰＦ）の影響を受けるため、星の点像はわずかに広がり、複数画素分の面積として撮像される。そのため、上記のような単独の輝点は不自然であり、ノイズである確率が高い。
長時間露光において顕著に目立つノイズは、この輝点のように単独に発生する輝点状ノイズである。
【００１３】
そこで、上記構成では、検出される輝点の信号レベルを周辺画素の信号レベルに近づけることで、長時間露光において顕著に目立つ輝点状ノイズを低減する。
【００１４】
なお、この輝点の信号レベルの変更に際して、周辺画素の平滑値に置換することが好ましい。この場合、輝点が周辺画素の平均的な明るさに紛れるため、輝点状ノイズを確実に目立たなくすることができる。
【００１５】
また、周辺画素の中から対象画素に更に近い近隣画素を選択し、輝点の信号レベルをこの近隣画素の値（近隣画素が複数の場合は平滑値）に置換してもよい。この場合、より近い近隣画素に紛れるため、画像構造（エッジやディテール）の崩れをなるべく小さく抑えることができる。
【００１６】
《請求項２》
請求項２のノイズ低減装置は、請求項１に記載のノイズ低減装置において、ノイズ低減部は、予め定められた閾値ＫＬよりも平滑値が大きい場合に、対象画素の信号レベルを変更しない。
【００１７】
通常、輝点状ノイズの周囲がある程度明るければ、輝点状ノイズは目立たない。そのため、上記のように、対象画素の周辺が明るいと判断した場合に輝点状ノイズの検出または除去を実施しなかったとしても、視覚的なノイズ感はさほど悪化しない。むしろ、画像の明領域において、エッジやディテールを損なうおそれがなくなるという優れた長所がある。
【００１８】
このように明領域においてエッジやディテールを損なう心配がないので、暗領域における輝点状ノイズの除去効果を一段と高めることもできる。このことによる効果は顕著であり、例えば、明領域における誤判別を恐れずに、所定値Ｆを小さく設定することが可能になる。この場合、暗い箇所に発生する輝点状ノイズの大部分を見逃すことがなくなる。また例えば、明領域におけるエッジ等の破綻を恐れずに、暗領域の輝点状ノイズを周辺画素の信号レベルに大胆に近づけることが可能になる。この場合、暗い箇所の輝点状ノイズを暗く目立たないようにすることができる。
【００１９】
《請求項３》
請求項３のノイズ低減装置は、請求項１ないし請求項２のいずれか１項に記載のノイズ低減装置において、平滑化部が、周辺画素の信号レベルの中から、最大値および／または最小値を除いた上で、平滑値を算出する。
【００２０】
一般に、輝度変化を激しく生じている領域では、周辺画素の平滑値が特定画素の極端な信号レベルに引きずられるため変動しやすい。その結果、輝点状ノイズを誤判別したり、見逃す可能性が高くなる。
【００２１】
そこで、上記構成では、周辺画素の信号レベルから最大値および／または最小値を除いた上で、平滑値を算出する。
例えば、『最大値』を除いて平滑値を算出した場合には、平滑値が不自然に大きく変化することがなくなり、輝点状ノイズを見逃すことが少なくなる。
一方、『最小値』を除いて平滑値を算出した場合には、平滑値が不自然に小さく変化することがなくなり、正常な対象画素を輝点状ノイズと誤判別することが少なくなる。
【００２２】
《請求項４》
請求項４のノイズ低減装置は、請求項１ないし請求項３のいずれか１項に記載のノイズ低減装置において、ノイズ低減部は、対象画素の信号レベルから平滑値を引いて得られる差分が、予め定められた所定値Ｇ（ただしＧ＞Ｆ）以下の場合、対象画素の信号レベルを平滑値に置換し、差分が所定値Ｇよりも大きい場合、周辺画素の中から対象画素により近い近隣画素を選択し、近隣画素の信号レベル（近隣画素が複数の場合はその平滑値）を用いて、対象画素の信号レベルを置換することを特徴とする。
【００２３】
上記構成では、所定値Ｇを閾値として、輝点の信号レベルが平滑値に対して顕著に大きいか否かを判定する。
【００２４】
ここで、輝点の信号レベルが比較的小さい場合、輝点の信号レベルを周辺画素の平滑値に置換する。この場合、輝点状ノイズは周辺画素の信号レベルに紛れ、確実に目立たなくなる。
【００２５】
一方、輝点の信号レベルが顕著に大きい場合、周辺画素の中から対象画素に一段と近い近隣画素を選択し、輝点の信号レベルをこの近隣画素の値（近隣画素が複数の場合は平滑値）に置換する。この場合、より近い近隣画素に紛れるため、画像構造（エッジやディテール）の崩れをなるべく小さく抑えることが可能になる。
このように、輝点の信号レベルを段階的に判定してノイズの置換値を切り換えることにより、画像破綻のおそれが少ないノイズ低減処理が実現する。
【００２６】
《請求項５》
請求項５のノイズ低減装置は、請求項１ないし請求項４のいずれか１項に記載のノイズ低減装置において、ノイズ低減部は、画像データを撮像した際の露光時間が長くなるに従って、所定値Ｆの値を小さく変更することを特徴とする。
【００２７】
一般に、露光時間が長くなるほど、画像データに出現する輝点状ノイズが増加する。そこで、上記構成では、露光時間が長くなるに従って、所定値Ｆの値を小さく変更する。その結果、長時間露光に従って増加する輝点状ノイズを見逃すことなく、確実に検出することが可能になる。
【００２８】
《請求項６》
請求項６のノイズ低減装置は、請求項１ないし請求項５のいずれか１項に記載のノイズ低減装置において、平滑化部およびノイズ低減部が処理する画像データは、色補間未処理の画像データであることを特徴とする。
【００２９】
一般に、色補間処理済みの画像データでは、輝点状ノイズが補間処理により周囲画素に波及し、複数画素分の面積に広がる。この状態では、上述したような輝点状ノイズの検出が困難になる。また、周囲画素に広がった輝点状ノイズを低減することは更に難しい。
そこで、上記構成では、色補間未処理の画像データにおいて輝点検出を実施する。その結果、輝点状ノイズをより確実に検出して、適切に低減することが可能になる。
【００３０】
《請求項７》
請求項７の撮像装置は、被写体像を撮像して画像データを生成する撮像部と、請求項１ないし請求項６のいずれか１項に記載のノイズ低減装置とを備え、ノイズ低減装置は、撮像部の露光時間が、予め定められた時間を超えた場合に、撮像部で生成された画像データのノイズを除去することを特徴とする。
【００３１】
《請求項８》
請求項８のノイズ低減プログラムは、コンピュータを、請求項１ないし請求項６のいずれか１項に記載の前記平滑化部および前記ノイズ低減部として機能させることを特徴とする。
【００３２】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【００３３】
《第１の実施形態》
第１の実施形態は、請求項１，２，６，７に対応する実施形態である。
図１は、第１の実施形態における電子カメラ１１の構成を示す図である。まず、この図１を用いて、電子カメラ１１の概略説明を行う。
図１に示すように、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３が配置される。この撮像素子１３の撮像面には、画素単位にＲＧＢの色フィルタをベイヤー配列した色フィルタアレイ（不図示）が設けられる。
【００３４】
この撮像素子１３において生成された画像データは、Ａ／Ｄ変換部１５を介して１２ｂｉｔ階調にデジタル化された後、信号処理部１６に与えられる。信号処理部１６は、この画像データに対して、黒レベル補正や欠陥画素補正などの信号処理を実行する。信号処理された画像データは、バッファメモリ１７に一時記憶される。このバッファメモリ１７は、バス１８に接続される。このバス１８には、画像処理部１９、記録部２０、およびマイクロプロセッサ２２などが接続される。
【００３５】
画像処理部１９は、バッファメモリ１７内の画像データに対して、ノイズ低減処理、色補間処理の順番に画像処理を実行する。このような画像処理部１９は、ハードウェアの信号処理エンジンによって実現してもよいし、マイクロプロセッサなどのソフトウェア動作によって実現してもよい。
記録部２０は、画像処理を完了した画像データを、バッファメモリ１７から読み出し、メモリカード２１に圧縮記録する。
マイクロプロセッサ２２は、電子カメラ１１のシステム制御を実施する。
また、電子カメラ１１には、各種のモード設定やレリーズ操作を行うためのスイッチ群２２ａ等が設けられる。これらスイッチ群２２ａによって検知された操作入力は、マイクロプロセッサ２２に入力される。
【００３６】
［発明との対応関係］
以下、発明と第１の実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の平滑部は、画像処理部１９の『ノイズ低減の対象画素の近傍に位置する複数の周辺画素について、平滑値を算出する機能』に対応する。
請求項記載のノイズ低減部は、画像処理部１９の『周辺画素の平滑値よりも所定値Ｆを超えて大きな対象画素を輝点状ノイズとして検出し、その輝点状ノイズの信号レベルを平滑値に置換する機能』に対応する。
請求項記載の撮像部は、撮像素子１３およびＡ／Ｄ変換部１５に対応する。
請求項記載の撮像装置は、電子カメラ１１に対応する。
【００３７】
［第１の実施形態におけるノイズ低減処理］
図２は、第１の実施形態におけるノイズ低減処理を説明する流れ図である。
以下、図２を用いて、本発明の特徴である電子カメラ１１のノイズ低減処理について説明する。
【００３８】
ステップＳ０： 画像処理部１９は、マイクロプロセッサ２２から画像データの撮影時の露出情報を取得する。画像処理部１９は、この露出情報に基づいて、画像データの露光時間が閾値Ｔｋ以上か否かを判定する。
ここで、画像データの露光時間が閾値Ｔｋ以上である場合、画像処理部１９は長時間露光であると判断し、ステップＳ１以降のノイズ低減処理を開始する。
一方、画像データの露光時間が閾値Ｔｋ未満である場合、画像処理部１９は長時間露光でないと判断し、ステップＳ１以降のノイズ低減処理を省略する。
なお、この閾値Ｔｋは、輝点状ノイズが目立ち始める露光時間に設定することが好ましい。
【００３９】
ステップＳ１： 画像処理部１９は、垂直方向の画素位置を示す変数ｊをゼロに初期化する。
【００４０】
ステップＳ２： 画像処理部１９は、水平方向の画素位置を示す変数ｉをゼロに初期化する。
【００４１】
ステップＳ３： 画像処理部１９は、変数ｉ，ｊがいずれも２以上であれば、ステップＳ４に動作を移行する。
一方、変数ｉ，ｊのいずれかが２未満の場合、ノイズ低減の対象画素は、画面上の上端近傍または左端近傍に位置する。この場合、その対象画素の近傍に、後述する５画素×５画素分の周辺画素の領域を確保できない。そこで、画像処理部１９は、その対象画素のノイズ低減を行わず、ステップＳ８に動作を移行する。
【００４２】
ステップＳ４： 画像処理部１９は、画素位置(ｉ,ｊ)の対象画素Ｐ(ｉ,ｊ)の近傍に、下記のような５画素×５画素分の近傍領域を設定する。

本実施形態では、この５画素×５画素の近傍領域から、対象画素Ｐ(ｉ,ｊ)に近い順に同色画素を８個選択して周辺画素として使用する。
画像処理部１９は、これらの周辺画素を平均化して平滑値Ｐave(ｉ,ｊ)を求める。
すなわち、中央に位置する対象画素Ｐ(ｉ,ｊ)がＲ色またはＢ色の場合、平滑値Ｐave(ｉ,ｊ)は、下式のようになる。
Pave(i,j)=[P(i-2,j-2)+P(i,j-2)+P(i+2,j-2)+P(i-2,j)+P(i+2,j)+P(i-2,j+2)+P(i,j+2)+P(i+2,j+2)]/8 ・・・（１）
一方、中央に位置する対象画素Ｐ(ｉ,ｊ)がＧ色の場合、平滑値Ｐave(ｉ,ｊ)は、下式のようになる。
Pave(i,j)=[P(i,j-2)+P(i-1,j-1)+P(i+1,j-1)+P(i-2,j)+P(i+2,j)+P(i-1,j+1)+P(i+1,j+1)+P(i,j+2)]/8 ・・・（２）
【００４３】
ステップＳ５： 画像処理部１９は、この平滑値Ｐave(ｉ,ｊ)が、閾値ＫＬ未満か否かを判定する。
平滑値Ｐave(ｉ,ｊ)が閾値ＫＬ未満の場合、画像処理部１９はステップＳ６に動作を移行する。
一方、平滑値Ｐave(ｉ,ｊ)が閾値ＫＬ以上の場合、対象画素に１画素単位の微小な輝点状ノイズが発生しても周囲の明るさに紛れてさほど目立たないと推測される。そのため、画像処理部１９は、この対象画素に対するノイズ低減を省き、ステップＳ８に動作を移行する。
なお、ここでの閾値ＫＬは、輝点状ノイズが目立ち始める周辺画素の信号レベルに合わせて設定することが好ましく、例えば、画像の主観評価実験に基づいて決定することが好ましい。ちなみに、本実施形態では、１２ビット階調の画像データにおいて閾値ＫＬを『３００』程度の値に設定する。
【００４４】
ステップＳ６： 画像処理部１９は、対象画素Ｐ(ｉ,ｊ)から平滑値Ｐave(ｉ,ｊ)を引き算することによって差分を求め、この差分が所定値Ｆ以上か否かを判定する。
上記の差分が所定値Ｆ以上である場合、画像処理部１９は、ステップＳ７に動作を移行する。
一方、上記の差分が所定値Ｆ未満の場合、対象画素Ｐ(ｉ,ｊ)と周辺画素との差分は小さく、対象画素Ｐ(ｉ,ｊ)の信号レベルは正常であると判断できる。そのため、画像処理部１９は、この対象画素に対するノイズ低減を行わず、ステップＳ８に動作を移行する。
なお、この所定値Ｆは、輝点状ノイズと正常画素とを弁別する値に設定すればよい。例えば、種々のテスト画像において、所定値Ｆをずらしながら、正常画素を輝点状ノイズと誤判別する確率を統計的に求め、この誤判別する確率が許容できる範囲に収まるように所定値Ｆを設定すれぱよい。ちなみに、本実施形態では、１２ビット階調の画像データにおいて所定値Ｆを『１００』程度の値に設定する。
【００４５】
ステップＳ７： 画像処理部１９は、対象画素Ｐ(ｉ,ｊ)の信号レベルを、平滑値Ｐave(ｉ,ｊ)に置き換える。
【００４６】
ステップＳ８： 画像処理部１９は、ノイズ低減の対象画素を右に１つずらすため、水平方向の画素位置を示す変数ｉを１だけ増やす。
【００４７】
ステップＳ９： 画像処理部１９は、変数ｉが（ｎ−２）未満か否かを判定する。なお、ｎは画像データの水平画素数である。
ここで、変数ｉが（ｎ−２）未満であれば、画像処理部１９はステップＳ３に動作を戻し、次の対象画素に対するノイズ低減処理を実施する。
一方、変数ｉが（ｎ−２）以上であれば、次の対象画素は画像の右端近傍に位置する。この場合、対象画素の近傍に、５画素×５画素分の周辺画素の領域を確保できない。そこで、画像処理部１９は、その対象画素のノイズ低減を行わず、ステップＳ１０に動作を移行する。
【００４８】
ステップＳ１０： 画像処理部１９は、ノイズ低減の対象画素を下に１つずらすため、垂直方向の画素位置を示す変数ｊを１だけ増やす。
【００４９】
ステップＳ１１： 画像処理部１９は、変数ｊが（ｍ−２）未満か否かを判定する。なお、ｍは画像データの垂直画素数である。
ここで、変数ｊが（ｍ−２）未満であれば、画像処理部１９はステップＳ２に動作を戻し、次の対象画素に対するノイズ低減処理を実施する。
一方、変数ｊが（ｍ−２）以上であれば、次の対象画素は画像の下側近傍に位置する。この場合、対象画素の近傍に、５画素×５画素分の周辺画素の領域を確保できない。そこで、画像処理部１９は、画像データのノイズ低減処理を終了する。
【００５０】
［第１の実施形態の効果など］
以上説明したように、第１の実施形態では、長時間露光時に暗い箇所に発生する輝点状ノイズを適切に検出し、確実に除去することが可能になる。
特に、第１の実施形態では、検出される輝点状ノイズを、周辺画素の平滑値に置換している。そのため、輝点状ノイズが周辺画素の平均的な明るさに紛れることになり、輝点状ノイズを確実に目立たなくすることができる。
【００５１】
また、第１の実施形態では、周辺画素の平滑値Ｐave(ｉ,ｊ)が閾値ＫＬ以上となる画像領域では、輝点状ノイズの低減処理を省く。通常、輝点状ノイズの周囲がある程度明るければ、輝点状ノイズはさほど目立たない。そのため、明るい画像領域において輝点状ノイズの低減処理を省いても、視覚的なノイズ感は殆ど悪化しない。
【００５２】
逆に、明るい画像領域においてノイズ低減処理の副作用（エッジやディテールの損失など）が生じないので、暗い画像領域における輝点状ノイズの除去効果を一段と高めることが可能になる。その結果、暗い画像領域に発生する輝点状ノイズをほぼ確実に除去することが可能になる。
【００５３】
さらに、第１の実施形態では、色補間未処理の画像データについて、上述したノイズ低減処理を実施する。そのため、輝点状ノイズが色補間処理を経て周辺画素に波及する前に、輝点状ノイズを除去することが可能になる。その上、輝点状ノイズが周辺画素に波及していないため、より確実に輝点状ノイズを検出して除去することができる。
【００５４】
また、第１の実施形態では、閾値Ｔｋ以上の長時間露光に限って、上述したノイズ低減処理を実施する。そのため、輝点状ノイズが目立って発生する長時間露光において、その輝点状ノイズを確実に除去することができる。逆に、輝点状ノイズが殆ど発生しない通常撮影では、上述したノイズ低減処理を省くことにより、このノイズ低減処理に伴う僅かなエッジ等の崩れを防止することができる。
次に、別の実施形態について説明する。
【００５５】
《第２の実施形態》
第２の実施形態は、請求項１〜７に対応する実施形態である。なお、第２の実施形態の構成は、第１の実施形態（図１）と同様であるため、ここでの構成説明を省略する。
【００５６】
［第２の実施形態におけるノイズ低減処理］
図３は、第２の実施形態におけるノイズ低減処理を説明する流れ図である。
以下、図２を用いて、本発明の特徴である電子カメラ１１のノイズ低減処理について説明する。
【００５７】
ステップＳ２０〜Ｓ２３： 第１の実施形態のステップＳ０〜Ｓ３と同じ。
【００５８】
ステップＳ２４： 画像処理部１９は、画素位置(ｉ,ｊ)の対象画素Ｐ(ｉ,ｊ)の近傍に、下記のような５画素×５画素分の近傍領域を設定する。

本実施形態では、この５画素×５画素の近傍領域から、対象画素Ｐ(ｉ,ｊ)に近い順に同色画素を８個選択して周辺画素として使用する。
すなわち、中央に位置する対象画素Ｐ(ｉ,ｊ)がＲ色またはＢ色の場合、周辺画素は、次の８画素となる。
P(i-2,j-2)，P(i,j-2)，P(i+2,j-2)，P(i-2,j)，P(i+2,j)，P(i-2,j+2)，P(i,j+2)，P(i+2,j+2)
一方、中央に位置する対象画素Ｐ(ｉ,ｊ)がＧ色の場合、周辺画素は、次の８素となる。
P(i,j-2)，P(i-1,j-1)，P(i+1,j-1)，P(i-2,j)，P(i+2,j)，P(i-1,j+1)，P(i+1,j+1)，P(i,j+2)
【００５９】
ステップＳ２５： 画像処理部１９は、ステップＳ２４で選択した周辺画素の中から、信号レベルが最大値および最小値を示す画素を取り除く。このような処理の後、画像処理部１９は、残った周辺画素について信号レベルの平均値を算出し、平滑値Ｐave(ｉ,ｊ)とする。
【００６０】
ステップＳ２６： 画像処理部１９は、画像データの露光時間に応じて、閾値ＫＬおよび所定値Ｆの値を設定変更する。
なお、この設定変更では、露光時間による輝点状ノイズの発生状況の変化に合わせて、閾値ＫＬおよび所定値Ｆを変更する。例えば、露光時間が長くなって輝点状ノイズが増えるに従って、閾値ＫＬを徐々に大きくし、かつ所定値Ｆを徐々に小さく設定変更することが好ましい。この場合、数の増えた輝点状ノイズを、見落とすことなく確実に検出して除去することが可能になる。
【００６１】
ステップＳ２７〜Ｓ２８： 第１の実施形態のステップＳ５〜Ｓ６と同じ。
【００６２】
ステップＳ２９： 画像処理部１９は、対象画素Ｐ(ｉ,ｊ)から平滑値Ｐave(ｉ,ｊ)を引いた差分が、所定値Ｇ以上か否かを判定する。この所定値Ｇは、対象画素Ｐ(ｉ,ｊ)の信号レベルの突出の程度を判断する閾値である。
上記の差分が所定値Ｇ以上の場合、画像処理部１９は、対象画素Ｐ（ｉ，ｊ）の信号レベルが周辺画素に比べて顕著に大きいと判断し、ステップＳ３１に動作を移行する。
一方、上記の差分が所定値Ｇ未満の場合、画像処理部１９は、ステップＳ３０に動作を移行する。
【００６３】
ステップＳ３０： 画像処理部１９は、対象画素Ｐ(ｉ,ｊ)の信号レベルを、平滑値Ｐave(ｉ,ｊ)に置き換える。この場合、置き換えに伴う対象画素Ｐ(ｉ,ｊ)のレベル変化は、上述した所定値Ｇ未満となる。そのため、対象画素(ｉ,ｊ)の信号レベルが大きく変化する心配はなく、目立つ黒引きノイズを生じる恐れは少ない。
このような動作の後、画像処理部１９はステップＳ３３に動作を移行する。
【００６４】
ステップＳ３１： 画像処理部１９は、対象画素Ｐ(ｉ,ｊ)に近い順に４つの同色画素を選択し、近隣画素とする。
すなわち、中央に位置する対象画素Ｐ(ｉ,ｊ)がＲ色またはＢ色の場合、近隣画素は、次の画素となる。
P(i,j-2)，P(i-2,j)，P(i+2,j)，P(i,j+2)
一方、中央に位置する対象画素Ｐ(ｉ,ｊ)がＧ色の場合、近隣画素は、次の画素となる。
P(i-1,j-1)，P(i+1,j-1)，P(i-1,j+1)，P(i+1,j+1)
【００６５】
ステップＳ３２： 画像処理部１９は、ステップＳ３１で選択した近隣画素について信号レベルの平均値を算出し、近隣画素の平滑値とする。画像処理部１９は、対象画素Ｐ(ｉ,ｊ)の信号レベルを、近隣画素の平滑値に置き換える。この場合、対象画素Ｐ（ｉ，ｊ）は、より近い近隣画素の平滑値に置き換えられるため、輝点状ノイズの誤判別に伴う画像破綻の可能性を極めて低く抑えることができる。
このような動作の後、画像処理部１９はステップＳ３３に動作を移行する。
【００６６】
ステップＳ３３〜Ｓ３６： 第１の実施形態のステップＳ８〜Ｓ１１と同じ。
【００６７】
［第２の実施形態の効果など］
以上説明した動作により、第２の実施形態においても第１の実施形態と同様の効果を得ることができる。
さらに、第２の実施形態では、周辺画素の信号レベルの中から、最大値および最小値を除いた上で、平滑値Ｐave(ｉ,ｊ)を算出する。そのため、最大値および最小値に引きずられて平滑値Ｐave(ｉ,ｊ)が不自然に変化することがなく、輝点状ノイズを一段と正確に判別することが可能になる。
【００６８】
また、第２の実施形態では、所定値Ｇを閾値として、対象画素Ｐ(ｉ,ｊ)の信号レベルが平滑値Ｐave(ｉ,ｊ)に対して顕著に大きいか否かを判定する。
このとき、対象画素Ｐ（ｉ，ｊ）の信号レベルが比較的小さい場合、対象画素Ｐ（ｉ，ｊ）の信号レベルを平滑値Ｐave(ｉ,ｊ)にそのまま置き換える。この場合、対象画素Ｐ（ｉ，ｊ）のレベル変化はたかだか所定値Ｇ未満となるため、誤判別に伴う画像破綻の可能性は少ない。
【００６９】
一方、対象画素Ｐ（ｉ，ｊ）の信号レベルが顕著に大きい場合、周辺画素の中から対象画素に一段と近い近隣画素を選択し、この近隣画素の平滑値に置換する。この場合、より近い近隣画素に紛れるため、画像構造（エッジやディテール）の崩れをなるべく小さく抑えることができる。
【００７０】
さらに、第２の実施形態では、露光時間が長くなるに従って、閾値ＫＬを大きく設定変更し、所定値Ｆの値を小さく設定変更する。このような設定変更により、露光時間が長くなるに従って増加する輝点状ノイズを見逃さずに除去することができる。
【００７１】
《実施形態の補足事項》
なお、上述した実施形態では、電子カメラ１１内でノイズ低減処理を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。コンピュータ上において、図２または図３に示すノイズ低減処理を実施するノイズ低減プログラム（請求項８に対応）を実行してもよい。この場合、電子カメラで生成される色補間未処理の画像データ（例えばＲＡＷデータ）を、通信媒体または記録媒体を介してコンピュータに取り込み、この色補間未処理の画像データに対してノイズ低減プログラムを実行することが好ましい。
【００７２】
また、上述した実施形態では、周辺画素の平均を求めて平滑値Ｐave(ｉ,ｊ)としている。しかしながら、本発明の平滑値は、これに限定されるものではない。例えば、周辺画素のメディアン値、最頻値、およひ対象画素との距離に応じた（例えば、距離に反比例した）重みをつけた重み付き平均値などを、平滑値としてもよい。
【００７３】
なお、上述した実施形態では、Ｇ色の対象画素に対して、Ｇ色の周辺画素および近隣画素を選択している。同様に、Ｒ色やＢ色の対象画素に対しても、同じ色の周辺画素や近隣画素を選択している。このように同色画素を周辺画素や近隣画素に選択することにより、色の偏りの強い画像データや、高彩度の画像データに対しても有効なノイズ低減効果を得ることができる。
【００７４】
しかしながら、本発明はこれに限定されるものではない。対象画素と異なる色の画素を、周辺画素や近隣画素に含めてもよい。このように異色画素を含めることにより、対象画素と周辺画素（近隣画素）の画素間隔を一段と接近させることができる。その結果、輝点状ノイズの検出や置換をより適切に実施することが可能になる。
【００７５】
ちなみに、周辺画素や近隣画素に異色画素を含める場合には、ホワイトバランス調整後の画像データについてノイズ低減処理を実施することが好ましい。この場合、ホワイトバランス調整により画像データの色の偏りが少なくなるため、異色画素と同色画素との信号レベル差が小さくなり、輝点状ノイズの検出や置換を更に確実に行うことが可能になる。
【００７６】
また、上述のように周辺画素や近隣画素に異色画素を含める場合、低彩度の画像データほど異色画素と同色画素の信号レベル差が小さく、輝点状ノイズの検出や置換を行う際の弊害が少ない。そこで、画像データの彩度を判別することにより、低彩度の画像データ（または低彩度の画面領域）に限って、周辺画素や近隣画素に異色画素を含めるようにしてもよい。
【００７７】
なお、上述した実施形態では、輝点状ノイズと判断した対象画素を、平滑値などに置換している。しかしながら、本発明はこれに限定されるものではない。一般的には、対象画素の信号レベルを周辺画素の信号レベルに近づける方向に引き下げることによって、輝点状ノイズを低減することができる。
【００７８】
また、上述した実施形態では、対象画素の近傍の８画素分を周辺画素に選択し、さらに対象画素の最近傍の４画素分を近隣画素に選択している。しかしながら、本発明はこれに限定されるものではない。このような周辺画素や近隣画素の個数（すなわち範囲）は、画像データの撮像時の解像度や、プリンターやモニタその他の画像出力装置における画像データの出力サイズに応じて変更することが好ましい。例えば、撮像時の解像度が高いほど、画素間隔が接近するため、周辺画素や近隣画素の個数を増やすことが好ましい。また、画像データの出力サイズが大きくなるに従って、画素間隔が開くため、周辺画素や近隣画素の個数を減らすことが好ましい。
【００７９】
【発明の効果】
上述したように、本発明では、『対象画素の信号レベル』と『周辺画素の平滑値』とをレベル比較することにより、画像データ中の輝点を検出する。続いて、本発明は、このように検出される輝点の信号レベルを周辺画素の信号レベルに近づける。その結果、長時間露光において発生する輝点状ノイズを視覚的に低減することが可能になる。
【００８０】
このように、本発明では、信号レベルの大きな輝点について顕著なノイズ低減効果を得ることができる。そのため、本発明では、従来例１では従来解決できなかった信号レベルの大きなノイズを確実に低減することが可能になる。
また、本発明では、従来例１のように暗状態の露光動作等が不要となるため、一回の撮影に所要する時間を従来例１よりも短縮することが可能になる。
【００８１】
さらに、本発明では、輝点の信号レベルを変更するため、輝点以外の画像の大部分は殆ど損なわれない。そのため、従来例２では従来解決できなかった鮮鋭感低下という弊害が極めて少ない。
【００８２】
以上説明した効果により、本発明では、長時間露光された画像データの輝点状ノイズを有効に低減することができる。
【図面の簡単な説明】
【図１】第１の実施形態における電子カメラ１１の構成を示す図である。
【図２】第１の実施形態におけるノイズ低減処理を説明する流れ図である。
【図３】第２の実施形態におけるノイズ低減処理を説明する流れ図である。
【符号の説明】
１１ 電子カメラ
１２ 撮影レンズ
１３ 撮像素子
１５ Ａ／Ｄ変換部
１６ 信号処理部
１７ バッファメモリ
１９ 画像処理部
２０ 記録部
２２ マイクロプロセッサ

Claims (8)

1. 長時間露光で撮像された画像データのノイズを低減するノイズ低減装置であって、
   ノイズ低減の対象画素の近傍に位置する複数の画素（周辺画素）の信号レベルを取得し、前記周辺画素の信号レベルの平滑値を算出する平滑化部と、
   前記対象画素の信号レベルから前記平滑値を引いて得られる差分が、予め定められた所定値Ｆ（ただしＦ≧０）より大きい場合、前記対象画素の信号レベルを前記周辺画素の信号レベルに近づけるノイズ低減部と
   を備えたことを特徴とするノイズ低減装置。
2. 請求項１に記載のノイズ低減装置において、
   前記ノイズ低減部は、
   前記平滑値が、予め定められた閾値ＫＬよりも大きい場合、前記対象画素の信号レベルを変更しない
   ことを特徴とするノイズ低減装置。
3. 請求項１ないし請求項２のいずれか１項に記載のノイズ低減装置において、
   前記平滑化部は、前記周辺画素の信号レベルの中から、最大値および／または最小値を除いた上で、前記平滑値を算出する
   ことを特徴とするノイズ低減装置。
4. 請求項１ないし請求項３のいずれか１項に記載のノイズ低減装置において、
   前記ノイズ低減部は、
   前記対象画素の信号レベルから前記平滑値を引いて得られる差分が、予め定められた所定値Ｇ（ただしＧ＞Ｆ）以下の場合、前記対象画素の信号レベルを前記平滑値に置換し、
   前記差分が所定値Ｇよりも大きい場合、前記周辺画素の中から前記対象画素により近い近隣画素を選択し、前記近隣画素の信号レベルまたはその平滑値を用いて、前記対象画素の信号レベルを置換する
   ことを特徴とするノイズ低減装置。
5. 請求項１ないし請求項４のいずれか１項に記載のノイズ低減装置において、
   前記ノイズ低減部は、前記画像データを撮像した際の露光時間が長くなるに従って、所定値Ｆの値を小さく変更する
   ことを特徴とするノイズ低減装置。
6. 請求項１ないし請求項５のいずれか１項に記載のノイズ低減装置において、
   前記平滑化部および前記ノイズ低減部が処理する前記画像データは、色補間未処理の画像データである
   ことを特徴とするノイズ低減装置。
7. 被写体像を撮像して画像データを生成する撮像部と、
   請求項１ないし請求項６のいずれか１項に記載のノイズ低減装置とを備え、
   前記ノイズ低減装置は、前記撮像部の露光時間が、予め定められた時間を超えた場合に、前記撮像部で生成された前記画像データのノイズを除去する
   ことを特徴とする撮像装置。
8. コンピュータを、請求項１ないし請求項６のいずれか１項に記載の前記平滑化部および前記ノイズ低減部として機能させるためのノイズ低減プログラム。

Images