JP2004005424A

JP2004005424A - 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法

Info

Publication number: JP2004005424A
Application number: JP2003030577A
Authority: JP
Inventors: Yutaka Tsuda; 津田　豊
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2002-02-07
Filing date: 2003-02-07
Publication date: 2004-01-08
Anticipated expiration: 2023-02-07
Also published as: JP4337356B2

Abstract

【課題】本発明は、固定パターンノイズを的確に除去し、かつ新たなノイズを発生しにくいノイズ除去技術を提供することを目的とする。
【解決手段】本発明は、画像ノイズ除去用の信号処理装置であって、被写界を撮影した第１画像データを記録する第１記憶部と、異なる受光条件下で撮影された第２画像データを記録する第２記憶部と、前記第１画像データと前記第２画像データとを読み出して演算処理する処理部とを備える。特に、処理部は、前記撮像素子のノイズ状況を画素毎に判別し、前記ノイズ状況に応じて、前記第１画像データの出力値を前記第１画像データの同色近接画素の出力値に置き換える置換処理と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理とを画素単位に切り換える。
【選択図】　　　　図３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号のノイズを低減する信号処理装置、信号処理プログラム、および信号処理方法に関する。
【０００２】
【従来の技術】
従来、画像データのノイズ除去方法として次の２種類の方法が知られている。第１の方法は、メディアンフィルタにより特異点を平滑化する方法である。具体的には、局所領域中の濃度のメディアン値を出力濃度として与える方法である。例えば、３×３の領域を用いた場合、９個の濃度値を小さい順に並べ、メディアン値である小さい方から５番目の濃度値を求めればよい。このようなメディアンフィルタを画像データに施すことにより、輝点状や黒点状のノイズを特異点として画像データから除去可能となる。
【０００３】
第２の方法は、被写界画像から固定パターンノイズ画像を画素単位に減算する方法である。この被写界画像は、被写体を撮像素子で撮影して得られる画像データである。一方、固定パターンノイズ画像は、暗黒状態などの受光環境下において、撮影素子から出力されるノイズのみの画像データである。この減算処理により、被写体画像中の固定パターンノイズを同相除去し、固定パターンノイズの除去された画像データを得ることができる。
【０００４】
以下、この第２の方法を、数式で説明する。
Ｓ（ｍ）：被写界画像の各画素の信号レベル
Ｓｏ（ｍ）：真の各画素の信号レベル
Ｎ（ｍ）：各画素のノイズレベル
ｍ：画素の番号
とすると、
Ｓ（ｍ）＝Ｓｏ（ｍ）＋Ｎ（ｍ）
と表すことができる。
【０００５】
また、ノイズレベルの内訳は、
Ｎ（ｍ）＝Ｎｒ（ｍ）＋Ｎｆ（ｍ）
Ｎｒ（ｍ）：ランダムノイズ
Ｎｆ（ｍ）：固定パターンノイズ
となる。
一般に、撮像素子の露光時間ｔが長くなるほど、固定パターンノイズは大きくなる。そのため、長時間露光では、Ｎｆ≫Ｎｒとなり、固定パターンノイズが支配的となる。このような場合、被写界画像から固体パターン画像を減算すると、
Ｓ０（ｍ）≒Ｓ（ｍ）−Ｎｆ（ｍ）
となる。すなわち、真の画素値に近い画像データを得ることができる。
【０００６】
従来、その他のノイズ除去技術として、下記の特許文献１が知られている。この特許文献１の従来装置は、固定パターンノイズ画像の画素値をレベル判定することによって、白キズ欠陥を検出する。一方、被写体画像の画素値をレベル判定することによって、飽和画素を検出する。この従来装置は、このような画素単位のノイズ状況判別に基づいて『白キズ』かつ『非飽和』の画素を選別し、選別した画素に限って上述した減算処理を実施する。
【０００７】
【特許文献１】
特開２００１−９４８８２（図１０のＳ５０，Ｓ５２）
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した第１および第２の固定パターンノイズの除去方法では、固定パターンノイズをある程度除去することが可能であるが、次に挙げるような問題があった。
【０００９】
第１の方法では、膨大な画素数の一つ一つについて、局所領域内の複数の画素値を参照しつつ、メディアン値を求める必要がある。そのため、処理時間が膨大になる、或いは専用のハードウェアを用意しなければならないといった問題が生じる。
また、第１の方法では、全画素について、メディアン値との置換処理を実施するため、補間ミスが発生しやすく、偽色や偽パターンなどの弊害を生じやすい。
【００１０】
一方、第２の方法では、画素単位の単純な減算処理であるため、特別なハードウェアを用意することなく簡単に演算処理することができる。しかしながら、固定パターンノイズレベルが画像信号レベルと同程度になる場合には、固定パターンノイズを十分に取り除くことができないという問題があった。
【００１１】
さらに、特許文献１では、飽和画素に発生する白キズ欠陥に対して、ノイズ除去が有効に行われない。通常、白キズ欠陥の箇所は、白キズのノイズレベルが重畳するため、飽和画素となる可能性が高い。そのため、飽和画素のノイズ除去を単に禁止したのでは、白キズ欠陥が除去されずに多数残存ずるなどの支障を生じやすい。
本発明は、上述した問題に鑑みて、固定パターンノイズを的確に除去し、かつ新たなノイズを発生しにくいノイズ除去技術を提供することを目的とする。
【００１２】
【課題を解決するための手段】
以下、本発明について説明する。
【００１３】
（１）　本発明は、画像ノイズ除去用の信号処理装置であって、第１記憶部、第２記憶部、および処理部を備える。
この第１処理部は、被写界からの光を撮像素子に受光して得られた第１画像データを記録する。第２処理部は、第１画像データとは異なる受光条件下で、撮像素子から得られた第２画像データを記録する。処理部は、第１記憶部に記録された第１画像データと第２記憶部に記録された第２画像データとを読み出して演算処理する。
特に、この処理部は、撮像素子のノイズ状況を画素毎に判別し、ノイズ状況に応じて画素単位に置換処理と減算処理とを切り換えて実行する。
この置換処理では、第１画像データの出力値が、第１画像データの同色近接画素の出力値によって置き換えられる。
一方、減算処理では、第１画像データの出力値から第２画像データの出力値が減算される。
【００１４】
（２）　なお好ましくは、第２画像データは、撮像素子で暗黒を撮影することにより作成されたノイズデータである。
【００１５】
（３）　また好ましくは、処理部は、第２画像データの出力値に応じて、撮像素子のノイズ状況を画素毎に判別する。
【００１６】
（４）　なお好ましくは、置換処理と減算処理の場合分けの条件は、第２画像データの出力値が閾値を超えるか否かである。すなわち、閾値を超えるノイズ状況では、置換処理を選択的に実施することが好ましい。一方、閾値以下であるノイズ状況の場合には減算処理を選択的に実施することが好ましい。
【００１７】
（５）　また好ましくは、置換処理は、複数の同色近接画素について、平均値およびメディアン値からなる群の少なくとも一つを算出し、算出された値で第１画像データの出力値を置換する処理である。
【００１８】
（６）　なお好ましくは、置換処理は、同色近接画素が処理済みであるときには、この処理済みの値で第１画像データの出力値を置換する処理である。
【００１９】
（７）　また好ましくは、処理部は、第１画像データと第２画像データとの差分に応じて、撮像素子のノイズ状況を画素毎に判別する。
【００２０】
（８）　なお好ましくは、処理部は、第１画像データと第２画像データとの差分を、同色近接画素における差分を基準にして大小判定することにより、ノイズ状況を判別する。
【００２１】
（９）　また好ましくは、処理部は、第１画像データと第２画像データとの差分を、同色近接画素における差分の標準偏差を基準にして大小判定することにより、ノイズ状況を判別する。
【００２２】
（１０）　なお好ましくは、処理部は、第１画像データと第２画像データとの差分が、同色近接画素の最大差分に対応した閾値よりも大きい場合、第１画像データを最大差分に置換する。
また好ましくは、処理部は、差分が同色近接画素の最小差分に対応した閾値よりも小さい場合、第１画像データを最小差分に置換する。
さらに好ましくは、処理部は、上記２つのケースのいずれでも無い場合、第１画像データを差分に置換する。
【００２３】
（１１）　なお好ましくは、処理部は、差分が、同色近接画素の『上から二番目に大きな差分』に対応した閾値よりも大きい場合、第１画像データを『二番目に大きな差分』に置換する。
また好ましくは、処理部は、差分が同色近接画素の『下から二番目に小さな差分』に対応した閾値よりも小さい場合、第１画像データをこの『二番目に小さな差分』に置換する。
さらに好ましくは、処理部は、上記２つのケースのいずれでも無い場合、第１画像データを差分に置換する。
【００２４】
（１２）　なお好ましくは、処理部は、差分が所定の閾値よりも大きい場合、第１画像データを差分に置換する。
また好ましくは、処理部は差分が所定の閾値よりも小さい場合、同色近接画素の差分について、平均値およびメディアン値からなる群のいずれか一つを算出し、算出された値で第１画像データを置換する。
【００２５】
（１３）　本発明の信号処理プログラムは、コンピュータを、上記（１）に記載の第１記憶部、第２記憶部、および処理部として機能させる。
【００２６】
（１４）　本発明の信号処理方法は、画像データのノイズを除去する信号処理方法であって、被写界からの光を撮像素子に受光して得られた第１画像データを記録するステップと、第１画像データとは異なる受光条件下で、撮像素子から得られた第２画像データを記録するステップと、第１記憶部に記録された第１画像データと第２記憶部に記録された第２画像データとを読み出して演算処理するステップとを有する。特に、演算処理するステップでは、撮像素子のノイズ状況を画素毎に判別し、そのノイズ状況に応じて置換処理と減算処理とを画素単位に切り換えて実行する。すなわち、この置換処理では、第１画像データの出力値が、第１画像データの同色近接画素の出力値によって置き換えられる。また、減算処理では、第１画像データの出力値から第２画像データの出力値が減算される。
【００２７】
【発明の実施の形態】
以下、本発明の実施形態を、図面を用いて詳細に説明する。
【００２８】
（第１の実施形態）
図１は、デジタルカメラに内蔵される信号処理装置１を示すブロック図である。
この信号処理装置１は、被写界からの光を受光して電気信号に変換する撮像素子であるＣＣＤ３と、撮影時を決定するレリーズ釦５とを有している。また、信号処理装置１は、信号処理装置１を制御するためのプログラムを記憶したＲＯＭ７を有している。
【００２９】
また、信号処理装置１は、被写界を撮影することにより得られた第１画像データである被写界画像データを記録する第１記憶部としてのＲＡＭ９と、被写界画像データとは異なる受光条件（例えば、シャッターを閉じた暗黒状態）で撮影して得られた第２画像データである暗黒画像データを記録する第２記憶部としてのＲＡＭ１１とを有している。
【００３０】
さらに、信号処理装置１は、ＣＰＵ１３を有している。ＣＰＵ１３は、ＲＡＭ９に記録された被写界画像データとＲＡＭ１１に記録された暗黒画像データとを読み出して演算処理する処理部であり、また、その他の信号処理装置１の制御をも統括している。
そして、信号処理装置１は、ＲＡＭ９とＲＡＭ１１とのデータを用いてＣＰＵ１３で演算した結果を記憶するＲＡＭ１５と、ＲＡＭ１５からの画像信号出力１７Ｓを記憶するためのＥＥＰＲＯＭ１９とを有している。
【００３１】
次に、信号処理装置１での演算処理の概略を説明する。
この信号処理装置１の特徴点は、被写界画像データから固定パターンノイズを除去するために暗黒画像データを引き算する際に、引き過ぎることなくノイズ成分を効果的に除去することができる点にある。
そして、そのために、暗黒画像データに基づいて画素毎に、被写界画像データの出力値を同色近接画素の被写界画像データの出力値と置換する置換処理と、被写界画像データの出力値から暗黒画像データの出力値を減算する減算処理とを切り換える。
【００３２】
以下、数式を用いて具体的に説明する。
ＣＣＤ３は、図２に示すような原色のＲＧＢベイヤ配列であり、同色画素は縦、横、斜め方向に１画素飛んだ位置に配置されている。そのため、ｍライン目の画像データは、次式のように配列されている。
すなわち、第１画像データである被写界画像データＳは、
．．．，Ｂ（ｎ−３，ｍ），Ｇ（ｎ−２，ｍ），Ｂ（ｎ−１，ｍ），Ｇ（ｎ，ｍ），Ｂ（ｎ＋１，ｍ），Ｇ（ｎ＋２，ｍ），Ｂ（ｎ＋３，ｍ），．．．・・・（１）
と表される。
【００３３】
また、第２画像データである暗黒画像データＮは、
．．．，Ｂ’（ｎ−３，ｍ），Ｇ’（ｎ−２，ｍ），Ｂ’（ｎ−１，ｍ），Ｇ’（ｎ，ｍ），Ｂ’（ｎ＋１，ｍ），Ｇ’（ｎ＋２，ｍ），Ｂ’（ｎ＋３，ｍ），．．．
・・・（２）
と表される。
【００３４】
従って、固定パターンノイズＮｆを除去するために、Ｇ（ｎ，ｍ）に対してＧ’（ｎ，ｍ）を減算する際に、Ｇ’（ｎ，ｍ）がＣＣＤ３の飽和レベルに近い値の場合、真の信号レベルＳｏはクリップされている可能性が高く、そのまま減算すると差分が小さくなり、暗い点ノイズとなることが多い。
そこで、暗黒画像データの出力値が、所定の閾値Ｐを超える場合、すなわち、Ｇ’（ｎ，ｍ）＞Ｐになった場合には、当該画素を同じｍライン目の２つ前にある同色近接画素と置換する。一方、暗黒画像データの出力値が閾値Ｐ以下である場合、すなわち、Ｇ’（ｎ，ｍ）≦Ｐになった場合には、被写界画像データの出力値から暗黒画像データの出力値を減算する。
【００３５】
例えば、Ｂ’（ｎ−１，ｍ）＞Ｐ，Ｇ’（ｎ＋２，ｍ）＞Ｐであるとすると、（１）式から（２）式を減算した後のノイズ除去データＮＲは、
．．．ＮＲ（ｎ−３，ｍ），ＮＲ（ｎ−２，ｍ），Ｂ（ｎ−３，ｍ），ＮＲ（ｎ，ｍ），ＮＲ（ｎ＋１，ｍ），Ｇ（ｎ，ｍ），ＮＲ（ｎ＋３，ｍ），．．．・・・（３）
となる。
【００３６】
なお、ＣＣＤ３からの電気信号２１Ｓが不図示のＡ／Ｄ変換器によりデジタル信号に変換される際に１２ｂｉｔのデータとなる場合は、階調表現性能が４０９６階調になるので、閾値Ｐの値としては、ＣＣＤ３の飽和レベルに近い値にすることが好ましい。例えば、Ｐ＝３８００程度にする。
図３は、信号処理装置１での演算処理の流れを示す説明図である。
【００３７】
この図は、ｋ行ｐ列のベイヤ配列のＣＣＤ３を使用した場合の演算処理を示している。
先ず、レリーズ釦５が押されると、被写界画像データと暗黒画像データとがＣＣＤ３より取り込まれ、ＲＯＭ７内の演算処理プログラムが起動される。プログラムの処理ルーチンは、次のような構成になっている。
【００３８】
先ず、ステップＳ１１において、ベイヤ配列の任意の行を示す記号ｉに０が代入される。
次いで、ステップＳ１２において、ｉに１が加算される。
次いで、ステップＳ１３において、ベイヤ配列の任意の行を示す記号ｊに０が代入される。
【００３９】
次いで、ステップＳ１４において、ｊに１が加算される。
次いで、ステップＳ１５において、ｊが２より大きいか否かが判断される。ｊが２より大きいときはステップＳ１６に進む。一方、ｊが１または２のときはステップＳ２０に進み、ステップＳ２０において、Ｓ（ｉ，ｊ）からＮｆ（ｉ，ｊ）が引かれ、Ｓｏ（ｉ，ｊ）が求められる。そして、ステップＳ１９に進む。
【００４０】
ステップＳ１６では、Ｎｆ（ｉ，ｊ）が閾値Ｐより大きいか否かが判断される。Ｎｆ（ｉ，ｊ）が閾値Ｐより大きくない場合はステップＳ１７に進む。一方、Ｎｆ（ｉ，ｊ）が閾値Ｐより大きい場合はステップＳ１８に進む。
ステップＳ１７では、Ｓ（ｉ，ｊ）からＮｆ（ｉ，ｊ）が引かれ、Ｓｏ（ｉ，ｊ）が求められる。すなわち、被写界画像データの出力値から暗黒画像データの出力値が引かれる。
【００４１】
ステップＳ１８では、Ｓ（ｉ−２，ｊ）がＳｏ（ｉ，ｊ）に代入される。すなわち、現在処理中の画素の出力値として、同じ行にある２つ前の画素の出力値が代入される。
ステップＳ１９では、ｊがｋより小さいか否かが判断される。ｊがｋより小さい場合は、ステップＳ１４に戻り、ｊに１が加算され、ｊがｋより小さくない場合は、ステップＳ２１に進む。
【００４２】
ステップＳ２１では、ｉがｐより小さいか否かが判断される。ｉがｐより小さい場合は、ステップＳ１２に戻り、ｉに１が加算され、ｉがｐより小さくない場合は、全ての画素の処理が終了したことになり、演算処理を終了する。
上述した実施形態では、被写界画像データの出力値を２つ前にある同色近接画素の被写界画像データの出力値と置換する置換処理と、被写界画像データの出力値から暗黒画像データの出力値を減算する減算処理とに切り換える。このような切り換え動作により、固定パターンノイズが飽和レベル近くまで大きく、真の信号レベルを復元できないと推定される画素に対しては、置換処理が実施される。その結果、減色処理による弊害が生じず、的確に固定パターンノイズを除去することができる。ひいては、写真やモニターに映し出された画像において目立つノイズを、確実に低減できる。
【００４３】
また、上述した実施形態のデジタルカメラの信号処理装置および信号処理方法では、場合分けの条件を暗黒画像データの出力値が閾値Ｐを超えるか否か、すなわち、固定パターンノイズが真の信号レベルを復元できないほど大きいと推定されるか否かとしたので、適切な閾値Ｐを設定することで、容易かつ的確に固定パターンノイズを除去することができる。
【００４４】
なお、上述した実施形態では、閾値Ｐを超える場合に同じ行の２つ前にある画素の出力値と置換した例について説明した。しかしながら、画素の頂点を一にする対角方向の４つの近接画素から２画素〜４画素の平均値を求めて、その平均値と置換してもよい。また、いずれか１つの近接画素の出力値と置換しても良い。このような構成にすることにより、画像中のノイズをより強く抑止することができる。また、複数の近接画素の平均値と置換すれば、色の変化をよりなめらかにすることができるので、色ノイズの発生を強く抑止することができる。
また、上述した実施形態では、閾値Ｐを超える場合に近接画素の出力値と置換した例について説明したが、近接画素が演算処理済みである場合は、演算処理後の当該近接画素の出力値と置換しても良い。この場合、ノイズ除去された画素によって置換されるため、画像中のノイズをより強く抑止することができる。
【００４５】
なお、上述した実施形態では、閾値Ｐを被写界画像データから暗黒画像データを減算する際の飽和レベルに近い値にした例について説明した。しかしながら、固定パターンノイズを除去することができる値であればよい。例えば、ガンマ処理の出力に対する飽和レベルに近い値にするようにしても良い。
次に、第２の実施形態について説明する。
【００４６】
（第２の実施形態）
第２の実施形態の信号処理装置は、第１の実施形態（図１）と同じため、ここでの重複説明を省略する。
第２の実施形態では、被写界画像データの出力値と暗黒画像データの出力値との差分をＣＰＵ１３で算出し、画素毎に同色近接画素の差分の最大値および最小値を算出し、この最大値および最小値を閾値として場合分けして演算処理を行う。
【００４７】
以下、数式を用いて具体的に説明する。
任意画素の被写界画像データの出力値をＳ（ｉ，ｊ）とすると、Ｓ（ｉ，ｊ）を中心とする５×５画素の出力値の配列は、図４のように示される。
また、同様に、任意画素の暗黒画像データの出力値を固定パターンノイズの出力値Ｎｆ（ｉ，ｊ）とすると、Ｎｆ（ｉ，ｊ）を中心とする５×５画素の出力値の配列は、図５のように示される。
【００４８】
被写界画像データから暗黒画像データを減算すると、
Ｓｏ（ｉ，ｊ）＝Ｓ（ｉ，ｊ）−Ｎｆ（ｉ，ｊ）
Ｓｏ（ｉ，ｊ）：真の各画素の信号レベル
となる。
ＣＣＤ３は、図２に示すような原色のＲＧＢベイヤ配列であるため、同色画素は行方向、列方向ともに１画素飛びに配置されている。
【００４９】
そのため、Ｓ（ｉ，ｊ）がＲまたはＢ画素の場合、周辺５×５画素内の同色画素は、Ｓ（ｉ−２，ｊ−２）、Ｓ（ｉ，ｊ−２）、Ｓ（ｉ＋２，ｊ−２）、Ｓ（ｉ−２，ｊ）、Ｓ（ｉ＋２，ｊ）、Ｓ（ｉ−２，ｊ＋２）、Ｓ（ｉ，ｊ＋２）、Ｓ（ｉ＋２，ｊ＋２）に対応する画素として、８個存在する。
一方、Ｓ（ｉ，ｊ）がＧ画素の場合、周辺５×５画素内の同色画素は、Ｓ（ｉ−２，ｊ−２）、Ｓ（ｉ，ｊ−２）、Ｓ（ｉ＋２，ｊ−２）、Ｓ（ｉ−２，ｊ）、Ｓ（ｉ＋２，ｊ）、Ｓ（ｉ−２，ｊ＋２）、Ｓ（ｉ，ｊ＋２）、Ｓ（ｉ＋２，ｊ＋２）、Ｓ（ｉ−１，ｊ−１）、Ｓ（ｉ−１，ｊ＋１）、Ｓ（ｉ＋１，ｊ−１）、Ｓ（ｉ＋１，ｊ＋１）に対応する画素として、１２個存在する。
【００５０】
そして、この第２の実施形態では、被写界画像データから暗黒画像データを減算したときに、過剰に減算したり、過小に減算したりしてしまうのを防止するために、同色近接画素の真の信号レベル出力値（差分）の最大値Ｓｏｍａｘ（ｉ，ｊ）と最小値Ｓｏｍｉｎ（ｉ，ｊ）を求める。
そして、
Ｓｏ（ｉ，ｊ）＞（Ｓｏｍａｘ（ｉ，ｊ）＋Ｋ）　Ｋ：任意の定数
の場合、Ｓｏ（ｉ，ｊ）は他の画素に対し特異点（輝点ノイズ）となっている可能性が高いため、同色近接画素の最大値Ｓｏｍａｘ（ｉ，ｊ）と置換をする。
【００５１】
一方、
Ｓｏ（ｉ，ｊ）＜（Ｓｏｍｉｎ（ｉ，ｊ）＋Ｋ）　Ｋ：任意の定数
の場合、Ｓｏ（ｉ，ｊ）は他の画素に対し特異点（黒点ノイズ）となっている可能性が高いため、同色近接画素の最小値Ｓｏｍｉｎ（ｉ，ｊ）と置換をする。
また、
（Ｓｏｍｉｎ（ｉ，ｊ）＋Ｋ）≦Ｓｏ（ｉ，ｊ）≦（Ｓｏｍａｘ（ｉ，ｊ）＋Ｋ）　　Ｋ：任意の定数
の場合は、正常であると判断し、Ｓｏ（ｉ，ｊ）＝Ｓｏ（ｉ，ｊ）とし、同じ出力値を使用する。
【００５２】
図６および図７は、信号処理装置での演算処理の流れを示す説明図である。
この図は、ｋ行ｐ列のベイヤ配列のＣＣＤ３を使用した場合の演算処理を示している。
先ず、レリーズ釦５が押されると、被写界画像データと暗黒画像データとがＣＣＤ３より取り込まれ、ＲＯＭ７内の演算処理プログラムが起動される。プログラムは、次のような構成になっている。
【００５３】
先ず、ステップＳ１１０において、ベイヤ配列の任意の行を示す記号ｉに０が代入される。
次いで、ステップ１２０において、ｉに１が加算される。
次いで、ステップＳ１３０において、ベイヤ配列の任意の列を示す記号ｊに０が代入される。
【００５４】
次いで、ステップＳ１４０において、ｊに１が加算される。
次いで、ステップＳ１５０において、被写界画像データの出力値Ｓ（ｉ，ｊ）から暗黒画像データの出力値Ｎｆ（ｉ，ｊ）が減算され、真の各画素の信号レベルＳｏ（ｉ，ｊ）に代入される。
次いで、ステップＳ１６０において、ｊがｐより小さいか否かが判断される。ｊがｐより小さいときはステップＳ１４０に戻る。一方、ｊがｐより小さくないときはステップＳ１７０に進む。
【００５５】
ステップＳ１７０では、ｉがｋより小さいか否かが判断される。ｉがｋより小さいときはステップＳ１２０に戻る。一方、ｉがｋより小さくないときはステップＳ１８０に進む。
ステップＳ１８０では、ｉに１が代入される。
次いで、ステップＳ１９０において、ｉに１が加算される。
【００５６】
次いで、ステップＳ２００において、ｊに１が代入される。
次いで、ステップＳ２１０において、ｊに１が加算される。
次いで、ステップＳ２２０において、画素位置（ｉ，ｊ）の複数の近接画素において、差分Ｓｏの最大値を求めてＳｏｍａｘ（ｉ，ｊ）とする。同様に、画素位置（ｉ，ｊ）の複数の近接画素において、差分Ｓｏの最小値を求めてＳｏｍｉｎ（ｉ，ｊ）とする。
【００５７】
次いで、ステップＳ２３０において、Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きいか否かが判断される。Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きいときはステップＳ２４０に進む。一方、Ｓｏ（ｉ，ｊ）がＳｏｍａｘ（ｉ，ｊ）＋Ｋより大きくないときはステップＳ２５０に進む。
ステップＳ２４０では、Ｓｏ（ｉ，ｊ）にＳｏｍａｘ（ｉ，ｊ）が代入され、ステップＳ２５０に進む。
【００５８】
ステップＳ２５０では、Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さいか否かが判断される。Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さいときはステップＳ２６０に進む。一方、Ｓｏ（ｉ，ｊ）がＳｏｍｉｎ（ｉ，ｊ）＋Ｋより小さくないときはステップＳ２７０に進む。
ステップＳ２６０では、Ｓｏ（ｉ，ｊ）にＳｏｍｉｎ（ｉ，ｊ）が代入され、ステップＳ２７０に進む。
【００５９】
ステップＳ２７０では、ｊがｐ−２より大きいか否かが判断される。ｊがｐ−２より大きくないときはステップＳ２１０に戻る。一方、ｉがｐ−２より大きいときはステップＳ２８０に進む。
ステップＳ２８０では、ｊがｋ−２より大きいか否かが判断される。ｊがｋ−２より大きくないときはステップＳ１９に戻る。一方、ｊがｋ−２より大きいときは、全ての画素の処理が終了したことになり、演算処理を終了する。
【００６０】
この第２の実施形態では、ＲＡＭ９に記録された被写界画像データとＲＡＭ１１に記録された暗黒画像データとを読み出して差分を算出し、画素毎に閾値を決めて、信号処理の場合分けを行う。したがって、全画素を１つの閾値で場合分けする方法に比べて、高精度な補間処理を行うことができる。引いては、固定パターンノイズレベルが十分大きい場合でも、的確に固定パターンノイズを除去することができる。
【００６１】
また、上述した第２の実施形態では、同色近接画素の差分の最大値および最小値に基づいて閾値を決定するので、所定範囲からはみ出した出力値を的確に排除することができる。
さらに、上述した第２の実施形態では、固定パターンノイズが大き過ぎると推定される画素の出力値（輝点ノイズ）は、近接画素の差分の最大値と置換され、固定パターンノイズが小さ過ぎると推定される画素の出力値（黒点ノイズ）は、近接画素の差分の最小値と置換されるので、近接画素の出力値の範囲内で置換されることになり、近接画素の色に溶け込ませることが可能である。
【００６２】
（第３の実施形態）
この第３の実施形態は、最大差分Ｓｏｍａｘおよび最小差分Ｓｏｍｉｎに代えて、『二番目に大きな差分Ｓｏｍａｘ２』および『二番目に小さな差分Ｓｏｍｉｎ２』を使用する点のみが、第２の実施形態と異なる。
すなわち、ステップＳ２３０において、『二番目に大きな差分Ｓｏｍａｘ２』を基準にして、Ｓｏ（ｉ，ｊ）の大小判別を行う。このとき、Ｓｏ（ｉ，ｊ）が近接画素に比べて大き過ぎると判断されると、Ｓｏ（ｉ、ｊ）をＳｏｍａｘ２と置換する。
【００６３】
一方、ステップＳ２５０において、『二番目に小さな差分Ｓｏｍｉｎ２』を基準にして、Ｓｏ（ｉ，ｊ）の大小判別を行う。このとき、Ｓｏ（ｉ，ｊ）が近接画素に比べて小さ過ぎると判断されると、Ｓｏ（ｉ、ｊ）をＳｏｍｉｎ２と置換する。
そのため、第２の実施形態のように近接画素の出力値の最大値や最小値と置換する場合に比べ、近接画素に固定パターンノイズが発生していた場合の影響を受けにくいといった利点がある。その結果、固定パターンノイズＮｆ（ｉ，ｊ）の過小差し引きや過大差し引きを抑止することができる。
【００６４】
なお、上述した第２および第３の実施形態では、閾値を、同色近接画素の差分の最大値および最小値などに基づいて決定した例について説明したが、同色近接画素の差分の標準偏差に基づいて、Ｋの値などを決定しても良い。
また、上述した第２および第３の実施形態では、Ｇ画素における近接画素の出力値の最大値および最小値を求めるときに、１２個の近接画素の出力値を対象とした例について説明したが、Ｒ画素やＢ画素と同様に８個の近接画素の出力値を対象としても良い。
【００６５】
さらに、上述した第２および第３の実施形態では、同色近接画素の差分の最大値および最小値と置換する例や、２番目に大きい値および２番目に小さい値と置換する例について説明した。しかしながら、複数の近接画素における差分の平均値やメディアン値と置換しても良い。ここで、複数の近接画素の選択条件について、好ましい例を挙げる。
【００６６】
（１）同色近接画素の出力値の大きい方から３つの平均値と同色近接画素の出力値の小さい方から３つの平均値により行う。
【００６７】
（２）同色近接画素をいくつかのブロックに分けて平均値を求めて、出力値の変化の傾向を考慮した上で、いずれか１つのブロックの出力値を用いる。
【００６８】
（３）（２）において、ブロックの分け方を少しずつ変更しその都度平均値を求め、出力値の変化の傾向を十分に考慮した上で、いずれか１つのブロックの分け方におけるいずれか１つのブロックの出力値を用いる。
【００６９】
以上説明したように、第２および第３の実施形態では、被写界画像データ（第１画像データ）と暗黒画像データ（第２画素データ）とを読み出して処理部により差分を算出し、画素毎に閾値を決めて場合分けして信号処理をする。したがって、全画素を１つの閾値で場合分けする方法に比べて、高精度な補間処理およびノイズ除去処理を行うことができる。引いては、固定パターンノイズレベルが十分大きい場合でも、的確に固定パターンノイズを除去することができる。
【００７０】
なお、上述した実施形態では、本発明を電子カメラに適用する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明を単体の信号処理装置（ＩＣなど）として実現したり、コンピュータによって実行される信号処理プログラムとして実現してもよい。また、本発明の信号処理方法をインターネットなどを通じて画像処理サービスとして提供してもよい。
【００７１】
なお、本発明は、その精神またはその主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述した実施形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【００７２】
【発明の効果】
本発明では、撮像素子のノイズ状況を画素毎に判別し、そのノイズ状況に応じて減算処理／置換処理を画素単位に動的に切り換えることができる。したがって、同相除去により固定パターンノイズを除去できないノイズ状況に応じて、置換処理を選択的に実行することが可能になり、第１画像データ中のノイズをより確実に除去することが可能になる。特に、本発明のノイズ除去技術では、減算処理によって新たなノイズが重畳するといった事態を顕著に改善することが可能になる。
【図面の簡単な説明】
【図１】信号処理装置の一実施形態を示すブロック図である。
【図２】ＣＣＤに使用されるベイヤ配列を示す説明図である。
【図３】ＲＯＭに記憶されたプログラムの流れを示す説明図である。
【図４】被写界画像データの出力値の配列を示す説明図である。
【図５】暗黒画像データの出力値の配列を示す説明図である。
【図６】ＲＯＭに記憶されたプログラムの流れを示す説明図である。
【図７】図６のプログラムの続きを示す流れ図である。
【符号の説明】
１　信号処理装置
３　ＣＣＤ
５　レリーズ釦
７　ＲＯＭ
９　ＲＡＭ
１１　ＲＡＭ
１３　ＣＰＵ
１５　ＲＡＭ
１９　ＥＥＰＲＯＭ

Claims

画像ノイズ除去用の信号処理装置であって、
被写界からの光を撮像素子に受光して得られた第１画像データを記録する第１記憶部と、
前記第１画像データとは異なる受光条件下で、前記撮像素子から得られた第２画像データを記録する第２記憶部と、
前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理する処理部と、
を備え、
前記処理部は、前記撮像素子のノイズ状況を画素毎に判別し、前記ノイズ状況に応じて、
前記第１画像データの出力値を、前記第１画像データの同色近接画素の出力値に置き換える置換処理と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理とを、前記画素毎に場合分けして実行することを特徴とする信号処理装置。
請求項１に記載の信号処理装置において、
前記第２画像データは、前記撮像素子で暗黒を撮影することにより作成されたノイズデータである
ことを特徴とする信号処理装置。
請求項１に記載の信号処理装置において、
前記処理部は、前記第２画像データの出力値に応じて、前記撮像素子のノイズ状況を画素毎に判別する
ことを特徴とする信号処理装置。
請求項３に記載の信号処理装置において、
前記処理部は、前記第２画像データの出力値が閾値を超えるノイズ状況の場合に前記置換処理を選択的に実施し、前記閾値以下であるノイズ状況の場合には前記減算処理を選択的に実施する
ことを特徴とする信号処理装置。
請求項１に記載の信号処理装置において、
前記置換処理は、
複数の前記同色近接画素について、平均値およびメディアン値からなる群のいずれか一つを算出し、算出された値で前記第１画像データを置換する処理である
ことを特徴とする信号処理装置。
請求項１に記載の信号処理装置において、
前記置換処理は、
前記同色近接画素が処理済みであるときには、この処理済みの値で前記第１画像データを置換する処理である
ことを特徴とする信号処理装置。
請求項１に記載の信号処理装置において、
前記処理部は、前記第１画像データと前記第２画像データとの差分に応じて、前記撮像素子のノイズ状況を画素毎に判別する
ことを特徴とする信号処理装置。
請求項７に記載の信号処理装置において、
前記処理部は、前記差分を、前記同色近接画素の差分を基準に大小判定して、前記ノイズ状況を判別する
ことを特徴とする信号処理装置。
請求項７に記載の信号処理装置において、
前記処理部は、前記差分を、前記同色近接画素の差分の標準偏差を基準に大小判定することにより、前記ノイズ状況を判別する
ことを特徴とする信号処理装置。
請求項７に記載の信号処理装置において、
前記処理部は、前記差分が、前記同色近接画素の最大差分に対応する閾値よりも大きい場合、前記第１画像データを前記最大差分に置換し、
前記差分が、前記同色近接画素の最小差分に対応する閾値よりも小さい場合、前記第１画像データを前記最小差分に置換し、
そのどちらでも無い場合、前記第１画像データを前記差分に置換する
ことを特徴とする信号処理装置。
請求項７に記載の信号処理装置において、
前記処理部は、
前記差分が、前記同色近接画素の『二番目に大きな差分』に対応する閾値よりも大きい場合、前記第１画像データを前記『二番目に大きな差分』に置換し、
前記差分が、前記同色近接画素の『二番目に小さな差分』に対応する閾値よりも小さい場合、前記第１画像データを前記『二番目に小さな差分』に置換し、
そのどちらでも無い場合、前記第１画像データを前記差分に置換する
ことを特徴とする信号処理装置。
請求項７に記載の信号処理装置において、
前記処理部は、前記差分が所定の閾値よりも大きい場合、前記第１画像データを前記差分に置換し、
前記差分が所定の閾値よりも小さい場合、前記同色近接画素の差分について、
平均値およびメディアン値からなる群のいずれか一つを算出し、算出された値で前記第１画像データを置換する
ことを特徴とする信号処理装置。
画像データのノイズを除去するための信号処理プログラムであって、
コンピュータを、請求項１に記載の前記第１記憶部、前記第２記憶部、および前記処理部として機能させるための信号処理プログラム。
画像データのノイズを除去する信号処理方法であって、
被写界からの光を撮像素子に受光して得られた第１画像データを記録するステップと、
前記第１画像データとは異なる受光条件下で、前記撮像素子から得られた第２画像データを記録するステップと、
前記第１記憶部に記録された前記第１画像データと前記第２記憶部に記録された前記第２画像データとを読み出して演算処理するステップとを有し、
前記演算処理するステップは、前記撮像素子のノイズ状況を画素毎に判別し、前記ノイズ状況に応じて、
前記第１画像データの出力値を、前記第１画像データの同色近接画素の出力値に置き換える置換処理と、前記第１画像データの出力値から前記第２画像データの出力値を減算する減算処理とを、前記画素毎に場合分けして実行する
ことを特徴とする信号処理方法。