JP2004248006A

JP2004248006A - Electronic camera, noise eliminating apparatus, and noise eliminating program

Info

Publication number: JP2004248006A
Application number: JP2003036331A
Authority: JP
Inventors: Motoyuki Kuboi; 基之久保井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2003-02-14
Filing date: 2003-02-14
Publication date: 2004-09-02

Abstract

<P>PROBLEM TO BE SOLVED: To excellently select a fixed pattern noise of a medium level. <P>SOLUTION: An electronic camera for eliminating the fixed pattern noise from image data is provided with: an imaging section; a noise sampling section; and a noise eliminating section. The imaging section images an object to generate image data comprising a plurality of color components. The noise sampling section shuts off light from the object to drive the imaging section and allows the imaging section to generate noise image data. The noise eliminating section decides a noise level of the noise image data in units of pixels on the basis of a threshold, executes elimination of the fixed pattern noise as to pixels whose noise level is the threshold or over but omits noise elimination of the fixed pattern noise as to pixels whose noise level is less than the threshold. In particular, the noise eliminating section selects a different threshold according to kinds of color components. That is, the noise eliminating section selects a lower threshold for 'color components including much luminance information' and/or 'color components with high distribution density on an imaging face' than the threshold for the other color components. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、固定パターンノイズの除去機能を有する電子カメラ、ノイズ除去装置、およびノイズ除去プログラムに関する。
【０００２】
【従来の技術】
電子カメラにおいて長時間露光を行うと、撮像素子から発生する固定パターンノイズのレベルが大きくなり、画像信号に輝点状（白キズという）その他のノイズが顕著に発生する。
このような固定パターンノイズを除去する装置として、特許文献１の従来装置が知られている。この従来装置は、撮像素子を遮光状態において、ノイズ画像データを生成する。この従来装置では、このノイズ画像データを、閾値判定することにより、白キズの発生画素を検出する。このときの閾値は、白キズの選別に合わせた大レベルの値である。従来装置は、この『白キズ』の発生画素に限って、画像データからノイズ画像データを減算する。その結果、画像データに含まれる白キズを良好に除去することが可能になる。
【０００３】
【特許文献１】
特開２００１−９４８８２（図１０のＳ５０〜Ｓ５３）
【０００４】
【発明が解決しようとする課題】
通常、画像データには、白キズのような大レベルの他に、中レベルの固定パターンノイズも含まれる。この中レベルの固定パターンノイズを除去するためには、白キズの発生画素に限らず、画像データ全域について、上述した減算処理を実施する必要がある。
【０００５】
しかしながら、ノイズ画像データには、固定パターンノイズの他に、ランダム性のノイズも含まれる。この種のランダムノイズは、上述した減算処理による同相除去が不可能である。逆に、減算処理を行うことによって、ノイズ画像データ中のランダムノイズが画像データに逆相で重畳するため、画像データのＳ／Ｎを結果的に低下させてしまうという問題があった。
【０００６】
さらに、中レベルの固定パターンノイズを除去するため、画像データ全域について減算処理を実施した場合、処理時間が長くかかるという問題点もあった。
そこで、本発明者は、中レベルの固定パターンノイズを良好に選別する方法を検討した。従来例のような白キズの選別であれば、固定パターンノイズが支配的であるため、閾値一定の状態で容易に選別できる。しかしながら、中レベルの固定パターンノイズについては、中途半端なノイズレベルにあるため、常に一律の閾値では、十分かつ適切な選別が困難になる。
そこで、本発明は、従来困難であった、中レベルの固定パターンノイズを良好に選別するための技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
以下、本発明について説明する。
【０００８】
《請求項１》
請求項１に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して複数の色成分から構成される画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。一方、ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、このノイズ除去部は、ノイズレベル判定用の閾値を、色成分の種類に従って切り換える。すなわち、『輝度情報を多く含む色成分』および／または『撮像面上の分布密度の高い色成分』の閾値を、その他の色成分の閾値よりも低くする。
本来、固定パターンノイズは、入射光の色とは無関係に、撮像素子内で発生する。そのため、固定パターンノイズそれ自体に色はない。しかし、発生画素の担当する色成分に従って画素配列されることにより、固定パターンノイズには色の違いが現れる。特に、中レベルの固定パターンノイズは、白キズのようにノイズレベルが飽和していないため、はっきりとした色の違いが現れる。
この場合、発生時のノイズレベルが各色でたとえ同程度であっても、発生画素の色成分によって着色されるため、ノイズの目立ち方が異なる。
すなわち、輝度情報を多く含む色成分（原色表色系では、Ｇ、次にＲ）の画素からは、視覚感度が高いために明るく目立つ色ノイズが発生しやすい。
逆に、輝度情報の少ない色成分（原色表色系では、Ｂ）の画素からは、視覚感度が低いために暗く目立たない色ノイズが発生しやすい。
また、撮像面上の各色の分布密度によっても、固定パターンノイズの目立ち方が異なる。
すなわち、撮像面上で分布密度の高い色成分（ベイヤー配列では、Ｇ）の画素からは、その分布密度に比例した高い頻度でノイズが発生する。そのため、その色のノイズは目立ちやすい。
逆に、撮像面上で分布密度の低い色成分の画素からは、その分布密度に比例した低い頻度でノイズが発生する。そのため、その色のノイズは目立ちにくい。
そこで、本発明では、中レベルの固定パターンノイズが有する色が顕著に異なるという特徴に着目して、中レベルの固体パターンノイズを良好に選別することを考えた。すなわち、上記の構成では、『輝度情報を多く含む色成分』および／または『撮像面上の分布密度の高い色成分』の閾値を、その他色成分の閾値よりも低く切り換える。その結果、目立ちやすい色の固定パターンノイズを敏感に選別して、実用的なノイズ除去を実施することが可能になる。逆に、目立ちにくい色の固定パターンノイズについては選別を抑制し、実用的に効果の少ないノイズ除去を適切に省くことができる。
【０００９】
《請求項２》
請求項２に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、ノイズ除去部は、画像データの電荷蓄積時間が長くなるほど、ノイズレベル判定用の閾値を低く変更する。
通常、固定パターンノイズは電荷蓄積時間に比例して増加する。一方、ランダムノイズは、電荷蓄積時間の平方根に比例して増加する。そのため、電荷蓄積時間が長くなるに従って、ノイズ全体に占める固定パターンノイズの割合は大きくなる。
特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、電荷蓄積時間によって両者の割合が簡単に逆転する。
そこで、上記の構成では、電荷蓄積時間が長いほど、閾値を低く変更する。その結果、電荷蓄積時間が長く固定パターンノイズが支配的な状況では、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、電荷蓄積時間が短いほど、閾値を高く変更する。その結果、電荷蓄積時間が短くてランダムノイズが支配的な状況では、固定パターンノイズの選別が抑制される。したがって、ノイズ除去（減算処理）によってランダムノイズが、画像データに重畳するといった不具合を改善することが可能になる。
【００１０】
《請求項３》
請求項３に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、ノイズ除去部、および温度検出部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。温度検出部は電子カメラの温度を検出する。特に、このノイズ除去部は、温度検出部が検出する温度が高いほど、ノイズレベル判定用の閾値を低く変更する。
通常、電子カメラ（特に撮像素子）の温度上昇に従って、ノイズ全体に占める固定パターンノイズの割合が大きくなる。特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、温度によって両者の割合が簡単に逆転する。
そこで、上記の構成では、温度が高い場合、閾値を低く変更する。その結果、温度が高くなって固定パターンノイズが支配的な状況では、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、支配的な固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、温度が低い場合、閾値を高く変更する。その結果、温度が低くて固定パターンノイズが少ない状況において、固定パターンノイズの選別が抑制される。したがって、ノイズ除去（減算処理）によって、ランダムノイズが画像データに重畳するといった不具合を改善することが可能になる。
【００１１】
《請求項４》
請求項４に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施する電子カメラであって、撮像部、ノイズ標本部、およびノイズ除去部を備える。この撮像部は、被写体を撮像して画像データを生成する。ノイズ標本部は、被写体からの光を遮って撮像部を駆動し、ノイズ画像データを生成する。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。ノイズレベルが閾値未満の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を省略する。特に、このノイズ除去部は、撮像部の撮像感度を情報取得し、撮像感度が高いほど、閾値を低く変更する。
通常、撮像感度の高感度化に従って、固定パターンノイズのレベルが大きくなる。特に、中レベルのノイズでは、固定パターンノイズおよびランダムノイズのレベル差が微妙であり、両者の割合が簡単に逆転する。
そこで、上記の構成では、撮像感度が高い場合、閾値を低く変更する。その結果、撮像感度が高くなると、中レベルのノイズを固定パターンノイズとして敏感に選別する。したがって、固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。
一方、撮像感度が低い場合、閾値を高く変更する。その結果、撮像感度が低くてノイズの少ない状況において、固定パターンノイズの選別が抑制される。したがって、減算処理によってノイズ画像データ中のランダムノイズが、高Ｓ／Ｎの画像データに重畳するといった不具合を改善することが可能になる。
【００１２】
《請求項５》
請求項５に記載の発明は、画像データに対して固定パターンノイズのノイズ除去を実施するノイズ除去装置であって、入力部およびノイズ除去部を備える。この入力部は、被写体を撮像部により撮像して生成した画像データ、および被写体からの光を遮って撮像部を駆動して生成したノイズ画像データを取り込む。ノイズ除去部は、ノイズ画像データのノイズレベルを画素単位に閾値判定する。ノイズレベルが閾値以上の画素について、ノイズ除去部は、固定パターンノイズのノイズ除去を実施する。一方、ノイズレベルが閾値未満の画素について、ノイズ除去部は、ノイズ除去を省略する。特に、このノイズ除去部は、ノイズレベル判定用の閾値を、色成分の種類に従って切り換える。すなわち、『輝度情報を多く含む色成分』および／または『撮像面上の分布密度の高い色成分』の閾値を、その他の色成分の閾値よりも低くする。
【００１３】
《請求項６》
請求項６に記載のノイズ除去プログラムは、コンピュータを、請求項５に記載の入力部およびノイズ除去部として機能させることを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【００１５】
《本実施形態の構成説明》
図１は、本実施形態における電子カメラ１１（ノイズ除去装置を含む）の構成を示す図である。
図１に示すように、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の光路上には、シャッター１２ａおよび撮像素子１３が順番に配置される。この撮像素子１３の撮像面には、不図示のカラーフィルタアレイが配置される。また、この撮像素子１３には、温度検出部１３ａが近接して配置される。
【００１６】
この撮像素子１３において生成された画像データは、利得可変アンプ１４によって、撮像感度Ｓに対応した利得に増幅される。増幅された画像データは、Ａ／Ｄ変換部１５を介して１２ｂｉｔ階調にデジタル化された後、信号処理部１６に与えられる。信号処理部１６は、この画像データに対して、黒レベル補正などの信号処理を施す。信号処理された画像データは、バッファメモリ１７に一時記憶される。このバッファメモリ１７は、バス１８に接続される。このバス１８には、画像処理部１９、記録部２０、マイクロプロセッサ２２、および画像圧縮部２３などが接続される。
また、電子カメラ１１には、各種の情報入力やモード設定やレリーズ操作を行うためのスイッチ群２２ａ等が設けられる。これらスイッチ群２２ａから信号は、マイクロプロセッサ２２に入力される。
【００１７】
［発明との対応関係］
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の撮像部は、シャッター１２ａ、撮像素子１３、利得可変アンプ１４、Ａ／Ｄ変換部１５、信号処理部１６、およびバッファメモリ１７に対応する。
請求項記載のノイズ標本部は、シャッター１２ａ、バッファメモリ１７、およびマイクロプロセッサ２２の『シャッター１２ａを閉じた状態で、撮像素子１３を駆動してノイズ画像データを撮像する機能』に対応する。
請求項記載のノイズ除去部は、マイクロプロセッサ２２の『画像データから固定パターンノイズを除去する機能』に対応する。
請求項記載の温度検出部は、温度検出部１３ａに対応する。
請求項記載の入力部は、バッファメモリ１７、マイクロプロセッサ２２の『画像データおよびノイズ画像データを取り込む機能』に対応する。
【００１８】
《本実施形態の動作説明》
図２は、電子カメラ１１による固定パターンノイズの除去処理を説明する流れ図である。図３〜図５は、ノイズレベル判定用の閾値の調整傾向を示す図である。図６（Ａ）は、画像データの画素値パターンを示す図である。図６（Ｂ）は、ノイズ画像データの画素値パターンを示す図である。図６（Ｃ）は、ノイズ除去後の画素値パターンを示す図である。
以下、図２に示すステップ番号に従って、このノイズ除去処理について説明する。
【００１９】
ステップＳ１：マイクロプロセッサ２２は、シャッター１２ａを開いた状態で、撮像素子１３を電子シャッタ制御し、所定の電荷蓄積時間Ｔｅにわたって被写界を撮像する。撮像素子１３で生成された画像データは、利得可変アンプ１４、Ａ／Ｄ変換部１５および信号処理部１６を介して信号処理された後、バッファメモリ１７に一時記憶される。
【００２０】
ステップＳ２：マイクロプロセッサ２２は、シャッター１２ａを閉じた遮光状態で撮像素子１３を電子シャッタ制御し、所定の電荷蓄積時間Ｔｅにわたって蓄積されたノイズ画像データを生成する。このノイズ画像データは、利得可変アンプ１４、Ａ／Ｄ変換部１５および信号処理部１６を介して信号処理された後、バッファメモリ１７に一時記憶される。
【００２１】
ステップＳ３：マイクロプロセッサ２２は、温度検出部１３ａの出力に基づいて、撮像素子１３の温度Ｔｐを検出する。
【００２２】
ステップＳ４：マイクロプロセッサ２２は、利得可変アンプ１４の設定利得から現時点の撮像感度Ｓを情報取得する。マイクロプロセッサ２２は、電荷蓄積時間Ｔｅ、温度Ｔｐ、および撮像感度Ｓの各条件に応じて、内部メモリ上のテーブルデータを参照し、ＲＧＢ色成分ごとに定めた閾値ＴＨｒ，ＴＨｇ，ＴＨｂを決定する。
ここで決定する各閾値ＴＨｒ，ＴＨｇ，ＴＨｂは、中レベルのノイズレベル判定用であり、例えば、１２階調（０〜４０９５）の信号レベルに対して、およそ１００以下の値に決定される。
なお、ここで閾値決定に使用するテーブルデータは、使用する撮像素子１３のノイズ特性などによって大きく変化する。そのため、ここでは具体的なテーブルデータを示す代わりに、各条件に応じた各閾値ＴＨｒ，ＴＨｇ，ＴＨｂの調整傾向を説明する。当業者は、使用する撮像素子１３についてノイズ除去の主観評価テストを繰り返しながら、これら調整傾向に合わせてテーブルデータを作成することにより、適切なテーブルデータを作成できる。
図３は、電荷蓄積時間Ｔｅによる各閾値ＴＨｒ，ＴＨｇ，ＴＨｂの調整傾向を示す図である。ここでは、ＴＨｂ＞ＴＨｒ＞ＴＨｇの関係を保ちながら、電荷蓄積時間Ｔｅが長くなるに従って、各閾値ＴＨｒ，ＴＨｇ，ＴＨｂを低くする。
図４は、温度Ｔｐによる各閾値ＴＨｒ，ＴＨｇ，ＴＨｂの調整傾向を示す図である。ここでは、ＴＨｂ＞ＴＨｒ＞ＴＨｇの関係を保ちながら、温度Ｔｐが高くなるに従って、各閾値ＴＨｒ，ＴＨｇ，ＴＨｂを低くする。
図５は、撮像感度Ｓによる各閾値ＴＨｒ，ＴＨｇ，ＴＨｂの調整傾向を示す図である。ここでは、ＴＨｂ＞ＴＨｒ＞ＴＨｇの関係を保ちながら、撮像感度Ｓが高くなるに従って、各閾値ＴＨｒ，ＴＨｇ，ＴＨｂを低くする。
マイクロプロセッサ２２は、これら調整傾向ごとに定めた閾値ＴＨｒ，ＴＨｇ，ＴＨｂについて、平均値、メディアン値、または最小値を算出する。この演算により、複数の調整傾向を総合した閾値ＴＨｒ，ＴＨｇ，ＴＨｂが最終的に決定される。
【００２３】
ステップＳ５：マイクロプロセッサ２２は、画素位置（ｉ，ｊ）を初期化する。
【００２４】
ステップＳ６：マイクロプロセッサ２２は、バッファメモリ１７から、画素位置（ｉ，ｊ）における『画像データの画素値Ｘ（ｉ，ｊ）』および『ノイズ画像データの画素値Ｙ（ｉ，ｊ）』をそれぞれ読み出す。
【００２５】
ステップＳ７：マイクロプロセッサ２２は、撮像素子１３のカラーフィルタアレイの色配列ルールに基づいて、画素位置（ｉ，ｊ）が担当する色成分を求める。
ここで、Ｒ色成分の場合、マイクロプロセッサ２２はステップＳ８に動作を移行する。
Ｇ色成分の場合、マイクロプロセッサ２２はステップＳ９に動作を移行する。
Ｂ色成分の場合、マイクロプロセッサ２２はステップＳ１０に動作を移行する。
【００２６】
ステップＳ８：マイクロプロセッサ２２は、閾値ＴＨに、ステップＳ４で決定したＲ色成分用の閾値ＴＨｒを代入する。この動作の後、マイクロプロセッサ２２は、ステップＳ１１に動作を移行する。
【００２７】
ステップＳ９：マイクロプロセッサ２２は、閾値ＴＨに、ステップＳ４で決定したＧ色成分用の閾値ＴＨｇを代入する。この動作の後、マイクロプロセッサ２２は、ステップＳ１１に動作を移行する。
【００２８】
ステップＳ１０：マイクロプロセッサ２２は、閾値ＴＨに、ステップＳ４で決定したＢ色成分用の閾値ＴＨｂを代入する。この動作の後、マイクロプロセッサ２２は、ステップＳ１１に動作を移行する。
【００２９】
ステップＳ１１：マイクロプロセッサ２２は、ノイズ画像データの画素値Ｙ（ｉ，ｊ）が、閾値ＴＨ以上であるか否かを判定する。
ここで、画素値Ｙ（ｉ，ｊ）が閾値ＴＨ以上の場合、マイクロプロセッサ２２はステップＳ１２に動作を移行する。
一方、画素値Ｙ（ｉ，ｊ）が閾値ＴＨ未満の場合、マイクロプロセッサ２２は固定パターンノイズの除去処理を省略して、ステップＳ１５に動作を移行する。
図６（Ａ）〜（Ｃ）に示す※印付きの画素は、画素値Ｙ（ｉ，ｊ）がいずれも閾値ＴＨ未満を示す画素であり、ステップＳ１１の判定処理に従ってノイズ除去処理が省略される画素である。
【００３０】
ステップＳ１２：マイクロプロセッサ２２は、画像データの画素値Ｘ（ｉ，ｊ）をレベル判定し、画素値Ｘ（ｉ，ｊ）が飽和レベルに近いか否かを判定する。
一般に、画像データのハイライト箇所では、画素値Ｘ（ｉ，ｊ）が飽和レベルに近づいて、画素値Ｘ（ｉ，ｊ）に非線形なレベル圧縮が生じる。このようなレベル圧縮画素の箇所に対してノイズ画像データを単純に減算した場合、過剰に信号レベルが低下し、黒点ノイズが発生する。
そこで、画素値Ｘ（ｉ，ｊ）が飽和レベルに近いと判断すると、マイクロプロセッサ２２は、ステップＳ１４に動作を移行する。
一方、画素値Ｘ（ｉ，ｊ）が飽和レベルにかからない場合、マイクロプロセッサ２２は、ステップＳ１３に動作を移行する。
【００３１】
ステップＳ１３：マイクロプロセッサ２２は、下式の減算処理を実施する。
Ｘ（ｉ，ｊ）＝Ｘ（ｉ，ｊ）−Ｙ（ｉ，ｊ）
図６（Ｃ）にクロスハッチで示す画素は、上式の減算処理により固定パターンノイズが除去される画素である。
このような減算処理の後、マイクロプロセッサ２２は、ステップＳ１５に動作を移行する。
【００３２】
ステップＳ１４：マイクロプロセッサ２２は、画素位置（ｉ，ｊ）の局所領域内においてメディアン値を求め、画像データの画素値Ｘ（ｉ，ｊ）をこのメディアン値で置換する。
図６（Ｃ）に水平ハッチングで示す画素は、このような置換処理により固定パターンノイズが除去された画素である。
このような置換処理の後、マイクロプロセッサ２２は、ステップＳ１５に動作を移行する。
【００３３】
ステップＳ１５：マイクロプロセッサ２２は、現在の画素位置（ｉ，ｊ）が走査完了位置か否かを判定する。走査完了位置に達した場合、マイクロプロセッサ２２は、固定パターンノイズの除去処理を終了する。
一方、走査完了位置にまだ達していない場合、マイクロプロセッサ２２は、ステップＳ１６に動作を移行する。
【００３４】
ステップＳ１６：マイクロプロセッサ２２は、現在の画素位置（ｉ，ｊ）を、画像の走査経路に沿って一つ進め、ステップＳ６に動作を戻す。
以上説明した一連の動作により、画像データに対する固定パターンノイズの除去処理が完了する。
【００３５】
この除去処理を完了した画像データは、画像処理部１９において色補間処理や輪郭強調などの画像処理が施される。この画像処理を終えた画像データは、画像圧縮部２３によってデータ圧縮された後、記録部２０によってメモリカードに記録保存される。
【００３６】
《本実施形態の効果など》
以上説明したように、本実施形態では、輝度情報を多く含む色成分（Ｇ、次にＲ）のノイズレベル判定用の閾値ＴＨｇ，ＴＨｒを、その他色成分Ｂの閾値ＴＨｂよりも小さくする。さらに、本実施形態では、撮像面上の分布密度の高い色成分Ｇの閾値ＴＨｇを、その他色成分Ｒ，Ｂの閾値ＴＨｒ，ＴＨｂよりも小さくする。その結果、中レベルのノイズを、目立ちやすい色／目立ちにくい色といった尺度で適切に選別することが可能になる。その結果、目立ちやすい色の固定パターンノイズを敏感に選別し、中レベルに特有な目立ちやすい色の固定パターンノイズを適切に除去できる。逆に、目立ちにくい色の固定パターンノイズについては選別を適度に抑制するため、固定パターンノイズの除去処理が適切に省略され、電子カメラ１１の処理高速化を図ることができる。
【００３７】
さらに、本実施形態では、電荷蓄積時間Ｔｅが長いほど、ノイズレベル判定用の閾値を低くする。その結果、電荷蓄積時間Ｔｅが長く固定パターンノイズが支配的な状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、電荷蓄積時間Ｔｅが短くてランダムノイズの割合が大きい状況では、固定パターンノイズのノイズ除去を抑えるため、ランダムノイズが画像データに重畳するといった不具合を改善できる。特に、このような閾値切り換えでは、電荷蓄積時間Ｔｅが短いほど、ノイズ除去の処理が早く完了する。そのため、電子カメラ１１の処理速度を体感的に高速化することが可能になる。
【００３８】
また、本実施形態では、温度Ｔｐが高いほど、ノイズレベル判定用の閾値を低くする。その結果、温度Ｔｐが高く固定パターンノイズが支配的な状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、温度Ｔｐが低くて固定パターンノイズが少ない状況ではノイズ除去処理を省略して、電子カメラ１１の処理高速化を図ることができる。
【００３９】
さらに、本実施形態では、撮像感度Ｓが高いほど、ノイズレベル判定用の閾値を低くする。その結果、撮像感度Ｓが高く固定パターンノイズが多い状況において、中レベルの固定パターンノイズを見逃すことが少なくなり、画像データから固定パターンノイズを確実に除去することが可能になる。逆に、撮像感度Ｓが低くて固定パターンノイズが少ない状況では、ノイズ除去処理を省略して、電子カメラ１１の処理高速化を図ることができる。
【００４０】
《実施形態の補足事項》
なお、上述した実施形態では、本発明を電子カメラに適用するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図２に示す動作の内から、ノイズ除去関連の動作をプログラムコード化することによって、ノイズ除去プログラムを作成してもよい。このノイズ除去プログラムをコンピュータ上で実行することにより、コンピュータ上において、画像データ（特にＲＡＷデータ）のノイズ除去を実施することが可能になる。
【００４１】
また、上述した実施形態では、カラーフィルタアレイが原色表色系のケースについて説明した。しかしながら、本発明はこれに限定されるものではない。補色表色系その他の一般的な色成分に対応して、閾値を切り換えてもよい。この場合は、『輝度情報を多く含む色成分』および／または『撮像面上の分布密度の高い色成分』の閾値を、それ以外の色成分の閾値よりも低くすればよい。
【００４２】
【発明の効果】
以上説明したように、本発明では、色成分の種類、電荷蓄積時間の長短、温度の高低、または撮像感度の高低といった条件に従って、中レベルのノイズレベル判定用の閾値を切り換える。その結果、中レベルの固定パターンノイズを良好に選別することが可能になり、中レベルの固定パターンノイズを除去する処理の実行／非実行を、画素単位に適切に判断して切り換えることが可能になる。
【図面の簡単な説明】
【図１】本実施形態における電子カメラ１１（ノイズ除去装置を含む）の構成を示す図である。
【図２】固定パターンノイズの除去処理を説明する流れ図である。
【図３】電荷蓄積時間Ｔｅによる閾値の調整傾向を示す図である。
【図４】温度Ｔｐによる閾値の調整傾向を示す図である。
【図５】撮像感度Ｓによる閾値の調整傾向を示す図である。
【図６】固定パターンノイズの除去処理の様子を説明する図である。
【符号の説明】
１１電子カメラ
１２撮影レンズ
１２ａシャッター
１３撮像素子
１３ａ温度検出部
１４利得可変アンプ
１５Ａ／Ｄ変換部
１６信号処理部
１７バッファメモリ
１８バス
１９画像処理部
２０記録部
２２マイクロプロセッサ
２２ａスイッチ群
２３画像圧縮部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an electronic camera having a fixed pattern noise removing function, a noise removing device, and a noise removing program.
[0002]
[Prior art]
When long-time exposure is performed in an electronic camera, the level of fixed pattern noise generated from an image sensor increases, and bright spots (called white flaws) and other noises are significantly generated in an image signal.
As a device for removing such fixed pattern noise, a conventional device of Patent Document 1 is known. This conventional device generates noise image data with the imaging device in a light-shielded state. In this conventional apparatus, a pixel where a white defect is generated is detected by determining a threshold value of the noise image data. The threshold value at this time is a large-level value that matches white flaw selection. The conventional device subtracts the noise image data from the image data only for the pixel where the "white defect" occurs. As a result, it becomes possible to satisfactorily remove white spots contained in the image data.
[0003]
[Patent Document 1]
JP 2001-94882 A (S50 to S53 in FIG. 10)
[0004]
[Problems to be solved by the invention]
Normally, image data includes a medium level fixed pattern noise in addition to a large level such as a white defect. In order to remove the middle-level fixed pattern noise, it is necessary to perform the above-described subtraction processing not only on the pixel where the white defect occurs but also on the entire image data.
[0005]
However, the noise image data includes random noise in addition to the fixed pattern noise. This kind of random noise cannot be removed by the above-described subtraction process. Conversely, by performing the subtraction processing, the random noise in the noise image data is superimposed on the image data in the opposite phase, and thus the S / N of the image data is reduced as a result.
[0006]
Further, when the subtraction process is performed on the entire image data in order to remove the middle-level fixed pattern noise, there is a problem that the processing time is long.
Therefore, the inventor has studied a method of favorably selecting medium-level fixed pattern noise. In the case of white flaw selection as in the conventional example, fixed pattern noise is dominant, so that it can be easily selected in a state where the threshold value is constant. However, the fixed pattern noise of the medium level is at an incomplete noise level, and therefore, it is difficult to always perform a sufficient and appropriate selection with a uniform threshold value.
Therefore, an object of the present invention is to provide a technique for satisfactorily selecting medium-level fixed pattern noise, which has been difficult in the past.
[0007]
[Means for Solving the Problems]
Hereinafter, the present invention will be described.
[0008]
<< Claim 1 >>
An electronic camera according to a first aspect of the present invention performs noise removal of fixed pattern noise from image data, and includes an imaging unit, a noise sample unit, and a noise removal unit. The imaging unit captures an image of a subject and generates image data composed of a plurality of color components. The noise sample unit blocks the light from the subject and drives the imaging unit to generate noise image data. The noise removing unit determines the noise level of the noise image data as a threshold value for each pixel. For a pixel whose noise level is equal to or larger than the threshold, the noise removing unit removes the fixed pattern noise. On the other hand, for a pixel whose noise level is less than the threshold, the noise elimination unit omits noise elimination of fixed pattern noise. In particular, the noise elimination unit switches the threshold for determining the noise level according to the type of the color component. That is, the threshold value of the “color component containing a large amount of luminance information” and / or the threshold value of the “color component having a high distribution density on the imaging surface” is set lower than the threshold values of the other color components.
Originally, fixed pattern noise occurs in an image sensor regardless of the color of incident light. Therefore, the fixed pattern noise itself has no color. However, by arranging the pixels in accordance with the color components assigned to the generated pixels, a color difference appears in the fixed pattern noise. In particular, the fixed-level pattern noise at the middle level has a distinct color difference because the noise level is not saturated as in the case of white flaws.
In this case, even if the noise level at the time of occurrence is the same for each color, the noise component is colored by the color component of the generated pixel, so that the noise stands out differently.
In other words, bright and conspicuous color noise is likely to occur from pixels of color components (G in the primary color system, then R in the primary color system) containing a large amount of luminance information because of high visual sensitivity.
Conversely, dark and inconspicuous color noise is likely to occur from pixels of color components (B in the primary color system) with less luminance information due to low visual sensitivity.
Further, how the fixed pattern noise stands out also differs depending on the distribution density of each color on the imaging surface.
In other words, noise is generated at a high frequency in proportion to the distribution density from pixels of color components (G in the Bayer arrangement) having a high distribution density on the imaging surface. Therefore, the noise of the color is conspicuous.
Conversely, noise is generated at a low frequency in proportion to the distribution density from pixels of color components having a low distribution density on the imaging surface. Therefore, the noise of the color is not conspicuous.
Therefore, in the present invention, attention has been paid to the feature that the color of the middle level fixed pattern noise has a remarkable difference, and it has been considered that the medium level solid pattern noise is satisfactorily selected. That is, in the above configuration, the threshold value of the “color component containing a large amount of luminance information” and / or the threshold value of the “color component having a high distribution density on the imaging surface” is switched lower than the threshold values of the other color components. As a result, it is possible to sensitively select fixed pattern noise of a color that is conspicuous and to perform practical noise removal. Conversely, it is possible to suppress selection of fixed pattern noise of a color that is inconspicuous, and to appropriately eliminate noise removal that is practically ineffective.
[0009]
<< Claim 2 >>
According to a second aspect of the present invention, there is provided an electronic camera that performs noise removal of fixed pattern noise from image data, and includes an imaging unit, a noise sample unit, and a noise removal unit. The imaging unit captures a subject and generates image data. The noise sample unit blocks the light from the subject and drives the imaging unit to generate noise image data. The noise removing unit determines the noise level of the noise image data as a threshold value for each pixel. For pixels whose noise level is equal to or higher than the threshold, the noise removing unit removes fixed pattern noise. For pixels whose noise level is less than the threshold, the noise elimination unit omits noise removal of fixed pattern noise. In particular, the noise removal unit changes the noise level determination threshold to be lower as the charge storage time of the image data becomes longer.
Normally, fixed pattern noise increases in proportion to the charge accumulation time. On the other hand, random noise increases in proportion to the square root of the charge accumulation time. Therefore, as the charge accumulation time becomes longer, the ratio of the fixed pattern noise to the entire noise increases.
In particular, in the case of a medium-level noise, the level difference between the fixed pattern noise and the random noise is subtle, and the ratio between the two is easily reversed depending on the charge accumulation time.
Thus, in the above configuration, the longer the charge accumulation time, the lower the threshold is changed. As a result, in a situation where the charge accumulation time is long and fixed pattern noise is dominant, middle-level noise is sensitively selected as fixed pattern noise. Therefore, the fixed pattern noise of the middle level is rarely overlooked, and the fixed pattern noise can be reliably removed from the image data.
On the other hand, the shorter the charge accumulation time, the higher the threshold is changed. As a result, in a situation where the charge accumulation time is short and random noise is dominant, selection of fixed pattern noise is suppressed. Therefore, it is possible to improve a problem that random noise is superimposed on image data by noise removal (subtraction processing).
[0010]
<< Claim 3 >>
According to a third aspect of the present invention, there is provided an electronic camera that performs noise removal of fixed pattern noise on image data, and includes an imaging unit, a noise sample unit, a noise removal unit, and a temperature detection unit. The imaging unit captures a subject and generates image data. The noise sample unit blocks the light from the subject and drives the imaging unit to generate noise image data. The noise removing unit determines the noise level of the noise image data as a threshold value for each pixel. For a pixel whose noise level is equal to or larger than the threshold, the noise removing unit removes the fixed pattern noise. For pixels whose noise level is less than the threshold, the noise elimination unit omits noise removal of fixed pattern noise. The temperature detector detects the temperature of the electronic camera. In particular, the noise removing unit changes the threshold value for noise level determination to be lower as the temperature detected by the temperature detecting unit is higher.
Usually, as the temperature of an electronic camera (especially, an image sensor) rises, the proportion of fixed pattern noise in the entire noise increases. In particular, in the case of the middle-level noise, the level difference between the fixed pattern noise and the random noise is subtle, and the ratio between the two is easily reversed depending on the temperature.
Therefore, in the above configuration, when the temperature is high, the threshold is changed to a low value. As a result, in a situation where the temperature becomes high and the fixed pattern noise is dominant, the medium level noise is sensitively selected as the fixed pattern noise. Therefore, the dominant fixed pattern noise is less likely to be overlooked, and the fixed pattern noise can be reliably removed from the image data.
On the other hand, if the temperature is low, the threshold is changed to a higher value. As a result, in a situation where the temperature is low and the fixed pattern noise is small, the selection of the fixed pattern noise is suppressed. Therefore, it is possible to improve a problem that random noise is superimposed on image data by noise removal (subtraction processing).
[0011]
<< Claim 4 >>
According to a fourth aspect of the present invention, there is provided an electronic camera which performs noise removal of fixed pattern noise on image data, and includes an imaging unit, a noise sample unit, and a noise removal unit. The imaging unit captures a subject and generates image data. The noise sample unit blocks the light from the subject and drives the imaging unit to generate noise image data. The noise removing unit determines the noise level of the noise image data as a threshold value for each pixel. For a pixel whose noise level is equal to or larger than the threshold, the noise removing unit removes the fixed pattern noise. For pixels whose noise level is less than the threshold, the noise elimination unit omits noise removal of fixed pattern noise. In particular, the noise removing unit acquires information on the imaging sensitivity of the imaging unit, and changes the threshold value lower as the imaging sensitivity is higher.
Normally, the level of fixed pattern noise increases as the imaging sensitivity increases. In particular, in the case of a medium-level noise, the level difference between the fixed pattern noise and the random noise is subtle, and the ratio between the two is easily reversed.
Therefore, in the above configuration, when the imaging sensitivity is high, the threshold is changed to a low value. As a result, when the imaging sensitivity is increased, the noise of the medium level is sensitively selected as the fixed pattern noise. Therefore, the fixed pattern noise is rarely overlooked, and the fixed pattern noise can be reliably removed from the image data.
On the other hand, if the imaging sensitivity is low, the threshold is changed to a higher value. As a result, selection of fixed pattern noise is suppressed in a situation where imaging sensitivity is low and noise is small. Therefore, it is possible to improve the problem that the random noise in the noise image data is superimposed on the high S / N image data by the subtraction processing.
[0012]
<< Claim 5 >>
According to a fifth aspect of the present invention, there is provided a noise removing apparatus for removing noise of fixed pattern noise from image data, comprising an input unit and a noise removing unit. The input unit captures image data generated by imaging the subject with the imaging unit and noise image data generated by driving the imaging unit by blocking light from the subject. The noise removing unit determines the noise level of the noise image data as a threshold value for each pixel. For a pixel whose noise level is equal to or larger than the threshold, the noise removing unit removes the fixed pattern noise. On the other hand, for a pixel whose noise level is less than the threshold, the noise elimination unit omits noise elimination. In particular, the noise elimination unit switches the threshold for determining the noise level according to the type of the color component. That is, the threshold value of the “color component containing a large amount of luminance information” and / or the threshold value of the “color component having a high distribution density on the imaging surface” is set lower than the threshold values of the other color components.
[0013]
<< Claim 6 >>
According to a sixth aspect of the present invention, there is provided a noise removing program that causes a computer to function as the input unit and the noise removing unit according to the fifth aspect.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0015]
<< Description of Configuration of this Embodiment >>
FIG. 1 is a diagram illustrating a configuration of an electronic camera 11 (including a noise removing device) according to the present embodiment.
As shown in FIG. 1, a photographing lens 12 is attached to the electronic camera 11. On the optical path of the taking lens 12, a shutter 12a and an image sensor 13 are arranged in order. A color filter array (not shown) is arranged on an imaging surface of the imaging device 13. In addition, a temperature detecting unit 13a is arranged close to the image sensor 13.
[0016]
The image data generated by the image sensor 13 is amplified by the variable gain amplifier 14 to a gain corresponding to the imaging sensitivity S. The amplified image data is digitized into a 12-bit gradation via the A / D converter 15 and then supplied to the signal processor 16. The signal processing unit 16 performs signal processing such as black level correction on the image data. The signal-processed image data is temporarily stored in the buffer memory 17. This buffer memory 17 is connected to a bus 18. The bus 18 is connected to an image processing unit 19, a recording unit 20, a microprocessor 22, an image compression unit 23, and the like.
The electronic camera 11 is provided with a switch group 22a for inputting various information, setting a mode, and performing a release operation. Signals from these switch groups 22a are input to the microprocessor 22.
[0017]
[Correspondence with invention]
Hereinafter, the correspondence between the present invention and the present embodiment will be described. It should be noted that the correspondences here exemplify one interpretation for reference, and do not limit the present invention.
The imaging unit described in claims corresponds to the shutter 12a, the imaging device 13, the variable gain amplifier 14, the A / D conversion unit 15, the signal processing unit 16, and the buffer memory 17.
The noise sample section described in the claims corresponds to “the function of driving the imaging element 13 to capture noise image data while the shutter 12a is closed” of the shutter 12a, the buffer memory 17, and the microprocessor 22.
The noise removing unit described in claims corresponds to the “function of removing fixed pattern noise from image data” of the microprocessor 22.
The temperature detector described in the claims corresponds to the temperature detector 13a.
The input unit described in the claims corresponds to the “function to capture image data and noise image data” of the buffer memory 17 and the microprocessor 22.
[0018]
<< Operation description of this embodiment >>
FIG. 2 is a flowchart illustrating the fixed pattern noise removal processing performed by the electronic camera 11. 3 to 5 are diagrams showing the tendency of adjusting the threshold value for noise level determination. FIG. 6A is a diagram illustrating a pixel value pattern of image data. FIG. 6B is a diagram illustrating a pixel value pattern of the noise image data. FIG. 6C is a diagram showing a pixel value pattern after noise removal.
Hereinafter, this noise removal processing will be described according to the step numbers shown in FIG.
[0019]
Step S1: With the shutter 12a opened, the microprocessor 22 controls the electronic shutter of the image sensor 13 to capture an image of the field over a predetermined charge accumulation time Te. The image data generated by the image sensor 13 is subjected to signal processing through the variable gain amplifier 14, the A / D converter 15, and the signal processor 16, and is then temporarily stored in the buffer memory 17.
[0020]
Step S2: The microprocessor 22 controls the electronic shutter of the image sensor 13 in a light-shielded state with the shutter 12a closed, and generates noise image data accumulated over a predetermined charge accumulation time Te. The noise image data is signal-processed via the variable gain amplifier 14, the A / D converter 15, and the signal processor 16, and then temporarily stored in the buffer memory 17.
[0021]
Step S3: The microprocessor 22 detects the temperature Tp of the image sensor 13 based on the output of the temperature detector 13a.
[0022]
Step S4: The microprocessor 22 acquires information on the current imaging sensitivity S from the set gain of the variable gain amplifier 14. The microprocessor 22 determines threshold values THr, THg, THb determined for each of the RGB color components with reference to the table data in the internal memory according to the conditions of the charge storage time Te, the temperature Tp, and the imaging sensitivity S. .
The threshold values THr, THg, and THb determined here are used for determining a medium-level noise level. For example, the threshold values THr, THg, and THb are determined to be approximately 100 or less for a signal level of 12 gradations (0 to 4095).
Note that the table data used for determining the threshold value greatly changes depending on the noise characteristics of the imaging device 13 used. Therefore, here, instead of showing specific table data, the adjustment tendency of each threshold value THr, THg, THb according to each condition will be described. A person skilled in the art can create appropriate table data by creating table data in accordance with these adjustment trends while repeating a subjective evaluation test of noise removal for the imaging device 13 to be used.
FIG. 3 is a diagram showing an adjustment tendency of each of the threshold values THr, THg, and THb according to the charge accumulation time Te. Here, while maintaining the relationship of THb>THr> THg, the thresholds THr, THg, THb are lowered as the charge accumulation time Te becomes longer.
FIG. 4 is a diagram showing an adjustment tendency of each of the threshold values THr, THg, THb depending on the temperature Tp. Here, while maintaining the relationship of THb>THr> THg, the thresholds THr, THg, THb are decreased as the temperature Tp is increased.
FIG. 5 is a diagram showing an adjustment tendency of each of the threshold values THr, THg, and THb according to the imaging sensitivity S. Here, while maintaining the relationship of THb>THr> THg, the thresholds THr, THg, THb are reduced as the imaging sensitivity S increases.
The microprocessor 22 calculates an average value, a median value, or a minimum value for the threshold values THr, THg, THb determined for each adjustment tendency. By this calculation, the threshold values THr, THg, THb obtained by integrating a plurality of adjustment tendencies are finally determined.
[0023]
Step S5: The microprocessor 22 initializes the pixel position (i, j).
[0024]
Step S6: The microprocessor 22 stores the “pixel value X (i, j) of the image data” and the “pixel value Y (i, j) of the noise image data” at the pixel position (i, j) from the buffer memory 17. Read each.
[0025]
Step S7: The microprocessor 22 determines a color component assigned to the pixel position (i, j) based on the color arrangement rule of the color filter array of the image sensor 13.
Here, in the case of the R color component, the microprocessor 22 shifts the operation to Step S8.
In the case of the G color component, the microprocessor 22 shifts the operation to Step S9.
In the case of the B color component, the microprocessor 22 shifts the operation to Step S10.
[0026]
Step S8: The microprocessor 22 substitutes the threshold value THr for the R color component determined in step S4 into the threshold value TH. After this operation, the microprocessor 22 shifts the operation to Step S11.
[0027]
Step S9: The microprocessor 22 substitutes the threshold THg for the G color component determined in step S4 into the threshold TH. After this operation, the microprocessor 22 shifts the operation to Step S11.
[0028]
Step S10: The microprocessor 22 substitutes the threshold THb for the B component determined in step S4 into the threshold TH. After this operation, the microprocessor 22 shifts the operation to Step S11.
[0029]
Step S11: The microprocessor 22 determines whether or not the pixel value Y (i, j) of the noise image data is equal to or larger than the threshold value TH.
Here, when the pixel value Y (i, j) is equal to or larger than the threshold value TH, the microprocessor 22 shifts the operation to Step S12.
On the other hand, if the pixel value Y (i, j) is less than the threshold value TH, the microprocessor 22 skips the process of removing the fixed pattern noise and shifts the operation to step S15.
The pixels marked with * in FIGS. 6A to 6C are pixels whose pixel values Y (i, j) are all smaller than the threshold value TH, and the noise removal processing is omitted according to the determination processing in step S11. Pixel.
[0030]
Step S12: The microprocessor 22 determines the level of the pixel value X (i, j) of the image data, and determines whether or not the pixel value X (i, j) is close to the saturation level.
Generally, at a highlighted portion of image data, the pixel value X (i, j) approaches the saturation level, and nonlinear level compression occurs in the pixel value X (i, j). When noise image data is simply subtracted from such a level-compressed pixel, the signal level is excessively reduced and black spot noise is generated.
Therefore, when determining that the pixel value X (i, j) is close to the saturation level, the microprocessor 22 shifts the operation to Step S14.
On the other hand, when the pixel value X (i, j) does not reach the saturation level, the microprocessor 22 shifts the operation to Step S13.
[0031]
Step S13: The microprocessor 22 carries out the following subtraction processing.
X (i, j) = X (i, j) -Y (i, j)
The pixels indicated by cross hatches in FIG. 6C are pixels from which the fixed pattern noise is removed by the above-described subtraction processing.
After such subtraction processing, the microprocessor 22 shifts the operation to Step S15.
[0032]
Step S14: The microprocessor 22 obtains a median value in the local area at the pixel position (i, j), and replaces the pixel value X (i, j) of the image data with this median value.
Pixels indicated by horizontal hatching in FIG. 6C are pixels from which fixed pattern noise has been removed by such replacement processing.
After such replacement processing, the microprocessor 22 shifts the operation to Step S15.
[0033]
Step S15: The microprocessor 22 determines whether or not the current pixel position (i, j) is the scan completion position. When the scanning completion position is reached, the microprocessor 22 ends the fixed pattern noise removal processing.
On the other hand, when the scanning completion position has not been reached yet, the microprocessor 22 shifts the operation to Step S16.
[0034]
Step S16: The microprocessor 22 advances the current pixel position (i, j) by one along the scanning path of the image, and returns the operation to step S6.
With the series of operations described above, the process of removing fixed pattern noise from image data is completed.
[0035]
The image data that has been subjected to the removal processing is subjected to image processing such as color interpolation processing and contour enhancement in the image processing unit 19. The image data that has been subjected to the image processing is data-compressed by the image compression unit 23 and then recorded and stored in the memory card by the recording unit 20.
[0036]
<< Effects of this embodiment >>
As described above, in the present embodiment, the thresholds THg and THr for determining the noise level of the color component (G, then R) containing a large amount of luminance information are set smaller than the threshold THb of the other color component B. Further, in the present embodiment, the threshold value THg of the color component G having a high distribution density on the imaging surface is set smaller than the threshold values THr and THb of the other color components R and B. As a result, it is possible to appropriately select the medium-level noise based on a scale such as a conspicuous color / a non-conspicuous color. As a result, fixed pattern noise of a conspicuous color can be sensitively selected, and fixed pattern noise of a conspicuous color unique to the middle level can be appropriately removed. Conversely, the selection of moderately inconspicuous fixed pattern noise is appropriately suppressed, so that the fixed pattern noise removal processing is appropriately omitted, and the processing speed of the electronic camera 11 can be increased.
[0037]
Further, in this embodiment, the longer the charge accumulation time Te, the lower the noise level determination threshold value. As a result, in a situation where the charge accumulation time Te is long and the fixed pattern noise is dominant, it is less likely that the fixed pattern noise at the middle level is overlooked, and the fixed pattern noise can be reliably removed from the image data. On the other hand, in a situation where the charge accumulation time Te is short and the ratio of random noise is large, noise removal of fixed pattern noise is suppressed, so that a problem that random noise is superimposed on image data can be improved. In particular, in such threshold switching, the shorter the charge accumulation time Te, the faster the noise removal processing is completed. Therefore, the processing speed of the electronic camera 11 can be spontaneously increased.
[0038]
In the present embodiment, the higher the temperature Tp, the lower the noise level determination threshold value. As a result, in a situation where the temperature Tp is high and the fixed pattern noise is dominant, it is less likely that the fixed pattern noise at the medium level is overlooked, and the fixed pattern noise can be reliably removed from the image data. Conversely, in a situation where the temperature Tp is low and the fixed pattern noise is small, the noise removal processing can be omitted, and the processing speed of the electronic camera 11 can be increased.
[0039]
Furthermore, in this embodiment, the higher the imaging sensitivity S, the lower the noise level determination threshold value. As a result, in a situation where the imaging sensitivity S is high and the fixed pattern noise is large, it is less likely that the fixed pattern noise at the middle level is overlooked, and the fixed pattern noise can be reliably removed from the image data. Conversely, in a situation where the imaging sensitivity S is low and the fixed pattern noise is small, the noise removal processing can be omitted and the processing speed of the electronic camera 11 can be increased.
[0040]
<< Supplementary information of the embodiment >>
In the above-described embodiment, the case where the present invention is applied to the electronic camera has been described. However, the present invention is not limited to this. For example, a noise elimination program may be created by coding the operation related to noise elimination from the operations shown in FIG. By executing this noise removal program on a computer, it becomes possible to remove noise from image data (especially RAW data) on the computer.
[0041]
In the above-described embodiment, the case where the color filter array is of the primary color system has been described. However, the present invention is not limited to this. The threshold may be switched according to the complementary color system or other general color components. In this case, the threshold value of the “color component containing a large amount of luminance information” and / or the threshold value of the “color component having a high distribution density on the imaging surface” may be set lower than the threshold values of the other color components.
[0042]
【The invention's effect】
As described above, according to the present invention, the threshold value for the medium-level noise level determination is switched according to the conditions such as the type of the color component, the length of the charge accumulation time, the level of the temperature, or the level of the imaging sensitivity. As a result, it is possible to satisfactorily select the middle-level fixed pattern noise, and to appropriately execute / non-execute the process of removing the middle-level fixed pattern noise on a pixel-by-pixel basis. Become.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an electronic camera 11 (including a noise removing device) according to an embodiment.
FIG. 2 is a flowchart illustrating fixed pattern noise removal processing.
FIG. 3 is a diagram showing an adjustment tendency of a threshold value according to a charge accumulation time Te.
FIG. 4 is a diagram showing a tendency of adjusting a threshold value according to a temperature Tp.
FIG. 5 is a diagram illustrating a tendency of adjusting a threshold value according to an imaging sensitivity S;
FIG. 6 is a diagram illustrating a state of a process of removing fixed pattern noise.
[Explanation of symbols]
11 Electronic camera
12 Shooting lens
12a Shutter
13 Image sensor
13a Temperature detector
14 Variable gain amplifier
15 A / D converter
16 signal processing unit
17 Buffer memory
18 bus
19 Image processing unit
20 Record section
22 Microprocessor
22a switch group
23 Image compression unit

Claims

An electronic camera that performs noise removal of fixed pattern noise on image data,
An imaging unit configured to image the subject and generate the image data including a plurality of color components;
Driving the imaging unit by blocking light from the subject, a noise sample unit that generates noise image data,
A noise removal unit that determines a noise level of the noise image data as a threshold value on a pixel basis, performs the noise removal on the pixel whose noise level is equal to or more than the threshold value, and omits the noise removal on the pixel whose noise level is less than the threshold value. With
The noise elimination unit switches the threshold value according to the type of the color component, and sets the threshold value of the “color component containing a large amount of luminance information” and / or the threshold value of the “color component having a high distribution density on the imaging surface” to the other ones. An electronic camera characterized by lowering the threshold than a color component threshold.

An electronic camera that performs noise removal of fixed pattern noise on image data,
An imaging unit that captures an image of a subject and generates the image data;
Driving the imaging unit by blocking light from the subject, a noise sample unit that generates noise image data,
A noise removal unit that determines a noise level of the noise image data as a threshold value on a pixel basis, performs the noise removal on the pixel whose noise level is equal to or more than the threshold value, and omits the noise removal on the pixel whose noise level is less than the threshold value. With
The electronic camera according to claim 1, wherein the noise removing unit changes the threshold value to be lower as a charge storage time of the image data becomes longer.

An electronic camera that performs noise removal of fixed pattern noise on image data,
An imaging unit that captures an image of a subject and generates the image data;
Driving the imaging unit by blocking light from the subject, a noise sample unit that generates noise image data,
A noise removal unit that determines a noise level of the noise image data as a threshold value on a pixel basis, performs the noise removal on the pixel whose noise level is equal to or more than the threshold value, and omits the noise removal on the pixel whose noise level is less than the threshold value. When,
A temperature detection unit for detecting the temperature of the electronic camera,
The electronic camera, wherein the noise removing unit changes the threshold value to be lower as the temperature is higher.

An electronic camera that performs noise removal of fixed pattern noise on image data,
An imaging unit that captures an image of a subject and generates the image data;
Driving the imaging unit by blocking light from the subject, a noise sample unit that generates noise image data,
A noise removal unit that determines a noise level of the noise image data as a threshold value on a pixel basis, performs the noise removal on the pixel whose noise level is equal to or more than the threshold value, and omits the noise removal on the pixel whose noise level is less than the threshold value. With
The electronic camera according to claim 1, wherein the noise removal unit acquires information on an imaging sensitivity of the imaging unit, and changes the threshold value to be lower as the imaging sensitivity is higher.

A noise removal device that performs noise removal of fixed pattern noise on image data,
An input unit that captures an image of a subject by an imaging unit and captures noise image data generated by driving the imaging unit by blocking light from the subject;
A noise removal unit that determines a noise level of the noise image data as a threshold value on a pixel basis, performs the noise removal on the pixel whose noise level is equal to or more than the threshold value, and omits the noise removal on the pixel whose noise level is less than the threshold value. With
The noise elimination unit switches the threshold value according to the type of the color component, and sets the threshold value of the “color component including a large amount of luminance information” and / or the threshold value of the “color component having a high distribution density on the imaging surface” to the other ones. A noise removing device, wherein the noise component is set lower than a threshold value of a color component.

A noise removal program for causing a computer to function as the input unit and the noise removal unit according to claim 5.