JP2007082097A

JP2007082097A - ノイズ除去装置

Info

Publication number: JP2007082097A
Application number: JP2005270290A
Authority: JP
Inventors: Yoshifumi Kato; 桂史加藤
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2005-09-16
Filing date: 2005-09-16
Publication date: 2007-03-29

Abstract

【課題】ノイズ成分の除去のオン・オフ制御を確実に行うことが可能なノイズ除去装置を提供する。
【解決手段】固定パターンノイズ除去装置１０は、撮像装置の各画素から出力された画像信号からノイズ成分を除去するノイズ除去部４３と、前記画像信号のうち、前記撮像装置の光が入射されない領域に含まれる画素から出力された画像信号の大きさに基づいて、画像信号に含まれるノイズ成分の大きさを解析する解析部４１と、前記解析されたノイズ成分の大きさに基づいて、前記ノイズ除去部４３によってノイズ除去を行うか否かを判定する判定部４２と、前記判定部の判定結果に基づいてノイズ除去部の動作を制御するカメラ制御部２５と、を備える
【選択図】図１

Description

本発明は、ノイズ除去装置に関するものであり、特に固体撮像装置の出力信号から暗電流に起因する固定パターンノイズを除去するノイズ除去装置に関する。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally ＭＯＳ）センサといった固体撮像装置は、各画素がフォトダイオードによって構成されている。フォトダイオードでは、入射光が無い状態においても暗電流と呼ばれる電流が常に流れている。暗電流の大きさは、個々のフォトダイオード間でばらつきがあり、これが原因となって固体撮像装置から出力された画像信号に固定パターンノイズが発生する。

固体撮像装置で撮像した画像信号から固定パターンノイズを除去する方法としては、あらかじめシャッターを閉じた状態（すなわち入射光を遮断した状態）で撮像した画像信号をメモリに記憶させておき、シャッターを開いて撮像した画像信号からメモリに記憶させた画像信号を減算する方法が用いられている。この方法は、シャッターを閉じた状態で撮像した画像信号がほぼ固定パターンノイズ成分であることを利用したもので、固定パターンノイズを大幅に除去することが可能であるが、撮像条件によらずこの方法によって常に固定パターンノイズ除去を行った場合、メモリへのアクセスが頻繁に発生するため、大きな電力を消費する。

そこで、常にノイズ除去を行うのではなく、シャッターを開いて撮像した画像信号に含まれる輝度信号から照度を検出し、この照度に応じてノイズ除去を行うか否かを制御する方法が提案されている（例えば、特許文献１）。これは、撮像した画像の照度が低い場合、輝度信号のレベルが小さく、ノイズ成分が相対的に大きくなるため、画像としてもノイズが目立ってくることを利用して、ノイズ除去のオン・オフ制御を行うものである。これによれば、画像が暗い場合にのみノイズ除去を行うので、メモリへのアクセス頻度を少なくでき、消費電力を抑えることが可能である。
特開２０００−１８４２６７号公報

しかしながら、固定パターンノイズの原因となる暗電流は温度依存性が高く、温度が７度上昇すると２倍に増加する。したがって、ノイズ除去のオン・オフを判定する方法として単に画像の照度を利用するだけでは、温度変化によるノイズ成分の変化に追従できないため、誤判定しやすくなる。特に中照度から低照度になる領域で、温度上昇によりノイズ成分が増加した場合であっても、単に明るい画像と判定され、ノイズ除去が行われず、画質の低下を引き起こしてしまう、といった問題があった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、ノイズ成分の除去のオン・オフ制御を確実に行うことが可能なノイズ除去装置を提供することである。

本発明のある態様は、ノイズ除去装置に関する。この装置は、撮像装置の各画素から出力された画像信号からノイズ成分を除去するノイズ除去部と、前記画像信号のうち、少なくとも前記撮像装置の光が入射されない領域に含まれる画素から出力された画像信号の大きさに基づいて画像信号に含まれるノイズ成分の大きさを解析する解析部と、少なくとも前記解析されたノイズ成分の大きさに基づいて前記ノイズ除去部によってノイズ除去を行うか否かを判定する判定部と、前記判定部の判定結果に基づいてノイズ除去部の動作を制御する制御部と、を備えている。

撮像装置の光が入射されない領域に含まれる画素から出力された画像信号の大きさは、その画素における暗電流によるノイズ成分が支配的であり、温度上昇によって暗電流が増加すれば、それに応じてその画素から出力される画像信号の大きさも大きくなる。したがって、この態様によれば、光が入射されない領域に含まれる画素から出力された画像信号を解析することにより、画像全体に含まれる平均的なノイズレベルを推定することが可能であるとともに、温度変化によるノイズ成分の変化にも追従することができる。これにより、この推定されたノイズレベルに応じて、ノイズ成分の除去を行うか否かの判定を行えば、ノイズ成分除去のオン・オフ制御を確実に行うことができる。

この態様において、前記解析部は、前記撮像装置の光が入射されない領域に含まれる画素から出力された画像信号成分を高周波成分と低周波成分とに分離し、前記高周波成分の大きさから画像信号に含まれるノイズ成分の大きさを解析してもよい。光が入射されない領域に含まれる画素から出力される画像信号は、暗電流によるノイズ成分が支配的であるが、その他にサグや入射光の漏れ込みによるノイズも含まれている。このサグや入射光の漏れ込みによるノイズは低周波成分が支配的であるのに対し、暗電流によるノイズは高周波成分が多く含まれる。したがって、光が入射されない領域に含まれる画素から出力された画像信号の高周波成分を用いることにより、精度よく暗電流によるノイズレベルを推定することが可能となる。この推定された暗電流によるノイズレベルに応じて、ノイズ成分の除去を行うか否かの判定を行えば、特に暗電流によるノイズ成分除去のオン・オフ制御を確実に行うことができる。

この態様において、前記判定部は、前記制御部が前記ノイズ除去部に対してノイズ除去を行わないよう制御しているとき、前記解析部で解析されたノイズ成分の大きさが第１の閾値以上となった場合に前記ノイズ除去部においてノイズ除去を行うよう判定し、前記制御部が前記ノイズ除去部に対してノイズ除去を行うよう制御しているとき、前記解析部で解析されたノイズ成分の大きさが前記第１の閾値よりも小さい第２の閾値以下となった場合に前記ノイズ除去部においてノイズ除去を行わないよう判定してもよい。このように２つの閾値を用意し、ノイズ除去を行わない状態から行う状態に遷移させるための閾値のほうが、ノイズ除去を行う状態から行わない状態に遷移させるための閾値よりも大きく設定することにより、ノイズ除去のオン・オフの切替が頻繁に発生することを防ぐことができる。

前記画像信号のうち、前記撮像装置の光が入射される領域に含まれる画素から出力された画像信号に基づいてその領域における照度を算出する照度算出部を更に備え、前記判定部は、前記解析されたノイズ成分と前記照度の大きさに基づいて、前記ノイズ除去部によってノイズ除去を行うか否かを判定してもよい。このように、ノイズ成分と照度の２つを用いてノイズ除去を行うか否かを判定すれば、画像の照度が小さいときにノイズ成分のレベルがそれほど大きくない場合であってもノイズ除去を行うことができる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ノイズ成分除去のオン・オフ制御を確実に行うことが可能なノイズ除去装置を得ることができる。

（実施の形態１）
図１は、本発明の実施の形態１に係る固定パターンノイズ除去装置１０を具備したデジタルカメラ１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

デジタルカメラ１００は、固定パターンノイズ除去装置１０のほか、撮像装置２０、駆動部２１、ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）２２、画像圧縮部２３、記録媒体２４とカメラ制御部２５を備えており、被写体から反射された光は撮像装置２０に入射される。

撮像装置２０は、レンズ１１、シャッター１２、及び撮像部１３を具備しており、撮像装置２０に入射された光はレンズ１１、シャッター１２を通して撮像部１３に入射される。また、撮像装置２０は、シャッター１２を閉じることにより、撮像部１３に入射される光を遮断することができる。シャッターの開閉は駆動部２１の制御信号によって行う。

撮像部１３は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどによって構成されたもので、マトリクス状に配置されたフォトダイオードを備えており、各々のフォトダイオードによって画素が構成される。撮像部１３は、駆動部２１の駆動信号にしたがって、各画素に入射された光をその強度に応じた電気信号に変換し、これを画像信号として１画素ずつ順番に出力する。

また、撮像部１３は、光が入射される有効画素領域と、常に光が入射されない画素領域であるＯＰＢ（ＯｐｔｉｃａｌＢｌａｃｋ）領域とによって構成されている。このＯＰＢ領域は、撮像部１３から出力される画像信号の黒レベルを規定するために設けられた領域である。このＯＰＢ領域から出力される画像信号は、固定パターンノイズが支配的であるため、ＯＰＢ領域から出力された画像信号は、その画素における固定パターンノイズ成分と見なすことができる。

撮像装置２０から出力された画像信号は、ＡＦＥ２２にて例えば１０ビットのデジタル信号に変換される。ＡＦＥ２２にてデジタル信号に変換された画像信号は、固定パターンノイズ除去装置１０によって固定パターンノイズが除去された後、画像圧縮部２３で画像圧縮前処理及び画像圧縮処理が施され、記録媒体２４に記録される。

カメラ制御部２５は、固定パターンノイズ除去装置１０を含むデジタルカメラ１００全体を制御する。また、カメラ制御部２５は駆動部２１と接続されており、駆動部２１はカメラ制御部２５に対して、撮像装置２０から出力された画像信号が撮像部１３のどの画素の信号であるかを通知する。そして、カメラ制御部２５は、駆動部２１から通知された情報をもとにデジタルカメラ１００全体の動作タイミングを制御する。

次に、固定パターンノイズ除去装置１０の詳細について説明する。固定パターンノイズ除去装置１０は、あらかじめ撮像装置２０にてシャッター１２を閉じた状態で撮像し、ＡＦＥ２１によってデジタル信号に変換した画像信号を、固定パターンノイズ成分として記憶しておき、通常時、すなわちシャッター１２を開いた状態で撮像した画像信号からこの固定パターンノイズ成分を差し引くことによって、固定パターンノイズを除去する。さらに、固定パターンノイズ除去装置１０は、固定パターンノイズ除去に先立って、画像信号に含まれる固定パターンノイズのレベルを解析し、その大きさから画像信号から固定パターンノイズを除去するか否かを判定する。固定パターンノイズ除去を行わないと判定した場合、固定パターンノイズ除去装置１０は、ＡＦＥ２１から入力された画像信号をそのまま画像圧縮部２３に出力する。

固定パターンノイズ除去装置１０の構成を以下に説明する。固定パターンノイズ除去装置１０は、解析部４１、判定部４２、ノイズ除去部４３とメモリ４４を備えている。

解析部４１は、画像信号に含まれる固定パターンノイズのレベルを解析する。固定パターンノイズレベルの解析には、撮像部１３のＯＰＢ領域から出力された画像信号を利用する。撮像装置２０がシャッター１２を開いた状態で１枚の画像を撮像すると、その画像信号がＡＦＥ２１を介して解析部２１に入力される。このとき、カメラ制御部２５は、解析部４１に入力された画像信号がＯＰＢ領域から出力された画像信号であるか否かを示す識別信号を解析部４１に伝達する。解析部４１は、カメラ制御部２５から伝達された識別信号をもとに、ＯＰＢ領域から出力された画像信号を抽出し、その平均値を算出する。固定パターンノイズレベルの解析は、撮像された画像１枚毎に行われ、算出された平均値がその１枚の画像に含まれる固定パターンノイズレベルとして判定部４２に送られる。なお、固定パターンノイズレベルの解析に、ＯＰＢ領域に含まれる全画素の画像信号を使用してもよいし、一部の画素の画像信号を使用してもよい。

判定部４２は、解析部４１で算出した固定パターンノイズレベルの大きさと、カメラ制御部２５で設定された判定閾値とを比較し、固定パターンノイズレベルが判定閾値以上であれば、固定パターンノイズの除去を行い、固定パターンノイズレベルが判定閾値未満であれば、固定パターンノイズの除去を行わないことを決定する。この決定は、カメラ制御部２５とノイズ除去部４３に通知される。なお、判定閾値はカメラ制御部２５によって変更可能にしてもよいし、固定値としてもよい。また、判定閾値が固定値の場合、カメラ制御部２５で設定されるのではなく、判定部４２の中に判定閾値を記憶させておいてもよい。

また、判定閾値はレベル指定であってもレンジ指定であってもよい。レベル指定であれば正確な判定を行うことができ、レンジ指定であれば判定にかかるコストを小さく抑えることが可能となる。

ノイズ除去部４３は、判定部４２において固定パターンノイズ除去を行うことが決定された場合に、カメラ制御部２５と協働して、固定パターンノイズ除去を実行する。すなわち、判定部４２から固定パターンノイズ除去を行う旨の信号がカメラ制御部２５とノイズ除去部４３に伝達されると、まず、カメラ制御部２５は、駆動部２１を介して撮像装置２０のシャッター１２を閉じ、１枚の画像を撮像する。シャッター１２を閉じた状態で撮像された画像信号は、ＡＦＥ２２によってデジタル信号に変換された後、ノイズ除去部４３を介してメモリ４４に記録される。このメモリ４４に記録された画像信号が、各画素における固定パターンノイズ成分と見なすことができる。

次に、カメラ制御部２５は、駆動部２１を介して撮像装置２０のシャッター１２を開き、１枚の画像を撮像する。この状態で撮像された画像信号は、ＡＦＥ２２によってデジタル信号に変換された後、ノイズ除去部４３に入力される。このとき、ノイズ除去部４３に入力された画像信号に対応する画素の固定パターンノイズ成分をメモリ４４から読み出す。そして、ノイズ除去部４３に入力された画像信号から、メモリ４４より読み出した固定パターンノイズ成分を減算することにより、固定パターンノイズ除去を実行する。固定パターンノイズ除去された画像信号は画像圧縮部２３へ出力される。

一方、判定部４２において固定パターンノイズ除去を行わないことが決定された場合、カメラ制御部２５とノイズ除去部４３は固定パターンノイズ除去を実行しない。すなわち、ノイズ除去部４３は、シャッター１２を開いた状態で撮像装置２０にて撮像され、ＡＦＥ２２でデジタル信号に変換された画像信号を、そのまま画像圧縮部２３に出力する。また、カメラ制御部２５は、撮像装置２０にてシャッター１２を閉じた状態で画像を撮像する、という制御を行わない。

斯かる構成に基づき、図１に示したデジタルカメラ１００の動作を、静止画像を記録する場合、動画像を記録する場合の２つに分けて説明する。

（１）静止画像を記録する場合
デジタルカメラにて静止画像を記録する場合、撮像する静止画の範囲や、露光時間・フォーカスなどの撮像条件を決定するために、プレビュー表示が行われる。プレビュー表示は、撮像装置２０で連続して画像を撮像し、この画像をデジタルカメラ１００に備え付けられた液晶表示装置に表示することによって行われる。プレビュー表示を行っている間、固定パターンノイズ除去装置１０は、撮像装置２０で撮像した画像の画像信号に含まれる固定パターンノイズレベルを解析し、固定パターンノイズ除去を行うか否かを判定する。そして、撮像ボタンが押された時点における判定結果が「固定パターンノイズ除去を行う」場合に、記録する静止画の固定パターンノイズ除去を行う。

まず、プレビュー表示を行っているときに撮像装置２０で撮像された画像信号は、ＡＦＥ２１でデジタル信号に変換された後、解析部４１に入力される。そして、解析部４１にて、撮像された画像に含まれる固定パターンノイズレベルが解析され、判定部４２にて、固定パターンノイズレベルと判定閾値とが比較されることにより、固定パターンノイズ除去を行うか否かが判定される。

この判定は、プレビュー表示が行われている間、撮像装置２０にて撮像された画像に対して常に行われる。または、複数枚に１枚の割合で判定するようにしてもよい。

撮像ボタンが押されると、その時点における判定部４２の判定結果に応じてデジタルカメラ１００は動作する。すなわち、判定部４２が固定パターンノイズ除去を行わないと判定していた場合、カメラ制御部２５は撮像装置２０に対してシャッター１２を開けた状態で撮像するように制御し、撮像された画像はＡＦＥ２１にてデジタル信号に変換された後、固定パターンノイズ除去装置１０にて固定パターンノイズ除去されることなく、画像圧縮部２３に入力される。

一方、判定部４２が固定パターンノイズ除去を行うと判定していた場合、カメラ制御部２５は、まず撮像装置２０に対してシャッター１２を閉じた状態で撮像するよう制御する。シャッター１２を閉じた状態で撮像された画像信号は、ＡＦＥ２１でデジタル信号に変換された後、これを固定パターンノイズ成分としてメモリ４４に記録される。次に、カメラ制御部２５は、撮像装置２０に対してシャッター１２を開いた上体で撮像するよう制御する。そして、シャッター１２を開いた状態で撮像された画像信号は、ＡＦＥ２１でデジタル信号に変換された後、ノイズ除去部４３に入力される。ノイズ除去部４３は、メモリ４４に記録された固定パターンノイズ成分を読み出し、ノイズ除去部４３に入力された画像信号から読み出した固定パターンノイズ成分を減算することにより、固定パターンノイズを除去する。そして、固定パターンノイズが除去された画像信号は、画像圧縮部２３に入力される。

画像圧縮部２３に入力された画像信号は、画像圧縮処理が施され、記録媒体２４に記録される。

（２）動画像を記録する場合
動画像を記録する場合、撮像装置２０で撮像した画像が画像圧縮されると同時に、固定パターンノイズの除去を行うか否かの判定にも用いられる。そして、ある画像について行った固定パターンノイズ除去を行うか否かの判定結果は、次の画像に対して反映される。

動画像を記録するときには、動画像の記録開始時に、カメラ制御部２５の制御によって、シャッター１２を閉じた状態で撮像装置２０により画像を撮像しておき、ＡＦＥ２１でデジタル信号に変換した後、この画像信号を固定パターンノイズ成分としてメモリ４４に記録しておく。

次に、動画像記録中に撮像装置２０で撮像された画像の画像信号は、ＡＦＥ２１でデジタル信号に変換された後、解析部４１とノイズ除去部４３に入力される。解析部４１では、画像に含まれる固定パターンノイズレベルを解析し、判定部４２で固定パターンノイズを除去するか否かを判定する。判定結果は、撮像装置２０で撮像された次の画像に反映される。

ノイズ除去部４３は、１つ前の画像に対して行われた固定パターンノイズ除去の判定結果に基づいて、今回撮像装置２０で撮像された画像信号から固定パターンノイズを除去する。すなわち、固定パターンノイズ除去を行う判定がなされた場合、ノイズ除去部４３は、現在入力されている画像信号からメモリ４４に記録されている固定パターンノイズ成分を減算することにより、固定パターンノイズ除去を実施する。そして、固定パターンノイズ除去された画像信号が画像圧縮部２３に入力される。逆に、前の画像で固定パターンノイズ除去を行わない判定がなされた場合、ノイズ除去部４３は、現在入力されている画像をそのまま画像圧縮部２３に出力する。画像圧縮部２３に入力された画像信号は、画像圧縮処理が施され、記録媒体２４に記録される。

なお、動画像を記録する場合においても、必ずしも撮像中のすべての画像について固定パターンノイズ除去の判定を行う必要はなく、複数枚に１枚の割合で判定を行うようにしてもよい。この場合、判定結果は、撮像装置２０で撮像された次の画像から、次の判定が行われる画像まで適用される。

以上、本実施の形態１によれば、固定パターンノイズを行うか否かの判定を、撮像部１３のＯＰＢ領域から出力される画像信号を利用して行う。ＯＰＢ領域は光が入射されない領域であり、この領域から出力された画像信号は、固定パターンノイズ成分が支配的である。したがって、ＯＰＢ領域から出力された画像信号を解析することにより、画像に含まれる固定パターンノイズレベルを推定することが可能である。これにより、この推定された固定パターンノイズレベルを基に、固定パターンノイズ除去を行うか否かの判定を行えば、固定パターンノイズ除去のオン・オフ制御を確実に行うことができる。このため、従来問題となっていた、固定パターンノイズが多く含まれているときに固定パターンノイズ除去がされずに画質劣化が生じたり、固定パターンノイズが少ない場合に固定パターンノイズ除去が実行されて消費電力が増大する、といった問題を解消することができる。

（実施の形態２）
図１に示した撮像部１３のＯＰＢ領域から出力される画像信号は、前述の通り固定パターンノイズが支配的であるが、実際には固定パターンノイズ以外にサグや入射光の漏れ込みによるノイズも含まれている。固定パターンノイズは、画素間でその大きさにばらつきがあり高周波成分が多く含まれるが、サグや入射光の漏れ込みによるノイズは、画素間でばらつきは少なく、主に低周波成分が支配的である。そこで、本発明の実施の形態２では、ＯＰＢ領域から出力された画像信号を高周波成分と低周波成分とに分解し、高周波成分の大きさを固定パターンノイズの大きさと見なして、固定パターンノイズ除去を行うか否かを判定する。

本実施の形態２に係る固定パターンノイズ除去装置１０を具備したデジタルカメラ１００の構成は図１と同様であるが、解析部４１の機能が実施の形態１と異なる。本実施の形態２の解析部４１は、入力された画像信号を、高周波成分と低周波成分とに分離し、高周波成分を使用して固定パターンノイズのレベルを解析する。その他の構成については、実施の形態１と同じであるため、説明を省略する。

以下、本実施の形態２に係る解析部４１の詳細について説明する。解析部４１は、解析部４１に入力された画像信号がＯＰＢ領域から出力された画像信号であるか否かを示す識別信号をカメラ制御部２５から受け取り、ＯＰＢ領域から出力された画像信号を抽出する。そして、抽出したＯＰＢ領域の画像信号を高周波成分と低周波成分とに分離する。例えば、ＯＰＢ領域の画素Ｘの画像信号成分Ｑ_ｘを次式に従って低周波成分Ｌ_ｘと高周波成分Ｈ_ｘとに分離する。

Ｌ_ｘ＝ｍｉｎ２（Ｑ_ｘ，Ｑ_ｘ＋１，Ｑ_ｘ＋2，・・・、Ｑ_ｘ＋１５）・・・（１）
Ｈ_ｘ＝Ｑ_ｘ−Ｌ_ｘ・・・（２）
ここでＱ_ｘ＋１〜Ｑ_ｘ＋１５は、画素Ｘの左横に隣接して存在するＯＰＢ領域内の１５画素の画像信号成分を示す。また、関数ｍｉｎ２は括弧内に列挙された値のうち、２番目に小さな値を出力する関数である。すなわち、（１）式、（２）式による低周波・高周波分離方法は、分離対象の画素とその画素の左横に隣接して存在する１５画素の計１６画素が持つ暗電流ノイズ成分の中で、２番目に小さい値を低周波成分とし、分離対象の画素の画像信号成分から低周波成分を差し引いたものを高周波成分とする。ここで、低周波成分を１６画素の暗電流ノイズ成分の中の最小値としないのは、欠陥画素によって出力された低レベル信号を低周波成分としないようにするためである。

解析部４１は、ＯＰＢ領域に存在する画素の画像信号から高周波成分を分離した後、撮像された画像１枚毎にＯＰＢ領域の高周波成分の平均値を算出し、これを固定パターンノイズ成分の大きさとして判定部４２に送る。なお、固定パターンノイズレベルの解析に、ＯＰＢ領域に含まれる全画素の画像信号を使用してもよいし、一部の画素の画像信号を使用してもよい。

判定部４２は、実施の形態１と同様の方法で、解析部４１で解析された固定パターンノイズのレベルから、固定パターンノイズ除去を行うか否かを判定する。

以上、本実施の形態２によれば、撮像部１３のＯＰＢ領域から出力される画像信号を高周波成分と低周波成分とに分解し、この高周波成分の平均値を固定パターンノイズのレベルとして固定パターンノイズを行うか否かの判定に利用する。ＯＰＢ領域から出力される画像信号は、固定パターンノイズの他にサグや入射光の漏れ込みによるノイズも含まれているが、サグや入射光の漏れ込みによるノイズは低周波成分が支配的であるのに対し、固定パターンノイズは高周波成分が多く含まれる。したがって、ＯＰＢ領域から出力された画像信号の高周波成分の平均値を固定パターンノイズのレベルとすることにより、より正確に固定パターンノイズレベルの推定することが可能となる。これにより、固定パターンノイズを行うか否かの判定をより確実に行うことができるため、固定パターンノイズが多く含まれているときに固定パターンノイズ除去がされずに画質劣化が生じたり、固定パターンノイズが少ない場合に固定パターンノイズ除去が実行されて消費電力が増大する、といった問題を、実施の形態１よりも確実に解消することができる。

（実施の形態３）
本実施の形態１、２では、解析部４１でＯＰＢ領域の画像信号から固定パターンノイズレベルを推定し、判定部４１で推定された固定パターンノイズレベルと判定閾値とを比較して固定パターンノイズ除去を行うか否かを判定した。しかしながら、ＯＰＢ領域から出力される画像信号には、熱雑音などのランダム雑音も含まれており、推定した固定パターンノイズ成分からランダム雑音を完全に排除できない。また、固定パターンノイズにもランダム性を有しているため、固定パターンノイズレベルが判定閾値近辺のレベルであった場合、固定パターンノイズ除去を行う判定、行わない判定が頻繁に繰り返される結果となる。これは特に動画撮像時において、固定パターンノイズの除去された画像と除去されていない画像が混じって処理されるため、画質劣化の原因となる。そこで、本発明の実施の形態３では、固定パターンノイズ除去を行うか否かの判定において、２つの判定閾値を利用する。

本実施の形態３に係る固定パターンノイズ除去装置１０を具備したデジタルカメラ１００の構成も図１と同様であるが、判定部４２の機能が実施の形態１又は２と異なる。本実施の形態３の判定部４２は、２つの判定閾値を使用して固定パターンノイズを行うか否かを判定する。その他の構成については、実施の形態１又は２と同じであるため、説明を省略する。

以下、本実施の形態３に係る判定部４２の詳細について説明する。判定部４２には、カメラ制御部２５で設定された第１の判定閾値ＴＨＨと第２の判定閾値ＴＨＬが入力されている。第１の判定閾値ＴＨＨと第２の判定閾値ＴＨＬとの間には、第１の判定閾値ＴＨＨのほうが第２の判定閾値ＴＨＬよりも大きい、という関係を持つ（すなわち、ＴＨＨ＞ＴＨＬ）。なお、この２つの判定閾値ＴＨＨ、ＴＨＬはカメラ制御部２５によって変更可能としてもよいし、少なくともどちらか一方を固定値としてもよい。また、判定閾値が固定値の場合、カメラ制御部２５で設定されるのではなく、判定部４２の中に判定閾値を記憶させておいてもよい。

また、判定閾値ＴＨＨ、ＴＨＬはレベル指定であってもレンジ指定であってもよい。さらに、２つの判定閾値のうちどちらか一方をレベル指定とし、残る他方をレンジ指定としてもよい。レベル指定であれば正確な判定を行うことができ、レンジ指定であれば判定にかかるコストを小さく抑えることが可能となる。

判定部４２は、固定パターンノイズ除去装置１０の動作状態に応じて使用する判定閾値を変更する。すなわち、固定パターンノイズ除去装置１０が固定パターンノイズ除去を行っていない状態（固定パターンノイズ除去ＯＦＦの状態）にあるとき、第１の判定閾値ＴＨＨを使用して固定パターンノイズの除去を行うか否かの判定を行う。一方、固定パターンノイズ除去装置１０が固定パターンノイズ除去を行っている状態（固定パターンノイズ除去ＯＮの状態）にあるとき、第２の判定閾値ＴＨＬを使用して固定パターンノイズの除去を行うか否かの判定を行う。

以下、図２をもとに判定部４２の動作について説明する。図２は、判定部４２における固定パターンノイズ除去動作のオン・オフ判定のフローチャートである。デジタルカメラ１００の電源投入時や再生モードから撮像モードの切替などのタイミングによって、判定部４２は初期状態に設定され、オン・オフ判定を開始する（Ｓ１０）。この初期状態では、固定パターンノイズ除去装置１０の動作状態をＯＦＦとする。

次に、解析部４１で固定パターンノイズレベルが推定され、その値ＮＬが判定部４２に入力されると、まず判定部４２は固定パターンノイズ除去装置１０の動作状態を判定する（Ｓ１２）。固定パターンノイズ除去装置１０が固定パターンノイズ除去を行っていない状態であった場合、判定部１４は固定パターンノイズレベルＮＬと第１の判定閾値ＴＨＨとを比較する（Ｓ１４）。そして、固定パターンノイズレベルＮＬが第１の判定閾値ＴＨＨ以上である場合、固定パターンノイズ除去をＯＮにし（Ｓ１６）、Ｓ１２に戻って次に撮像された画像に対し判定を行う。また、固定パターンノイズレベルＮＬが第１の判定閾値ＴＨＨ未満である場合は、固定パターンノイズ除去をＯＦＦ状態に保ったまま、Ｓ１２に戻る。

一方、Ｓ１２において、固定パターンノイズ除去装置１０が固定パターンノイズ除去を行っている状態であった場合、判定部１４は固定パターンノイズレベルＮＬと第２の判定閾値ＴＨＬとを比較する（Ｓ１８）。そして、固定パターンノイズレベルＮＬが第１の判定閾値ＴＨＬ以下である場合、固定パターンノイズ除去をＯＦＦにして（Ｓ２０）、Ｓ１２に戻り、固定パターンノイズレベルＮＬが第２の判定閾値ＴＨＬよりも大きい場合は、固定パターンノイズ除去をＯＮ状態に保ったまま、Ｓ１２に戻る。

このような判定部４２を用いることにより、解析部４１で推定された固定パターンノイズのレベルが第１の判定閾値ＴＨＨ以上になったときに、固定パターンノイズ除去装置１０がＯＦＦ状態からＯＮ状態に遷移する。固定パターンノイズ除去装置１０がＯＮ状態になると、解析部４１で推定された固定パターンノイズのレベルが第１の判定閾値ＴＨＨ以下となっても固定パターンノイズ除去装置１０はＯＮ状態が保たれ、解析部４１で推定された固定パターンノイズのレベルが第２の判定閾値ＴＨＬ以下になったときに、固定パターンノイズ除去装置１０がＯＮ状態からＯＦＦ状態に遷移する。固定パターンノイズ除去装置１０がＯＦＦ状態になれば、固定パターンノイズレベルが再び第１の判定閾値ＴＨＨ以上になるまで固定パターンノイズ除去装置１０はＯＦＦ状態が保たれる。したがって、固定パターンノイズ除去装置１０がＯＮ状態・ＯＦＦ状態を頻繁に切り替えられることを防ぐことができる。

以上、本実施の形態３によれば、２つの判定閾値を用いて固定パターンノイズを行うか否かを判定する。すなわち、固定パターンノイズ除去装置１０がＯＦＦ状態にあるときは高いレベルの判定閾値を用い、固定パターン除去装置１０がＯＮ状態にあるときは低いレベルの判定閾値を用いる。これにより、固定パターンノイズ除去のＯＮ・ＯＦＦが頻繁に繰り返されることを防ぐことができる。したがって、本実施の形態３の構成を用いることにより、本実施の形態１又は２の効果に加えて、特に動画像撮像時において、固定パターンノイズの除去された画像と除去されていない画像が混じって処理されることを防止でき、画質劣化を抑えることが可能となる。

（実施の形態４）
図３は、本発明の実施の形態４に係る固定パターンノイズ除去装置５０を具備したデジタルカメラ１１０の構成を示した図である。本実施の形態４における固定パターンノイズ除去装置５０の構成と実施の形態１〜３における固定パターンノイズ除去装置１０の構成との相違点は、照度算出部４５を備えている点、及び判定部４２が照度計測部４５と接続されている点である。その他の構成については、実施の形態１〜３と同じであるため、説明を省略する。

照度算出部４５は、シャッター１２を開いた状態で撮像装置２０で撮像された画像信号のうち、光が入射される領域（すなわち有効画素領域）に含まれる画素から出力された画像信号から輝度成分を抽出し、各画素の輝度成分の平均値を算出する。そして、この輝度成分の平均値を画像の照度として判定部４２へ出力する。なお、輝度成分の平均値を算出する際、有効画素領域すべての画素の輝度成分を用いてもよいし、有効画素領域のうち一部の領域、例えば画像の中心部分の領域に含まれる画素の輝度成分を用いてもよい。また、ここでは画像の照度を有効画素領域に含まれる画素の輝度成分の平均値としたが、輝度成分の積分値や二乗平均値、または中央値としてもよい。照度算出部４５における照度の算出は、解析部４１における固定パターンノイズレベルの算出と並行して行われる。

判定部４２は、解析部４１で算出された固定パターンノイズレベルと、照度算出部４５で算出された照度とに基づいて、固定パターンノイズの除去を行うか否かを判定する。判定部４２には、カメラ制御部２５によって固定パターンノイズレベル用の判定閾値ＴＨＮと、照度用の判定閾値ＴＨＩが設定されている。これらの判定閾値ＴＨＮとＴＨＩはカメラ制御部２５によって変更可能としてもよいし、少なくともどちらか一方を固定値としてもよい。また、判定閾値が固定値の場合、カメラ制御部２５で設定されるのではなく、判定部４２の中に判定閾値を記憶させておいてもよい。

判定部４２は、解析部４１で算出された固定パターンノイズレベルが判定閾値ＴＨＮ以上であるとき、固定パターンノイズ除去を行うよう判定する。一方、固定パターンノイズレベルが判定閾値ＴＨＮ未満の場合、判定部４２は照度算出部４５で算出された照度と判定閾値ＴＨＩとを比較する。そして、照度が判定閾値ＴＨＩ以下の場合、固定パターンノイズ除去を行うよう判定し、照度が判定閾値よりも大きい場合は、固定パターンノイズ除去を行わないよう判定する。

以上、本実施の形態４によれば、撮像した画像に含まれる固定パターンノイズレベルと撮像した画像の照度から、固定パターンノイズ除去を行うか否かを判定する。固定パターンノイズのレベルのみで判定した場合、固定パターンノイズレベルが小さいときに固定パターンノイズ除去を行わないと判定されるが、撮像した画像の照度が小さい場合、固定パターンノイズレベルが小さい場合であっても固定パターンが目立つ可能性がある。これに対し、固定パターンノイズレベルと照度レベルの両方で固定パターンノイズ除去を行うか否かを判定すれば、照度が小さい場合にも固定パターンノイズを除去することができ、固定パターンノイズ除去のオン・オフ制御を更に確実に行うことが可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

また、上記の実施の形態では、デジタルカメラの例を示したが、それに限らず、撮像素子を備えたものであれば、本発明の実施の形態に係る固定パターンノイズ除去装置を備えることができる。

なお、上記実施の形態において、解析部４１は、ＯＰＢ領域から出力された画像信号、もしくは画像信号から分離した高周波成分の平均値を固定パターンノイズ成分として推定する例を示したが、これに限るものではなく、複数の画素の画像信号もしくはその高周波成分の中央値や二乗平均を求めて固定パターンノイズレベル成分を推定してもよい。もしくは、複数の画素の画像信号もしくはその高周波成分の積分値或いは累積値を求めて、固定パターンノイズ成分のレベルを推定するようにしてもよい。

また、上記実施の形態では、固定パターンノイズ除去を行う場合、予め固定パターンノイズ成分をメモリに記憶しておき、メモリから固定パターンノイズ成分を読み出して画像信号から減算したが、固定パターンノイズ除去の方法はこれに限るものではなく、ＬＰＦ（ＬｏｗＰａｔｈＦｉｌｔｅｒ）を用いて固定パターンノイズを除去するようにしてもよい。ＬＰＦにて固定パターンノイズ除去を行う場合、判定部４２において固定パターンノイズ除去を行うと判定したときはＬＰＦを動作させ、固定パターンノイズ除去を行わないと判定したときはＬＰＦを動作させずに、画像信号をそのまま画像圧縮部２３に送るようにすればよい。

実施の形態１〜３に係るデジタルカメラ１００の構成図である。実施の形態３に係るデジタルカメラ１００の判定部４２における固定パターンノイズ除去オン・オフ制御のフローチャートである。実施の形態４に係るデジタルカメラ１１０の構成図である。

符号の説明

１０固定パターンノイズ除去装置
１１レンズ
１２シャッター
１３撮像部
２０撮像装置
２１駆動部
２２ＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ）
２３画像圧縮部
２４記録媒体
４１解析部
４２判定部
４３ノイズ除去部
４４メモリ
４５照度算出部
１００、１１０デジタルカメラ

Claims

撮像装置の各画素から出力された画像信号からノイズ成分を除去するノイズ除去部と、
前記画像信号のうち、少なくとも前記撮像装置の光が入射されない領域に含まれる画素から出力された画像信号の大きさに基づいて画像信号に含まれるノイズ成分の大きさを解析する解析部と、
少なくとも前記解析されたノイズ成分の大きさに基づいて前記ノイズ除去部によってノイズ除去を行うか否かを判定する判定部と、
前記判定部の判定結果に基づいてノイズ除去部の動作を制御する制御部と、
を備えることを特徴としたノイズ除去装置。
前記解析部は、前記撮像装置の光が入射されない領域に含まれる画素から出力された画像信号成分を高周波成分と低周波成分とに分離し、前記高周波成分の大きさから画像信号に含まれるノイズ成分の大きさを解析することを特徴とした請求項１に記載のノイズ除去装置。
前記判定部は、前記制御部が前記ノイズ除去部に対してノイズ除去を行わないよう制御しているとき、前記解析部で解析されたノイズ成分の大きさが第１の閾値以上となった場合に前記ノイズ除去部においてノイズ除去を行うよう判定し、前記制御部が前記ノイズ除去部に対してノイズ除去を行うよう制御しているとき、前記解析部で解析されたノイズ成分の大きさが前記第１の閾値よりも小さい第２の閾値以下となった場合に前記ノイズ除去部においてノイズ除去を行わないよう判定することを特徴とした請求項１又は２に記載のノイズ除去装置。
前記画像信号のうち、前記撮像装置の光が入射される領域に含まれる画素から出力された画像信号に基づいてその領域における照度を算出する照度算出部を更に備え、
前記判定部は、前記解析されたノイズ成分と前記照度の大きさに基づいて前記ノイズ除去部によってノイズ除去を行うか否かを判定することを特徴とした請求項１〜３のいずれかに記載のノイズ除去装置。