JP2007096607A - 画像処理装置 - Google Patents

Abstract

【課題】 撮像した画像信号からノイズ成分を除去した上で画像補正を行うときに、画質劣化を抑えることが可能な画像処理装置を提供する。
【解決手段】 デジタルカメラ１００は、画像を撮像する撮像装置１０と、この撮像装置の各画素から出力された画像信号からノイズ成分を除去するノイズ除去部３０と、ノイズ除去部３０でノイズ除去された画像信号に対して画像補正を行う画像補正部４０と、を備え、撮像装置１０にて静止画を撮像するとき、この静止画を撮像するための撮像装置１０の撮像条件及び画像補正部４０における画像補正のパラメータの少なくとも１つを、静止画を撮像する直前に撮像されたプレビュー用画像信号からノイズ除去部３０にてノイズ成分を除去した画像信号によって決定する。
【選択図】 図１

Description

本発明は、画像処理装置に関するものであり、特に固体撮像装置の出力画像信号に対して処理を行う画像処理装置に関する。

被写体からの光を、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally ＭＯＳ）センサといった固体撮像装置によって電気信号に変換し、ホワイトバランス補正や黒レベルを基準レベルにするためのクランプ補正といった補正を行った後、画像圧縮を施し、記録媒体に記録するように構成されたデジタルカメラが実用化されている。このデジタルカメラに使用される固体撮像装置は、各画素がフォトダイオードによって構成されている。

フォトダイオードでは、入射光が無い状態においても暗電流と呼ばれる電流が常に流れている。暗電流の大きさは個々のフォトダイオード間でばらつきがあり、これが原因となって固体撮像装置から出力された画像信号に固定パターンノイズが発生する。

固体撮像装置で撮像した画像信号から固定パターンノイズを除去する方法としては、あらかじめシャッターを閉じた状態（すなわち入射光を遮断した状態）で撮像した画像信号をメモリに記憶させておき、シャッターを開いて撮像した画像信号からメモリに記憶させた画像信号を減算する方法が用いられている（例えば、特許文献１）。この方法は、シャッターを閉じた状態で撮像した画像信号がほぼ固定パターンノイズ成分であることを利用し、固定パターンノイズを大幅に除去することを可能とするものであるが、メモリへのアクセスが頻繁に発生するため、大きな電力を消費する。

そこで、従来のデジタルカメラは、静止画像を記録する場合に、最終的に撮像する静止画の範囲を決定するために撮像したプレビュー用画像に対しては固定パターンノイズ除去を行わず、記録媒体に記録する静止画として撮像した画像に対してのみ固定パターンノイズ除去を行っている。これによって、固定パターンノイズ除去によるメモリアクセス回数を少なくし、消費電力消費電力を抑えている。

ところで、記録媒体に記録する静止画として撮像した画像に対しホワイトバランス補正を行うためには、その前に撮像したプレビュー用画像に含まれる赤（Ｒ）、緑（Ｇ）、青（Ｂ）３色の累積値を求め、それぞれの累積値が等しくなるようにＲ、Ｇ、Ｂそれぞれに乗ずるゲインを決定する必要がある。また、クランプ補正を行う場合も、その直前に撮像したプレビュー用画像を用いて、固体撮像装置から出力される黒レベルの大きさを特定する。さらに、記録媒体に記録する静止画を撮像するときの固体撮像装置のオートフォーカス制御やアイリス制御を行うためには、直前に撮像したプレビュー用画像の画像信号からそれぞれの制御に対する条件を求めなければならない。
特開２００５−１３００４５号公報

しかしながら、プレビュー用画像には固定パターンノイズ成分を含んでおり、この固定パターンノイズ成分を含んだ状態でホワイトバランス補正用のゲインが決定されることになり、このゲインを固定パターンノイズが除去された静止画に乗算すると、固定パターンノイズ成分の分だけＲ、Ｇ、Ｂ各色の累積値が合わなくなり、正確なホワイトバランス補正ができない。

また、クランプ補正においても、プレビュー用画像から求めた黒レベルは固定パターンノイズ成分を含むため、固定パターンノイズが除去された静止画からこの黒レベルを減算すると、固定パターンノイズ成分の大きさだけ余計にクランプされてしまい、暗い画像になってしまう。

さらに、固体撮像装置のオートフォーカス制御やアイリス制御も、画像に含まれる色成分の大きさによって制御の条件が決定されるため、固定パターンノイズを含んだプレビュー用画像を用いてそれらの制御の条件が決定した場合、固定パターンノイズ成分による誤差が発生する。

このように、固定パターンノイズ成分を含んだプレビュー用画像を用いて静止画を撮像するときの固体撮像装置の制御用のパラメータや撮像した静止画の補正用パラメータを決定した場合、静止画から固定パターンノイズを除去すると、固定パターンノイズ成分の誤差によって、かえって画質劣化を引き起こす、といった問題があった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、撮像した画像信号からノイズ成分を除去した上で画像補正を行うときに、画質劣化を抑えることが可能な画像処理装置を提供することである。

本発明のある態様は、画像処理装置に関する。この装置は、画像を撮像する撮像装置と、前記撮像装置で撮像した画像のうち、少なくとも１つの画像の画像信号からノイズ成分を除去するノイズ除去部と、前記撮像装置で撮像された画像の画像信号に対して画像補正を行う画像補正部と、を備え、前記ノイズ除去部でノイズ除去される第１の画像を前記撮像装置で撮像し、前記画像補正部でこの第１の画像の画像信号に対し画像補正を行うとき、予め前記ノイズ除去部では、前記第１の画像よりも前に前記撮像装置で撮像された第２の画像の画像信号からノイズ成分を除去した第３の画像信号を生成しておき、前記画像補正部では、前記第３の画像信号を用いて前記第１の画像を撮像するための前記撮像装置の撮像条件と前記画像補正部にて前記第１の画像の画像信号に対して行う画像補正のパラメータの少なくとも１つを決定する。

この態様によれば、ノイズ除去を行った上で画像補正を行う第１の画像の撮像条件や、第１の画像に対する画像補正のパラメータを決定するのに際し、予め第１の画像よりも前に撮像された第２の画像の画像信号からノイズ成分を除去した第３の画像信号を生成しておき、この第３の画像信号を用いて第１の画像の撮像条件や、第１の画像に対する画像補正のパラメータを決定する。これにより、第１の画像信号のノイズを除去した第１の画像に含まれる画像信号とほぼ同程度の大きさを第３の画像信号によって予測することができるので、この第３の画像信号を用いて撮像装置の撮像条件や画像補正用のパラメータを決定すれば、これらのパラメータの決定にノイズの影響を抑えることができる。したがって、撮像した第１の画像の画像信号からノイズ成分を除去した上で画像補正を行うときに、画質劣化を抑えることが可能となる。

この態様において、前記ノイズ除去部は、予め前記撮像装置において光を遮断した状態で撮像した画像信号をノイズ成分として記憶しておくメモリと、前記メモリに記憶されたノイズ成分を補正するための補正係数を決定する補正係数決定部と、前記メモリに記憶されたノイズ成分を読み出し、前記補正係数によって読み出したノイズ成分を補正する補正部と、前記撮像装置から出力された画像信号から前記補正部で補正したノイズ成分を減算する減算部と、を備え、前記補正係数決定部は、ノイズ除去を行う画像信号のうち前記撮像装置において光が常に入射されない領域の画素から出力された画像信号の大きさと、前記ノイズ成分のうち前記撮像装置において光が常に入射されない領域の画素から出力された画像信号の大きさとの比率を求めて、前記補正係数を決定してもよい。

撮像装置において光を遮断した状態で撮像した画像は、暗電流によるノイズ成分が支配的であり、この画像の画像信号をノイズ成分とみなすことができるので、この画像信号をメモリに保存し、ノイズ除去を行うためのノイズ成分として利用することができる。また、撮像装置にある光が常に入射されない領域に含まれる画素から出力された画像信号は、その画素におけるノイズ成分とみなすことができる。

したがって、これによれば、ノイズ除去を行う画像信号のうち撮像装置にある光が常に入射されない領域の画素から出力された画像信号の大きさと、メモリに保存したノイズ成分のうち前記撮像装置にある光が常に入射されない領域の画素から出力された画像信号の大きさとの比率から、ノイズ除去を行う画像信号に含まれるノイズ成分の平均的な大きさと、メモリに保存したノイズ成分の平均的な大きさの比率を類推することができる。

そして、この比率から補正係数を求め、メモリに保存されたノイズ成分を補正することにより、ノイズ成分を保存したときとノイズ成分を除去するときとで、撮像装置の温度上昇や通算電荷蓄積時間の増大などの影響によってノイズ成分の大きさが大きく異なる場合でも、精度よく静止画を撮像する直前に撮像した画像信号のノイズ成分を除去することができる。

したがって、このように精度よくノイズ成分が除去された画像信号を用いて、第１の画像を撮像するときの撮像装置の撮像条件や、第１の画像に対して行う画像補正用のパラメータを決定すれば、撮像した第１の画像の画像信号からノイズ成分を除去した上で画像補正を行うときに、画質劣化をさらに抑えることが可能となる。

また、この態様において、前記ノイズ除去部は、ノイズ除去を行う画像信号のうち前記撮像装置において光が常に入射されない領域の画素から出力された画像信号の大きさと、前記ノイズ成分のうち前記撮像装置において光が常に入射されない領域の画素から出力された画像信号の大きさの変化量を求め、その変化量が所定の閾値以上である場合、再び前記撮像装置において光を遮断した状態で画像信号を撮像し、これを新たなノイズ成分として前記メモリに記憶させてもよい。

これによれば、ノイズ除去を行う画像信号のうち撮像装置にある光が常に入射されない領域の画素から出力された画像信号の大きさと、メモリに保存したノイズ成分のうち前記撮像装置にある光が常に入射されない領域の画素から出力された画像信号の大きさとの変化量から、ノイズ除去を行う画像信号に含まれるノイズ成分の平均的な大きさと、メモリに保存したノイズ成分の平均的な大きさの変化量を類推することができる。

そして、予めメモリに保存したノイズ成分を補正して使用する方法では、この変化量が大きい場合、補正したノイズ成分と実際に含まれるノイズ成分との間に誤差が生じるが、これによれば、変化量が所定の閾値以上である場合、改めてノイズ成分を撮像するので、高精度にノイズを除去することが可能となる。したがって、第１の画像を撮像する際の撮像装置の撮像条件や画像補正のパラメータの決定に際し、ノイズ成分の影響をより抑えることができるので、撮像した第１の画像の画像信号からノイズ成分を除去した上で画像補正を行うときに、画質劣化をさらに抑えることが可能となる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮像した画像信号からノイズ成分を除去した上で画像補正を行うときに、画質劣化を抑えることが可能な画像処理装置を得ることができる。

以下、本発明に係る画像処理装置の実施の形態として、デジタルカメラを例に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係るデジタルカメラ１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

デジタルカメラ１００は、撮像装置１０、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２０、ノイズ除去部３０、画像補正部４０、画像圧縮部５０、記録媒体６０を備えており、被写体からの光は撮像装置１０に入射される。

撮像装置１０は、レンズ１１、シャッター１２、及び撮像部１３を具備しており、撮像装置１０に入射された光はレンズ１１、シャッター１２を通して撮像部１３に入射される。また、撮像装置１０は、シャッター１２を閉じることにより、撮像部１３に入射される光を遮断することができる。

撮像部１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどによって構成されたもので、マトリクス状に配置されたフォトダイオードを備えており、各々のフォトダイオードによって画素が構成される。撮像部１３は、各画素に入射された光をその強度に応じた電気信号に変換し、これを画像信号として１画素ずつ順番に出力する。

また、撮像部１３は、光が入射される有効画素領域と、常に光が入射されない画素領域であるＯＰＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）領域とによって構成されている。このＯＰＢ領域は、撮像部１３から出力される画像信号の黒レベルを規定するために設けられた領域である。また、このＯＰＢ領域から出力される画像信号は固定パターンノイズが支配的であるため、ＯＰＢ領域に含まれる画素から出力された画像信号は、その画素における固定パターンノイズ成分と見なすことができる。

ＡＦＥ２０は、撮像装置１０から出力された画像信号を増幅し、例えば１０ビットのデジタル信号に変換する。そして、ノイズ除去部３０、画像補正部４０及び画像圧縮部５０は、ＡＦＥ２０によってデジタル信号に変換された画像信号に対してそれぞれの処理を実行する。

ノイズ除去部３０は、記録媒体６０に静止画を記録するとき、記録用に撮像された静止画の画像信号から固定パターンノイズを除去する。また、ノイズ除去部３０は静止画を撮像する直前に撮像されたプレビュー用画像に対しても固定パターンノイズ除去を行う。その他のプレビュー用画像に対しては、固定パターンノイズ除去を行わず、ＡＦＥ２０から出力された画像信号をそのまま出力する。

このノイズ除去部３０は、メモリ３１、補正係数算出部３２、ノイズ補正部３３と減算部３４を備えている。メモリ３１は、予め撮像装置１０においてシャッター１２を閉じた状態で撮像した画像信号を保持しておくためのメモリである。このメモリ３１に保持された画像信号が、各画素における固定パターンノイズ成分と見なすことができる。固定パターンノイズ成分は、デジタルカメラ１００が撮影モードになったときに最初のプレビュー用画像を撮像する直前と、静止画用画像を撮像する直前に撮像され、メモリ３１に保存される。

補正係数算出部３２は、静止画を撮像する直前に撮像されたプレビュー用画像から固定パターンノイズを除去するときに、メモリ３１に保持された固定パターンノイズ成分を補正するための係数を算出する。この補正が必要な理由は、以下の通りである。すなわち、静止画を撮像する直前に撮像されたプレビュー用画像は、最初のプレビュー用画像を撮像する直前に保存された固定パターンノイズ成分を利用して固定パターンノイズを除去するが、固定パターンノイズ成分を保存してからこれを利用してプレビュー用画像の固定パターンノイズを除去するまでに時間が空く。固定パターンノイズは、撮像部１３の温度の上昇や、撮像部１３の通算電荷蓄積時間の増大などによって増加するため、固定パターンノイズ成分を保持したときと固定パターンノイズを除去するときの撮像部１３の温度や通算電荷蓄積時間の違いによる固定パターンノイズの大きさの違いを補正する必要がある。補正係数算出部は、そのための補正係数を算出する。

一方、静止画用の固定パターンノイズは、静止画を撮像する直前に撮像してメモリ３１に保存するため、撮像部１３の温度や通算電荷蓄積時間にほとんど変化はなく、このため補正する必要はない。したがって、静止画用の固定パターンノイズに対する補正係数の算出は行わず、メモリ３１に保存された固定パターンノイズをそのまま利用して固定パターンノイズの除去を行う。

ここで、補正係数算出部３２の具体的な動作について説明する。補正係数算出部３２は、撮像部１３のＯＰＢ領域に含まれる画素から出力される画像信号を用いて補正係数を算出する。まず、メモリ３１に固定パターンノイズ成分を保存するとき、補正係数算出部３２は、そのときに撮像部１３で撮像された画像のうちＯＰＢ領域に含まれる画素から出力された画像信号の平均値をとり、記憶しておく。そして、プレビュー用画像の固定パターンノイズ除去を行うとき、撮像部１３のＯＰＢ領域に含まれる画素から出力された画像信号の平均値を求め、先に記憶しておいた平均値との比率を算出する。この比率をメモリ３１に保持されている固定パターンノイズの補正係数としてノイズ補正部３３に出力する。なお、平均値はＯＰＢ領域の全部の画素から求めてもよいし、一部の画素から求めてもよい。また、平均値ではなく、中央値、二乗平均値、積分値、或いは累積値を求めて、補正係数を算出してもよい。

ノイズ補正部３３は、メモリ３１に保持されたプレビュー用画像の固定パターンノイズ成分に対し、補正係数算出部３２において算出された補正係数を乗算する。静止画用の固定パターンノイズに対しては、補正を行わずに、メモリ３１から読み出した固定パターンノイズ成分をそのまま出力する。

減算部３４は、ＡＦＥ２０から出力された静止画を撮像する直前に撮像されたプレビュー用画像と、記録媒体６０に記録するために撮像された静止画に対して、補正係数算出部３２から出力された固定パターンノイズ成分を減算することにより、固定パターンノイズ除去を行う。その他のプレビュー用画像については、固定パターンノイズの除去を行わずに、ＡＦＥ２０から出力された画像信号をそのまま出力する。

画像補正部４０は、記録媒体６０に記録する静止画に対し、ホワイトバランス補正やクランプ補正といった画像補正を施す。これらの画像補正に使用するパラメータは、静止画を撮像する直前に撮像され、ノイズ除去部３０によって固定パターンノイズが除去されたプレビュー用画像を用いて決定される。また、画像補正部４０では、撮像装置１０の制御用パラメータやＡＦＥ２０における画像信号の増幅率を決定する機能も有している。これらのパラメータも、静止画を撮像する直前に撮像されたプレビュー用画像を用いて決定される。

画像補正部４０は、パラメータ決定部４１、パラメータ記憶部４２、補正部４３を備えている。パラメータ決定部４１は、静止画を撮像する直前に撮像され、ノイズ除去部３０によって固定パターンノイズが除去されたプレビュー用画像を用いて、ホワイトバランス補正で必要となるホワイトバランス補正係数や、クランプ補正で用いる黒レベルの大きさなど、画像補正で用いる各種パラメータを決定する。また、パラメータ決定部４１は、オートフォーカス制御やアイリス制御などの撮像装置１０の制御用パラメータ、及びＡＦＥ２０における画像信号に対する増幅率も決定する。

パラメータ決定部４１で決定された各種パラメータは、パラメータ記憶部４２に保存される。パラメータ記憶部４２は、レジスタ或いはＳＲＡＭによって構成される。

パラメータ記憶部４２に保存されたパラメータのうち、撮像装置１０の制御用パラメータは記録媒体６０に記憶する静止画を撮像装置１０で撮像する際に読み出され、撮像装置１０のオートフォーカス制御やアイリス制御などに用いられる。また、ＡＦＥ２０の増幅率は、撮像装置１０で静止画が撮像されたときに読み出され、撮像装置１０から出力された静止画の画像信号は読み出された増幅率でＡＦＥ２０によって増幅される。また、画像補正用のパラメータは、ノイズ除去部３０で固定パターンノイズが除去された静止画が画像補正部４０に入力されるときに読み出され、補正部４３に送られる。

補正部４３は、パラメータ記憶部４２から読み出された画像補正用のパラメータを用いて、ホワイトバランス補正やクランプ補正などの様々な画像補正を行う。

画像圧縮部５０は、画像補正部４０にて画像補正された画像信号に対し、ＪＰＥＧ（Photographic Coding Experts Group）などの画像圧縮規格にしたがって画像圧縮処理を行う。記録媒体６０は、画像圧縮部５０で画像圧縮された画像信号を記録し、保存する。

斯かる構成に基づき、図１に示したデジタルカメラ１００の動作について図２のフローチャートを参照しながら説明する。デジタルカメラ１００は、その動作モードが撮像モードに設定されると（Ｓ１０）、まず撮像装置１０にてシャッター１２を閉じた状態で画像を撮像する。この画像信号は、ＡＦＥ２０でデジタル信号に変換された後、固定パターンノイズ成分としてメモリ除去部３０のメモリ３１に保存される（Ｓ１２）。また、ステップＳ１２では、撮像部１３のＯＰＢ領域に含まれる画素の画像信号の平均値が補正係数算出部３２で算出され、保存される。

次に、デジタルカメラ１００は、シャッター１２を開いた状態で撮像装置１０にてプレビュー用画像を撮像する（Ｓ１４）。このプレビュー用画像はデジタルカメラ１００に備えられたディスプレイ（図示せず）に表示され、デジタルカメラ１００のユーザは、ディスプレイに映し出されたプレビュー用画像を見て、撮像したい静止画の画像範囲を決定することができる。

次に、デジタルカメラ１００は、ユーザから静止画撮像命令が入力されたか否かを判断する（Ｓ１６）。静止画撮像命令が入力されていないときは、ステップＳ１４に戻って、引き続きプレビュー用画像を撮像する。

静止画撮像命令が入力されたときは、ステップＳ１８に移り、プレビュー用画像をもう一度撮像する。このプレビュー用画像はノイズ除去部３０の補正係数算出部３２にも入力され、撮像部１３のＯＰＢ領域に含まれる画素から出力された画像信号の平均値を算出する。

次に、デジタルカメラ１００はステップＳ２０に移り、補正係数算出部３２にて、ステップＳ１２とステップＳ１８でそれぞれ算出したＯＰＢ領域の画像信号の平均値の比率を求め、メモリ３１に保存された固定パターンノイズ成分の補正係数を算出する。そして、補正部３３にて、メモリ３１から読み出された固定パターンノイズ成分を補正係数算出部３２で算出した補正係数を用いて補正するとともに、減算部３４にて、ステップＳ１８で撮像したプレビュー用画像の画像信号から、補正部３３で補正した固定パターンノイズ成分を減算することにより、固定パターンノイズを除去する。

次に、デジタルカメラ１００は、画像補正部４０のパラメータ決定部４１にて、固定パターンノイズが除去されたプレビュー用画像を用いて、オートフォーカス制御やアイリス制御などの撮像装置１０の制御用パラメータや、ＡＦＥ２０における画像信号の増幅率、或いはホワイトバランス補正やクランプ補正などの画像補正用パラメータを決定する（Ｓ２２）。

続いて、デジタルカメラ１００は、再び撮像装置１０のシャッター１２を閉じて画像を撮像し、ＡＦＥ２０でデジタル信号に変換された画像を固定パターンノイズ成分としてメモリ除去部３０のメモリ３１に保存する（Ｓ２４）。そして、再び撮像装置１０のシャッター１２を開き、ステップＳ２２で決定した撮像装置１０の制御用パラメータを使用して、撮像装置１０は静止画を撮像する（Ｓ２６）。撮像された静止画の画像信号は、ステップ２２で決定したＡＦＥ２０の増幅率にしたがって増幅され、デジタル信号に変換された後、ノイズ除去部３０で、ステップＳ２４で撮像された固定パターンノイズ成分が除去される（Ｓ２８）。

続いて、画像補正部４０において、固定パターンノイズ成分が除去された静止画の画像信号に対し、ステップ２２で決定した画像補正用パラメータを用いて画像補正が施される（Ｓ３０）。その後、画像補正された静止画の画像信号は、画像圧縮部５０で画像圧縮処理がなされて記録媒体６０に記録され（Ｓ３２）、撮像処理を終了する（Ｓ３４）。

以上、本発明の実施の形態１によれば、固定パターンノイズ除去を行って静止画を撮像する場合に、静止画を撮像する直前のプレビュー用画像に対しても固定パターンノイズ除去を行い、固定パターンノイズを除去したプレビュー用画像を用いて静止画を撮像するときの撮像装置１０の制御用パラメータや静止画に対して行う画像補正用のパラメータを決定する。これにより、ノイズ除去した静止画に含まれる画像信号とほぼ同じ画像信号を用いて撮像装置１０の撮像条件や画像補正用のパラメータを決定することができるので、これらのパラメータの決定に固定パターンノイズの影響を抑えることができる。したがって、ノイズ成分を除去した静止画を撮像する際に画質劣化を抑えることが可能である。

また、本発明の実施の形態１では、プレビュー用画像の固定パターンノイズを除去するときに、メモリ３１に保存された固定パターンノイズ成分を補正する。これにより、固定パターンノイズを保存したときと、プレビュー用画像から固定パターンノイズを除去するときとで、撮像装置１０の温度上昇や通算電荷蓄積時間の増大などの影響によって、固定パターンノイズの大きさが大きく異なってくる場合でも、補正された固定パターンノイズを使用することにより、より正確にプレビュー用画像の固定パターンノイズを除去することができる。したがって、より正確に固定パターンノイズが除去されたプレビュー用画像を用いて、静止画を撮像するときの撮像装置１０の制御用パラメータや、静止画に対して行う画像補正用のパラメータを決定すれば、さらなる固定パターンノイズ成分を除去した静止画を撮像する際の、画質劣化を抑えることが可能である。

（実施の形態２）
本実施の形態１では、プレビュー用画像から固定パターンノイズを除去する際、プレビュー用画像のＯＰＢ領域の画像信号の平均値と、予め取得した固定パターンノイズ成分のＯＰＢ領域の画像信号の平均値との比率を算出し、その比率に応じて固定パターンノイズを補正した上で、プレビュー用画像から固定パターンノイズを除去した。しかし、温度変化や通算電荷蓄積時間の増大によって、予め取得した固定パターンノイズ成分と、プレビュー用画像に含まれる固定パターンノイズ成分とが大きく異なってきた場合、本実施の形態１による固定パターンノイズの補正だけでは、正しくプレビュー用画像に含まれる固定パターンノイズを予測することはできない。そこで、本実施の形態２では、予め撮像した固定パターンノイズ成分とプレビュー用画像のそれぞれのＯＰＢ領域の画像信号の平均値の変化量を算出し、その変化量が所定の閾値以上である場合、固定パターンノイズ成分を改めて取得する。

図３は、本発明の実施の形態２に係るデジタルカメラ１１０の構成を示した図である。本実施の形態２におけるデジタルカメラ１１０の構成と実施の形態１におけるデジタルカメラ１００の構成との相違点は、ノイズ除去部３０に解析部３５を備えている点である。その他の構成については、実施の形態１と同じであるため、説明を省略する。

解析部３５は、静止画撮像命令が入力された後にプレビュー用画像の固定パターンノイズの除去を行う際、デジタルカメラ１１０が撮像モードになったときに予め撮像した固定パターンノイズ成分おけるＯＰＢ領域の画像信号の平均値と、撮像したプレビュー用画像におけるＯＰＢ領域の画像信号の平均値との変化量を算出し、その変化量が所定の閾値以上であるか否かを解析する。なお、所定の閾値は固定値であってもよいし、可変値としてもよい。また、外部から設定可能としてもよい。

解析部３５での解析の結果、変化量が所定の閾値未満であると判断した場合、ノイズ除去部３０は実施の形態１と同様の方法でプレビュー用画像から固定パターンノイズ除去を行う。一方、変化量が所定の閾値以上であると判断した場合、デジタルカメラ１１０は、撮像装置１０のシャッター１２を閉じ、改めて固定パターンノイズ成分を撮像してメモリ３１に保存する。そして、再度撮像装置１０のシャッター１２を開けて新たにプレビュー画像を撮像し、ノイズ除去部３０にて、このプレビュー用画像から改めてメモリ３１に保存された固定パターンノイズ成分を減算する。そして、画像補正部４０のパラメータ決定部４１では、この固定パターンノイズ成分が除去されたプレビュー画像を用いて、撮像装置１０の制御用パラメータやＡＦＥ２０における増幅率、若しくは画像補正部４０で使用する画像補正用パラメータを決定する。

以上、本実施の形態２によれば、予め撮像した固定パターンノイズ成分とプレビュー用画像のそれぞれにおけるＯＰＢ領域の画像信号の平均値の変化量を算出し、その変化量が所定の閾値以上である場合、改めて固定パターンノイズ成分を取得し、これを用いてプレビュー用画像から固定パターンノイズを除去する。これにより、プレビュー用画像から高精度に固定パターンノイズを除去することが可能となり、静止画を撮像する際の撮像装置１０の制御用パラメータや画像補正用パラメータの決定に際し、より固定パターンノイズの影響を抑えることができる。したがって、固定パターンノイズ成分を除去した静止画を撮像する際の画質劣化を抑えることが可能である。

一方、変化量が所定の閾値未満の場合は、プレビュー用画像に含まれる固定パターンノイズを精度よく予測することが可能であるため、改めて固定パターンノイズ成分を取得しない。これにより、固定パターンノイズ成分を新たに取得することによる静止画の撮像にかかる処理時間の増大や、消費電力の増加を抑えることが可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

また、上記の実施の形態では、デジタルカメラの例を示したが、それに限らず、撮像装置と、撮像した画像からノイズ除去を行うノイズ除去部を備えた画像処理装置であれば、本発明を適用可能である。例えば、画像処理装置は携帯端末であってもよい。

また、上記実施の形態では、ＯＰＢ領域に含まれる画素から出力された画像信号を用いて、固定パターンノイズ成分の補正を行ったり、予め撮像した固定パターンノイズ成分とプレビュー用画像のそれぞれのＯＰＢ領域の画像信号の平均値の変化量の判定を行ったが、画像信号から高周波成分を取り出して、この高周波成分を用いて固定パターンノイズ成分の補正や上記変化量の判定を行ってもよい。前述の通り、ＯＰＢ領域から出力される画像信号は、固定パターンノイズ成分が支配的であるが、実際には固定パターンノイズ以外にサグや入射光の漏れ込みによるノイズも含まれている。しかしながら、固定パターンノイズは、画素間でその大きさにばらつきがあり高周波成分が多く含まれるのに対し、サグや入射光の漏れ込みによるノイズは、画素間でばらつきは少なく、主に低周波成分が支配的である。そこで、ＯＰＢ領域から出力された画像信号を高周波成分と低周波成分とに分解し、高周波成分の大きさを固定パターンノイズの大きさと見なして固定パターンノイズ成分の補正や上記変化量の判定を行えば、より高精度にプレビュー用画像から固定パターンノイズ成分を除去することが可能となる。

また、上記実施の形態２では、予め撮像した固定パターンノイズ成分とプレビュー用画像のそれぞれのＯＰＢ領域の画像信号の平均値の変化量が所定の閾値以上であった場合、固定パターンノイズを改めて取得するようにしたが、これにかえて変化量に応じて補正係数の算出方法を変えるようにしてもよい。これにより、固定パターンノイズを改めて取得する方法よりも若干固定パターンノイズの除去精度が落ちるものの、予め撮像した固定パターンノイズ成分とプレビュー用画像のそれぞれのＯＰＢ領域の画像信号の平均値の比率によって補正係数を決定する場合よりも精度よく固定パターンノイズを除去することができる。加えて、この方法では、固定パターンノイズを取得することによる静止画撮像処理に係る時間の増大や、消費電力の増加を抑えることができる。

実施の形態１に係るデジタルカメラ１００の構成図である。 実施の形態１に係るデジタルカメラ１００の動作を示すフローチャートである。 実施の形態２に係るデジタルカメラ１１０の構成図である。

符号の説明

１０ 撮像装置
１１ レンズ
１２ シャッター
１３ 撮像部
３０ ノイズ除去部
３１ メモリ
３２ 補正係数決定部
３３ 補正部
３４ 減算部
３５ 解析部
４０ 画像補正部
４１ パラメータ決定部
１００、１１０ デジタルカメラ

Claims (3)

1. 画像を撮像する撮像装置と、
   前記撮像装置で撮像した画像のうち、少なくとも１つの画像の画像信号からノイズ成分を除去するノイズ除去部と、
   前記撮像装置で撮像された画像の画像信号に対して画像補正を行う画像補正部と、を備え、
   前記ノイズ除去部でノイズ除去される第１の画像を前記撮像装置で撮像し、前記画像補正部でこの第１の画像の画像信号に対し画像補正を行うとき、前記ノイズ除去部では、予め前記第１の画像よりも前に前記撮像装置で撮像された第２の画像の画像信号からノイズ成分を除去した第３の画像信号を生成しておき、前記画像補正部では、前記第３の画像信号を用いて前記第１の画像を撮像するための前記撮像装置の撮像条件と前記画像補正部にて前記第１の画像の画像信号に対して行う画像補正のパラメータの少なくとも１つを決定することを特徴とする画像処理装置。
2. 前記ノイズ除去部は、予め前記撮像装置において光を遮断した状態で撮像した画像信号をノイズ成分として記憶しておくメモリと、
   前記メモリに記憶されたノイズ成分を補正するための補正係数を決定する補正係数決定部と、
   前記メモリに記憶されたノイズ成分を読み出し、前記補正係数によって読み出したノイズ成分を補正する補正部と、
   前記撮像装置から出力された画像信号から前記補正部で補正したノイズ成分を減算する減算部と、を備え、
   前記補正係数決定部は、ノイズ除去を行う画像信号のうち前記撮像装置において光が常に入射されない領域の画素から出力された画像信号の大きさと、前記ノイズ成分のうち前記撮像装置において光が常に入射されない領域の画素から出力された画像信号の大きさとの比率を求めて、前記補正係数を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ除去部は、ノイズ除去を行う画像信号のうち前記撮像装置において光が常に入射されない領域の画素から出力された画像信号の大きさと、前記ノイズ成分のうち前記撮像装置において光が常に入射されない領域の画素から出力された画像信号の大きさの変化量を求め、その変化量が所定の閾値以上である場合、再び前記撮像装置において光を遮断した状態で画像信号を撮像し、これを新たなノイズ成分として前記メモリに記憶させることを特徴とする請求項２に記載の画像処理装置。

Images