JP2007096606A - 画像処理装置 - Google Patents

Abstract

【課題】 ノイズ成分を除去した画像に対して画像補正を行うときに、画質劣化を抑えることが可能な画像処理装置を提供する。
【解決手段】 デジタルカメラ１００は、画像を撮像する撮像装置１０と、撮像装置で撮像した画像のうち、少なくとも１つの画像の画像信号からノイズ成分を除去するノイズ除去部３０と、撮像装置で撮像された画像の画像信号に対して画像補正を行う画像補正部４０と、を備え、画像補正部４０においてノイズ除去部３０でノイズ成分が除去された第１の画像の画像信号に対して画像補正を行う場合、撮像装置１０で第１の画像を撮像する前に撮像した第２の画像の画像信号と、ノイズ除去部３０で除去されるノイズ成分とに基づいて、画像補正のパラメータを決定する。
【選択図】 図１

Description

本発明は、画像処理装置に関するものであり、特に固体撮像装置の出力画像信号に対して処理を行う画像処理装置に関する。

被写体からの光を、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally MOS）センサといった固体撮像装置によって電気信号に変換し、ホワイトバランス補正や黒レベルを基準レベルにするためのクランプ補正といった補正を行った後、画像圧縮を施し、記録媒体に記録するように構成されたデジタルカメラが実用化されている。このデジタルカメラに使用される固体撮像装置は、各画素がフォトダイオードによって構成されている。

フォトダイオードでは、入射光が無い状態においても暗電流と呼ばれる電流が常に流れている。暗電流の大きさは個々のフォトダイオード間でばらつきがあり、これが原因となって固体撮像装置から出力された画像信号に固定パターンノイズが発生する。

固体撮像装置で撮像した画像信号から固定パターンノイズを除去する方法としては、あらかじめシャッターを閉じた状態（すなわち入射光を遮断した状態）で撮像した画像信号をメモリに記憶させておき、シャッターを開いて撮像した画像信号からメモリに記憶させた画像信号を減算する方法が用いられている（例えば、特許文献１）。この方法は、シャッターを閉じた状態で撮像した画像信号がほぼ固定パターンノイズ成分であることを利用し、固定パターンノイズを大幅に除去することを可能とするものであるが、メモリへのアクセスが頻繁に発生するため、大きな電力を消費する。

そこで、従来のデジタルカメラは、静止画像を記録する場合に、最終的に撮像する静止画の範囲を決定するために撮像したプレビュー用画像に対しては固定パターンノイズ除去を行わず、記録媒体に記録する静止画として撮像した画像に対してのみ固定パターンノイズ除去を行っている。これによって、固定パターンノイズ除去によるメモリアクセス回数を少なくし、消費電力消費電力を抑えている。

ところで、記録媒体に記録する静止画として撮像した画像に対しホワイトバランス補正を行うためには、その前に撮像したプレビュー用画像に含まれる赤（Ｒ）、緑（Ｇ）、青（Ｂ）３色それぞれの画像信号の大きさの累積値を求め、それぞれの累積値が等しくなるようにＲ、Ｇ、Ｂそれぞれに乗ずるゲインを決定する必要がある。また、クランプ補正を行う場合も、その直前に撮像したプレビュー用画像を用いて、固体撮像装置から出力される黒レベルの大きさを特定する。
特開２００５−１３００４５号公報

しかしながら、プレビュー用画像には固定パターンノイズ成分を含んでおり、この固定パターンノイズ成分を含んだ状態でホワイトバランス補正用のゲインが決定される。このゲインを固定パターンノイズが除去された静止画に乗算すると、固定パターンノイズ成分の分だけＲ、Ｇ、Ｂ各色の累積値が合わなくなり、正確なホワイトバランス補正ができない。

また、クランプ補正においても、プレビュー用画像から求めた黒レベルは固定パターンノイズ成分を含むため、固定パターンノイズが除去された静止画からこの黒レベルを減算すると、固定パターンノイズ成分の大きさだけ余計にクランプされてしまい、暗い画像になる。

このように、固定パターンノイズ成分を含んだプレビュー用画像を用いてホワイトバランス補正やクランプ補正などの静止画の補正用パラメータを決定した場合、静止画から固定パターンノイズを除去すると、固定パターンノイズ成分の誤差によって、かえって画質劣化を引き起こす、といった問題があった。

本発明はこうした状況に鑑みてなされたものであり、その目的は、ノイズ成分を除去した画像に対して画像補正を行うときに、画質劣化を抑えることが可能な画像処理装置を提供することである。

本発明のある態様は、画像処理装置である。この装置は、画像を撮像する撮像装置と、前記撮像装置で撮像した画像のうち、少なくとも１つの画像の画像信号からノイズ成分を除去するノイズ除去部と、前記撮像装置で撮像された画像の画像信号に対して画像補正を行う画像補正部と、を備え、前記画像補正部において前記ノイズ除去部でノイズ成分が除去された第１の画像の画像信号に対して画像補正を行う場合、前記撮像装置で前記第１の画像を撮像する前に撮像した第２の画像の画像信号の大きさと、前記ノイズ除去部で除去されるノイズ成分の大きさとに基づいて、前記画像補正のパラメータを決定する。

この態様によれば、ノイズ成分が除去された第１の画像の画像信号に対して画像補正を行うときに、この画像補正に使用するパラメータを決定する際、従来のように第１の画像よりも先に撮像された第２の画像の画像信号だけを用いるのではなく、第２の画像の画像信号に加えてノイズ除去部で除去するノイズ成分をも考慮する。これにより、ノイズ除去した第１の画像に含まれる画像信号を第２の画像の画像信号とノイズ成分とから予測することができる。したがって、従来のような第２の画像の画像信号だけから画像補正用のパラメータを決定する場合よりも、画像補正用のパラメータの決定にノイズの影響を抑えることができ、ノイズ成分を除去した画像に対して画像補正を行うときに、画質劣化を抑えることが可能となる。

この態様において、前記ノイズ除去部は、除去すべきノイズ成分を記憶しておくメモリを備えていてもよく、前記ノイズ成分は、前記撮像装置において光を遮断した状態で撮像した画像信号であってもよい。

撮像装置において光を遮断した状態で撮像した画像は、暗電流によるノイズが支配的であるため、この画像の画像信号をノイズ成分として保存しておき、別途撮像装置にて撮像した画像の画像信号からこのノイズ成分を除去することにより、精度よくノイズ除去を行うことが可能である。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ノイズ成分を除去した画像に対して画像補正を行うときに、画質劣化を抑えることが可能な画像処理装置を得ることができる。

以下、本発明に係る画像処理装置の実施の形態として、デジタルカメラを例に説明する。図１は、本発明の実施の形態１に係るデジタルカメラ１００の構成を示した図である。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

デジタルカメラ１００は、撮像装置１０、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）２０、ノイズ除去部３０、画像補正部４０、表示装置５０、画像圧縮部６０、記録媒体７０を備えており、被写体からの光は撮像装置１０に入射される。

撮像装置１０は、レンズ１１、シャッター１２、及び撮像部１３を具備しており、撮像装置１０に入射された光はレンズ１１、シャッター１２を通して撮像部１３に入射される。また、撮像装置１０は、シャッター１２を閉じることにより、撮像部１３に入射される光を遮断することができる。

撮像部１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどによって構成されたもので、マトリクス状に配置されたフォトダイオードを備えており、各々のフォトダイオードによって画素が構成される。撮像部１３は、各画素に入射された光をその強度に応じた電気信号に変換し、これを画像信号として１画素ずつ順番に出力する。

また、撮像部１３は、光が入射される有効画素領域と、常に光が入射されない画素領域であるＯＰＢ（Ｏｐｔｉｃａｌ Ｂｌａｃｋ）領域とによって構成されている。このＯＰＢ領域は、撮像部１３から出力される画像信号の黒レベルを規定するために設けられた領域である。

ＡＦＥ２０は、撮像装置１０から出力された画像信号を増幅し、例えば１０ビットのデジタル信号に変換する。そして、ノイズ除去部３０、画像補正部４０及び画像圧縮部６０は、ＡＦＥ２０によってデジタル信号に変換された画像信号に対してそれぞれの処理を実行する。

ノイズ除去部３０は、記録媒体７０に静止画を記録するとき、記録用に撮像された静止画の画像信号に対して固定パターンノイズを除去する。プレビュー用画像に対しては、固定パターンノイズ除去を行わず、ＡＦＥ２０から出力された画像信号をそのまま出力する。

このノイズ除去部３０は、メモリ３１、減算部３２、及び選択部３３を備えている。メモリ３１は、予め撮像装置１０においてシャッター１２を閉じた状態で撮像した画像信号を保持しておくためのメモリである。このメモリ３１に保持された画像信号が、各画素における固定パターンノイズ成分と見なすことができる。この固定パターンノイズ成分は、記録用の静止画を撮像する直前に撮像され、メモリ３１に保存される。

減算部３２は、ＡＦＥ２０から記録用の静止画の画像信号が入力されると、入力された画像信号の画素位置に合わせて、その画素位置の固定パターンノイズ成分をメモリ３１から読み出す。そして、ＡＦＥ２０より入力された画像信号から、メモリ３１より読み出した固定パターンノイズ成分を減算することにより、固定パターンノイズの除去を行う。

選択部３３は、ノイズ除去部３０の出力を選択する。すなわち、ノイズ除去部３０が記録用の静止画の画像信号からノイズ除去を行った場合、選択部３３はそのノイズ除去後の画像信号を出力するよう選択する。また、ノイズ除去部３０にＡＦＥ２０からプレビュー用画像の画像信号が入力されたときは、選択部３３はＡＦＥ２０から入力された画像信号を出力するよう選択する。さらに、ノイズ除去部３０に記録用の静止画を撮像する直前に撮像された固定パターンノイズ成分がＡＦＥ２０から入力された場合にも、この固定パターンノイズ成分をそのまま出力するよう選択する。

画像補正部４０は、プレビュー用画像や記録媒体７０に記録する静止画に対し、ホワイトバランス補正やクランプ補正といった画像補正を施す。この画像補正部４０は、パラメータ決定部４１と補正部４２を備えている。

パラメータ決定部４１は、画像補正を行う際に使用する補正用パラメータを決定する。補正用パラメータはプレビュー用画像と記録媒体７０に記録する静止画とで、決定方法が異なる。まずプレビュー用画像はノイズ除去されないため、その補正用パラメータは、従来と同様の方法、すなわち、一つ前に撮像したプレビュー用画像の画像信号を用いて補正用パラメータを決定する。例えば、ホワイトバランス補正は一つ前に撮像したプレビュー用画像に含まれる赤（Ｒ）、緑（Ｇ）、青（Ｂ）３色それぞれの画像信号の大きさの累積値を求め、それぞれの累積値が等しくなるようにＲ、Ｇ、Ｂそれぞれに乗ずるゲインを決定する。また、クランプ補正は、一つ前に撮像したプレビュー用画像の画像信号のうち、撮像装置１０のＯＰＢ領域に含まれる画素から出力された画像信号の平均値を求めて黒レベルを決定する。

一方、記録媒体７０に記録する静止画は、ノイズ除去部４０でノイズ除去されるため、その補正用パラメータは、静止画を撮像する直前に撮像したプレビュー用画像と、ノイズ除去部３０のメモリ３１に保存するために撮像された固定パターンノイズ成分とを用いて補正用パラメータを決定する。例えば、ホワイトバランス補正は、プレビュー用画像に含まれるＲ、Ｇ、Ｂ３色それぞれの画像信号の大きさの累積値から、固定パターンノイズ成分に含まれるＲ、Ｇ、Ｂ３色それぞれの画像信号の大きさの累積値を減算した値を各色で算出し、算出したそれぞれの色の値が等しくなるように、Ｒ、Ｇ、Ｂそれぞれに乗ずるゲインを決定する。また、クランプ補正は、プレビュー用画像の画像信号のうち撮像装置１０のＯＰＢ領域に含まれる画素から出力された画像信号から、対応する画素の固定パターンノイズ成分を減算し固定パターンノイズを除去した上で、固定パターンノイズ除去後の画像信号の平均値を求めて黒レベルを決定する。

補正部４２は、パラメータ決定部４１で決定された補正用パラメータを用いて、画像補正を行い、表示装置５０と画像圧縮部６０に画像補正した画像信号を出力する。

表示装置５０は、画像補正部４０で補正されたプレビュー用画像や記録した静止画を表示する。画像圧縮部６０は、画像補正部４０にて画像補正された画像信号に対し、ＪＰＥＧ（Joint Photographic Coding Experts Group）などの画像圧縮規格にしたがって画像圧縮処理を行う。記録媒体７０は、画像圧縮部６０で画像圧縮された画像信号を記録し、保存する。

斯かる構成に基づき、図１に示したデジタルカメラ１００の動作について以下に説明する。デジタルカメラ１００は、その動作モードが撮像モードに設定されると、デジタルカメラ１００は、撮像装置１０にてプレビュー用画像を静止画撮像命令が入力されるまで撮像し続ける。撮像されたプレビュー用画像は、ＡＦＥ２０でデジタル信号に変換された後、画像補正部４０でホワイトバランス補正やクランプ補正などの画像補正が施され、表示装置５０に画像補正されたプレビュー用画像が表示される。このとき、画像補正部４０で使用する画像補正用のパラメータは、従来と同様に、一つ前に撮像されたプレビュー用画像の画像信号を用いて決定する。

次に、デジタルカメラ１００は、静止画撮像命令が入力されると、撮像装置１０のシャッター１２を閉じて画像を撮像し、ＡＦＥ２０でデジタル信号に変換後、この画像信号を固定パターンノイズ成分としてメモリ除去部３０のメモリ３１に保存する。また、画像補正部４０は、この固定パターンノイズ成分と、直前に撮像したプレビュー用画像の画像信号とを用いて、静止画の画像信号を補正するために用いる補正用パラメータを決定する。

続いて、デジタルカメラ１００は、再び撮像装置１０のシャッター１２を開き、撮像装置１０で記録用の静止画を撮像する。撮像された静止画の画像信号は、ＡＦＥ２０でデジタル信号に変換された後、ノイズ除去部３０で先にメモリ３１に保存された固定パターンノイズを減算することによって固定パターンノイズを除去する。そして、この固定パターンノイズが除去された静止画の画像信号は、画像補正部４０にて先に決定した補正用パラメータで画像補正が施され、表示装置５０に表示される。また、画像補正された画像は、画像圧縮部６０で画像圧縮された後、記録媒体７０に記録される。

以上、本発明の実施の形態によれば、記録媒体７０に記録する静止画に対してノイズ成分を除去した上で画像補正を行うときに、この画像補正に使用するパラメータを決定する際、従来のようにこの静止画の直前に撮像されたプレビュー用画像の画像信号だけを用いるのではなく、このプレビュー用画像に加えてノイズ除去部３０で除去する固定パターンノイズ成分の大きさをも考慮する。これにより、固定パターンノイズを除去した静止画に含まれる画像信号のおおよその大きさを、直前に撮像したプレビュー用画像の画像信号の大きさと固定パターンノイズ成分の大きさとから予測することができる。したがって、従来のようなプレビュー用画像の画像信号だけから画像補正用のパラメータを決定する場合よりも、画像補正用のパラメータの決定に固定パターンノイズの影響を抑えることができ、ノイズ成分を除去した静止画を撮像する際の画質劣化を抑えることが可能となる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

また、上記の実施の形態では、デジタルカメラの例を示したが、それに限らず、撮像装置と、撮像した画像からノイズ除去を行うノイズ除去部を備えた画像処理装置であれば、本発明を適用可能である。例えば、画像処理装置は携帯端末であってもよい。

また、上記の実施の形態では、静止画記録命令が入力されたときに固定パターンノイズ成分を撮像してメモリ３１に保存するようにしたが、デジタルカメラ１００が撮像モードになったときに固定パターンノイズ成分を撮像してメモリ３１に保存するようにしてもよい。また、ノイズ除去部３０は、固定パターンノイズ成分を撮像したときと、固定パターンノイズを除去するときの撮像装置１０の温度変化などによる固定パターンノイズ成分の大きさの変動を補正するための機能を備えていてもよい。

また、上記実施の形態では、記録媒体７０に記録する静止画に対して固定パターンノイズを除去し、その直前に撮像されたプレビュー用画像の画像信号の大きさと固定パターンノイズの大きさとから、この静止画の画像補正用パラメータを決定する例を示したが、これに限らず、ある画像の固定パターンノイズがノイズ除去部で除去されるときに、この画像の補正用パラメータを、この画像の前に撮像された画像の画像信号の大きさと固定パターンノイズ成分の大きさとから決定するようにした画像処理装置も本発明の範囲に含まれる。

本発明の実施の形態に係るデジタルカメラ１００の構成図である。

符号の説明

１０ 撮像装置
１１ レンズ
１２ シャッター
１３ 撮像部
３０ ノイズ除去部
３１ メモリ
３２ 減算部
４０ 画像補正部
４１ パラメータ決定部
４２ 補正部
５０ 表示装置
６０ 画像圧縮部
７０ 記録媒体
１００ デジタルカメラ

Claims (2)

1. 画像を撮像する撮像装置と、
   前記撮像装置で撮像した画像のうち、少なくとも１つの画像の画像信号からノイズ成分を除去するノイズ除去部と、
   前記撮像装置で撮像された画像の画像信号に対して画像補正を行う画像補正部と、を備え、
   前記画像補正部において前記ノイズ除去部でノイズ成分が除去された第１の画像の画像信号に対して画像補正を行う場合、前記撮像装置で前記第１の画像を撮像する前に撮像した第２の画像の画像信号の大きさと、前記ノイズ除去部で除去されるノイズ成分の大きさとに基づいて、前記画像補正のパラメータを決定することを特徴とする画像処理装置。
2. 前記ノイズ除去部は、除去すべきノイズ成分を記憶しておくメモリを備え、
   前記ノイズ成分は、前記撮像装置において光を遮断した状態で撮像した画像信号であることを特徴とする請求項１に記載の画像処理装置。

Images