JP2011151453A - 画像撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理方法およびプログラムにおいて、シーンの明暗に応じてセンサノイズが増減した場合でもノイズが必要以上に強調されないようにする。
【解決手段】ノイズ量推定部１６は、露光制御部１５から撮像素子１３の撮影時におけるゲイン値を受け取って撮影画像中のノイズ量を推定する。復元処理変調部１８は、ノイズ量推定部１６から推定ノイズ量に関する情報を受け取るとともに、復元処理記憶部１７から復元処理内容を受け取り、ノイズ量推定部１６で推定されたノイズ量が多い程、復元処理の強度を弱くするように復元処理の強度を変調する。画像処理部１９は、復元処理変調部１８で変調された復元処理内容を受け取り、撮像素子１３で取得された画像データに対して復元処理を施す。
【選択図】図１

Description

本発明は、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理方法およびプログラムにおいて、特にシーンの明暗に応じてセンサノイズが増減した場合でもノイズが必要以上に強調されないようにするための画像撮像装置、画像処理方法およびプログラムに関する。

近年、カメラ機能が携帯電話等に搭載されるようになり、カメラに対する小型化、低コスト化が強く要望されるようになってきている。カメラシステムのサイズを大きく、また高コストにしている原因の一つにオートフォーカス機構があり、このような機構を設けることでレンズ駆動手段を実装するためのスペースやコストがかかっていた。

一方、フォーカス機構を省いた固定焦点レンズを採用すれば低コストかつ小型化が可能となるが、フォーカス機構がないため、一般に近距離被写体に対する撮影ではピントが外れてしまうという問題があった。

このような問題を解決するため、フォーカス機構は持たないが、特別に設計された光学系と画像復元処理を併用することで、通常の固定焦点光学系で撮影された場合と比較して被写界深度の拡大を可能とした画像撮像システムが提案されている（例えば、特許文献１）。

特許第３２７５０１０号明細書 特開２００７−１８１１７０号公報

このような撮像システムでは、レンズのボケ特性の逆特性を用いた画像の復元処理を実施するが、一般に復元処理によりノイズが強調されるため、被写体が暗くて高感度での撮影を必要とする場合にはセンサノイズが多く重畳され、復元処理によりそれがさらに強調されて目立ってしまうという問題があった。

このような問題を解決する手法として特許文献２では、画像を取得する際の露出情報に応じて復元処理の強度を変化させる手法が提案されている。この手法では、暗所での撮影で露出量が小さくなったときに高周波側のゲイン倍率を下げることにより、ノイズの影響が小さい復元画像を得ることができると述べている。

しかしながら、センサノイズは露出に依存して増減するわけではなく、主にカメラの感度設定に依存して増減するため、例えば明るい場所で露出が大きくなる場合でも、カメラの感度設定が高く設定されている場合にはセンサから多くのノイズが発生し、復元処理によりそれがさらに強調されて問題となることがあった。

本発明は、上記事情に鑑みてなされたものであり、撮像手段により被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置、画像処理方法およびプログラムにおいて、シーンの明暗に応じてセンサノイズが増減した場合でもノイズが必要以上に強調されないようにした画像撮像装置、画像処理方法およびプログラムを提供することを目的とするものである。

本発明による画像撮像装置は、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像撮像装置において、撮像素子を備え、被写体を撮像素子上に撮像して画像データを取得する撮像手段と、撮像素子に重畳するノイズ量を推定するノイズ量推定手段と、ノイズ量が多い程、復元処理の強度を弱くして、画像データに対して復元処理を行う画像処理手段とを備えたことを特徴とするものである。

ここで、ノイズ量推定手段は、撮像素子に設定されたゲイン値が高い程ノイズ量が多くなると推定するものとしてもよい。

また、本発明による画像処理方法は、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理方法において、撮像を行なった撮像素子に重畳するノイズ量を推定し、ノイズ量が多い程、復元処理の強度を弱くして、画像データに対して前記復元処理を行うことを特徴とするものである。

ここで、撮像素子に設定されたゲイン値が高い程ノイズ量が多くなると推定するようにしてもよい。

また、本発明によるプログラムは、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する画像処理装置用のプログラムであって、撮像を行なった撮像素子に重畳するノイズ量を推定する処理と、ノイズ量が多い程、復元処理の強度を弱くして、画像データに対して復元処理を行う処理とを画像処理装置に実行させるためのプログラムである。

ここで、撮像素子に設定されたゲイン値が高い程ノイズ量が多くなると推定するようにしてもよい。

本発明の画像撮像装置、画像処理方法およびプログラムによれば、撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して撮像手段の実効的な被写界深度を拡大する場合において、撮像を行なった撮像素子に重畳するノイズ量を推定し、ノイズ量が多い程、復元処理の強度を弱くして、画像データに対して前記復元処理を行うようにしたので、シーンの明暗に応じてセンサ（撮像素子）ノイズが増減した場合でもノイズが必要以上に強調されないようになり、良好な画質の画像を得ることができるようになる。

撮像素子のゲイン値が高い程ノイズ量が多くなる傾向が強いことから、撮像素子に設定されたゲイン値が高い程ノイズ量が多くなると推定するようにすれば、より高精度にノイズ量を推定することが可能になる。

本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図

以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の一実施の形態にかかる画像撮像装置の構成を示すブロック図である。

画像撮像装置１０は、被写体１１から来た光を撮像素子１３上に結像するための撮影光学系１２、結像された光学像をデジタル情報に変換する撮像素子１３、撮影時のＩＳＯ感度を設定する感度設定部１４、設定された感度値に応じて撮像素子１３のゲイン値を決定し、撮像素子１３のゲインをコントロールするとともに撮影時の露光量も制御する露光制御部１５、露光制御部１５から撮像素子１３に設定されたゲイン値を受け取り、撮影画像に重畳されるノイズの量を推定するノイズ量推定部１６、復元処理を記憶しておく復元処理記憶部１７、ノイズ量推定部１６からノイズ量推定結果を受け取り、この結果に基づいて復元処理の強度を変調する復元処理変調部１８、この復元処理変調部１８で変調された復元処理内容を受け取り、画像データに復元処理を施す画像処理部１９、復元処理後の画像をモニタ等に表示する画像表示部２０、記録媒体に画像データを記録する画像記録部２１より構成される。

撮影光学系１２は、特に限定するものではないが、被写界深度を延長する効果を持った光学系を用いることが好ましい。

撮像素子１３は、ＣＣＤセンサやＣＭＯＳセンサ等の固体撮像素子を用いることが可能で、露光制御部１５からのゲイン値を受け取り、撮影時におけるセンサ感度を調整可能なものである。

本発明の撮像手段は、これら撮影光学系１２および撮像素子１３から構成される。

感度設定部１４は、撮影時のＩＳＯ感度を設定するものであるが、このＩＳＯ感度については、ＩＳＯ感度設定用のインターフェースを持たせて、画像撮像装置１０の使用者に任意のＩＳＯ感度を設定させるようにしてもよいし、自動設定するようにしてもよい。

ここで、ＩＳＯ感度を自動設定する場合には、撮像素子１３から出力される信号の強度に応じて撮像素子１３のゲイン値を制御するようにすればよい。具体的には、撮像素子１３の出力の最大値に近い複数画素の出力の平均値が、あらかじめ設定した出力範囲に入るようにゲイン値を調整する。

露光制御部１５は、感度設定部１４からＩＳＯ感度設定値を受け取り、撮像素子１３に設定するゲイン値を決定する。

ノイズ量推定部１６は、露光制御部１５から撮像素子１３のゲイン値を受け取り、このゲイン値が高い程、撮影画像の平均的なノイズ量、あるいは各画素毎のノイズ量が多くなると推定する。ノイズを推定する詳細な方法は特に限定しないが、例えば、画面内で光量が一様となる被写体を準備して、ゲイン値を変化させてこれを撮影し、撮影画像のＳ／Ｎを測定しておくことで、ゲイン値とノイズとの関係を予め求めておく手法が利用可能である。

復元処理記憶部１７は、復元処理の特性を記憶しておくものである。ここで、復元処理の具体的内容は特に限定するものではないが、例えば空間周波数領域におけるフィルタリング処理を適用することも可能であるし、実空間におけるカーネル処理を適用することも可能である。

復元処理変調部１８は、ノイズ量推定部１６から推定ノイズ量に関する情報を受け取るとともに、復元処理記憶部１７から復元処理内容を受け取り、ノイズ量推定部１６で推定されたノイズ量が多い程、復元処理の強度を弱くするように、復元処理の強度を変調する。

ここで復元処理の強度を変調するとは、復元処理の相対的な空間周波数変調量は変化させず、全周波数にわたって一律に変調量を強弱させることを意味する。なお、復元処理の変調量は、画面全体に同一の値を利用することも可能であるし、画素毎に異なる値を設定することも可能である。

画像処理部１９は、復元処理変調部１８で変調された復元処理内容を受け取り、撮像素子１３で取得された画像データに対して復元処理を施す。

本発明の画像処理手段は、これら復元処理記憶部１７、復元処理変調部１８および画像処理部１９から構成される。

次に上記のように構成された画像撮像装置１０の作用について説明する。

まず、撮影に先立って、感度設定部１４において撮影時のＩＳＯ感度が設定される。このＩＳＯ感度に基づいて、露光制御部１５では撮像素子１３に設定するゲイン値を決定する。

その後、設定されたゲイン値で撮像素子１３により被写体１１に対する撮影が行なわれ、撮影により得られた画像データは画像処理部１９に送られる。

一方、ノイズ量推定部１６は、露光制御部１５から撮像素子１３の撮影時におけるゲイン値を受け取って撮影画像中のノイズ量を推定する。復元処理変調部１８は、ノイズ量推定部１６から推定ノイズ量に関する情報を受け取るとともに、復元処理記憶部１７から復元処理内容を受け取り、ノイズ量推定部１６で推定されたノイズ量が多い程、復元処理の強度を弱くするように復元処理の強度を変調する。

なお、復元処理の強度を変調するまでのこれら一連の処理はどの段階で行なってもよく、例えば、露光制御部１５において撮像素子１３に設定するゲイン値が決定された段階で行なってもよいし、撮影終了後に復元処理を行う直前の段階で行なってもよい。

撮影終了後、画像処理部１９は、復元処理変調部１８で変調された復元処理内容を受け取り、撮像素子１３で取得された画像データに対して復元処理を施す。

以上の手順により復元処理が施された画像データは、モニタ等の画像表示部２０に表示されたり、また画像記録部２１で記録メディア等に記録される。

上記のような構成とすることにより、シーンの明暗に応じてセンサ（撮像素子）ノイズが増減した場合でもノイズが必要以上に強調されないようになり、良好な画質の画像を得ることができるようになる。

以上、本発明の画像撮像装置について詳細に説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行なってもよいのは勿論である。

１０ 画像撮像装置
１１ 被写体
１２ 撮影光学系
１３ 撮像素子
１４ 感度設定部
１５ 露光制御部
１６ ノイズ量推定部
１７ 復元処理記憶部
１８ 復元処理変調部
１９ 画像処理部
２０ 画像表示部
２１ 画像記録部

Claims (6)

1. 撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像撮像装置において、
   撮像素子を備え、被写体を前記撮像素子上に撮像して画像データを取得する撮像手段と、
   前記撮像素子に重畳するノイズ量を推定するノイズ量推定手段と、
   前記ノイズ量が多い程、前記復元処理の強度を弱くして、前記画像データに対して前記復元処理を行う画像処理手段とを備えたことを特徴とする画像撮像装置。
2. 前記ノイズ量推定手段が、前記撮像素子に設定されたゲイン値が高い程ノイズ量が多くなると推定するものであることを特徴とする請求項１記載の画像撮像装置。
3. 撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理方法において、
   撮像を行なった前記撮像素子に重畳するノイズ量を推定し、
   前記ノイズ量が多い程、前記復元処理の強度を弱くして、前記画像データに対して前記復元処理を行うことを特徴とする画像処理方法。
4. 前記撮像素子に設定されたゲイン値が高い程ノイズ量が多くなると推定することを特徴とする請求項３記載の画像処理方法。
5. 撮像手段により撮像素子上に被写体を撮像して得た画像データに対して復元処理を施して前記撮像手段の実効的な被写界深度を拡大する画像処理装置用のプログラムであって、
   撮像を行なった前記撮像素子に重畳するノイズ量を推定する処理と、
   前記ノイズ量が多い程、前記復元処理の強度を弱くして、前記画像データに対して前記復元処理を行う処理とを画像処理装置に実行させるためのプログラム。
6. 前記撮像素子に設定されたゲイン値が高い程ノイズ量が多くなると推定することを特徴とする請求項５記載のプログラム。

Images