JP2010087862A - 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

【課題】被写体距離が不明な場合でも被写体像を適切に復元すること。
【解決手段】画像処理装置は、物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて撮像された画像を取得する画像取得部と、特定のデフォーカス量に応じた光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を、画像に施す画像処理部と、画像処理部が異なるデフォーカス量にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部と備える。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラムに関する。

３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留める技術が知られている（例えば、特許文献１および２参照。）。
特開２００６−９４４６９号公報 特表平１１−５００２３５号公報

特許文献１の技術によると、外部アクティブ方式で被写体距離を測定するが、距離測定用のデバイスを別途設けなければならない。被写体距離が不明な場合でも、被写体像を適切に復元することができることが望ましい。

上記課題を解決するために、本発明の第１の態様によると、画像処理装置であって、物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて撮像された画像を取得する画像取得部と、特定のデフォーカス量に応じた光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を、画像に施す画像処理部と、画像処理部が異なるデフォーカス量にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部と備える。

光学系の光学伝達関数は、光学系の光軸方向における物点位置に依存しており、画像処理部は、異なる物点位置にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。

光学系の光学伝達関数は、物点位置および光学系の結像特性に依存しており、画像処理部は、異なる物点位置および結像特性にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。

光学系の光学伝達関数は、物点位置および光学系の位置に依存しており、画像処理部は、異なる物点位置および光学系の位置にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。

光学系の光学伝達関数は、物点位置、光学系の位置、および、光学系が有する絞り部の絞り開度に依存しており、画像処理部は、異なる物点位置、光学系の位置、および、絞り開度にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。

画像が撮像されたときの光学系の結像特性を示す情報を取得する光学パラメータ取得部と、光学系の結像特性に対応づけて、画像に適用すべき複数の補正処理を示す情報を格納する画像処理パラメータ格納部とをさらに備え、画像処理部は、光学パラメータ取得部が取得した情報が示す結像特性に適合する結像特性に対応づけて画像処理パラメータ格納部が格納している情報が示す複数の補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。

画像取得部は、光変調素子による物点からの光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする光学系を通じて撮像された画像を取得してよい。

画像取得部は、光学系の光軸に対する位置に関する３次の位相分布を物点からの光に与える光変調素子により、物点からの光の広がりを物点までの距離に対して略一定にする光学系を通じて撮像された画像を取得してよい。

本発明の第２の態様によると、画像処理方法であって、物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて撮像された画像を取得する画像取得段階と、特定のデフォーカス量に応じた光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を、画像に施す画像処理段階と、画像処理段階において異なるデフォーカス量にそれぞれ応じた異なる補正処理がそれぞれ画像に施されることにより生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成段階とを備える。

本発明の第３の態様によると、画像処理装置用のプログラムであって、コンピュータを、物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて撮像された画像を取得する画像取得部、特定のデフォーカス量に応じた光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を、画像に施す画像処理部、画像処理部が異なるデフォーカス量にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部として機能させる。

本発明の第４の態様によると、撮像装置であって、物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系と、光学系を通じて被写体の画像を撮像する撮像部と、光学系の結像特性を制御することによりデフォーカス量を制御して、撮像部に複数の画像を撮像させる制御部と、特定のデフォーカス量に応じた光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を、複数の画像に施す画像処理部と、画像処理部が複数の画像に補正処理をそれぞれ施すことによって生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部とを備える。

光学系の光学伝達関数は、光学系の位置に依存しており、制御部は、光学系の位置を制御することによりデフォーカス量を制御して、撮像部に複数の画像を撮像させ、画像処理部は、光学系特定の位置に応じた光学系の光学伝達関数に基づいて、光学系の特定の位置に応じた光の広がりを補正する補正処理を、複数の画像に施すことにより、複数の補正画像を生成してよい。

光学系の光学伝達関数は、光学系の光軸方向における物点位置および光学系の位置に依存しており、画像処理部は、特定の物点位置および光学系の位置に応じた光学系の光学伝達関数に基づいて、特定の物点位置および光学系の位置に応じた光の広がりを補正する補正処理を、複数の画像に施すことにより、複数の補正画像を生成してよい。

光学系は、絞り部を有し、光学系の光学伝達関数は、物点位置、光学系の位置、および、絞り部の絞り開度に依存しており、画像処理部は、特定の物点位置、光学系の位置、および絞り開度に応じた光学系の光学伝達関数に基づいて、特定の物点位置、光学系の位置、および絞り開度に応じた光の広がりを補正する補正処理を、複数の画像に施すことにより、複数の補正画像を生成してよい。

光学系は、光変調素子による物点からの光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にしてよい。

光学系は、光軸に対する位置に関する３次の位相分布を物点からの光に与える光変調素子により、物点からの光の広がりを物点までの距離に対して略一定にしてよい。

本発明の第５の態様によると、撮像方法であって、物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて被写体の画像を撮像部が撮像する撮像段階と、光学系の結像特性を制御することによりデフォーカス量を制御して、撮像部に複数の画像を撮像させる制御段階と、特定のデフォーカス量に応じた光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を、複数の画像に施す画像処理段階と、画像処理段階において複数の画像に補正処理がそれぞれ施されて生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成段階とを備える。

本発明の第６の態様によると、撮像装置用のプログラムであって、コンピュータを、物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて被写体の画像を撮像する撮像部、光学系の結像特性を制御することによりデフォーカス量を制御して、撮像部に複数の画像を撮像させる制御部、特定のデフォーカス量に応じた光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を、複数の画像に施す画像処理部、画像処理部が複数の画像に補正処理をそれぞれ施すことによって生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係わる撮像装置１１０のブロック構成の一例を示す。撮像装置１１０は、被写体距離に応じて生じる被写体像のアーチファクトの強度を低減することができる撮像装置を提供する。なお、撮像装置１１０としては、デジタルスチルカメラの他、撮像機能付きの携帯電話端末、監視カメラ、内視鏡などの、撮像機能を有する撮像機器を例示することができる。

撮像装置１１０は、光学系１００、受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、画像生成部１８２、出力部１９０、光学パラメータ取得部１３２、制御部１２０、および操作部１２２を備える。光学系１００は、複数の結像レンズ１０２ａおよびｂ、光変調部１０４、ならびに、絞り部１０６を備える。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。

絞り部１０６は、光学系１００を通過する光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。

光学系１００は、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。例えば、光学系１００は、光変調部１０４による光の波面変調により、受光部１７０の受光面における物点からの光の広がりを、物点までの距離に対して略一定にする。

光変調部１０４は、一例として３次元的曲面を有する位相板であってよい。例えば、光変調部１０４は、光軸を原点とする座標に関す３次式で表される曲面形状を有してよい。より具体的には、光変調部１０４は、光軸を原点とする直交座標の各座標値に関して、３次式で表される曲面形状を有してよい。例えば、光学系１００の光軸に直交する２軸をｘ、ｙとして、αを定数としたとき、光変調部１０４による波面収差はα（ｘ^３＋ｙ^３）で表される。このような光変調部１０４により、光軸を原点とする座標に関する３次の位相差分布が物点からの光に与えられる。これにより、光学系１００を通過した光は、物点の位置によらず受光部１７０において同様にぼけて結像する。

なお、光学系１００の光学伝達関数は、詳細にはデフォーカス量に依存する。具体的には、光学系１００の光学伝達関数は、光学系１００の光軸方向における物点位置に依存している。また、光学系１００の光学伝達関数は、光学系１００の結像特性にも依存している。光学系１００の結像特性とは、光学系１００の位置、絞り部１０６の絞り開度を例示することができる。なお、光学系１００の結像特性としては、光学系１００の焦点距離を加えることもできる。

受光部１７０は、光学系１００を通過した被写体光を受光する。受光部１７０は、光学系１００の光軸に垂直な面上に２次元的に配置された複数の撮像素子を有する。受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示す撮像信号は、撮像画像生成部１７２に供給される。

撮像画像生成部１７２は、撮像信号に基づき画像を生成する。撮像画像生成部１７２は、各撮像素子からの撮像信号をそれぞれＡ／Ｄ変換することにより、デジタルの画像を生成する。なお、受光部１７０および撮像画像生成部１７２は、光学系１００を通じて被写体の画像を撮像する撮像部として機能する。

画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶する。画像記憶部１７４は、半導体メモリ、磁気メモリなどの記憶素子を有してよい。なお、画像記憶部１７４は、揮発性の記憶素子を有してよく、不揮発性の記憶素子を有してもよい。

画像取得部１３０は、画像記憶部１７４が記憶している画像を取得する。このように、画像取得部１３０は、光学系１００を通じて撮像された画像を取得する。なお、以後の説明において単に"画像"と記されたものは、画像取得部１３０により取得された画像を指すものとする。

画像処理部１８０は、特定のデフォーカス量に応じた光学系１００の光学伝達関数に基づき、特定のデフォーカス量に応じた光の広がりを補正する補正処理を画像に施す。具体的には、画像処理部１８０は、異なるデフォーカス量にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成する。デフォーカス量を規定するものとしては、物点位置、および、光学系１００の位置を例示することができる。したがって、画像処理部１８０は、物点位置および光学系１００の位置の組み合わせに応じた異なる補正処理をそれぞれ画像に施してよい。

具体的には、画像処理部１８０は、異なる物点位置にそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。また、画像処理部１８０は、物点位置および結像特性の異なる組み合わせにそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。より具体的には、画像処理部１８０は、物点位置および光学系１００の位置の異なる組み合わせにそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。また、画像処理部１８０は、物点位置、光学系１００の位置、および絞り開度の異なる組み合わせにそれぞれ応じた異なる補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してもよい。

制御部１２０は、光学系１００の位置および絞り開度を制御する。例えば、制御部１２０は、結像レンズ１０２の位置、絞り部１０６の絞り値を制御することにより、光学系１００の位置および絞り開度を制御してよい。なお、制御部１２０は、撮像装置１１０のユーザから操作部１２２を通じて入力された命令により、光学系１００の位置および絞り開度を制御してもよい。他にも、制御部１２０は、被写体光の光量、被写体までの距離を示す情報などに基づき、光学系１００の位置および絞り開度を制御してもよい。なお、光学系１００の位置とは、結像レンズ１０２により形成された結像レンズ系の主点の位置であってよい。また、被写体までの距離を示す情報としては、ユーザからのマクロ撮影指示などの情報を例示することができる。

画像生成部１８２は、複数の補正画像を重ね合わせることにより、合成画像を生成する。異なるデフォーカス量に応じた異なる補正処理をそれぞれ画像に施すことにより、補正画像のそれぞれには、被写体像の画像成分と、各補正処理に応じたアーチファクト成分とが含まれる。撮像装置１１０によると、複数の補正画像が重ね合わせることでアーチファクト成分が実質的にキャンセルされて、被写体像の画像成分が残った合成画像を得ることができる。このようにして、画像生成部１８２は、アーチファクトなどの復元誤差が低減された合成画像を生成することができる。本実施形態における撮像装置１１０によると、被写体までの距離が不明な場合であっても、鮮明な被写体像を得ることができる場合がある。

なお、光学パラメータ取得部１３２は、画像が撮像されたときの光学系１００の結像特性を示す情報を取得する。具体的には、光学パラメータ取得部１３２は、画像を撮像した場合における光学系１００の位置および絞り開度を取得する。例えば、光学パラメータ取得部１３２は、光学系１００の位置および絞り開度を制御する制御値を、制御部１２０から取得してよい。

また、画像処理パラメータ格納部１８８は、光学系１００の結像特性に対応づけて、画像に適用すべき複数の補正処理を示す情報を格納している。画像処理部１８０は、光学パラメータ取得部１３２が取得した情報が示す結像特性に適合する結像特性に対応づけて画像処理パラメータ格納部１８８が格納している情報が示す複数の補正処理をそれぞれ画像に施すことにより、複数の補正画像を生成してよい。このため、画像処理部１８０は、アーチファクト成分をキャンセルすることができる予め定められた数の補正処理を、撮像時の結像特性に応じて選択することができる。このため、合成画像３３０の生成にかかる演算量を著しく低減することができる場合がある。

なお、画像取得部１３０、画像処理部１８０、画像生成部１８２、画像処理パラメータ格納部１８８、画像生成部１８２、出力部１９０、および光学パラメータ取得部１３２は、撮像装置１１０とは別の画像処理装置が備えてよい。画像処理装置は、撮像装置１１０から、撮像された画像を取得することにより、上述の補正処理を施すことができる。このような画像処理装置としては、パーソナルコンピュータなどの電子情報処理装置を例示することができる。

図２は、補正画像に含まれるアーチファクトの一例を示す。補正画像２６０ａは、上述した３次式の曲面形状を有する光変調部１０４を含む光学系１００を通じて撮像された画像に対して、第１距離に位置する物点からの光に対する光学伝達関数の逆フィルタを適用する補正処理により得られた補正画像の一例を示す。補正画像２６０ｂは、当該画像に対して、第２距離に位置する物点からの光に対する光学伝達関数の逆フィルタを適用する補正処理により得られた補正画像の一例を示す。光学系１００の光学伝達関数は、光学系１００から物点までの距離に依存するので、特定の距離に位置する物点に対応する光学伝達関数の逆フィルタを用いて補正処理すると、図示したような復元アーチファクトが補正画像に現れる。

図示されるように、補正画像２６０ａおよび補正画像２６０ｂはともに、斜めに伸びる縞様のアーチファクト成分を含んでいる。補正画像２６０ａにおける縞の間隔は補正画像２６０ｂにおける縞の間隔に比べて狭く、また縞の位相も異なるが、これらの違いは、光学系１００から被写体までの距離と、適用した逆フィルタに対応する距離との違いによって生じる。一方、アーチファクトの形状は類似しているので、異なる距離に対応するいくつかの逆フィルタを同じ画像に適用して得られた複数の補正画像を重ね合わせることにより、アーチファクト成分は互いにキャンセルされ得る。

図３は、アーチファクト成分をキャンセルする画像処理フローの一例を示す。本図において、画像２００は撮像された画像を示す。画像２００には、ぼけた被写体像２０５が含まれる。画像処理部１８０は、フィルタＡ、フィルタＢ、フィルタＣ、およびフィルタＤをそれぞれ用いて画像２００を処理することにより、補正画像２１０ａ〜ｄを生成する。なお、フィルタＡ〜Ｄは、上述した逆フィルタなど、光学系１００によるぼけ像を点像に復元するデコンボリューションフィルタであってよい。ここで、フィルタＡ〜Ｄは、それぞれ異なるデフォーカス量で撮像された画像のぼけ像を点像に復元することができるフィルタであるとする。

補正画像２１０ａ〜ｄに含まれる被写体像２２５ａ〜ｄは、被写体の画像成分と、本図において斜線で示したアーチファクト成分とを含む。アーチファクト成分は、フィルタＡ〜Ｄが対応するデフォーカス量と、被写体の位置に応じたデフォーカス量とに依存する。被写体像２２５ａ〜ｄに示されるように、異なるデフォーカス量に対応するフィルタＡ〜Ｄを画像に適用することにより、上述したようにデフォーカス量の差に応じて異なる間隔の縞模様のアーチファクト成分が、被写体の画像成分に重畳されて補正画像に表れる。例えば、被写体像２２５ａ〜ｄには、デフォーカス量の差に応じて異なる間隔・位相の縞模様が表れる。

画像生成部１８２は、補正画像２１０ａ〜ｄを画素毎に加算することにより合成画像２３０を生成する。画像生成部１８２による重ね合わせ処理により、上述したように補正画像２１０ａ〜ｄにそれぞれ含まれるアーチファクト成分がキャンセルされるとともに、被写体の画像成分が加算されるので、合成画像２３０には鮮明な被写体像２３５が残る。

以上説明したように、撮像装置１１０によると、特定の距離（または、デフォーカス量）に対応する逆フィルタを適用した場合に比べると、より広い距離に存在する各被写体に対して、被写体像におけるアーチファクト成分の強度を低減することができる。また、被写体までの距離が不明な場合でも、アーチファクト成分の強度が低減された被写体像を得ることができる。ところで、光学系１００の光学伝達関数は像高によって異なる。このため、画像全体に同一の逆フィルタを適用すると、画像エリアによってはアーチファクト成分をうまくキャンセルすることができない場合も考えられる。図４および図５に関連して、アーチファクト成分を適切にキャンセルすることができる複数の逆フィルタの組み合わせを、画像エリア毎に適切に選択する方法について説明する。

図４は、画像処理パラメータ格納部１８８が格納しているデータの一例を示す。画像処理パラメータ格納部１８８は、撮像時における光学系１００の絞り値およびレンズ位置と、複数の画像エリアを特定する情報とに対応づけて、複数の画像エリアのそれぞれに適用すべきフィルタを特定する情報を格納している。なお、レンズ位置は、上述した光学系１００の位置であってよい。また、画像処理パラメータ格納部１８８は、画像エリアの外形を示すベクトル情報などを、画像エリアを特定する情報として格納することができる。画像エリアが矩形である場合には、画像エリアを特定する情報としては、矩形の対角の座標値を例示することができる。

例えば、画像処理パラメータ格納部１８８は、絞り値がＦ１、レンズ位置がｚ１で撮像された画像においてエリア１で示される画像エリアに対して適用すべきフィルタとして、フィルタＡ１〜Ｄ１を格納している。また、画像処理パラメータ格納部１８８は、当該画像においてエリア２で示される画像エリアに対して適用すべきフィルタとして、フィルタＡ２〜Ｄ２を格納している。これにより、画像処理部１８０は、アーチファクト成分をキャンセルすることができる複数のフィルタを、光学系１００の結像特性および各画像エリア毎に選択することができる。

図５は、画像エリア毎に異なるフィルタを適用する場合における撮像装置１１０の処理フローの一例を示す。画像処理パラメータ格納部１８８は、画像３００における画像エリア３０１ａに対してはフィルタＡ１〜Ｄ１を、画像エリア３０１ｂに対してはフィルタＡ２〜Ｄ２を、画像エリア３０１ｃに対してはフィルタＡ３〜Ｄ３を、画像エリア３０１ｄに対してはフィルタＡ４〜Ｄ４を、画像エリア３０１ｅに対してはフィルタＡ５〜Ｄ５を、適用すべきフィルタとして格納しているとする。

画像処理部１８０は、フィルタＡ１〜Ｄ１、フィルタＡ２〜Ｄ２、フィルタＡ３〜Ｄ３、フィルタＡ４〜Ｄ４、フィルタＡ５〜Ｄ５を、それぞれ画像エリア３０１ａ、画像エリア３０１ｂ、画像エリア３０１ｃ、画像エリア３０１ｄ、画像エリア３０１ｅに適用することにより、補正画像３１１、補正画像３１２、補正画像３１３、および補正画像３１４を生成する。なお、本図の補正画像３１１〜補正画像３１４のそれぞれにおける画像エリア３０１ａ〜ｅ上に記された符号は、適用されたフィルタを識別する符号を示す。このように、画像処理部１８０は、複数の画像エリアのそれぞれの画像を、画像エリアに対応づけて画像処理パラメータ格納部１８８が格納している複数の画像処理パラメータをそれぞれ用いて補正することにより、複数の補正画像を生成する。

画像生成部１８２は、補正画像３１１〜補正画像３１４の画素値を画素毎に加算することにより、合成画像３３０を生成する。光学系１００の光学伝達関数は、光学系１００の結像状態、像高によっても変化する。画像処理パラメータ格納部１８８は、アーチファクト成分をキャンセルすることができる予め定められた組み合わせのフィルタを、光学系１００の結像状態および画像エリアに対応づけて格納している。このため、画像処理部１８０は、光学系１００の結像状態および画像エリアに応じて予め定められた少数のフィルタを適用すればよくなるので、合成画像３３０の生成にかかる演算量を著しく削減することができる場合がある。

図１から図５にかけて説明したように、撮像装置１１０は、異なるデフォーカス量に応じた複数の補正処理を、特定のデフォーカス量で撮像した画像に施して重ね合わせることで、デフォーカス量の差に応じて生じるアーチファクト成分をキャンセルした合成画像を生成することができる。なお、異なるデフォーカス量で撮像した画像に、特定のデフォーカス量に応じた補正処理を施して重ね合わせることによっても、デフォーカス量の差に応じて生じるアーチファクト成分をキャンセルすることができる。

具体的には、制御部１２０は、光学系１００の結像特性を制御することによりデフォーカス量を制御して、異なるデフォーカス量で複数の画像を撮像させてよい。そして、画像処理部１８０は、特定のデフォーカス量に応じた光学系１００の光学伝達関数に基づいて、特定のデフォーカス量に応じた光の広がりを補正する補正処理を、複数の画像に施してよい。画像生成部１８２は、画像処理部１８０が複数の画像のそれぞれに補正処理を施すことによって生成された複数の補正画像を重ね合わせることにより、合成画像を生成してよい。

より具体的には、制御部１２０は、光学系１００の位置を制御することによりデフォーカス量を制御して、複数の画像を撮像させてよい。画像処理部１８０は、特定の物点位置に応じた光学系１００の光学伝達関数に基づいて、特定の物点位置に応じた光の広がりを補正する補正処理を、複数の画像に施すことにより、複数の補正画像を生成してよい。また、画像処理部１８０は、特定の物点位置および光学系１００の位置に応じた光学系１００の光学伝達関数に基づいて、特定の物点位置および光学系１００位置に応じた光の広がりを補正する補正処理を、複数の画像に施すことにより、複数の補正画像を生成してもよい。他にも、画像処理部１８０は、物点位置、光学系１００位置、および絞り開度の特定の組み合わせに応じた光学系１００の光学伝達関数に基づいて、特定の物点位置、光学系１００位置、および絞り開度に応じた光の広がりを補正する補正処理を、複数の画像に施すことにより、複数の補正画像を生成してもよい。なお、光学系１００の位置に替えて焦点距離を、デフォーカス量を制御するパラメータとして加えることができる。他にも、光学系１００の位置に加え、さらに焦点距離を、デフォーカス量を制御するパラメータとして追加することもできる。

なお、上記において光変調部１０４の一例として３次曲面形状の位相板を示したが、光変調部１０４は、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、３次式曲面以外の曲面形状を有する光学素子、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。

また、本実施形態における画像は、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。撮像装置１１０は、動画に含まれる複数の動画構成画像のそれぞれに、上述の画像処理を施すことで、アーチファクトを低減した合成画像を生成することができる。

図６は、撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す。本図に関連して説明するコンピュータ１５００などの電子情報処理装置が、撮像装置１１０が備える各構成要素として機能することができる。

コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図５に関連して説明した撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、画像生成部１８２、出力部１９０、光学パラメータ取得部１３２、および制御部１２０などとして機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係わる撮像装置１１０のブロック構成の一例を示す図である。 補正画像に含まれるアーチファクトの一例を示す。 アーチファクト成分をキャンセルする画像処理フローの一例を示す図である。 画像処理パラメータ格納部１８８が格納しているデータの一例を示す図である。 画像エリア毎に異なるフィルタを適用する場合における撮像装置１１０の処理フローの一例を示す図である。 撮像装置１１０に係わるコンピュータ１５００のハードウェア構成の一例を示す図である。

符号の説明

１００ 光学系
１０２ 結像レンズ
１０４ 光変調部
１０６ 絞り部
１１０ 撮像装置
１２０ 制御部
１２２ 操作部
１３０ 画像取得部
１３２ 光学パラメータ取得部
１７０ 受光部
１７２ 撮像画像生成部
１７４ 画像記憶部
１８０ 画像処理部
１８２ 画像生成部
１８８ 画像処理パラメータ格納部
１９０ 出力部
２００、３００ 画像
２６０ 補正画像
２０５、２２５、２３５ 被写体像
２１０、３１１、３１２、３１３、３１４ 補正画像
２３０、３３０ 合成画像
３０１ 画像エリア
１５００ コンピュータ
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (18)

1. 物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて撮像された画像を取得する画像取得部と、
   特定のデフォーカス量に応じた前記光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた前記光の広がりを補正する補正処理を、前記画像に施す画像処理部と、
   前記画像処理部が異なるデフォーカス量にそれぞれ応じた異なる前記補正処理をそれぞれ前記画像に施すことにより生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部と
   を備える画像処理装置。
2. 前記光学系の光学伝達関数は、前記光学系の光軸方向における物点位置に依存し、
   前記画像処理部は、異なる前記物点位置にそれぞれ応じた異なる前記補正処理をそれぞれ前記画像に施すことにより、前記複数の補正画像を生成する
   請求項１に記載の画像処理装置。
3. 前記光学系の光学伝達関数は、前記物点位置および前記光学系の結像特性に依存し、
   前記画像処理部は、異なる前記物点位置および前記結像特性にそれぞれ応じた異なる前記補正処理をそれぞれ前記画像に施すことにより、前記複数の補正画像を生成する
   請求項２に記載の画像処理装置。
4. 前記光学系の光学伝達関数は、前記物点位置および前記光学系の位置に依存し、
   前記画像処理部は、異なる前記物点位置および前記光学系の位置にそれぞれ応じた異なる前記補正処理をそれぞれ前記画像に施すことにより、前記複数の補正画像を生成する
   請求項３に記載の画像処理装置。
5. 前記光学系の光学伝達関数は、前記物点位置、前記光学系の位置、および、前記光学系が有する絞り部の絞り開度に依存し、
   前記画像処理部は、異なる前記物点位置、前記光学系の位置、および、前記絞り開度にそれぞれ応じた異なる前記補正処理をそれぞれ前記画像に施すことにより、前記複数の補正画像を生成する
   請求項４に記載の画像処理装置。
6. 前記画像が撮像されたときの前記光学系の結像特性を示す情報を取得する光学パラメータ取得部と、
   前記光学系の結像特性に対応づけて、前記画像に適用すべき複数の前記補正処理を示す情報を格納する画像処理パラメータ格納部と
   をさらに備え、
   前記画像処理部は、前記光学パラメータ取得部が取得した情報が示す結像特性に適合する結像特性に対応づけて前記画像処理パラメータ格納部が格納している情報が示す複数の前記補正処理をそれぞれ前記画像に施すことにより、前記複数の補正画像を生成する
   請求項３に記載の画像処理装置。
7. 前記画像取得部は、光変調素子による物点からの光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする前記光学系を通じて撮像された画像を取得する
   請求項１乃至６のいずれかに記載の画像処理装置。
8. 前記画像取得部は、前記光学系の光軸に対する位置に関する３次の位相分布を物点からの光に与える前記光変調素子により、物点からの光の広がりを物点までの距離に対して略一定にする前記光学系を通じて撮像された画像を取得する
   請求項７に記載の画像処理装置。
9. 物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて撮像された画像を取得する画像取得段階と、
   特定のデフォーカス量に応じた前記光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた前記光の広がりを補正する補正処理を、前記画像に施す画像処理段階と、
   前記画像処理段階において異なるデフォーカス量にそれぞれ応じた異なる前記補正処理がそれぞれ前記画像に施されることにより生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成段階と
   を備える画像処理方法。
10. 画像処理装置用のプログラムであって、コンピュータを、
    物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系を通じて撮像された画像を取得する画像取得部、
    特定のデフォーカス量に応じた前記光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた前記光の広がりを補正する補正処理を、前記画像に施す画像処理部、
    前記画像処理部が異なるデフォーカス量にそれぞれ応じた異なる前記補正処理をそれぞれ前記画像に施すことにより生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部
    として機能させるプログラム。
11. 物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する光学系と、
    前記光学系を通じて被写体の画像を撮像する撮像部と、
    前記光学系の結像特性を制御することにより前記デフォーカス量を制御して、前記撮像部に複数の画像を撮像させる制御部と、
    特定のデフォーカス量に応じた前記光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた前記光の広がりを補正する補正処理を、前記複数の画像に施す画像処理部と、
    前記画像処理部が前記複数の画像に前記補正処理をそれぞれ施すことによって生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部と
    を備える撮像装置。
12. 前記光学系の光学伝達関数は、前記光学系の位置に依存し、
    前記制御部は、前記光学系の位置を制御することにより前記デフォーカス量を制御して、前記撮像部に複数の画像を撮像させ、
    前記画像処理部は、前記光学系の特定の位置に応じた前記光学系の光学伝達関数に基づいて、前記光学系の特定の位置に応じた前記光の広がりを補正する補正処理を、前記複数の画像に施すことにより、前記複数の補正画像を生成する
    請求項１１に記載の撮像装置。
13. 前記光学系の光学伝達関数は、前記光学系の光軸方向における物点位置および前記光学系の位置に依存し、
    前記画像処理部は、特定の物点位置および前記光学系の位置に応じた前記光学系の光学伝達関数に基づいて、特定の物点位置および前記光学系の位置に応じた前記光の広がりを補正する補正処理を、前記複数の画像に施すことにより、前記複数の補正画像を生成する
    請求項１２に記載の撮像装置。
14. 前記光学系は、絞り部を有し、
    前記光学系の光学伝達関数は、前記物点位置、前記光学系の位置、および、前記絞り部の絞り開度に依存し、
    前記画像処理部は、特定の前記物点位置、前記光学系の位置、および前記絞り開度に応じた前記光学系の光学伝達関数に基づいて、特定の前記物点位置、前記光学系の位置、および前記絞り開度に応じた前記光の広がりを補正する補正処理を、前記複数の画像に施すことにより、前記複数の補正画像を生成する
    請求項１３に記載の撮像装置。
15. 前記光学系は、光変調素子による物点からの光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする
    請求項１１乃至１４のいずれかに記載の撮像装置。
16. 前記光学系は、光軸に対する位置に関する３次の位相分布を物点からの光に与える前記光変調素子により、物点からの光の広がりを物点までの距離に対して略一定にする
    請求項１５に記載の撮像装置。
17. 物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する前記光学系を通じて被写体の画像を撮像部が撮像する撮像段階と、
    前記光学系の結像特性を制御することにより前記デフォーカス量を制御して、前記撮像部に複数の画像を撮像させる制御段階と、
    特定のデフォーカス量に応じた前記光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた前記光の広がりを補正する補正処理を、前記複数の画像に施す画像処理段階と、
    前記画像処理段階において前記複数の画像に前記補正処理がそれぞれ施されて生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成段階と
    を備える撮像方法。
18. 撮像装置用のプログラムであって、コンピュータを、
    物点からの光の広がりを物点までの距離に対して略一定にする光学系であり、光学伝達関数がデフォーカス量に依存する前記光学系を通じて被写体の画像を撮像する撮像部、
    前記光学系の結像特性を制御することにより前記デフォーカス量を制御して、前記撮像部に複数の画像を撮像させる制御部、
    特定のデフォーカス量に応じた前記光学系の光学伝達関数に基づいて、特定のデフォーカス量に応じた前記光の広がりを補正する補正処理を、前記複数の画像に施す画像処理部、
    前記画像処理部が前記複数の画像に前記補正処理をそれぞれ施すことによって生成された複数の補正画像を重ね合わせることにより、合成画像を生成する画像生成部
    として機能させるプログラム。