JP2010087893A - 撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

【課題】光学系と撮像面との間の位置関係に応じて適切に補正処理することができる撮像装置を提供すること。
【解決手段】撮像面との位置関係に応じて光学伝達特性が変化する光学系を通過した被写体光により、画像を撮像する撮像部と、位置関係に応じた光学伝達特性を特定すべく撮像部が撮像した画像を解析する画像解析部と、画像解析部が解析した解析結果に基づいて、位置関係に応じた光学伝達特性の影響を補正する補正処理を、撮像部が撮像した画像に施す画像処理部とを備える。
【選択図】図１

Description

本発明は、撮像装置、撮像方法、およびプログラムに関する。

３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留める技術が知られている（例えば、特許文献１および２参照。）。
特開２００６−９４４６９号公報 特表平１１−５００２３５号公報

上記特許文献１および２に記載された光学系では、光軸まわりの位相板の向きによってＯＴＦが変化する。例えば、レンズ交換式のカメラでは、各レンズユニットを組み上げる段階で生じた位相板の向きのずれ、ねじ込み式のレンズユニットのねじ込み度合いに応じて、撮像時の位相板の向きが変わってしまう場合がある。このため、撮像時の位相板の向きを考慮しなければ、復元処理によって大きなアーチファクトが生じてしまう場合がある。

上記課題を解決するために、本発明の第１の態様によると、撮像装置であって、撮像面との位置関係に応じて光学伝達特性が変化する光学系を通過した被写体光により、画像を撮像する撮像部と、位置関係に応じた光学伝達特性を特定すべく撮像部が撮像した画像を解析する画像解析部と、画像解析部が解析した解析結果に基づいて、位置関係に応じた光学伝達特性の影響を補正する補正処理を、撮像部が撮像した画像に施す画像処理部とを備える。

画像解析部は、撮像部が撮像した画像を解析して位置関係を特定する位置関係特定部を有し、画像処理部は、位置関係特定部が特定した位置関係に応じた光学伝達特性の影響を補正する補正処理を、撮像部が撮像した画像に施してよい。

画像解析部は、撮像部が撮像した画像の空間周波数成分を算出する空間周波数解析部をさらに有し、位置関係特定部は、空間周波数解析部が算出した空間周波数成分を解析することにより、位置関係を特定してよい。

撮像部は、点像強度分布が光軸まわりに回転非対称な光学系を通過した被写体光により、画像を撮像し、位置関係特定部は、空間周波数解析部が算出した空間周波数成分を解析することにより、光軸まわりの光学系の回転量を特定し、画像処理部は、位置関係特定部が特定した回転量に応じた光学伝達特性の影響を補正する補正処理を、撮像部が撮像した画像に施してよい。

光軸まわりの回転量に応じた画像処理パラメータを格納する画像処理パラメータ格納部をさらに備え、画像処理部は、画像処理パラメータ格納部が格納している、位置関係特定部が特定した回転量に応じた画像処理パラメータを用いて、撮像部が撮像した画像に補正処理を施してよい。

撮像部は、物点からの光に回転非対称な位相差分布を与える光変調部と結像レンズとを有する光学系を通過した被写体光により、画像を撮像してよい。

撮像部は、光変調部による光の波面変調により、物点からの光の広がりが物点までの距離に対して略一定な光学系を通過した被写体光により、画像を撮像してよい。

撮像部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与える光変調部を有する光学系を通過した被写体光により、画像を撮像してよい。

撮像部は、光軸を原点とする直交座標系のそれぞれの座標軸成分の座標値に関する３次の位相差分布を物点からの光に与える光変調部を有する光学系を通過した被写体光により、画像を撮像してよい。

光変調部が有する第１光変調部および第２光変調部であり、１次元的な位相差分布を物点からの光に与える第１光変調部および第２光変調部のそれぞれを、光軸まわりに独立に回転させる制御部をさらに備え、位置関係特定部は、撮像部が撮像した画像を解析することにより、制御部により回転制御された第１光変調部および第２光変調部のそれぞれの回転量を特定し、画像処理部は、位置関係特定部が特定した第１光変調部および第２光変調部のそれぞれの回転量に応じた光学伝達特性の影響を補正する補正処理を、撮像部が撮像した画像に施してよい。

光学系を有する光学ユニットを脱着可能に固定するマウント部をさらに備えてよい。マウント部は、光学ユニットが光軸まわりに回転されてねじ込まれることで、光学ユニットを固定してよい。

画像解析部による解析結果を記憶する解析結果記憶部と、画像処理部は、解析結果記憶部が記憶している解析結果に基づいて、位置関係に応じた光学伝達特性の影響を補正する補正処理を施してよい。

本発明の第２の態様によると、撮像方法であって、撮像面との位置関係に応じて光学伝達特性が変化する光学系を通過した被写体光により、画像を撮像する撮像段階と、位置関係に応じた光学伝達特性を特定すべく撮像段階において撮像された画像を解析する画像解析段階と、画像解析段階において解析された解析結果に基づいて、位置関係に応じた光学伝達特性の影響を補正する補正処理を、撮像段階において撮像された画像に施す画像処理段階とを備える。

本発明の第３の態様によると、撮像装置用のプログラムであって、コンピュータを、撮像面との位置関係に応じて光学伝達特性が変化する光学系を通過した被写体光により、画像を撮像する撮像部、位置関係に応じた光学伝達特性を特定すべく撮像部が撮像した画像を解析する画像解析部、画像解析部が解析した解析結果に基づいて、位置関係に応じた光学伝達特性の影響を補正する補正処理を、撮像部が撮像した画像に施す画像処理部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係わる撮像装置１１０のブロック構成の一例を、光学系１００とともに示す。撮像装置１１０は、撮像した画像から、撮像装置１１０が備える撮像光学系の光学伝達特性に応じた画像処理が施された画像を生成する。例えば、撮像装置１１０は、撮像した画像を解析することで撮像光学系の組み付け度合いを検出して、検出した組み付け度合いに依存する光学伝達特性に応じた補正処理を、撮像した画像に施す。

撮像装置１１０は、マウント部１０８、受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像解析部１６０、解析結果記憶部１６２、画像処理部１８０、画像処理パラメータ格納部１８８、出力部１９０、光学パラメータ取得部１３２、制御部１２０、および操作部１２２を備える。

受光部１７０は、光学系１００を通過した被写体光を受光する。受光部１７０は、２次元的に配置された複数の撮像素子を有する。受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示す撮像信号は、撮像画像生成部１７２に供給される。

撮像画像生成部１７２は、撮像信号に基づき画像を生成する。撮像画像生成部１７２は、撮像信号が示す各撮像素子の受光量をそれぞれＡ／Ｄ変換することにより、デジタルの画像を生成する。なお、受光部１７０および撮像画像生成部１７２は、撮像装置１１０を通過した被写体光により画像を撮像する撮像部として機能する。

画像記憶部１７４は、撮像画像生成部１７２によって生成された画像を記憶する。画像記憶部１７４は、半導体メモリまたは磁気メモリであってよい。なお、画像記憶部１７４は、揮発性のメモリであってよく、不揮発性のメモリであってもよい。

光学系１００は、撮像面との位置関係に応じて光学伝達特性が変化する。ここで、撮像面とは、受光部１７０の受光面であってよい。また、光学系１００と撮像面との位置関係は、光学系１００の光軸まわりの回転量、光軸の向きと撮像面の法線の向きとの間のなす角、光学系１００と撮像面との間の距離などを指標とした位置関係を例示することができる。

マウント部１０８は、光学系１００を有する光学ユニットを脱着可能に固定することができる。これより、マウント部１０８は、異なる光学ユニットを交換可能に装着することができる。このように、撮像装置１１０は、光学系１００を交換可能に装着することができる。光学ユニットはマウント部１０８に脱着可能に装着されるので、装着具合によっては組み付け度合いに違いが生じる場合がある。

例えば、マウント部１０８は、光学ユニットが光軸まわりに回転されてねじ込まれることで、光学ユニットを固定してよい。具体的には、マウント部１０８は、スクリューマウント式で光学ユニットを固定してよい。このような場合、光学ユニットのねじ込み強度に応じて、光軸まわりの光学系１００の回転量、光学系１００と撮像面との間の距離などの位置関係が異なってしまう場合がある。

撮像装置１１０は、マウント部１０８に装着された光学系１００と撮像面との間の位置関係に応じて、画像記憶部１７４に記憶された画像を補正する。具体的には、画像取得部１３０は、画像記憶部１７４が記憶している画像を取得する。画像取得部１３０は、取得した画像を、画像処理部１８０および画像解析部１６０に供給する。

画像解析部１６０は、位置関係に応じた光学伝達特性を特定すべく、撮像された画像を解析する。具体的には、画像解析部１６０は、受光部１７０が被写体光を受光した場合に、受光部１７０が被写体光を受光した場合における位置関係に応じた光学伝達特性を特定すべく、撮像された画像を解析する。具体的には、画像解析部１６０は、画像を解析することにより、撮像時における、光軸まわりの光学系１００の回転量を特定する。なお、画像解析部１６０の具体的な機能及び動作については、図２に関連してより詳細に説明する。

解析結果記憶部１６２は、画像解析部１６０による解析結果を記憶する。例えば、解析結果記憶部１６２は、画像解析部１６０が特定した画像解析部１６０が特定した回転量を記憶する。解析結果記憶部１６２は、半導体メモリまたは磁気メモリを有してよい。なお、画像記憶部１７４は、揮発性のメモリであってく、不揮発性のメモリであってもよい。

画像処理部１８０は、画像解析部１６０が解析した解析結果に基づき、位置関係に応じた光学伝達特性の影響を補正する補正処理を、撮像された画像に施す。例えば、画像処理部１８０は、解析結果記憶部１６２が記憶している解析結果を読み出して、当該解析結果に応じた補正処理を、撮像された画像に施す。例えば、画像処理部１８０は、解析結果記憶部１６２が記憶している回転量を読み出して、読み出した回転量に応じた光学伝達特性の影響を補正する補正処理を、撮像された画像に施す。

画像処理パラメータ格納部１８８は、光軸まわりの回転量に応じた画像処理パラメータを格納する。画像処理部１８０は、画像処理パラメータ格納部１８８が格納している、位置関係特定部２１０が特定した回転量に応じた画像処理パラメータを用いて、撮像された画像に補正処理を施す。

出力部１９０は、画像処理部１８０により補正処理されることにより生成された補正画像を出力する。例えば、出力部１９０は、画像を記録する記録媒体に補正画像を出力してよい。出力部１９０は、撮像装置１１０の外部に補正画像を出力してよい。例えば、出力部１９０は、パーソナルコンピュータ、プリンタ、ディスプレイなどの出力機器に、補正画像を出力してよい。

以下に、光学系１００が有する光学素子の機能を説明する。光学系１００は、複数の結像レンズ１０２ａおよびｂ、光変調部１０４、ならびに、絞り部１０６を備える。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。

光変調部１０４は、結像レンズ１０２により結像される光の波面を変換する。なお、光変調部１０４の光学特性については、後により詳細に説明する。

絞り部１０６は、光学系１００を通過する光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。

制御部１２０は、光学系１００による結像位置および絞り量を制御する。例えば、制御部１２０は、結像レンズ１０２の位置、絞り部１０６の絞り開度を制御することにより、光学系１００による結像位置および絞り量を制御する。なお、制御部１２０は、光学系１００の焦点距離を制御してもよい。また、制御部１２０は、撮像装置１１０のユーザから操作部１２２を通じて入力された命令により、光学系１００の焦点距離および絞り量を制御してよい。他にも、制御部１２０は、被写体光の光量、被写体までの距離を示す情報などに基づき、光学系１００の焦点距離および絞り量を制御してもよい。なお、光学系１００の焦点距離とは、結像レンズ１０２の焦点距離であってよい。

光学パラメータ取得部１３２は、光学系１００の焦点距離および絞り量を取得する。例えば、光学パラメータ取得部１３２は、光学系１００の位置および絞り量を示す制御値を、制御部１２０から取得してよい。

また、画像処理パラメータ格納部１８８は、光学系１００の位置および絞り量、光軸まわりの回転量に応じた画像処理パラメータを格納してよい。そして、画像処理部１８０は、画像処理パラメータ格納部１８８が格納している、光学系１００の位置、絞り量、および回転量に応じた画像処理パラメータを用いて、撮像された画像に補正処理を施してよい。

以上説明したように、撮像装置１１０によると、マウント部１０８に装着された光学ユニットの組み付け度合い応じて、適切な画像処理を施すことができる。このため、光学ユニットが交換されて撮像された場合に、光学ユニットの組み付け度合い応じて異なる被写体像の歪みを、適切に補正したりすることができる。

なお、画像解析部１６０は、光学ユニットが換装された場合に、少なくとも最初に撮像された画像に基づき、上記の回転量を特定してよい。そして、解析結果記憶部１６２は、画像解析部１６０により特定された回転量を保持してよい。画像処理部１８０は、換装された光学ユニットが外されるまでの間に撮像された画像に、画像解析部１６０により保持された回転量に応じた補正処理を施してよい。このため、撮像装置１１０は、新たに撮像する度に上記の回転量を毎度特定することなく、解析結果記憶部１６２に保持された回転量に基づき、撮像された画像を補正することができる。

なお、撮像装置１１０は、レンズ交換式のデジタルスチルカメラであってよい。他にも、撮像装置１１０は、監視カメラであってよい。監視カメラにおいても、多様な撮像環境に対応することができるよう、光学ユニットがカメラ本体とは別に提供される場合がある。このような監視カメラを設置する場合、監視カメラを設置する作業者が、監視現場で光学ユニットを装着することがある。このため、作業者によって光学ユニットの組み付け度合いが異なってしまう場合がある。本実施形態の撮像装置１１０によると、異なる組み付け度合いで光学ユニットが組み付けられたとしても、組み付け度合いに応じて適切な補正処理を画像に施すことができる。

また、撮像装置１１０は、内視鏡であってよい。内視鏡は、観察対象に応じた光学ユニットがカメラ本体と別個に提供される場合がある。そして、光学ユニットは、医師などにより選択されて、内視鏡本体に装着される。本実施形態の撮像装置１１０によると、医師などによる光学ユニットの組み付け度合いに応じて、画像に補正処理を施すことができる。なお、撮像装置１１０は、上述した医療用の内視鏡の他に、工業用の内視鏡であってもよい。

なお、画像取得部１３０、画像解析部１６０、解析結果記憶部１６２、画像処理部１８０、画像処理パラメータ格納部１８８、出力部１９０、および光学パラメータ取得部１３２は、撮像装置１１０とは別の画像処理装置が備えてよい。画像処理装置は、撮像装置１１０から、画像と、当該画像を撮像した場合の光学系１００の焦点距離および絞り量とを取得することにより、上述の補正処理を施すことができる。このような画像処理装置としては、パーソナルコンピュータなどの電子情報処理装置を例示することができる。

図２は、画像解析部１６０のブロック構成の一例を示す。画像解析部１６０は、空間周波数解析部２００および位置関係特定部２１０を有する。

空間周波数解析部２００は、撮像された画像の空間周波数成分を算出する。具体的には、空間周波数解析部２００は、撮像された画像をフーリエ解析することにより、空間周波数成分を算出する。

位置関係特定部２１０は、空間周波数解析部２００が算出した空間周波数成分を解析することにより、位置関係を特定する。より具体的には、位置関係特定部２１０は、空間周波数解析部２００が算出した空間周波数成分を解析することにより、光軸まわりの光学系１００の回転量を特定する。

このように、位置関係特定部２１０は、撮像された画像を解析して位置関係を特定する。そして、画像処理部１８０は、位置関係特定部２１０が特定した位置関係に応じた光学伝達特性の影響を補正する補正処理を、撮像された画像に施すことができる。

ここで、光学系１００の光学特性を説明する。光学系１００は、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。例えば、光学系１００は、光変調部１０４による光の波面変調により、撮像面における物点からの光の広がりを、物点までの距離に対して略一定にする。このため、撮像画像生成部１７２が生成した画像に含まれる被写体像は、被写体の位置によらず同様の大きさにぼかされている。

光変調部１０４は、一例として３次元的曲面を有する位相板であってよい。例えば、光変調部１０４は、光軸を原点とする座標に関す３次式で表される形状を有してよい。より具体的には、光変調部１０４は、光軸を原点とする直交座標の各座標値に関して、３次式で表される形状を有してよい。例えば、光学系１００の光軸に直交する２軸をｘ、ｙとして、αを定数としたとき、光変調部１０４による波面収差はα（ｘ^３＋ｙ^３）で表される。

このような光変調部１０４により、光軸を原点とする座標に関する３次の位相差分布が物点からの光に与えられる。これにより、光学系１００を通過した光は、物点の位置によらず受光部１７０において同様のぼけとなって結像する。このため、画像処理部１８０が、撮像画像生成部１７２が生成した画像に、ぼけた点像を点像に戻す補正処理を施すことによって、異なる距離にある各被写体の像は、それぞれ鮮明な像に復元される。

図３は、光学系１００による点像、および、光学系１００を通じて撮像された画像をフーリエ解析した解析結果の一例を示す。ここで、本図で示される点像は、上述した３次式形状の光変調部１０４を有する光学系１００により得られるものとする。また、紙面に向かって横方向がｘ軸の向き、縦方向がｙ軸の向きを示すものとする。

点像３１０ａは、光変調部１０４が光軸まわりに所定の角度に固定された状態で得られる点像の一例を示す。また、点像３１０ｂは、光変調部１０４が光軸まわりに異なる角度に固定された状態で得られる点像の一例を示す。いずれの点像も、より明るい場所がより強い強度を示している。このように、光学系１００による点像強度分布は、光軸まわりに回転非対称な形状となる。

フーリエ像３２０ａは、点像３１０ａを与える光学系１００を通じて撮像された画像をフーリエ変換することによって得られたフーリエ像を示す。また、フーリエ像３２０ｂは、点像３１０ｂを与える光学系１００を通じて撮像された画像をフーリエ変換することによって得られたフーリエ像を示す。いずれのフーリエ像にも、ｘｙ座標軸上に分布した十字の分布と、ｘｙ座標軸から特定角度だけ回転した十字の分布が含まれている。ここで、ｘｙ座標軸上の十字の分布は、画像のエッジに由来してフーリエ変換により生じる。

一方、座標軸から特定角度だけ回転した十字の分布は、点像３１０ａおよび点像３１０ｂの向きに応じた向きに向いている。したがって、位置関係特定部２１０は、空間周波数解析部２００がフーリエ解析して得られた空間周波数成分の周波数空間における分布に基づき、光変調部１０４の回転量を特定することができる。例えば、位置関係特定部２１０は、空間周波数成分の分布を周波数空間において主成分分析することによって、光変調部１０４の回転量を特定することができる。

このように、光変調部１０４が物点からの光に回転非対称な位相差分布を与える場合、光学系１００による点像も回転非対称となる。この場合、位置関係特定部２１０は、光変調部１０４の回転量、ひいては、光学系１００を有する光学ユニットの回転量を、撮像された画像から空間周波数解析により特定することができる。

図４は、画像処理パラメータ格納部１８８が格納している画像処理パラメータの一例を示す。画像処理パラメータ格納部１８８は、複数の回転量、複数の絞り値、複数のレンズ位置、および複数の画像エリアに対応づけて、複数の復元フィルタを格納している。

回転量は、光学系１００の光軸まわりの回転量を示す。絞り値は絞り部１０６の絞り開度を示す。レンズ位置は、光軸方向の光学系１００の位置を示す。また、画像エリアは復元対象となる画像上の領域を示す。なお、画像エリアが矩形である場合、画像エリアを特定する情報としては、矩形の対角の座標値を例示することができる。画像エリアが矩形でない場合には、エリアの外形を示すベクトル情報などを、画像エリアを特定する情報として例示することができる。

復元フィルタは、画像処理パラメータの一例であり、光変調部１０４によるぼけをキャンセルするデコンボリューションフィルタを例示することができる。デコンボリューションフィルタとしては、逆フィルタ法に基づくデジタルフィルタなどを例示することができる。なお、画像処理パラメータ格納部１８８は、複数の画像エリアに対応づけて、画像エリアに対する復元フィルタを格納している。

画像処理部１８０は、位置関係特定部２１０が特定した回転量、光学パラメータ取得部１３２が取得した絞り値および光学系の位置に対応づけて、画像処理パラメータ格納部１８８が格納している各画像エリアに対する復元フィルタを選択する。そして、画像処理部１８０は、各画像エリアの画像信号を、それぞれの画像エリアに対する復元フィルタを用いて復元する。なお、画像処理パラメータ格納部１８８は、光学系１００の焦点距離にさらに対応づけて、複数の復元フィルタを格納してもよい。そして、画像処理部１８０は、位置関係特定部２１０が特定した回転量、光学パラメータ取得部１３２が取得した絞り値、光学系の位置、および焦点距離に対応づけて、画像処理パラメータ格納部１８８が格納している各画像エリアに対する復元フィルタを選択してもよい。

以上説明したように、画像処理パラメータ格納部１８８がエリア毎に復元フィルタを格納しているので、画像処理部１８０は、撮像画像生成部１７２が生成した画像に、像高に応じた補正処理を施すことができる。また、画像処理パラメータ格納部１８８が回転量およびレンズ位置などの光学パラメータ毎に復元フィルタを格納しているので、画像処理部１８０は、撮像画像生成部１７２が生成した画像に、当該画像が撮像された場合における光学系１００の光学パラメータに応じた補正処理を施すことができる。したがって、画像処理部１８０は、ぼけた被写体像を復元する適切な復元フィルタを用いることができ、ひいては、補正処理によって生じるアーチファクトの強度を低減することができる。

図５は、光変調部１０４の構成の一例を示す。上述した波面変調効果は、一の面がｘ軸およびｙ軸について３次式で表される形状を有する光変調部１０４で得ることができる。同様の波面変調効果は、本図に示されるように、それぞれ１次元的な位相差分布を物点からの光に与える複数の光変調部１０４ａおよび光変調部１０４ｂにより得ることもできる。

光変調部１０４ａおよび光変調部１０４ｂは、それぞれ３次式で表される形状を一の面に有している。光変調部１０４ａおよび光変調部１０４ｂは、ｚ軸で表される光軸方向に並べて配列される。一例として、光変調部１０４ａおよび光変調部１０４ｂは、それぞれが位相差分布を与える方向が実質的に直交するよう組み上げられて、光学系１００として製造される。このような光変調部１０４を用いた光学系１００についても、上述したように、画像処理部１８０は、マウント部１０８への組み付け度合いに応じた被写体像の劣化を適切に補正することができる。

光変調部１０４の他の例として、光変調部１０４ａおよび光変調部１０４ｂの少なくとも一方は、光軸まわりに回転可能に設けられてもよい。制御部１２０は、光変調部１０４ａおよび光変調部１０４ｂの少なくとも一方を、それぞれ独立に光軸まわりに回転させることができる。このような光変調部１０４を用いた形態について、図６および図７に関連して説明する。

図６は、光変調部１０４ａおよび光変調部１０４ｂの向きが、波面変調効果を与えない向きに調整された状態を示す。本図の例では、光変調部１０４ａおよび光変調部１０４ｂのそれぞれが与える位相差分布がキャンセルするように、光変調部１０４ａの向きが、図５で示された状態から光軸まわりに９０度回転させられている。なお、光変調部１０４ａおよび光変調部１０４ｂは、それぞれこの発明における第１光変調部および第２光変調部の一例であってよい。

このような状態では、光変調部１０４ａおよび光変調部１０４ｂにより与えられる合計の位相は、光軸面に垂直な面内で略一定値となる。このため、結像レンズ１０２による結像効果が、光学系１００による結像効果として残る。そこで、制御部１２０は、光変調部１０４ａおよび光変調部１０４ｂのそれぞれの向きを本図に示した向きに調整することで、主要被写体にフォーカスすることができる。例えば、制御部１２０は、コントラスト検出方式で主要被写体にフォーカスすることができる。

その後、制御部１２０は、主要被写体にフォーカスされた状態で、光変調部１０４ａおよび光変調部１０４ｂのそれぞれの向きを図５に示す向きに調整する。これにより、主要被写体の位置が光学系１００の被写界深度内に入った状態で主要被写体を撮像することができる。光変調部１０４による波面変調効果により被写界深度を拡大することができるが、上述のフォーカス制御により、主要被写体の位置が被写界深度内に確実に入るよう光学系１００の被写界深度を調整することができる。

図７は、光変調部１０４ａおよび光変調部１０４ｂによる点像およびフーリエ像の一例を示す。本図においても、紙面に向かって横方向がｘ軸の向き、縦方向がｙ軸の向きを示すものとする。点像７１０が示す強度分布は、９０度より狭い角度をなしている。したがって、光変調部１０４ａおよび光変調部１０４ｂの向きは、それぞれが位相差分布を与える方向が９０度より小さい角度になる状態にされていることがわかる。

フーリエ像７２０は、点像７１０を与える光学系１００を通じて撮像された画像をフーリエ変換することによって得られたフーリエ像を示す。フーリエ像７２０には、ｘｙ座標軸上に分布した十字の分布の他に、点像７１０が示す強度分布に応じた向きに広がった分布を有している。したがって、位置関係特定部２１０は、空間周波数解析部２００がフーリエ解析して得られた空間周波数成分の周波数空間における分布に基づき、光変調部１０４ａおよび光変調部１０４ｂのそれぞれの回転量を特定することができる。

そして、画像処理部１８０は、当該回転量に応じた光学伝達特性の影響を補正する補正処理を、撮像された画像に施す。これにより、光変調部１０４ａおよび光変調部１０４ａで与えられる位相差分布の方向が直交関係からずれた状態で撮像された場合であっても、撮像された画像を当該ずれに応じて補正することができる。フォーカス性能を高めるために光変調部１０４ａおよび光変調部１０４ｂが回転可能に設けられると回転方向の位置決め精度の低下に応じて被写体像が劣化してしまうが、本形態によると、回転方向のずれを補正することができるので、光変調部１０４ａおよび光変調部１０４ｂの光軸まわりの回転方向の相対的なずれをある程度許容することができる。このため、フォーカス性能が高く、かつ劣化の少ない被写体像を提供できる撮像装置１１０を提供することができる。

このように、位置関係特定部２１０は、撮像画像生成部１７２が生成した画像を解析することにより、制御部１２０により回転制御された光変調部１０４ａおよび光変調部１０４ｂのそれぞれの回転量を特定する。そして、画像処理部１８０は、位置関係特定部２１０が特定した光変調部１０４ａおよび光変調部１０４ｂのそれぞれの回転量に応じた光学伝達特性の影響を補正する補正処理を、撮像された画像に施すことができる。例えば、画像処理パラメータ格納部１８８は、図５に関連して説明した回転量として、光変調部１０４ａおよび光変調部１０４ｂのそれぞれの回転量を格納する。そして、画像処理部１８０は、光変調部１０４ａおよび光変調部１０４ｂのそれぞれの回転量に対応づけて画像処理パラメータ格納部１８８が格納している復元フィルタを、撮像画像生成部１７２が生成した画像に適用してよい。

以上、図１から図７に関連して説明した撮像装置１１０によると、例えばレンズ交換式のカメラにおいて、光学ユニットの装着ずれに応じた被写体像の歪みを、適切な復元フィルタを用いることで解消することができる場合がある。また、光学ユニットが有する各光学素子の組み上げ誤差による歪みも、適切な復元フィルタを用いることで解消することができる場合がある。

なお、撮像された画像とは、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。画像処理部１８０は、動画に含まれる複数の動画構成画像のそれぞれに、上述の画像処理を施すことができる。

また、上記の説明では、３次式曲面を有する位相板を用いた光学系１００について説明したが、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、３次式以外の形状で厚みが変化する光学素子、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調することができる液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。

図８は、撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す。本図に関連して説明するコンピュータ１５００などの電子情報処理装置が、撮像装置１１０として機能することができる。

コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図７に関連して説明した制御部１２０、操作部１２２、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、出力部１９０、画像処理パラメータ格納部１８８、画像解析部１６０、解析結果記憶部１６２、および光学パラメータ取得部１３２などとして機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係わる撮像装置１１０のブロック構成の一例を、光学系１００とともに示す図である。 画像解析部１６０のブロック構成の一例を示す図である。 点像およびフーリエ像の一例を示す図である。 画像処理パラメータ格納部１８８が格納している画像処理パラメータの一例を示す図である。 光変調部１０４の構成の一例を示す図である。 光変調部１０４ａおよび光変調部１０４ｂが波面変調効果を与えない向きに調整された状態を示す。 光変調部１０４ａおよび光変調部１０４ｂによる点像およびフーリエ像の一例を示す図である。 撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す図である。

符号の説明

１００ 光学系
１０２ 結像レンズ
１０４ 光変調部
１０６ 絞り部
１０８ マウント部
１１０ 撮像装置
１２０ 制御部
１２２ 操作部
１３０ 画像取得部
１３２ 光学パラメータ取得部
１６０ 画像解析部
１６２ 解析結果記憶部
１７０ 受光部
１７２ 撮像画像生成部
１７４ 画像記憶部
１８０ 画像処理部
１８８ 画像処理パラメータ格納部
１９０ 出力部
２００ 空間周波数解析部
２１０ 位置関係特定部
３１０ 点像
３２０ フーリエ像
７１０ 点像
７２０ フーリエ像
１５００ コンピュータ
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (15)

1. 撮像面との位置関係に応じて光学伝達特性が変化する光学系を通過した被写体光により、画像を撮像する撮像部と、
   前記位置関係に応じた光学伝達特性を特定すべく前記撮像部が撮像した画像を解析する画像解析部と、
   前記画像解析部が解析した解析結果に基づいて、前記位置関係に応じた光学伝達特性の影響を補正する補正処理を、前記撮像部が撮像した画像に施す画像処理部と
   を備える撮像装置。
2. 前記画像解析部は、
   前記撮像部が撮像した画像を解析して前記位置関係を特定する位置関係特定部
   を有し、
   前記画像処理部は、前記位置関係特定部が特定した位置関係に応じた光学伝達特性の影響を補正する補正処理を、前記撮像部が撮像した画像に施す
   請求項１に記載の撮像装置。
3. 前記画像解析部は、
   前記撮像部が撮像した画像の空間周波数成分を算出する空間周波数解析部
   をさらに有し、
   前記位置関係特定部は、前記空間周波数解析部が算出した空間周波数成分を解析することにより、前記位置関係を特定する
   請求項２に記載の撮像装置。
4. 前記撮像部は、点像強度分布が光軸まわりに回転非対称な前記光学系を通過した被写体光により、画像を撮像し、
   前記位置関係特定部は、前記空間周波数解析部が算出した空間周波数成分を解析することにより、光軸まわりの前記光学系の回転量を特定し、
   前記画像処理部は、前記位置関係特定部が特定した回転量に応じた光学伝達特性の影響を補正する補正処理を、前記撮像部が撮像した画像に施す
   請求項３に記載の撮像装置。
5. 前記光軸まわりの回転量に応じた画像処理パラメータを格納する画像処理パラメータ格納部
   をさらに備え、
   前記画像処理部は、前記画像処理パラメータ格納部が格納している、前記位置関係特定部が特定した回転量に応じた画像処理パラメータを用いて、前記撮像部が撮像した画像に前記補正処理を施す
   請求項４に記載の撮像装置。
6. 前記撮像部は、物点からの光に回転非対称な位相差分布を与える光変調部と結像レンズとを有する前記光学系を通過した被写体光により、画像を撮像する
   請求項４または５に記載の撮像装置。
7. 前記撮像部は、前記光変調部による光の波面変調により、物点からの光の広がりが物点までの距離に対して略一定な前記光学系を通過した被写体光により、画像を撮像する
   請求項６に記載の撮像装置。
8. 前記撮像部は、光軸を原点とする座標に関する３次の位相差分布を物点からの光に与える前記光変調部を有する前記光学系を通過した被写体光により、画像を撮像する
   請求項７に記載の撮像装置。
9. 前記撮像部は、光軸を原点とする直交座標系のそれぞれの座標軸成分の座標値に関する３次の位相差分布を物点からの光に与える前記光変調部を有する前記光学系を通過した被写体光により、画像を撮像する
   請求項８に記載の撮像装置。
10. 前記光変調部が有する第１光変調部および第２光変調部であり、１次元的な位相差分布を物点からの光に与える第１光変調部および第２光変調部のそれぞれを、光軸まわりに独立に回転させる制御部
    をさらに備え、
    前記位置関係特定部は、前記撮像部が撮像した画像を解析することにより、前記制御部により回転制御された前記第１光変調部および前記第２光変調部のそれぞれの回転量を特定し、
    前記画像処理部は、前記位置関係特定部が特定した前記第１光変調部および前記第２光変調部のそれぞれの回転量に応じた光学伝達特性の影響を補正する補正処理を、前記撮像部が撮像した画像に施す
    請求項９に記載の撮像装置。
11. 前記光学系を有する光学ユニットを脱着可能に固定するマウント部
    をさらに備える請求項１乃至１０のいずれかに記載の撮像装置。
12. 前記マウント部は、前記光学ユニットが光軸まわりに回転されてねじ込まれることで、前記光学ユニットを固定する
    請求項１１に記載の撮像装置。
13. 前記画像解析部による解析結果を記憶する解析結果記憶部と、
    前記画像処理部は、前記解析結果記憶部が記憶している解析結果に基づいて、前記位置関係に応じた光学伝達特性の影響を補正する補正処理を施す
    請求項１乃至１２のいずれかに記載の撮像装置。
14. 撮像面との位置関係に応じて光学伝達特性が変化する光学系を通過した被写体光により、画像を撮像する撮像段階と、
    前記位置関係に応じた光学伝達特性を特定すべく前記撮像段階において撮像された画像を解析する画像解析段階と、
    前記画像解析段階において解析された解析結果に基づいて、前記位置関係に応じた光学伝達特性の影響を補正する補正処理を、前記撮像段階において撮像された画像に施す画像処理段階と
    を備える撮像方法。
15. 撮像装置用のプログラムであって、コンピュータを、
    撮像面との位置関係に応じて光学伝達特性が変化する光学系を通過した被写体光により、画像を撮像する撮像部、
    前記位置関係に応じた光学伝達特性を特定すべく前記撮像部が撮像した画像を解析する画像解析部、
    前記画像解析部が解析した解析結果に基づいて、前記位置関係に応じた光学伝達特性の影響を補正する補正処理を、前記撮像部が撮像した画像に施す画像処理部
    として機能させるプログラム。