JP2007116261A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】光学系を簡単化でき、コスト低減を図ることができ、しかも１回の撮像より背景だけがボケた画像を得ることが可能で、またノイズの影響が小さい復元画像を得ることが可能な撮像装置および撮像方法を提供する。
【解決手段】画像処理装置１４０等により形成される信号処理部は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する等の分散画像信号に対する所定の信号処理を行うが、この信号処理部の処理前の画像と処理後の画像を合成して新たな画像を合成する生成機能を有し、この生成機能において、背景領域は、ぼかし画像処理により複数の画像を生成し、前記処理後の主たる被写体を含む被写体領域の合焦画像を合成して、新たな画像を生成し、また、信号処理前の画像、処理後の復元画像、合成した新たな画像をメモリバッファ等に記録する。
【選択図】図１

Description

本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置および撮像方法に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。

図３４は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図３４に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図３５（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。

また、位相板（Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ ｏｐｔｉｃａｌ ｅｌｅｍｅｎｔ）により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。

また、カメラによる写真撮影では、たとえば絞りを開放側に設定して被写体深度を浅くしつつ被写体にピントを合わせることにより、主たる被写体以外の他の部分を意図的にぼかす撮影手法が知られている。
また、被写体と背景との間の距離関係に拘束されることなく背景だけボケた画像を得るために、複数のフォーカス位置で画像を撮像し、合成する撮影手法が知られている。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報 特開２００４−１５３４９７号公報

上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。

また、前述した背景だけボケた画像を得るために、複数のフォーカス位置で画像を撮像し、合成する撮影手法では、フォーカス位置を変えて撮像することを複数回行うため、全ての撮像が終了するまでに時間がかかるといった問題がある。また、この撮影手法では、複数毎撮影する間に被写体や背景にある物体が動いて変化してしまい、合成後の画が不自然になってしまうことがあるという問題がある。

また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。

本発明の目的は、光学系を簡単化でき、コスト低減を図ることができ、しかも１回の撮像より背景だけがボケた画像を得ることが可能で、またノイズの影響が小さい復元画像を得ることが可能な撮像装置および撮像方法を提供することにある。

本発明の第１の観点の撮像装置は、少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、上記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段を備え、前記撮像素子による画像信号に所定の処理を行う信号処理部と、前記信号処理部の処理前の画像と処理後の画像を合成して新たな画像を合成する生成手段とを備えている。

好適には、前記生成手段は、背景領域は、ぼかし画像処理により複数の画像を生成し、前記処理後の主たる被写体を含む被写体領域の合焦画像を合成して、新たな画像を生成する。

好適には、前記信号処理部による処理前の画像、処理後の画像、合成した新たな画像を記録する記録手段を備えている。

好適には、前記光学系は、ズーム光学系を含み、前記ズーム光学系のズーム位置またズーム量に相当する情報を生成するズーム情報生成手段を備え、前記変換手段は、前記ズーム情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号を生成する。

好適には、被写体までの距離に相当する情報を生成する被写体距離情報生成手段を備え、上記変換手段は、上記被写体距離情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号を生成する。

好適には、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、上記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、上記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する。

好適には、撮影する被写体の撮影モードを設定する撮影モード設定手段を備え、上記変換手段は、上記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う。

好適には、撮像装置は、複数のレンズを交換可能であって、前記撮像素子は、前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像可能で、さらに、前記一のレンズに応じた変換係数を取得する変換係数取得手段を備え、前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う。

好適には、露出制御を行う露出制御手段を備え、前記信号処理部は、前記露出制御手段からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行う。

本発明の第２の観点に係る撮像方法は、少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像する第１ステップと、前記第１ステップで得られた分散画像信号に所定の信号処理を行い、当該分散画像信号より分散のない画像信号を生成する第２のステップと、前記第２ステップの処理前の画像と処理後の画像を合成して新たな画像を合成する第３ステップとを備えている。

本発明によれば、光学系を簡単化でき、コスト低減を図ることができ、しかも１回の撮像より背景だけがボケた画像を得ることが可能で、またノイズの影響が小さい復元画像を得ることができる利点がある。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および露出制御装置１９０を有している。

光学系１１０は、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。
本実施形態の光学系１１０は、後で詳述するように、光波面変調素子を含んで構成されている。

撮像素子１２０は、光波面変調素子を含む光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。

アナログフロントエンド部１３０は、タイミングジェネレータ１３１、およびアナログ／デジタル（Ａ／Ｄ）コンバータ１３２を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。

信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
画像処理装置１４０、露出制御装置１９０の露出情報に応じて、光学的伝達関数（OTF）に対してフィルタ処理を行う。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、信号処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。

カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。

露出制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。

本実施形態の撮像装置１００は、複数の撮影モード、たとえばポートレートモードの他、マクロ撮影モード（至近）および遠景撮影モード（無限遠）を有しており、これら各種撮影モードは、操作部１８０により選択して入力することが可能に構成されている。
操作部１８０は、たとえば図２に示すように、カメラ（撮像装置）１００の背面側の画像モニタリング装置１７０である液晶画面１７０１の下部側に配置された切替スイッチ１８０１，１８０２，１８０３により構成される。
なお、ポートレートモードは、通常撮影時に被写体に応じて設定する撮影モードの１つであり、人物撮影に適した撮影モードで、中央の人物に焦点を合わせ、背景の画像をボケた画像とするものである。他の設定できるモードとしては、スポーツモード、夕焼けモード、夜景モード、白黒モード、セピアモード等がある。
切替スイッチ１８０１が遠景撮影モード（無限遠）を選択し入力するためのスイッチであり、切替スイッチ１８０２が通常時にポートレートモードを選択し入力するためのスイッチであり、切替スイッチ１８０３がマクロ撮影モード（至近）を選択し入力するためのスイッチである。
さらに、本実施形態においては、ポートレートモードは、横撮影用ポートレートと、縦撮影用ポートレートを選択可能に構成されている。
なお、モードの切り替え方法は、図２のようなスイッチによる方法の他、タッチパネル式でも構わないし、メニュー画面から物体距離を切り替えるモードを選択しても構わない。

そして、本実施形態における撮像装置１００は、ポートレート撮影をより容易にするために以下の機能を有している。
すなわち、画像処理装置１４０、ＤＳＰ１５０、および露出制御装置１９０により形成される信号処理部は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する等の分散画像信号に対する所定の信号処理を行うが、この信号処理部の処理前の画像と処理後の画像を合成して新たな画像を合成する生成機能を有している。
この生成機能において、背景領域は、ぼかし画像処理により複数の画像を生成し、前記処理後の主たる被写体を含む被写体領域の合焦画像を合成して、新たな画像を生成する。

さらに、信号処理部１４０，１５０等の信号処理前の画像、処理後の復元画像、合成した新たな画像をたとえば図示しないメモリバッファや画像表示メモリ１６０に記録する記録機能を備えている。
この記録機能を備えていることから、本撮像装置１００は、生成機能を備えたことによるポートレート撮影を容易に行えるという効果に加えて、以下の効果を得ることが可能となっている。
すなわち、信号処理前の画像、処理後の画像を記録しておくことで、撮影して記録した後に明瞭にさせたい（ハッキリさせたい）エリア（逆に、ボカしたいエリア）の位置や大きさを選択し、新たな画像を作成することができる。
そのため、撮影時にポートレートモード以外で撮影した記録した画像からポートレート撮影画像を作成することができる。

このような機能を有する撮像装置１００の信号処理部においては、画像復元処理後の画像から主たる被写体を含む被写体領域の合焦画像を抽出し、画像復元処理前の画像から被写体領域に接する背景領域の非合焦画像を抽出する。これら抽出された被写体領域の合焦画像と背景領域の非合焦画像とを合成して新たな画像を生成する。そして、生成された画像を記録する。
また、本実施形態では、操作部１８０は、被写体領域を使用者に指定させる指定部としても機能する。

以下に、本実施形態に係るポートレート画像の第１〜第３の作成処理例を図３〜図９に関連付けて説明する。

図３は、被写体部分の網掛け部分のみを復元処理を行い、ポートレートの画像を作成する例を示す図である。
図４は、横撮影ポートレートモード時の中央領域を示す図である。
図５は、縦撮影ポートレートモード時の中央領域を示す図である。
図６は、プレビュー画表示中に被写体選択をユーザが行っている様子であって、中央領域を示す枠の大きさと位置をユーザが操作部（キー入力部）によって決定する例を示す図である。
図７は、中央の被写体から外側にむかってフィルタを変えてボケを強調する時のフィルタを変える領域を示す図である。
また、図８は、画像の中央領域を復元処理する場合のフローチャートであり、図９は、選択された領域を復元処理する場合のフローチャートである。

＜第１例＞
撮像素子１２０によって得られたアナログ信号を画像処理部１４０でデジタル化され、DＳＰ１５０においてY、Cb、Cr信号になって、表示部としての画像モニタリング装置１７０にスルー画として表示される。
操作部１８０によって、縦撮影ポートレートモードもしくは、横撮影ポートレートモードを選択すると、図４または図５に示すように、撮像された画像の中央の部分に縦撮影用、横撮影用の枠が表示され、ユーザは、その枠内に人物を合わせ撮影する。
すると、図３に示すように、枠内のみ画像処理がされ被写体部分の網掛け部分のみを復元処理することによりポートレートの画像が作成できる。
ちなみに、縦撮影、横撮影かどうかは、角速度センサを用いて、自動的に検出してもよい。

この処理動作を図８に関連付けて説明すると、縦撮影用ポートレートモード、または、横撮影用ポートレートモードが設定されると、撮像装置１００は、撮像素子１２０による撮像動作を開始して、表示部である画像モニタリング装置１７０にプレビュー画を表示させる（ＳＴ１）。
そして、プレビュー画表示中にユーザがシャッターキーを押すと（ＳＴ２）、画像をバッファのRAMに記録し（ＳＴ３）、あらかじめ設定されている中央の領域のみを画像復元を行い（ＳＴ４）、記録処理を行う（ＳＴ５)。

＜第２例＞
この場合、撮影完了後、プレビュー画像において、図６に示すように、ユーザが被写体を選択し、その部分を画像処理することによって、ポートレートの画像が作成できる。

この処理動作を図９に関連付けて説明すると、縦撮影用ポートレートモード、または、横撮影用ポートレートモードが設定されると、撮像装置１００は、撮像素子１２０による撮像動作を開始して、表示部である画像モニタリング装置１７０にプレビュー画を表示させる（ＳＴ１１）。
そして、プレビュー画表示中にユーザがシャッターキーを押すと（ＳＴ１２）、画像をバッファのRAMに記録し（ＳＴ１３）、プレビュー画像を表示し、操作部１８０によって、ユーザが被写体の選択を行う（ＳＴ１４）。
そして、選択された領域部分の画像復元処理を行い（ＳＴ１５）、復元画像の録処理を行う（ＳＴ１６）。

＜第３例＞
背景画像をよりぼかす目的で、画像復元用のフィルタＦＬＴ１の他に画像をよりぼかすフィルタＦＬＴ２，ＦＬＴ３・・を用意しておき、撮影した画像の領域によって切り換えて、背景をよりぼかした画を作成することができる。
このときのボケ具合は、第１例の操作部１８０の操作によって、縦撮影ポートレートモード、横撮影ポートレートモードの選択をするが、このときにぼかし具合をユーザに選択させて、中央部分の枠から距離がはなれる程、ぼかすようなフィルタ処理（画像処理）を行う。
この例ではフィルタＦＬＴ２の方がフィルタＦＬＴ３よりぼかし程度が強くなるように形成されている。
なお、ぼかすフィルタＦＬＴ２、ＦＬＴ３は、一般的な平滑化フィルタを用いてもよい。

このように、本実施形態の撮像装置１００は、ポートレート撮影を容易に行え、信号処理前の画像、処理後の画像を記録しておくことで、撮影して記録した後に明瞭にさせたい（ハッキリさせたい）エリア（逆に、ボカしたいエリア）の位置や大きさを選択し、新たな画像を作成することができ、そのため、撮影時にポートレートモード以外で撮影した記録した画像からポートレート撮影画像を作成することができる、という利点を有している。
本実施形態の撮像装置１００は、さらに、手振れ等の影響を受けずに、人物等をよりハッキリさせることができるように、以下に説明するように、光学系、画像処理装置に特徴的な構成を有している。

以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。

図１０は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。この図は広角側を示している。
また、図１１はＷＦＣＯの原理を説明するための図である。
また、図１２も、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。１３は広角側の像高中心のスポット形状を示す図であり、図１４は望遠側の像高中心のスポット形状を示す図である。

図１０のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板（Ｃｕｂｉｃ Ｐｈａｓｅ Ｐｌａｔｅ）からなる光波面変調素子（波面形成用光学素子：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。

図１０のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１１３ａを挿入した例である。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元する手段を波面収差制御光学系システム（ＷＦＣＯ：Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。

ここで、ＷＦＣＯの基本原理について説明する。
図１１に示すように、被写体の画像ｆがＷＦＣＯ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。

（数１）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。

生成された画像から被写体を求めるためには、次の処理を要する。

（数２）
ｆ＝Ｈ^-−１＊ｇ

ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。

この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。

本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。

なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。

次に、画像処理装置１４０の構成および処理について説明する。

画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。

コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、露出制御装置１９０により制御される。

また、カーネルデータ格納ＲＯＭ１４３には、図１５に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、露出制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。

図１５の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。

図１６は、露出制御装置１９０の露出情報により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ２１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ２２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ２３）。

以下に画像処理装置１４０の信号処理部とカーネルデータ格納ROMについてさらに具体的な例について説明する。

図１７は、信号処理部とカーネルデータ格納ROMについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１７の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。

露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネルデータを用いてコンボリューション処理を施す。

図１８は、信号処理部とカーネルデータ格納ROMについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１８の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ３１を予め用意した場合のブロック図である。

露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ３１を施した後、カラーコンバージョン処理ＳＴ３２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３３を施す。
再度ノイズ処理ＳＴ３４を行い、カラーコンバージョン処理ＳＴ３５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ３４は省略することも可能である。

図１９は、信号処理部とカーネルデータ格納ROMについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図１９の例は、露出情報に応じたOTF復元フィルタを予め用意した場合のブロック図である。

露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ４１、カラーコンバージョン処理ＳＴ４２の後に、前記OTF復元フィルタを用いてコンボリューション処理ＳＴ４３を施す。
再度ノイズ処理ＳＴ４４を行い、カラーコンバージョン処理ＳＴ４５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ４１、ＳＴ４４は、いずれか一方のみでもよい。

図２０は、信号処理部とカーネルデータ格納ROMについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２０の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ５は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ５１を施した後、カラーコンバージョン処理ＳＴ５２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理をＳＴ５３施す。
再度、露出情報に応じたノイズ処理ＳＴ５４を行い、カラーコンバージョン処理ＳＴ５５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばYCbCr変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ５１は省略することも可能である。

以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。

図２１は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図２１は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示している。

画像処理装置３００は、図２１に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。

この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。

上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。

上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。

焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。

図２１の構成に対応付けると次のような構成をとることができる。

変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板２１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。

または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。

または、補正値記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板２１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。

図２２は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図２２は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００Ａの構成例を示している。

画像処理装置３００Ａは、図２１と同様に、図２２に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。

この画像処理装置３００Ａにおいては、ズーム情報検出装置５００から読み出したズーム位置またはズーム量に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、露出情報およびそのズーム位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。

上述したように、光波面変調素子としての位相板をズーム光学系に備えた撮像装置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異なる。このため、位相板より得られる焦点ズレ画像（スポット画像）を後段のＤＳＰ等でコンボリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に応じて異なるコンボリューション演算が必要となる。
そこで、本実施形態においては、ズーム情報検出装置５００を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。

画像処理装置３００Ａにおける適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ３０２に共通で１種類記憶しておく構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。

各ズーム位置に応じて、レジスタ３０２に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ３０２にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ３０２に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等を採用することが可能である。

図２２の構成に対応付けると次のような構成をとることができる。

変換係数記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた位相板２１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置４００により生成された情報に基づき、レジスタ３０２からズーム光学系２１０のズ−ム位置またはズーム量に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。

または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。

または、補正値記憶手段としてのレジスタ３０２にズーム光学系２１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板２１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置４００により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。

図２３に、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報とズーム情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。

図２４は、撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図２４は、撮像素子２２０からの被写体分散画像信号より分散のない画像信号を生成する画像処理装置３００Ｂの構成例を示している。

画像処理装置３００Ｂは、図２１および図２２と同様に、図２４に示すように、コンボリューション装置３０１、記憶手段としてのカーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。

この画像処理装置３００Ｂにおいては、物体概略距離情報検出装置６００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。

この場合も上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。

上記の画像処理はコンボリューション演算により行うが、これを実現するには、コンボリューション演算の演算係数を共通で１種類記憶しておき、物体距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、物体距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成、物体距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成等、を採用することが可能である。

本実施形態においては、上述したように、ＤＳＣのモード設定（ポートレート、無限遠（風景）、マクロ）に応じて画像処理を変更する。

図２４の構成に対応付けると次のような構成をとることができる。

前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３を通して操作部１８０の撮影モード設定部７００により設定される各撮影モードに応じて異なる変換係数を変換係数記憶手段としてのレジスタ３０２に格納する。
画像処理演算プロセッサ３０３が、撮影モード設定部７００の操作スイッチ７０１により設定された撮影モードに応じて、被写体距離情報生成手段としての物体概略距離情報検出装置４０２により生成された情報に基づき、変換係数記憶手段としてのレジスタ３０２から変換係数を抽出する。このとき、たとえば画像処理演算プロセッサ３０３が変換係数抽出手段とて機能する。
そして、変換手段としてのコンボリューション装置３０１が、レジスタ３０２に格納された変換係数によって、画像信号の撮影モードに応じた変換処理を行う。

なお、図１０や図１２の光学系は一例であり、本発明は図１０や図１２の光学系に対して用いられるものとは限らない。また、スポット形状についても図１３および図１４は一例であり、本実施形態のスポット形状は、図１３および図１４に示すものとは限らない。
また、図１５のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図２３のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報、撮像モード情報等であればよい。

なお、上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。

本実施形態においては、ＷＦＣＯを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。

図２５（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図２５（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図２５（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図２５（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図２５（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。

このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。

図２６（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図２６（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図２６（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図２６（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。

画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。

画像処理装置１４０のＭＴＦ補正処理は、たとえば図２７の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図２７中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図２７中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

本実施形態においては、図２７に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、エッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図２７のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２８に示すようになる。

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。

このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。

ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。

したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図２５（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。

次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。

図２９は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図３０は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図３１は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。

図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学径よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。

以上説明したように、本実施形態によれば、画像処理装置１４０、ＤＳＰ１５０、および露出制御装置１９０により形成される信号処理部は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する等の分散画像信号に対する所定の信号処理を行うが、この信号処理部の処理前の画像と処理後の画像を合成して新たな画像を合成する生成機能を有し、この生成機能において、背景領域は、ぼかし画像処理により複数の画像を生成し、前記処理後の主たる被写体を含む被写体領域の合焦画像を合成して、新たな画像を生成し、また、信号処理前の画像、処理後の復元画像、合成した新たな画像をたとえば図示しないメモリバッファや画像表示メモリ１６０に記録する記録機能を備えていることから以下の効果を得ることができる。
ポートレート撮影を容易に行え、また、信号処理前の画像、処理後の画像を記録しておくことで、撮影して記録した後に明瞭にさせたい（ハッキリさせたい）エリア（逆に、ボカしたいエリア）の位置や大きさを選択し、新たな画像を作成することができ、撮影時にポートレートモード以外で撮影した記録した画像からポートレート撮影画像を作成することができる利点がある。

また、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、画像処理装置１４０において、露出制御装置１９０からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行うことから、光学系を簡単化でき、コスト低減を図ることができ、しかもノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＷＦＣＯに使用することが可能である。

また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。

ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。

しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。

なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。

また、図１０や図１２の光学系は一例であり、本発明は図１０や図１２の光学系に対して用いられるものとは限らない。また、スポット形状についても図１３および図１４は一例であり、本実施形態のスポット形状は、図１３および図１４に示すものとは限らない。
また、図１５のカーネルデータ格納ＲＯＭに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。

なお、以上の実施形態は光学系が一つの場合を例に説明したが、光学系を複数有する撮像装置に対しても本発明は適用可能である。

図３２は、本発明に係る光学系を複数有する撮像装置の一実施形態を示すブロック構成図である。

本撮像装置１００Ａと図１の撮像装置１００と異なる点は、光学ユニット１１０Ａは、複数（本実施形態では２）の光学系１１０−１，１１０−２を有露出制御装置１９０の代わりシステム制御装置２００を設け、さらに光学系切替制御部２０１を設けたことにある。

光学ユニット１１０Ａは、複数（本実施形態では２）の光学系１１０−１，１１０−２を有し、光学系切替制御部２０１の切り替え処理に応じて被写体物体ＯＢＪを撮影した像を順番に撮像素子１２０に供給する。
各光学系１１０−１，１１０−２は、光学倍率が異なり、撮像対象物体（被写体）ＯＢＪの映像を光学的に取り込む。

システム制御装置２００は、基本的に露出制御装置と同様の機能を有し、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系切替制御部１４０、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。

その他の構成は図１と同様である。

図３３は、システム制御装置２００の光学系設定処理の概要を示すフローチャートである。
まず、光学系を確認し（ＳＴ６１）、カーネルデータをセットする（ＳＴ６２）。
そして、操作部１８０の操作により光学系の切り替え指示がなされると（ＳＴ６３）、光学系切替制御部２０１により光学ユニット１１０Ａの光学系の出力を切り替え、ステップＳＴ６１の処理を行う（ＳＴ６４）。

図３２の実施形態によれば、前述した図１の撮像装置の効果に加えて以下の効果を得ることができる。
すなわち、図３２の撮像装置においては、１次画像を形成する倍率の異なる複数の光学系１１０−１，２を含む光学ユニット１１０Ａおよび撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、画像処理装置１４０において、光学系の倍率に応じて、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたズームレンズのＷＦＣＯに使用することが可能である。

本発明に係る撮像装置の一実施形態を示すブロック構成図である。 本実施形態に係る操作部の構成例を示す図である。 被写体部分の網掛け部分のみを復元処理を行い、ポートレートの画像を作成する例を示す図である。 横撮影ポートレートモード時の中央領域を示す図である。 縦撮影ポートレートモード時の中央領域を示す図である。 プレビュー画表示中に被写体選択をユーザが行っている様子であって、中央領域を示す枠の大きさと位置をユーザが操作部（キー入力部）によって決定する例を示す図である。 中央の被写体から外側にむかってフィルタを変えてボケを強調する時のフィルタを変える領域を示す図である。 画像の中央領域を復元処理する場合のフローチャートである。 選択された領域を復元処理する場合のフローチャートである。 本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。 ＷＦＣＯの原理を説明するための図である。 本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。 広角側の像高中心のスポット形状を示す図である。 望遠側の像高中心のスポット形状を示す図である。 カーネルデータＲＯＭの格納データの一例を示す図である。 露出制御装置の光学系設定処理の概要を示すフローチャートである。 信号処理部とカーネルデータ格納ROMについての第１の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第２の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第３の構成例を示す図である。 信号処理部とカーネルデータ格納ROMについての第４の構成例を示す図である。 被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す図である。 撮影モード情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。 本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。 従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。 光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。 本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。 本発明に係る光学系を複数有する撮像装置の一実施形態を示すブロック構成図である。 図３２のシステム制御装置の光学系設定処理の概要を示すフローチャートである。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図３４の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。

符号の説明

１００，１００Ａ…撮像装置、１１０…光学系、１１０Ａ…光学ユニット、１２０…撮像素子、１３０…アナログフロントエンド部（ＡＦＥ）、１４０…画像処理装置、１５０…カメラ信号処理部、１８０…操作部、１９０…露出制御装置、２００…システム制御装置、２０１…光学系切替制御部、１１１…物体側レンズ、１１２…結像レンズ、１１３…波面形成用光学素子、１１３ａ…位相板（光波面変調素子）、１４２…コンボリューション演算器、１４３…カーネルデータＲＯＭ、１４４…コンボリューション制御部。

Claims (10)

1. 少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像する撮像素子と、
   上記撮像素子からの分散画像信号より分散のない画像信号を生成する変換手段を備え、前記撮像素子による画像信号に所定の処理を行う信号処理部と、
   前記信号処理部の処理前の画像と処理後の画像を合成して新たな画像を合成する生成手段と
   を備えた撮像装置。
2. 前記生成手段は、背景領域は、ぼかし画像処理により複数の画像を生成し、前記処理後の主たる被写体を含む被写体領域の合焦画像を合成して、新たな画像を生成する
   請求項１記載の撮像装置。
3. 前記信号処理部による処理前の画像、処理後の画像、合成した新たな画像を記録する記録手段を備えた
   請求項１または２記載の撮像装置。
4. 前記光学系は、ズーム光学系を含み、
   前記ズーム光学系のズーム位置またズーム量に相当する情報を生成するズーム情報生成手段を備え、
   前記変換手段は、前記ズーム情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号を生成する
   請求項１から３のいずれかに記載の撮像装置。
5. 被写体までの距離に相当する情報を生成する被写体距離情報生成手段を備え、
   上記変換手段は、上記被写体距離情報生成手段により生成される情報に基づいて上記分散画像信号より分散のない画像信号を生成する
   請求項１から３のいずれかに記載の撮像装置。
6. 被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
   上記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を備え、
   上記変換手段は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
   請求項１から３のいずれかに記載の撮像装置。
7. 撮影する被写体の撮影モードを設定する撮影モード設定手段を備え、
   上記変換手段は、上記撮影モード設定手段により設定された撮影モードに応じて異なる変換処理を行う
   請求項１から６のいずれかに記載の撮像装置。
8. 前記撮像装置は、複数のレンズを交換可能であって、
   前記撮像素子は、前記複数のレンズの内少なくともーのレンズおよび光波面変調素子を通過した被写体収差像を撮像可能で、さらに、
   前記一のレンズに応じた変換係数を取得する変換係数取得手段を備え、
   前記変換手段は、前記変換係数取得手段から得られた変換係数によって、画像信号の変換を行う
   請求項１から７のいずれかに記載の撮像装置。
9. 露出制御を行う露出制御手段を備え、
   前記信号処理部は、前記露出制御手段からの露出情報に応じて光学的伝達関数（OTF）に対してフィルタ処理を行う
   請求項１から８のいずれかに記載の撮像装置。
10. 少なくとも光学系および光波面変調素子を通過した被写体分散像を撮像する第１ステップと、
    前記第１ステップで得られた分散画像信号に所定の信号処理を行い、当該分散画像信号より分散のない画像信号を生成する第２のステップと、
    前記第２ステップの処理前の画像と処理後の画像を合成して新たな画像を合成する第３ステップと
    を備えた撮像方法。
    
    

Images