JP2008245265A - 撮像装置、並びにその製造装置および製造方法 - Google Patents
撮像装置、並びにその製造装置および製造方法 Download PDFInfo
- Publication number
- JP2008245265A JP2008245265A JP2008044009A JP2008044009A JP2008245265A JP 2008245265 A JP2008245265 A JP 2008245265A JP 2008044009 A JP2008044009 A JP 2008044009A JP 2008044009 A JP2008044009 A JP 2008044009A JP 2008245265 A JP2008245265 A JP 2008245265A
- Authority
- JP
- Japan
- Prior art keywords
- optical system
- image
- modulation element
- wavefront modulation
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】深度拡張光学系において、解像性能ピーク位置を容易に検出可能で、また、復元画が良好となるようなボカシを実現でき、また、光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることが可能な撮像装置、並びにその製造装置および製造方法を提供する。
【解決手段】光学系保持部において、素子セット部２３０に光波面変調素子が一旦非装着状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成されて素子セット部２３０に光波面変調素子がセットされ、あるいは、素子セット部に逆光波面変調素子を一旦装着状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成されて素子セット部から逆光波面変調素子が取り外されている。
【選択図】図１０
【解決手段】光学系保持部において、素子セット部２３０に光波面変調素子が一旦非装着状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成されて素子セット部２３０に光波面変調素子がセットされ、あるいは、素子セット部に逆光波面変調素子を一旦装着状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成されて素子セット部から逆光波面変調素子が取り外されている。
【選択図】図１０
Description
本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置、並びにその製造装置および製造方法に関するものである。
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
図３７は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
撮像レンズ装置１においては、図３７に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図３８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
図３８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５
ＵＳＰ６，６４２，５０４
ＵＳＰ６，５２５，３０２
ＵＳＰ６，０６９，７３８
特開２００３−２３５７９４号公報
特開２００４−１５３４９７号公報
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson.
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、上記各撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、上記各撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
また、被写界深度の拡張技術は、深い被写界深度内で像性能の変化量が少ないために、ディフォーカスに対する光学性能ピーク位置の検出が困難であり、適切な評価が行い難いため、製造工程に負担をかけ、また、歩留りの面でも不利であるという欠点を持つ。
位相変調を行った深度拡張光学系においては、システム名が意味するように像性能の変化量が小さいために、解像性能の変化を尺度としてバックフォーカス調整するのは、変化量を見るために広い範囲をディフォーカスしてピークらしきところを算出することになる。
この場合は、広い範囲をディフォーカスするための手間がかかるか、粗くサーチするために、その精度が落ちるといったように、製造工程に負荷がかかるか、製品の性能が劣化してしまう。
特に、復元を前提とした深度拡張光学系では、保証される深度内では、性能の変化が極端に抑えられているため、解像ピークの算出は極めて困難である。
位相変調を行った深度拡張光学系においては、システム名が意味するように像性能の変化量が小さいために、解像性能の変化を尺度としてバックフォーカス調整するのは、変化量を見るために広い範囲をディフォーカスしてピークらしきところを算出することになる。
この場合は、広い範囲をディフォーカスするための手間がかかるか、粗くサーチするために、その精度が落ちるといったように、製造工程に負荷がかかるか、製品の性能が劣化してしまう。
特に、復元を前提とした深度拡張光学系では、保証される深度内では、性能の変化が極端に抑えられているため、解像ピークの算出は極めて困難である。
また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
さらに、上記技術では、たとえば明るい被写体の撮影で、絞りを絞った場合、位相変調素子が絞りで覆われるため、位相変化が小さくなり、画像復元処理を行うと復元画像に影響を与えてしまうという不利益がある。
さらにまた、上記技術では、画像復元処理前の画像は物体距離によらず常に光学像がボケた状態になっているため、復元処理を行わなければ画質としての完成度が低い。
たとえ復元処理を行ってもボカして復元するという工程上、完全には復元することは困難である。そのため、復元画が良好となるようなボカシ方をする必要がある。
たとえ復元処理を行ってもボカして復元するという工程上、完全には復元することは困難である。そのため、復元画が良好となるようなボカシ方をする必要がある。
本発明の目的は、深度拡張光学系において、解像性能ピーク位置を容易に検出可能で、また、復元画が良好となるようなボカシを実現でき、また、光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることが可能な撮像装置、並びにその製造装置および製造方法を提供することにある。
本発明の第１の観点の撮像装置は、光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記光学系を保持する光学系保持部と、前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、前記光学系保持部は、前記光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部を有し、前記光学系は、前記素子セット部に前記光波面変調素子が退避状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成されている。
本発明の第２の観点の撮像装置は、光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記光学系を保持する光学系保持部と、前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、前記光学系保持部は、前記光波面変調素子の変調機能を相殺する機能を有する逆光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部を有し、前記光学系は、前記素子セット部に前記逆光波面変調素子を挿入状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成されている。
好適には、前記光学系は、中心において回転非対称な点像強度分布（ＰＳＦ）により形成され、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を含み、前記光学系と前記撮像素子の相対的な取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が入力する画素数が最も多くなるように設定されている。
好適には、前記ＰＳＦは頂部を有し、前記光学系と前記撮像素子の相対的な取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が、前記ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。
好適には、前記ＰＳＦは頂部を有し、前記光学系と前記撮像素子の相対的な取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が、前記ＰＳＦの頂部に対する斜め側部において、当該頂部から当該斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
好適には、前記ＰＳＦは前記頂部を通る中心線を中心に左右対称である。
好適には、前記取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように設定されている。
好適には、前記光波面変調素子と前記撮像素子とを光軸を中心に相対的に回転させて前記取り付け位置が選定されている。
好適には、前記画像処理部は、撮像素子からの被写体分散画像信号より分散のない画像信号を生成する。
好適には、前記光波面変調素子が、物体距離に応じたＯＴＦの変化を、光波面変調素子を持たない光学系よりも小さくする作用を持つ。
好適には、前記光波面変調素子が、前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表される。
好適には、前記光波面変調素子を有する光学系のＯＴＦが、前記光波面変調素子を含まない光学系の被写界深度よりも広い物体距離にわたって、前記撮像素子のナイキスト周波数まで０．１以上である。
本発明の第３の観点は、光波面変調素子を含む光学系を保持する光学系保持部を有する撮像装置の製造装置であって、前記光学系保持部は、前記光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部を有し、前記素子セット部に前記光波面変調素子をセットする前に、前記素子セット部に前記光波面変調素子が退避状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように調整可能な調整装置を有する。
本発明の第４の観点は、光波面変調素子を含む光学系を保持する光学系保持部を有する撮像装置の製造装置であって、前記光学系保持部は、前記光波面変調素子の変調機能を相殺する機能を有する逆光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部を有し、前記素子セット部から前記逆光波面変調素子を取り外す前に、前記素子セット部に前記逆光波面変調素子を挿入状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように調整可能な調整装置を有する。
本発明の第５の観点は、光波面変調素子を含む光学系を保持する光学系保持部を有する撮像装置の製造方法であって、前記光学系保持部に形成された前記光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部に、前記光波面変調素子が退避状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように調整する第１ステップと、前記素子セット部に前記光波面変調素子をセットする第２ステップとを有する。
本発明の第６の観点は、光波面変調素子を含む光学系を保持する光学系保持部を有する撮像装置の製造方法であって、前記光波面変調素子の変調機能を相殺する機能を有する逆光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部に、前記逆光波面変調素子を挿入状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように調整する第１ステップと、前記素子セット部から前記逆光波面変調素子を取り外す第２ステップとを有する。
本発明によれば、深度拡張光学系において、解像性能ピーク位置を容易に検出可能である。
また、復元画が良好となるようなボカシを実現できる。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることができる利点がある。
また、復元画が良好となるようなボカシを実現できる。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることができる利点がある。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および制御装置１９０を有している。
光学系１１０は、後で詳述する位相変調素子等の光波面変調素子を含み、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。また、光学系１１０は、可変絞り１１０ａが配置されている。
光学系１１０は、後で詳述するように、光学系保持部に保持される。
そして、光学系保持部は、光波面変調素子を光学系１１０の光路に自在に挿入退避可能な素子セット部を有し、光学系１１０は、素子セット部に光波面変調素子が退避状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有するように形成された後、素子セット部に光波面変調素子がセットされて構成される。
あるいは、光学系保持部は、光波面変調素子の変調機能を相殺する機能を有する逆光波面変調素子を光学系の光路に自在に挿入退避可能な素子セット部を有し、光学系１１０は、素子セット部に逆光波面変調素子を挿入状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有するように形成された後、前記素子セット部から逆光波面変調素子が取り外されて構成される。
光学系１１０は、後で詳述するように、光学系保持部に保持される。
そして、光学系保持部は、光波面変調素子を光学系１１０の光路に自在に挿入退避可能な素子セット部を有し、光学系１１０は、素子セット部に光波面変調素子が退避状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有するように形成された後、素子セット部に光波面変調素子がセットされて構成される。
あるいは、光学系保持部は、光波面変調素子の変調機能を相殺する機能を有する逆光波面変調素子を光学系の光路に自在に挿入退避可能な素子セット部を有し、光学系１１０は、素子セット部に逆光波面変調素子を挿入状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有するように形成された後、前記素子セット部から逆光波面変調素子が取り外されて構成される。
撮像素子１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
光学系１１０と撮像素子１２０の相対的な取り付け位置は、光学系を通過した中心において回転非対称な点像強度分布（ＰＳＦ）に係る出力信号が入力する画素数が最も多くなるように設定されている。
より具体例を挙げると、後で説明するように、光学系を通過した中心において回転対称でない点像強度分布（ＰＳＦ）に係る出力信号が、ＰＳＦの所定の頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。換言すると、光学系を通過した中心において回転非対称で頂部を有する点像強度分布（ＰＳＦ）に係る出力信号が、ＰＳＦの頂部に対する斜め側部において、頂部から斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
このとき、光学系１１０に含まれる光波面変調素子と撮像素子１２０を相対的に回転させて取り付け位置が設定されている。
この場合、光学系１１０と撮像素子１２０の取り付け位置は、光学系１１０を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように回転させて設定されている。
より具体的には、取り付け位置は、アナログ信号からデジタル信号に変換する際に生じるサンプリング効果によりＰＳＦの出力信号が、ＰＳＦの所定の頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。換言すると、アナログ信号からデジタル信号に変換する際に生じるサンプリング効果によりＰＳＦの出力信号が、ＰＳＦの頂部に対する斜め側部において、頂部から斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
また、後で図解するように、光学系１１０を通過したＰＳＦが、アナログ信号からデジタル信号への変換後の変調伝達関数（ＭＴＦ）において、複数のアジマス方向（本実施形態においては全アジマス方向）において等しくなるように配置されている。
取り付け位置は、光波面変調素子と撮像素子１２０を後で説明する調整装置を用いて、光軸を中心に相対的に回転させて選定されている。
より具体例を挙げると、後で説明するように、光学系を通過した中心において回転対称でない点像強度分布（ＰＳＦ）に係る出力信号が、ＰＳＦの所定の頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。換言すると、光学系を通過した中心において回転非対称で頂部を有する点像強度分布（ＰＳＦ）に係る出力信号が、ＰＳＦの頂部に対する斜め側部において、頂部から斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
このとき、光学系１１０に含まれる光波面変調素子と撮像素子１２０を相対的に回転させて取り付け位置が設定されている。
この場合、光学系１１０と撮像素子１２０の取り付け位置は、光学系１１０を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように回転させて設定されている。
より具体的には、取り付け位置は、アナログ信号からデジタル信号に変換する際に生じるサンプリング効果によりＰＳＦの出力信号が、ＰＳＦの所定の頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。換言すると、アナログ信号からデジタル信号に変換する際に生じるサンプリング効果によりＰＳＦの出力信号が、ＰＳＦの頂部に対する斜め側部において、頂部から斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
また、後で図解するように、光学系１１０を通過したＰＳＦが、アナログ信号からデジタル信号への変換後の変調伝達関数（ＭＴＦ）において、複数のアジマス方向（本実施形態においては全アジマス方向）において等しくなるように配置されている。
取り付け位置は、光波面変調素子と撮像素子１２０を後で説明する調整装置を用いて、光軸を中心に相対的に回転させて選定されている。
アナログフロントエンド部１３０は、タイミングジェネレータ１３１と、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
画像信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
画像処理装置１４０、制御装置１９０の露出情報に応じて、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、画像信号処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。
画像処理装置１４０、制御装置１９０の露出情報に応じて、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、画像信号処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。
カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。
制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０、可変絞り１１０ａ等を制御し、システム全体の調停制御を司るものである。
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。
図２は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。この図は広角側を示している。
また、図３は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
そして、図４は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形状を示す図であり、図５は、本実施形態に係るズーム光学系の望遠側の像高中心のスポット形状を示す図である。
また、図３は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
そして、図４は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形状を示す図であり、図５は、本実施形態に係るズーム光学系の望遠側の像高中心のスポット形状を示す図である。
図２および図３のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板からなる光波面変調素子（波面形成用光学素子）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
たとえば、本実施形態においては、可変絞り１１０ａ（図１参照）が設けられ、露出制御（装置）において可変絞りの絞り度（開口度）を制御する。
たとえば、本実施形態においては、可変絞り１１０ａ（図１参照）が設けられ、露出制御（装置）において可変絞りの絞り度（開口度）を制御する。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディング等により厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ、あるいはレンズ面上に形成される位相面として形成される状態）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
図２および図３のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１１３ａを挿入した例である。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分散した画像をデジタル処理により、光学系１１０を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分散した画像をデジタル処理により、光学系１１０を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。
ここで、ＤＥＯＳの基本原理について説明する。
図６に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
図６に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
[数２]
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
生成された画像から被写体を求めるためには、次の処理を要する。
[数３]
ｆ＝Ｈ-１＊ｇ
ｆ＝Ｈ-１＊ｇ
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
光学切り替え情報をＫＰｎ，ＫＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
光学切り替え情報をＫＰｎ，ＫＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、絞り開放時には画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
以下、この特徴について説明する。
図７（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図７（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図７（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図７（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図７（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
図７（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図７（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図７（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図７（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
図８（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図８（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図８（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図８（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図８（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
ところで、ＤＥＯＳにおいては、深度拡張光学系では、深い被写界深度内で像性能の変化量が少ないために、ディフォーカスに対する光学性能ピーク位置の検出が困難である傾向にある。適切な評価が行い難いため、製造工程に負担をかけ、また、歩留りの面でも不利な面がある。
そこで、本実施形態においては、ＤＥＯＳにおける解像性能ピーク位置の検出方法、および、容易に検出可能な鏡枠構造（光学系保持部の構造）を実現している。
そこで、本実施形態においては、ＤＥＯＳにおける解像性能ピーク位置の検出方法、および、容易に検出可能な鏡枠構造（光学系保持部の構造）を実現している。
図９(Ａ），（Ｂ）は、本実施形態に係る光学系保持部の構成例を示す断面図である。
この光学系保持部２００は、図９(Ａ），（Ｂ）に示すように、円筒状の鏡枠部２１０の一部に円弧状のスリットとして形成された素子出し入れ部２２０と、素子出し入れ部２２０から出し入れされる光波面変調素子１１３ａを光学系１１０の光路に自在に着脱（挿入退避）可能な素子セット部（素子受け部）２３０と、素子セット部２３０にセットされる光波面変調素子１１３ａを押さえ込み固定するための押さえ部材２４０とを有する。
本例では、素子出し入れ部２２０および素子セット部２３０は、絞り１１０ａが配置される近傍であって、撮像素子１２０の撮像面側に形成されている。
すなわち、ＤＥＯＳにおいて、本実施形態における光学系保持部２００の構造は、基本的に、鏡枠部２１０と、光波面変調素子を出し入れ可能なスリット状の素子出し入れ部２２０と、素子セット部２３０とを有する鏡枠構造である。
なお、図９では光波面変調素子を着脱可能な構成について説明したが、この光波面変調素子を鏡枠部２１０に固定し、逆光波面変調素子を着脱可能な構成としてもよい。
この光学系保持部２００は、図９(Ａ），（Ｂ）に示すように、円筒状の鏡枠部２１０の一部に円弧状のスリットとして形成された素子出し入れ部２２０と、素子出し入れ部２２０から出し入れされる光波面変調素子１１３ａを光学系１１０の光路に自在に着脱（挿入退避）可能な素子セット部（素子受け部）２３０と、素子セット部２３０にセットされる光波面変調素子１１３ａを押さえ込み固定するための押さえ部材２４０とを有する。
本例では、素子出し入れ部２２０および素子セット部２３０は、絞り１１０ａが配置される近傍であって、撮像素子１２０の撮像面側に形成されている。
すなわち、ＤＥＯＳにおいて、本実施形態における光学系保持部２００の構造は、基本的に、鏡枠部２１０と、光波面変調素子を出し入れ可能なスリット状の素子出し入れ部２２０と、素子セット部２３０とを有する鏡枠構造である。
なお、図９では光波面変調素子を着脱可能な構成について説明したが、この光波面変調素子を鏡枠部２１０に固定し、逆光波面変調素子を着脱可能な構成としてもよい。
そして、本実施形態においては、第一の方法においては、ＤＥＯＳにおいて、図１０（Ａ）に示すように、素子セット部２３０に光波面変調素子（深度拡張作用をもたらす素子）がセットされていない状態の光学系１１０で、良好な結像性能を有するように構成する。
この状態で性能出しを行い、性能出しが完了後に、図１０（Ｂ）に示すように、素子出し入れ部２２０を通して素子セット部２３０に光波面変調素子１１３ａをセットし、押さえ部材２４０を落とし込み光波面変調素子１１３ａを固定する。
すなわち、図１０（Ａ）は、光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するようにな良好な結像性能をもつ光学系に対し、光波面変調素子１１３ａを装着しない状態を示している。この光波面変調、たとえば位相変調を行っていない撮像光学系では、ディフォーカスにより解像性能が顕著に変化するため、解像性能の変化を目安にバックフォーカス調整、もしくは解像評価をすることで性能出しを行う。
次に、図１０（Ｂ）に示すように、光波面変調素子を装着する。フィルタを機能させ、復元画像を得ることにより、深度拡張光学系が実現される。
ここで、図９のような構成とすることにより、この光波面変調素子を装着する際に光軸方向を中心にして回転させることができるために、後述するように光波面変調素子を好ましい位置で固定することができるようになる。
この状態で性能出しを行い、性能出しが完了後に、図１０（Ｂ）に示すように、素子出し入れ部２２０を通して素子セット部２３０に光波面変調素子１１３ａをセットし、押さえ部材２４０を落とし込み光波面変調素子１１３ａを固定する。
すなわち、図１０（Ａ）は、光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するようにな良好な結像性能をもつ光学系に対し、光波面変調素子１１３ａを装着しない状態を示している。この光波面変調、たとえば位相変調を行っていない撮像光学系では、ディフォーカスにより解像性能が顕著に変化するため、解像性能の変化を目安にバックフォーカス調整、もしくは解像評価をすることで性能出しを行う。
次に、図１０（Ｂ）に示すように、光波面変調素子を装着する。フィルタを機能させ、復元画像を得ることにより、深度拡張光学系が実現される。
ここで、図９のような構成とすることにより、この光波面変調素子を装着する際に光軸方向を中心にして回転させることができるために、後述するように光波面変調素子を好ましい位置で固定することができるようになる。
第二の方法においてに、光波面変調要素子を内包した深度拡張光学系において、図１１（Ａ）に示すように、逆光波面変調を生じさせ光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するようにな良好な結像状態とするための逆光波面変調素子１１３ｂを素子セット部２３０にセットする。本実施例では、光波面変調素子が逆光波面変調素子以外の光学系のトータルで作用をなす場合を示すものであるが、これまでの実施例と同様に、通常の光学系とは別に光波面変調素子１１３ａを配置してもよい。この際、後述するように光波面変調素子を光軸方向を中心にして回転させて好ましい位置で固定することが望ましい。
これらの状態を作り出すことにより、位相変調の無い状態で性能出しを行い、性能出しが完了後に、図１１（Ｂ）に示すように、素子出し入れ部２２０を通して素子セット部２３０にセットされていた逆光波面変調素子１１３ｂを取り外す。
すなわち、図１１(Ａ)は、光波面変調作用を持つ光波面変調素子を含む光学系１１０に対し、光学系の持つ光波面変調作用を相殺する逆光波面変調素子１１３ｂを装着する。この光波面変調作用が相殺された光学系では、ディフォーカスにより解像性能が顕著に変化するため、解像性能の変化を目安にバックフォーカス調整、もしくは解像評価をすることで性能出しを行う。
次に、図１１（Ｂ）に示すように、逆光波面変調素子１１３ｂを取り外す。そして、フィルタを機能させ、復元画像を得ることにより、深度拡張光学系が実現される。
これらの状態を作り出すことにより、位相変調の無い状態で性能出しを行い、性能出しが完了後に、図１１（Ｂ）に示すように、素子出し入れ部２２０を通して素子セット部２３０にセットされていた逆光波面変調素子１１３ｂを取り外す。
すなわち、図１１(Ａ)は、光波面変調作用を持つ光波面変調素子を含む光学系１１０に対し、光学系の持つ光波面変調作用を相殺する逆光波面変調素子１１３ｂを装着する。この光波面変調作用が相殺された光学系では、ディフォーカスにより解像性能が顕著に変化するため、解像性能の変化を目安にバックフォーカス調整、もしくは解像評価をすることで性能出しを行う。
次に、図１１（Ｂ）に示すように、逆光波面変調素子１１３ｂを取り外す。そして、フィルタを機能させ、復元画像を得ることにより、深度拡張光学系が実現される。
以上のように、第一の方法においては、深度拡張光学系において、光波面変調素子（深度拡張作用をもたらす素子）が無い状態の光学系で、良好な結像性能を有することが必要となる。光波面変調を行っていない撮像光学系では、ディフォーカスにより解像性能が顕著に変化するため、解像性能の変化を目安にバックフォーカス調整、もしくは解像評価をすることが可能となる。
次に、光波面変調素子の無い状態の光学系から、鏡枠等を分解や破壊することなく、光波面変調素子を組み込む必要がある。そのために、光波面変調素子を装着するためのスリットを持つ鏡枠構造でなければならない。この二つの要素をあわせ持つことにより、位相変調素子が無い状態の光学系で性能だしを行い、性能だしが完了後に深度拡張素子を追加する形で製造工程を構築することが可能となる。
次に、光波面変調素子の無い状態の光学系から、鏡枠等を分解や破壊することなく、光波面変調素子を組み込む必要がある。そのために、光波面変調素子を装着するためのスリットを持つ鏡枠構造でなければならない。この二つの要素をあわせ持つことにより、位相変調素子が無い状態の光学系で性能だしを行い、性能だしが完了後に深度拡張素子を追加する形で製造工程を構築することが可能となる。
また、第二の方法においては、光波面変調機能を内包している光学系では、光波面変調を相殺する逆光波面変調素子を追加することにより、ディフォーカスによる解像性能の変化を生じさせることが可能となる。鏡枠に逆光波面変調素子が着脱可能な素子出し入れ部２２０および素子セット部２３０を有することで、逆光波面変調素子を追加した状態の光学系で性能だしを行い、性能だしが完了後に逆光波面変調素子を外すことで製造工程を構築することが可能となる。
そして、本実施形態においては、光学系１１０と撮像素子１２０の取り付け位置は、光学系を通過した中心において回転非対称で頂部を有する点像強度分布（ＰＳＦ）に係る出力信号が、ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。なお、たとえばＰＳＦは頂部を通る中心線を中心に左右対称である。
このとき、光学系１１０に含まれる光波面変調素子と撮像素子１２０を相対的に回転させて取り付け位置が設定されている。
この場合、光学系１１０と撮像素子１２０の取り付け位置は、光学系１１０を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように回転させて設定されている。
このとき、光学系１１０に含まれる光波面変調素子と撮像素子１２０を相対的に回転させて取り付け位置が設定されている。
この場合、光学系１１０と撮像素子１２０の取り付け位置は、光学系１１０を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように回転させて設定されている。
図１２（Ａ），（Ｂ）は、基準位置と所定角度回転後のアナログＰＳＦを示す図である。
図１３（Ａ），（Ｂ）は、図１２のアナログＰＳＦのＡ／Ｄ変換後のデジタルＰＳＦを示す図である。
図１４（Ａ），（Ｂ）は、図１３（Ａ），（Ｂ）のデジタルＰＳＦのＭＴを示す図である。
図１５（Ａ），（Ｂ）は基準位置の場合のアナログＰＳＦと、デジタルＰＳＦを模式的に示す図である。
また、図１６（Ａ），（Ｂ）は４５度回転後のアナログＰＳＦと、デジタルＰＳＦを模式的に示す図である。
図１３（Ａ），（Ｂ）は、図１２のアナログＰＳＦのＡ／Ｄ変換後のデジタルＰＳＦを示す図である。
図１４（Ａ），（Ｂ）は、図１３（Ａ），（Ｂ）のデジタルＰＳＦのＭＴを示す図である。
図１５（Ａ），（Ｂ）は基準位置の場合のアナログＰＳＦと、デジタルＰＳＦを模式的に示す図である。
また、図１６（Ａ），（Ｂ）は４５度回転後のアナログＰＳＦと、デジタルＰＳＦを模式的に示す図である。
本実施形態においては、図１２（Ａ）に示す基準位置にある、中心において回転非対称で頂部を有するアナログＰＳＦを調整装置により、図１２（Ｂ）に示すように、所定角度（本例では４５度）回転する。
図からもわかるように、アナログでは回転を加えても軸方向のＭＴＦは変わらない。
そして、回転に伴い、アナログ信号からデジタル信号に変換する際のサンプリングする対象が変化するため、図１３（Ａ），（Ｂ）に示すように、デジタルＰＳＦの形状が変化する。
図からもわかるように、アナログでは回転を加えても軸方向のＭＴＦは変わらない。
そして、回転に伴い、アナログ信号からデジタル信号に変換する際のサンプリングする対象が変化するため、図１３（Ａ），（Ｂ）に示すように、デジタルＰＳＦの形状が変化する。
より具体的に説明すると、たとえば、図１５（Ａ）の例のように、基準位置においては、アナログＰＳＦはａ〜ｇの８個の画素にわたってかかる（またぐ）ことから、サンプリングした後のデジタルＰＳＦは、図１５（Ｂ）の例のように、８個の画素ａ〜ｈに入力することになる。
この形状は、アナログＰＳＦの平面的に見た場合に、頂点部があり三角形に近いが、その頂部ＴＸに対向する底辺部（縁部）ＢＸは、図１５（Ｂ）に示すように、図１５（Ａ）のオリジナルと略同様に、直線的にならず、頂部ＴＸ側に寄った弓なり状な形状となる。
この形状は、アナログＰＳＦの平面的に見た場合に、頂点部があり三角形に近いが、その頂部ＴＸに対向する底辺部（縁部）ＢＸは、図１５（Ｂ）に示すように、図１５（Ａ）のオリジナルと略同様に、直線的にならず、頂部ＴＸ側に寄った弓なり状な形状となる。
これに対して、所定角度回転（本例では４５度回転）させて、光学系を通過した中心において回転非対称な点像強度分布（ＰＳＦ）に係る出力信号が入力する画素数が最も多くなるように設定されている。
具体的には、たとえば図１６（Ａ）に示すように、アナログＰＳＦがａ〜ｌの１２個の画素にわたってかかる（またぐ）ようにすると、サンプリングした後のデジタルＰＳＦは、図１６（Ｂ）に示すように、頂点部があり三角形に近いが、その頂部ＴＸに対向する底辺部（縁部）ＢＸにおいて、直線的に配列される複数の画素（ａ，ｂ，ｃ，ｄ）にまで入力するように形成することが可能となる。
換言すると、ＰＳＦの頂部ＴＸに対する斜め側部ＳＸにおいて、頂部ＴＸから斜め側部ＳＸの先端部ＳＸＴまでの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
より具体的には、図１６（Ａ）の例では、頂部ＴＸから斜め側部ＳＸ１の先端部ＳＸＴ１までの間の複数個所（この例では２箇所）で、画素配列の斜め方向に隣接する複数の画素、すなわち、画素ｇとｊ、および画素ｂとｅにまでまたがるように設定されている。
同様に、頂部ＴＸから斜め側部ＳＸ２の先端部ＳＸＴ２までの間の複数個所（この例では２箇所）で、画素配列の斜め方向に隣接する複数の画素、すなわち、画素ｇとｌ、および画素ｃとｉにまでまたがるように設定されている。
すなわち、ＰＳＦの回転に伴い、サンプリング対象が変化するため、より多くの画素に入力するデジタルＰＳＦの形状に変化する。
そして、ＰＳＦは、頂部ＴＸを通る中心線を中心に略左右対称である。
具体的には、たとえば図１６（Ａ）に示すように、アナログＰＳＦがａ〜ｌの１２個の画素にわたってかかる（またぐ）ようにすると、サンプリングした後のデジタルＰＳＦは、図１６（Ｂ）に示すように、頂点部があり三角形に近いが、その頂部ＴＸに対向する底辺部（縁部）ＢＸにおいて、直線的に配列される複数の画素（ａ，ｂ，ｃ，ｄ）にまで入力するように形成することが可能となる。
換言すると、ＰＳＦの頂部ＴＸに対する斜め側部ＳＸにおいて、頂部ＴＸから斜め側部ＳＸの先端部ＳＸＴまでの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
より具体的には、図１６（Ａ）の例では、頂部ＴＸから斜め側部ＳＸ１の先端部ＳＸＴ１までの間の複数個所（この例では２箇所）で、画素配列の斜め方向に隣接する複数の画素、すなわち、画素ｇとｊ、および画素ｂとｅにまでまたがるように設定されている。
同様に、頂部ＴＸから斜め側部ＳＸ２の先端部ＳＸＴ２までの間の複数個所（この例では２箇所）で、画素配列の斜め方向に隣接する複数の画素、すなわち、画素ｇとｌ、および画素ｃとｉにまでまたがるように設定されている。
すなわち、ＰＳＦの回転に伴い、サンプリング対象が変化するため、より多くの画素に入力するデジタルＰＳＦの形状に変化する。
そして、ＰＳＦは、頂部ＴＸを通る中心線を中心に略左右対称である。
また、アナログの時点では回転に伴うＭＴＦの変化はないが、デジタル変換された後は、図１４（Ａ），（Ｂ）に示すように、サンプリング効果によりＭＴＦが変換する。
このサンプリング効果を利用して、光学系１１０を通過したＰＳＦが、アナログ信号からデジタル信号への変換後のＭＴＦにおいて、複数のアジマス方向（本実施形態においては全アジマス方向）において等しくなるように配置されている。
このサンプリング効果を利用して、光学系１１０を通過したＰＳＦが、アナログ信号からデジタル信号への変換後のＭＴＦにおいて、複数のアジマス方向（本実施形態においては全アジマス方向）において等しくなるように配置されている。
これにより、本実施形態においては、撮像素子１２０と光波面変調素子としての位相変調素子（位相板）１１３ａを復元に適した配置することができ、公差の緩い深度拡張光学系を実現している。
なお、本実施形態においては、４５度回転させた場合について説明したが、図１２（Ａ）の状態から９０度、１８０度、２７０度以外で回転させても図１２（Ａ）の状態よりも複数の画素にわたってかかる（またぐ）ようになり、本発明の効果を十分に発現することができる。
また、図１２（Ａ）に示すＰＳＦの場合には４５度回転させた場合がかかる（またぐ）画素が多くなるが、他のＰＳＦの場合には４５度以外の回転状態の場合がかかる（またぐ）画素が多い状態となるケースもある。
なお、本実施形態においては、４５度回転させた場合について説明したが、図１２（Ａ）の状態から９０度、１８０度、２７０度以外で回転させても図１２（Ａ）の状態よりも複数の画素にわたってかかる（またぐ）ようになり、本発明の効果を十分に発現することができる。
また、図１２（Ａ）に示すＰＳＦの場合には４５度回転させた場合がかかる（またぐ）画素が多くなるが、他のＰＳＦの場合には４５度以外の回転状態の場合がかかる（またぐ）画素が多い状態となるケースもある。
本実施形態においては、調整装置にこの方法を採用して光学系１１０と撮像素子１２０の相対的な取り付け位置の調整を行う。
以下に、調整装置の基本的な構成を説明について説明する。
以下に、調整装置の基本的な構成を説明について説明する。
図１７は、本実施形態に係る調整装置３００の構成例を示すブロック図である。
調整装置３００は、図１７に示すように、レンズ調整駆動部３１０、図１の撮像素子１２０に相当するセンサ３２０、ＡＦＥ（アナログフロントエンド部）３３０、ＲＡＷバッファメモリ３４０、画像信号処理部３５０、調整制御部３６０、および画像表示部３７０を有している。
レンズ調整駆動部３１０には、たとえば小絞り３１１、光波面変調素子を含むレンズ系(光学系)３１２が配置される。そして、モータドライバ３１３によりレンズ系３１２がその光軸方向に移動制御され、光波面変調素子を含むレンズ光学系の位置が所望の位置に設定される。
また、レンズ調整駆動部３１０は、調整制御部３６０に指示に従って、レンズ系３１２を光軸を中心に所定角度回転可能に構成されている。
また、レンズ系３１２は、図示しないが、図９に対応するような、光波面変調素子または逆波面変調素子を光学系１１０の光路に自在に着脱（挿入退避）可能な素子セット部（素子受け部）を有する。
この構成を用いて上記した第一または第二の方法に従った調整、組み立て(製造)が行われる。
また、レンズ調整駆動部３１０は、調整制御部３６０に指示に従って、レンズ系３１２を光軸を中心に所定角度回転可能に構成されている。
また、レンズ系３１２は、図示しないが、図９に対応するような、光波面変調素子または逆波面変調素子を光学系１１０の光路に自在に着脱（挿入退避）可能な素子セット部（素子受け部）を有する。
この構成を用いて上記した第一または第二の方法に従った調整、組み立て(製造)が行われる。
ＡＦＥ３３０は、Ａ／Ｄコンバータ３３１、タイミングジェネレータ３３２と、を有する。
タイミングジェネレータ３３１では、調整制御部３６０の制御の下、センサ（撮像素子）３２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ３３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、バッファメモリ３４０に可能する。
また、タイミングジェネレータ３３１は、調整制御部３６０の制御の下、センサ３２０に対するレンズ３１２の位置を調整し、ピント等を調整するための駆動信号をモータドライバ３１３に供給する。
タイミングジェネレータ３３１では、調整制御部３６０の制御の下、センサ（撮像素子）３２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ３３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、バッファメモリ３４０に可能する。
また、タイミングジェネレータ３３１は、調整制御部３６０の制御の下、センサ３２０に対するレンズ３１２の位置を調整し、ピント等を調整するための駆動信号をモータドライバ３１３に供給する。
画像信号処理部３５０は、バッファメモリ３４０の格納データに対して、所定の画像処理を行って、たとえばＰＳＦ像を得、その処理情報を調整制御部３６０に供給するとともに、調整制御部３６０の制御の下、画像表示部３７０に表示する。
調整制御部３６０は、画像信号処理部３５０による信号処理に伴う情報に基づいて、レンズ（光学系）３１２とセンサ（撮像素子）３２０の位置関係を調整するために、レンズ３１２の位置を変更制御等するための制御信号をＡＦＥ３３０のタイミングジェネレータ３３２に出力して、レンズ（光学系）３１２とセンサ（撮像素子）３２０の位置関係を調整制御する。
また、レンズ（光学系）３１２とセンサ（撮像素子）３２０の位置調整処理は、図１８に示すように、ｘ軸、ｙ軸を調整してレンズ３１２とセンサ３２０の位置を調整する。
以上のような調整装置３００を用いて、撮像装置１００は調整され製造される。
以下、深度拡張光学系を採用した場合の各部構成および機能についてさらに説明する。
以下、深度拡張光学系を採用した場合の各部構成および機能についてさらに説明する。
図１９は、本実施形態の光波面変調素子を含む光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、下記式で表される波面収差の形状である。
波面収差が０．５λ以下の範囲では位相の変化が小さく、通常の光学系と変わらないＯＴＦを持つ。したがって波面収差が０．５λ程度になるまで絞って取り付け位置の調整を行う。
図２０は、前記波面収差の形状と０．５λ以下の範囲を太線で表したものである。
ただし、λはたとえば可視光領域、赤外領域の波長を用いる。
図２０は、前記波面収差の形状と０．５λ以下の範囲を太線で表したものである。
ただし、λはたとえば可視光領域、赤外領域の波長を用いる。
なお、図１９に示す形状は、一例であって、光波面変調素子が、光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表されるものであれば適用可能である。
画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
画像処理装置１４０のＭＴＦ補正処理は、たとえば図２１の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図２１中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図２１中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
図２１中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
本実施形態においては、図２１に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図２２に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図２１のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２２に示すようになる。
たとえば、図２１のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２２に示すようになる。
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図７（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図７（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
図２３は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図２４は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２５は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
図２４は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２５は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
図２４に示した、位相板を持つ光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図２５に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
なぜなら、図２５に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
次に、画像処理装置１４０の構成および処理について説明する。
画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。
コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置１９０により制御される。
また、カーネルデータ格納ＲＯＭ１４３には、図２６、図２７、または図２８に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
なお、露出情報には、絞り情報が含まれる。
図２６の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
また、図２７の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）に対応したデータとなっている。なお、Ｆナンバ（２．８）、Ｆナンバ（４）は上記した０．５λの範囲外である。
また、図２８の例では、カーネルデータＡは物体距離情報が１００ｍｍ、カーネルデータＢは物体距離が５００ｍｍ、カーネルデータＣは物体距離が４ｍに対応したデータとなっている。
図２７の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板１１３ａが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板１１３ａが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。
図２９は、制御装置１９０の露出情報（絞り情報を含む）により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ１０１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ１０３）。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ１０１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ１０３）。
以下に画像処理装置１４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。
図３０は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３０の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
図３０の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネルデータを用いてコンボリューション処理を施す。
図３１は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３１の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
図３１の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
図３２は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３２の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
図３２の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
図３３は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３３の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。
図３３の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。
以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
図３４は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図３４は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置４００の構成例を示している。
図３４は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置４００の構成例を示している。
画像処理装置４００は、図３４に示すように、コンボリューション装置４０１、カーネル・数値演算係数格納レジスタ４０２、および画像処理演算プロセッサ４０３を有する。
この画像処理装置４００においては、物体概略距離情報検出装置５００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ４０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ４０２に格納し、その値を用いて演算するコンボリューション装置４０１にて適正な演算を行い、画像を復元する。
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
この構成の他にも、以下の構成を採用することが可能である。
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
図３４の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのレジスタ４０２に被写体距離に応じて少なくとも位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ４０３が、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき、レジスタ５０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置５０１が、係数選択手段としての画像処理演算プロセッサ５０３で選択された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置５０１が、係数選択手段としての画像処理演算プロセッサ５０３で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ５０３が、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき変換係数を演算し、レジスタ４０２に格納する。
そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られレジスタ４０２に格納された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られレジスタ４０２に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのレジスタ４０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ４０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのレジスタ４０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのレジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。
第２変換係数記憶手段としても機能するレジスタ４０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのレジスタ４０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのレジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。
図３５は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図３５は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置４００Ａの構成例を示している。
図３５は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置４００Ａの構成例を示している。
画像処理装置４００Ａは、図３４と同様に、図３５に示すように、コンボリューション装置４０１、カーネル・数値演算係数格納レジスタ４０２、および画像処理演算プロセッサ４０３を有する。
この画像処理装置４００Ａにおいては、ズーム情報検出装置６００から読み出したズーム位置またはズーム量に関する情報および露出情報を得た画像処理演算プロセッサ４０３では、露出情報およびそのズーム位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ４０２に格納し、その値を用いて演算するコンボリューション装置４０１にて適正な演算を行い、画像を復元する。
上述したように、光波面変調素子としての位相板をズーム光学系に備えた撮像装置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異なる。このため、位相板より得られる焦点ズレ画像（スポット画像）を後段のＤＳＰ等でコンボリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に応じて異なるコンボリューション演算が必要となる。
そこで、本実施形態においては、ズーム情報検出装置６００を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
そこで、本実施形態においては、ズーム情報検出装置６００を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
画像処理装置４００Ａにおける適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ４０２に共通で１種類記憶しておく構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
この構成の他にも、以下の構成を採用することが可能である。
各ズーム位置に応じて、レジスタ４０２に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ４０２にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ４０２に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等を採用することが可能である。
図３５の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのレジスタ４０２にズーム光学系１１０のズーム位置またはズーム量に応じた位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ４０３が、ズーム情報生成手段としてのズーム情報検出装置６００により生成された情報に基づき、レジスタ４０２からズーム光学系１１０のズ−ム位置またはズーム量に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置４０１が、係数選択手段としての画像処理演算プロセッサ４０３で選択された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置４０１が、係数選択手段としての画像処理演算プロセッサ４０３で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置６００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られレジスタ４０２に格納された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られレジスタ４０２に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのレジスタ４０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ４０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置６００により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのレジスタ４０２からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのレジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。
第２変換係数記憶手段としても機能するレジスタ４０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置６００により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのレジスタ４０２からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのレジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。
図３６に、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報とズーム情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
この例では、物体距離情報とズーム情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
なお、図２や図３の光学系は一例であり、本発明は図２や図３の光学系に対して用いられるものとは限らない。また、スポット形状についても図４および図５は一例であり、本実施形態のスポット形状は、図４および図５に示すものとは限らない。
また、図２６、図２７、および図２８のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図３６のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報等であればよい。
また、図２６、図２７、および図２８のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図３６のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報等であればよい。
なお、上述のように、光波面変調素子としての位相板を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
以上説明したように、本実施形態によれば、ＤＥＯＳにおいて、本実施形態における光学系保持部２００の構造は、基本的に、鏡枠部２１０と、光波面変調素子または逆光波面変調素子を出し入れ可能なスリット状の素子出し入れ部２２０と、素子セット部２３０とを有し、以下の第一または第二の方法が採用される。
第一の方法においては、深度拡張光学系において、光波面変調素子（深度拡張作用をもたらす素子）が無い状態の光学系で、素子セット部２３０に光波面変調素子が退避状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有することが必要となる。光波面変調を行っていない撮像光学系では、ディフォーカスにより解像性能が顕著に変化するため、解像性能の変化を目安にバックフォーカス調整、もしくは解像評価をすることが可能となる。
次に、光波面変調素子の無い状態の光学系から、鏡枠等を分解や破壊することなく、光波面変調素子を組み込む必要がある。そのために、光波面変調素子を装着するためのスリットを持つ鏡枠構造でなければならない。この二つの要素をあわせ持つことにより、位相変調素子が無い状態の光学系で性能だしを行い、性能だしが完了後に深度拡張素子を追加する形で製造工程を構築することが可能となる。
第一の方法においては、深度拡張光学系において、光波面変調素子（深度拡張作用をもたらす素子）が無い状態の光学系で、素子セット部２３０に光波面変調素子が退避状態で光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するような良好な結像性能を有することが必要となる。光波面変調を行っていない撮像光学系では、ディフォーカスにより解像性能が顕著に変化するため、解像性能の変化を目安にバックフォーカス調整、もしくは解像評価をすることが可能となる。
次に、光波面変調素子の無い状態の光学系から、鏡枠等を分解や破壊することなく、光波面変調素子を組み込む必要がある。そのために、光波面変調素子を装着するためのスリットを持つ鏡枠構造でなければならない。この二つの要素をあわせ持つことにより、位相変調素子が無い状態の光学系で性能だしを行い、性能だしが完了後に深度拡張素子を追加する形で製造工程を構築することが可能となる。
また、第二の方法においては、光波面変調機能を内包している光学系では、光波面変調を相殺する逆光波面変調素子を追加することにより、ディフォーカスによる解像性能の変化を生じさせることが可能となる。鏡枠に逆光波面変調素子が着脱可能な素子出し入れ部２２０および素子セット部２３０を有することで、逆光波面変調素子を追加した状態の光学系で性能だしを行い、性能だしが完了後に逆光波面変調素子を外すことで製造工程を構築することが可能となる。
また、本実施形態によれば、１次画像を形成する光波面変調素子を含む光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、光学系１１０と撮像素子１２０の取り付け位置は、調整装置を用いて、光学系を通過した中心において回転非対称な点像強度分布（ＰＳＦ）に係る出力信号が入力する画素数が最も多くなるように設定されていることから、撮像素子１２０と光波面変調素子としての位相変調素子（位相板）１１３ａを復元に適した配置することができ、公差の緩い深度拡張光学系を実現できる。
その結果、復元画が良好となるようなボカシを実現でき、適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることができる利点がある。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。
その結果、復元画が良好となるようなボカシを実現でき、適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることができる利点がある。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
また、図２や図３の光学系は一例であり、本発明は図２や図３の光学系に対して用いられるものとは限らない。また、スポット形状についても図４および図５は一例であり、本実施形態のスポット形状は、図４および図５に示すものとは限らない。
また、図２６、図２７、および図２８のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
また、図２６、図２７、および図２８のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
１００・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１５０・・・カメラ信号処理部、１８０・・・操作部、１９０・・・制御装置、１１１・・・物体側レンズ、１１２・・・結像レンズ、１１３・・・波面形成用光学素子、１１３ａ・・・位相板（光波面変調素子）、１４２・・・コンボリューション演算器、１４３・・・カーネルデータＲＯＭ、１４４・・・コンボリューション制御部、２００・・・光学系保持部、２１０・・・鏡枠部、２２０・・・素子出し入れ部、２３０・・・素子セット部（素子受け部）、２４０・・・押さえ部材、３００・・・調整装置、３１０・・・レンズ調整駆動部、３１１・・・小絞り、３１２・・・レンズ系(光学系)、３１３・・・モータドライバ、３２０・・・センサ（撮像素子）、３３０・・・ＡＦＥ（アナログフロントエンド部）、３４０・・・ＲＡＷバッファメモリ、３５０・・・画像信号処理部、３６０・・・調整制御部、３７０・・・画像表示部。
Claims (18)
- 光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記光学系を保持する光学系保持部と、
前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、
前記光学系保持部は、
前記光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部を有し、
前記光学系は、
前記素子セット部に前記光波面変調素子が退避状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成されている
撮像装置。 - 光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、
前記光学系を保持する光学系保持部と、
前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、
前記光学系保持部は、
前記光波面変調素子の変調機能を相殺する機能を有する逆光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部を有し、
前記光学系は、
前記素子セット部に前記逆光波面変調素子を挿入状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように形成されている
撮像装置。 - 前記光学系は、中心において回転非対称な点像強度分布（ＰＳＦ）により形成され、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を含み、
前記光学系と前記撮像素子の相対的な取り付け位置は、
前記光学系を通過したＰＳＦに係る出力信号が入力する画素数が最も多くなるように設定されている
請求項１または２記載の撮像装置。 - 前記ＰＳＦは頂部を有し、
前記光学系と前記撮像素子の相対的な取り付け位置は、
前記光学系を通過したＰＳＦに係る出力信号が、前記ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている
請求項１または２記載の撮像装置。 - 前記ＰＳＦは頂部を有し、
前記光学系と前記撮像素子の相対的な取り付け位置は、
前記光学系を通過したＰＳＦに係る出力信号が、前記ＰＳＦの頂部に対する斜め側部において、当該頂部から当該斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている
請求項１または２記載の撮像装置。 - 前記ＰＳＦは前記頂部を通る中心線を中心に左右対称である
請求項４または５記載の撮像装置。 - 前記取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように設定されている
請求項４から６のいずれか一に記載の撮像装置。 - 前記光波面変調素子と前記撮像素子とを光軸を中心に相対的に回転させて前記取り付け位置が選定されている
請求項３から７のいずれか一に記載の撮像装置。 - 前記画像処理部は、撮像素子からの被写体分散画像信号より分散のない画像信号を生成する
請求項１から８のいずれか一に記載の撮像装置。 - 前記光波面変調素子が、物体距離に応じたＯＴＦの変化を、光波面変調素子を持たない光学系よりも小さくする作用を持つ
請求項３から９のいずれか一に記載の撮像装置。 - 前記光波面変調素子が、前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表される
請求項９または１０記載の撮像装置。
- 前記光波面変調素子を有する光学系のＯＴＦが、前記光波面変調素子を含まない光学系の被写界深度よりも広い物体距離にわたって、前記撮像素子のナイキスト周波数まで０．１以上である
請求項９から１１のいずれか一に記載の撮像装置。 - 光波面変調素子を含む光学系を保持する光学系保持部を有する撮像装置の製造装置であって、
前記光学系保持部は、
前記光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部を有し、
前記素子セット部に前記光波面変調素子をセットする前に、前記素子セット部に前記光波面変調素子が退避状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように調整可能な調整装置を有する
撮像装置の製造装置。 - 光波面変調素子を含む光学系を保持する光学系保持部を有する撮像装置の製造装置であって、
前記光学系保持部は、
前記光波面変調素子の変調機能を相殺する機能を有する逆光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部を有し、
前記素子セット部から前記逆光波面変調素子を取り外す前に、前記素子セット部に前記逆光波面変調素子を挿入状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように調整可能な調整装置を有する
撮像装置の製造装置。 - 前記光波面変調素子と撮像素子とを光軸を中心に相対的に回転させて前記取り付け位置が選定されている
請求項１３または１４記載の撮像装置の製造装置。 - 光波面変調素子を含む光学系を保持する光学系保持部を有する撮像装置の製造方法であって、
前記光学系保持部に形成された前記光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部に、前記光波面変調素子が退避状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように調整する第１ステップと、
前記素子セット部に前記光波面変調素子をセットする第２ステップと
を有する撮像装置の製造方法。 - 光波面変調素子を含む光学系を保持する光学系保持部を有する撮像装置の製造方法であって、
前記光波面変調素子の変調機能を相殺する機能を有する逆光波面変調素子を前記光学系の光路に自在に挿入退避可能な素子セット部に、前記逆光波面変調素子を挿入状態で前記光学系を通過する光が光源の距離によって光軸方向で異なる位置に結像するように調整する第１ステップと、
前記素子セット部から前記逆光波面変調素子を取り外す第２ステップと
を有する撮像装置の製造方法。 - 前記第２ステップにおいて、前記光波面変調素子と前記撮像素子を光軸を中心に相対的に回転させて前記取り付け位置を調整する
請求項１６記載の撮像装置の製造方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008044009A JP2008245265A (ja) | 2007-02-26 | 2008-02-26 | 撮像装置、並びにその製造装置および製造方法 |
| PCT/JP2008/053334 WO2008105431A1 (ja) | 2007-02-26 | 2008-02-26 | 撮像装置、撮像方法、並びに撮像装置の製造装置および製造方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007046084 | 2007-02-26 | ||
| JP2008044009A JP2008245265A (ja) | 2007-02-26 | 2008-02-26 | 撮像装置、並びにその製造装置および製造方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008245265A true JP2008245265A (ja) | 2008-10-09 |
Family
ID=39915978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008044009A Pending JP2008245265A (ja) | 2007-02-26 | 2008-02-26 | 撮像装置、並びにその製造装置および製造方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008245265A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009188894A (ja) * | 2008-02-08 | 2009-08-20 | Mitsubishi Electric Corp | 撮像装置 |
| JP2016039471A (ja) * | 2014-08-07 | 2016-03-22 | 日立マクセル株式会社 | コンバージョンレンズユニットおよび撮像システム |
| US9699427B2 (en) | 2013-08-01 | 2017-07-04 | Fujifilm Corporation | Imaging device, imaging method, and image processing device |
| JP2017215978A (ja) * | 2012-05-24 | 2017-12-07 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | 能動奥行き検知のためのアフィン不変空間マスクの受信 |
-
2008
- 2008-02-26 JP JP2008044009A patent/JP2008245265A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009188894A (ja) * | 2008-02-08 | 2009-08-20 | Mitsubishi Electric Corp | 撮像装置 |
| JP2017215978A (ja) * | 2012-05-24 | 2017-12-07 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | 能動奥行き検知のためのアフィン不変空間マスクの受信 |
| US9699427B2 (en) | 2013-08-01 | 2017-07-04 | Fujifilm Corporation | Imaging device, imaging method, and image processing device |
| JP2016039471A (ja) * | 2014-08-07 | 2016-03-22 | 日立マクセル株式会社 | コンバージョンレンズユニットおよび撮像システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4749984B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP4749959B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP4712631B2 (ja) | 撮像装置 | |
| JP4663737B2 (ja) | 撮像装置およびその画像処理方法 | |
| JP4749985B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP2007322560A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP2008048293A (ja) | 撮像装置、およびその製造方法 | |
| JP4818957B2 (ja) | 撮像装置およびその方法 | |
| US8462213B2 (en) | Optical system, image pickup apparatus and information code reading device | |
| JP2008268937A (ja) | 撮像装置および撮像方法 | |
| JP2007300208A (ja) | 撮像装置 | |
| JP2008245157A (ja) | 撮像装置およびその方法 | |
| JP2008245266A (ja) | 撮像装置および撮像方法 | |
| JP2006311473A (ja) | 撮像装置および撮像方法 | |
| JP2009086017A (ja) | 撮像装置および撮像方法 | |
| JP2008245265A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP2006094468A (ja) | 撮像装置および撮像方法 | |
| JP4818956B2 (ja) | 撮像装置およびその方法 | |
| JP2009033607A (ja) | 撮像装置および画像処理方法 | |
| JP4916853B2 (ja) | 撮像装置およびその方法 | |
| JP5197784B2 (ja) | 撮像装置 | |
| JP2008167040A (ja) | 撮像装置、その製造装置および製造方法、並びに情報コード読取装置 | |
| JP4722748B2 (ja) | 撮像装置およびその画像生成方法 | |
| JP2009134023A (ja) | 撮像装置および情報コード読取装置 | |
| JP4948967B2 (ja) | 撮像装置、並びにその製造装置および製造方法 |