JP2008136145A - 撮像装置、並びにその製造装置および製造方法 - Google Patents

撮像装置、並びにその製造装置および製造方法 Download PDF

Info

Publication number
JP2008136145A
JP2008136145A JP2006322375A JP2006322375A JP2008136145A JP 2008136145 A JP2008136145 A JP 2008136145A JP 2006322375 A JP2006322375 A JP 2006322375A JP 2006322375 A JP2006322375 A JP 2006322375A JP 2008136145 A JP2008136145 A JP 2008136145A
Authority
JP
Japan
Prior art keywords
image
optical system
psf
pixels
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006322375A
Other languages
English (en)
Inventor
Yusuke Hayashi
佑介 林
Naoto Ohara
直人 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2006322375A priority Critical patent/JP2008136145A/ja
Publication of JP2008136145A publication Critical patent/JP2008136145A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】復元画が良好となるようなボカシを実現でき、また、光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることが可能な撮像装置、並びにその製造装置および製造方法を提供する。
【解決手段】１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、撮像素子の複数の画素を画素の隣接する行または列の配列を列または行方向にずらして配置し、また、画素の形状を、方形以外の多角形または円形とする。
【選択図】図１５

Description

本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等の撮像装置、並びにその製造装置および製造方法に関するものである。
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
図３７は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
撮像レンズ装置１においては、図３７に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図３８（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報 特開２００４−１５３４９７号公報
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
また、上述した各文献に開示された装置においては、たとえば暗所における撮影で、信号処理によって画像を復元する際、ノイズも同時に増幅してしまう。
したがって、たとえば上述した位相板等の光波面変調素子とその後の信号処理を用いるような、光学系と信号処理を含めた光学システムでは、暗所での撮影を行う場合、ノイズが増幅してしまい、復元画像に影響を与えてしまうという不利益がある。
さらに、上記技術では、たとえば明るい被写体の撮影で、絞りを絞った場合、位相変調素子が絞りで覆われるため、位相変化が小さくなり、画像復元処理を行うと復元画像に影響を与えてしまうという不利益がある。
さらにまた、上記技術では、画像復元処理前の画像は物体距離によらず常に光学像がボケた状態になっているため、復元処理を行わなければ画質としての完成度が低い。
たとえ復元処理を行ってもボカして復元するという工程上、完全には復元することは困難である。そのため、復元画が良好となるようなボカシ方をする必要がある。
本発明の目的は、復元画が良好となるようなボカシを実現でき、また、光学系を簡単化でき、コスト低減を図ることができ、適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることが可能な撮像装置、並びにその製造装置および製造方法を提供することにある。
本発明の第１の観点の撮像装置は、中心において回転非対称な点像強度分布（ＰＳＦ）により形成され、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、前記撮像素子は、複数の画素が、画素の隣接する行または列の配列を列または行方向にずらして配置されている。
好適には、前記画素の形状が方形以外の多角形または円形である。
好適には、前記撮像素子は、前記複数の画素が、前記光学系を通過したＰＳＦに係る出力信号が入力する画素数が、マトリクス状に配置した場合より多くなるようにずらして配置されている。
好適には、前記ＰＳＦは頂部を有し、前記光学系と前記撮像素子の相対的な取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が、前記ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。
好適には、前記ＰＳＦは頂部を有し、前記光学系と前記撮像素子の相対的な取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が、前記ＰＳＦの頂部に対する斜め側部において、当該頂部から当該斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
好適には、前記ＰＳＦは前記頂部を通る中心線を中心に左右対称である。
好適には、前記光波面変調素子と前記撮像素子を相対的に回転させて前記取り付け位置が設定されている。
好適には、前記取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように設定されている。
好適には、前記ＰＳＦは頂部を有し、前記撮像素子による画像信号をアナログ信号からデジタル信号に変換して前記画像処理部に変換する変換器を有し、前記光学系と前記撮像素子の相対的な取り付け位置は、アナログ信号からデジタル信号に変換する際に生じるサンプリング効果により前記ＰＳＦの出力信号が、当該ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。
好適には、前記ＰＳＦは頂部を有し、前記撮像素子による画像信号をアナログ信号からデジタル信号に変換して前記画像処理部に変換する変換器を有し、前記光学系と前記撮像素子の相対的な取り付け位置は、アナログ信号からデジタル信号に変換する際に生じるサンプリング効果により前記ＰＳＦの出力信号が、当該ＰＳＦの頂部に対する斜め側部において、当該頂部から当該斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
好適には、前記光学系を通過したＰＳＦが、前記アナログ信号からデジタル信号への変換後の変調伝達関数（ＭＴＦ）において、複数のアジマス方向において等しくなるように配置されている。
好適には、前記画像処理部は、撮像素子からの被写体分散画像信号より分散のない画像信号を生成する。
好適には、前記光波面変調素子が、物体距離に応じたＯＴＦの変化を、光波面変調素子を持たない光学系よりも小さくする作用を持つ。
好適には、前記光波面変調素子が、前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表される。
好適には、前記光波面変調素子を有する光学系のＯＴＦが、前記光波面変調素子を含まない光学系の被写界深度よりも広い物体距離にわたって、前記撮像素子のナイキスト周波数まで０．１以上である。
好適には、前記画像処理部は、ノイズ低減フィルタリングを施す手段を有する。
好適には、前記画像処理部の演算係数を格納する記憶手段を有し、前記記憶手段には、露出情報に応じたノイズ低減処理のための演算係数が格納される。
好適には、前記画像処理部の演算係数を格納する記憶手段を有し、前記記憶手段には、露出情報に応じた光学的伝達関数（ＯＴＦ）復元のための演算係数が格納される。
好適には、前記露出情報として絞り情報を含む。
好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写体距離情報生成手段を含み、前記画像処理部は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する。
好適には、前記撮像装置は、被写体距離に応じて少なくとも前記光波面変調素子または前記光学系に起因する分散に対応した変換係数を少なくとも２以上予め記憶する変換係数記憶手段と、前記被写体距離情報生成手段により生成された情報に基づき、前記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を含み、前記画像処理部は、前記係数選択手段で選択された変換係数によって、画像信号の変換を行う。
好適には、前記撮像装置は、前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段を含み、前記画像処理部は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う。
好適には、前記撮像装置は、前記光学系はズーム光学系を含み、前記ズーム光学系のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する補正値記憶手段と、少なくとも前記光波面変調素子または前記光学系に起因する分散に対応した変換係数を予め記憶する第２変換係数記憶手段と、前記被写体距離情報生成手段により生成された情報に基づき、前記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を含み、前記画像処理部は、前記第２変換係数記憶手段から得られた変換係数と、前記補正値選択手段から選択された前記補正値とによって、画像信号の変換を行う。
好適には、前記補正値記憶手段で記憶する補正値が前記被写体分散像のカーネルサイズを含む。
好適には、前記撮像装置は、被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を含み、前記画像処理部は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する。
好適には、前記変換係数演算手段は、前記被写体分散像のカーネルサイズを変数として含む。
好適には、前記変換係数演算手段は、求めた変換係数を前記記憶手段に格納し、前記画像処理部は、前記記憶手段に格納された変換係数によって、画像信号の変換を行い分散のない画像信号を生成する。
好適には、前記画像処理部は、前記変換係数に基づいてコンボリューション演算を行う。
本発明の第２の観点は、光学系と撮像素子の相対的な取り付け位置を調整して撮像装置を製造するための撮像装置の製造装置であって、前記撮像素子は、複数の画素が、画素の隣接する行または列の配列を列または行方向にずらして配置されて、前記光学系を通過した中心において回転非対称な点像強度分布（ＰＳＦ）に係る出力信号が入力する画素数が、マトリクス状に配置した場合より多くなるように前記光学系と前記撮像素子の取り付けを調整する調整装置を有する。
本発明の第３の観点は、 撮像装置の製造装置、光学系と撮像素子の相対的な取り付け位置を調整して撮像装置を製造するための撮像装置の製造方法であって、前記撮像素子における複数の画素を、画素の隣接する行または列の配列を列または行方向にずらして配置する第１ステップと、光学系と撮像素子を配置する第２ステップと、前記光学系を通過した中心において回転非対称な点像強度分布（ＰＳＦ）に係る出力信号が入力する画素数が、マトリクス状に配置した場合より多くなるように前記光学系と前記撮像素子の取り付けを調整する第３ステップとを有する。
本発明によれば、復元画が良好となるようなボカシを実現できる。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることができる利点がある。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。
本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および制御装置１９０を有している。
光学系１１０は、後で詳述する位相変調素子等の光波面変調素子を含み、被写体物体ＯＢＪを撮影した像を撮像素子１２０に供給する。また、光学系１１０は、可変絞り１１０ａが配置されている。
撮像素子１２０は、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。
光学系１１０と撮像素子１２０の取り付け位置は、後で説明するように、光学系を通過した中心において回転対称でない点拡散関数（ＰＳＦ）に係る出力信号が、ＰＳＦの所定の頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。換言すると、光学系を通過した中心において回転非対称で頂部を有する点像強度分布（ＰＳＦ）に係る出力信号が、ＰＳＦの頂部に対する斜め側部において、頂部から斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
このとき、光学系１１０に含まれる光波面変調素子と撮像素子１２０を相対的に回転させて取り付け位置が設定されている。
この場合、光学系１１０と撮像素子１２０の取り付け位置は、光学系１１０を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように回転させて設定されている。
より具体的には、取り付け位置は、アナログ信号からデジタル信号に変換する際に生じるサンプリング効果によりＰＳＦの出力信号が、ＰＳＦの所定の頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。
また、後で図解するように、光学系１１０を通過したＰＳＦが、アナログ信号からデジタル信号への変換後の変調伝達関数（ＭＴＦ）において、複数のアジマス方向（本実施形態においては全アジマス方向）において等しくなるように配置されている。
アナログフロントエンド部１３０は、タイミングジェネレータ１３１と、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
画像信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１５０に渡す。
画像処理装置１４０、制御装置１９０の露出情報に応じて、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置１４０は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成する機能を有する。また、画像信号処理部は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置１４０の処理については後でさらに詳述する。
カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。
制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０、可変絞り１１０ａ等を制御し、システム全体の調停制御を司るものである。
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。
図２は、本実施形態に係るズーム光学系１１０の構成例を模式的に示す図である。この図は広角側を示している。
また、図３は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。
そして、図４は、本実施形態に係るズーム光学系の広角側の像高中心のスポット形状を示す図であり、図５は、本実施形態に係るズーム光学系の望遠側の像高中心のスポット形状を示す図である。
図２および図３のズーム光学系１１０は、物体側ＯＢＪＳに配置された物体側レンズ１１１と、撮像素子１２０に結像させるための結像レンズ１１２と、物体側レンズ１１１と結像レンズ１１２間に配置され、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる、たとえば３次元的曲面を有する位相板からなる光波面変調素子（波面形成用光学素子）群１１３を有する。また、物体側レンズ１１１と結像レンズ１１２間には図示しない絞りが配置される。
たとえば、本実施形態においては、可変絞り１１０ａが設けられ、露出制御（装置）において可変絞りの絞り度（開口度）を制御する。
なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよく、厚みが変化する光学素子（たとえば、上述の３次の位相板）、屈折率が変化する光学素子（たとえば屈折率分布型波面変調レンズ）、レンズ表面へのコーディング等により厚み、屈折率が変化する光学素子（たとえば、波面変調ハイブリッドレンズ、あるいはレンズ面上に形成される位相面として形成される状態）、光の位相分布を変調可能な液晶素子（たとえば、液晶空間位相変調素子）等の光波面変調素子であればよい。
また、本実施形態においては、光波面変調素子である位相板を用いて規則的に分散した画像を形成する場合について説明したが、通常の光学系として用いるレンズで光波面変調素子と同様に規則的に分散した画像を形成できるものを選択した場合には、光波面変調素子を用いずに光学系のみで実現することができる。この際は、後述する位相板に起因する分散に対応するのではなく、光学系に起因する分散に対応することとなる。
図２および図３のズーム光学系１１０は、デジタルカメラに用いられる３倍ズームに光学位相板１１３ａを挿入した例である。
図で示された位相板１１３ａは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板を挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を実現する。
換言すれば、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
この規則的に分散した画像をデジタル処理により、光学系１１０を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）といい、この処理を画像処理装置１４０において行う。
ここで、ＤＥＯＳの基本原理について説明する。
図６に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
[数２]
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
生成された画像から被写体を求めるためには、次の処理を要する。
[数３]
ｆ＝Ｈ-１＊ｇ
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
光学切り替え情報をＫＰｎ，ＫＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
本実施形態においては、図１に示すように、光学系１１０からの像を撮像素子１２０で受像して、絞り開放時には画像処理装置１４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子１２０からの分散画像信号より分散のない画像信号を生成するように構成している。
なお、本実施形態において、分散とは、上述したように、位相板１１３ａを挿入することにより、撮像素子１２０上ではピントのどこにも合わない画像を形成し、位相板１１３ａによって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成する現象をいい、像が分散してボケ部分を形成する振る舞いから収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。
本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
以下、この特徴について説明する。
図７（Ａ）〜（Ｃ）は、撮像素子１２０の受光面でのスポット像を示している。
図７（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、図７（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、図７（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示している。
図７（Ａ）〜（Ｃ）からもわかるように、本実施形態に係る撮像装置１００においては、位相板１１３ａを含む波面形成用光学素子群１１３によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。
このように、本実施形態の撮像装置１００において形成された１次画像ＦＩＭは、深度が非常に深い光束条件にしている。
図８（Ａ），（Ｂ）は、本実施形態に係る撮像レンズ装置により形成される１次画像の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）について説明するための図であって、図８（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図８（Ｂ）が空間周波数に対するＭＴＦ特性を示している。
本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）からなる画像処理装置１４０の補正処理に任せるため、図８（Ａ），（Ｂ）に示すように、１次画像のＭＴＦは本質的に低い値になっている。
そして、本実施形態においては、光学系１１０と撮像素子１２０の取り付け位置は、光学系を通過した中心において回転非対称で頂部を有する点像強度分布（ＰＳＦ）に係る出力信号が、ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている。なお、たとえばＰＳＦは頂部を通る中心線を中心に左右対称である。
このとき、光学系１１０に含まれる光波面変調素子と撮像素子１２０を相対的に回転させて取り付け位置が設定されている。
この場合、光学系１１０と撮像素子１２０の取り付け位置は、光学系１１０を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように回転させて設定されている。
図９（Ａ），（Ｂ）は、基準位置と所定角度回転後のアナログＰＳＦを示す図である。
図１０（Ａ），（Ｂ）は、図９のアナログＰＳＦのＡ／Ｄ変換後のデジタルＰＳＦを示す図である。
図１１（Ａ），（Ｂ）は、図１０（Ａ），（Ｂ）のデジタルＰＳＦのＭＴを示す図である。
図１２（Ａ），（Ｂ）は基準位置の場合のアナログＰＳＦと、デジタルＰＳＦを模式的に示す図である。
また、図１３（Ａ），（Ｂ）は４５度回転後のアナログＰＳＦと、デジタルＰＳＦを模式的に示す図である。
本実施形態においては、図９（Ａ）に示す基準位置にある、中心において回転非対称で頂部を有するアナログＰＳＦを調整装置により、図９（Ｂ）に示すように、所定角度（本例では４５度）回転する。
図からもわかるように、アナログでは回転を加えても軸方向のＭＴＦは変わらない。
そして、回転に伴い、アナログ信号からデジタル信号に変換する際のサンプリングする対象が変化するため、図１０（Ａ），（Ｂ）に示すように、デジタルＰＳＦの形状が変化する。
より具体的に説明すると、たとえば、図１２（Ａ）の例のように、基準位置においては、アナログＰＳＦはａ〜ｇの８個の画素にわたってかかる（またぐ）ことから、サンプリングした後のデジタルＰＳＦは、図１２（Ｂ）の例のように、８個の画素ａ〜ｈに入力することになる。
この形状は、アナログＰＳＦの平面的に見た場合に、頂点部があり三角形に近いが、その頂部ＴＸに対向する底辺部（縁部）ＢＸは、図１２（Ｂ）に示すように、図１２（Ａ）のオリジナルと略同様に、直線的にならず、頂部ＴＸ側に寄った弓なり状な形状となる。
これに対して、所定角度回転（本例では４５度回転）させて、図１３（Ａ）に示すように、アナログＰＳＦがａ〜ｌの１２個の画素にわたってかかる（またぐ）ようにすると、サンプリングした後のデジタルＰＳＦは、図１３（Ｂ）に示すように、頂点部があり三角形に近いが、その頂部ＴＸに対向する底辺部（縁部）ＢＸにおいて、直線的に配列される複数の画素（ａ，ｂ，ｃ，ｄ）にまで入力するように形成することが可能となる。
換言すると、ＰＳＦの頂部ＴＸに対する斜め側部ＳＸにおいて、頂部ＴＸから斜め側部ＳＸの先端部ＳＸＴまでの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている。
より具体的には、図１３（Ａ）の例では、頂部ＴＸから斜め側部ＳＸ１の先端部ＳＸＴ１までの間の複数個所（この例では２箇所）で、画素配列の斜め方向に隣接する複数の画素、すなわち、画素ｇとｊ、および画素ｂとｅにまでまたがるように設定されている。
同様に、頂部ＴＸから斜め側部ＳＸ２の先端部ＳＸＴ２までの間の複数個所（この例では２箇所）で、画素配列の斜め方向に隣接する複数の画素、すなわち、画素ｇとｌ、および画素ｃとｉにまでまたがるように設定されている。
すなわち、ＰＳＦの回転に伴い、サンプリング対象が変化するため、より多くの画素に入力するデジタルＰＳＦの形状に変化する。
そして、ＰＳＦは、頂部ＴＸを通る中心線を中心に略左右対称である。
また、アナログの時点では回転に伴うＭＴＦの変化はないが、デジタル変換された後は、図１１（Ａ），（Ｂ）に示すように、サンプリング効果によりＭＴＦが変換する。
このサンプリング効果を利用して、光学系１１０を通過したＰＳＦが、アナログ信号からデジタル信号への変換後のＭＴＦにおいて、複数のアジマス方向（本実施形態においては全アジマス方向）において等しくなるように配置されている。
これにより、本実施形態においては、撮像素子１２０と光波面変調素子としての位相変調素子（位相板）１１３ａを復元に適した配置することができ、公差の緩い深度拡張光学系を実現している。
なお、本実施形態においては、４５度回転させた場合について説明したが、図９（Ａ）の状態から９０度、１８０度、２７０度以外で回転させても図９（Ａ）の状態よりも複数の画素にわたってかかる（またぐ）ようになり、本発明の効果を十分に発現することができる。
また、図９（Ａ）に示すＰＳＦの場合には４５度回転させた場合がかかる（またぐ）画素が多くなるが、他のＰＳＦの場合には４５度以外の回転状態の場合がかかる（またぐ）画素が多い状態となるケースもある。
ところで、以上の説明においては、撮像素子１２０の複数の画素ＰＸＬが、図１４に示すように、いわゆる方形（矩形）であって、かつ、３×４の行列状（マトリクス状）に形成された場合を前提に説明したが、本発明は、これに限定されるものではない。
すなわち、撮像素子１２０の複数の画素を画素の隣接する行または列の配列を列または行方向にずらして配置し、光学系を通過した中心において回転非対称で頂部を有する点像強度分布（ＰＳＦ）に係る出力信号が入力する画素数が、マトリクス状に配置した場合より多くなるように構成することも可能である。
そして、画素の形状は、方形以外の多角形または円形とすることも可能であり、形状によって、ＰＳＦがかかる（またぐ）画素数を多くすることが可能である。
たとえば図１５(Ａ）に示すように、画素の形状を三角形として、ずらして配置している場合には、ＰＳＦがかかる(またぐ)画素数は８個となり、図１４の例の方形でずらして配置していない場合のＰＳＦがまたぐ画素数５よりも多くすることが可能である。
同様に、図１５(Ｂ）に示すように、画素の形状を円形として、ずらして配置している場合には、ＰＳＦがかかる(またぐ)画素数は６個となり、図１４の例の方形でずらして配置していない場合のＰＳＦがまたぐ画素数５よりも多くすることが可能である。
図１５(Ｃ）に示すように、画素の形状をハニカム形状(６角形)として、ずらして配置している場合には、ＰＳＦがかかる(またぐ)画素数は６個となり、図１４の例の方形でずらして配置していない場合のＰＳＦがまたぐ画素数５よりも多くすることが可能である。
そして、所定角度回転（本例では４５度回転）させて、図１３（Ａ）に示すように、アナログＰＳＦがａ〜ｌの１２個の画素にわたってかかる（またぐ）ようにすると、図１６（Ａ）〜（Ｃ）に示すようになる。
すなわち、図１６(Ａ）に示すように、画素の形状を三角形として、ずらして配置している場合には、ＰＳＦがかかる(またぐ)画素数は８個となり、図１４の例の方形でずらして配置していない場合のＰＳＦがまたぐ画素数５よりも多くすることが可能である。
図１６(Ｂ）に示すように、画素の形状を円形として、ずらして配置している場合には、ＰＳＦがかかる(またぐ)画素数は７個となり、図１４の例の方形でずらして配置していない場合のＰＳＦがまたぐ画素数５よりも多くすることが可能である。この場合、図１５（Ｂ）の場合によりもＰＳＦがまたぐ画素数が多くなっている。
図１６(Ｃ）に示すように、画素の形状をハニカム形状(６角形)として、ずらして配置している場合には、ＰＳＦがかかる(またぐ)画素数は７個となり、図１４の例の方形でずらして配置していない場合のＰＳＦがまたぐ画素数５よりも多くすることが可能である。この場合、図１５（Ｃ）の場合によりもＰＳＦがまたぐ画素数が多くなっている。
このように、撮像素子１２０の複数の画素を画素の隣接する行または列の配列を列または行方向にずらして配置し、また、画素の形状を、方形以外の多角形または円形とすることにより、各隣接する画素間に直交する方向で隣接する画素が入る形状にでき、たとえば図１５（Ａ）において、矢印Ａで示す方向の長さが同じ場合に方形よりも方形以外の多角形または円形の方が、画素面積を大きくでき、ＰＳＦがかかる画素数を多くすることができる利点がある。
本実施形態においては、調整装置にこの方法を採用して光学系１１０と撮像素子１２０の相対的な取り付け位置の調整を行う。
以下に、調整装置の基本的な構成を説明について説明する。
図１７は、本実施形態に係る調整装置２００の構成例を示すブロック図である。
調整装置２００は、図１７に示すように、レンズ調整駆動部２１０、図１の撮像素子１２０に相当するセンサ２２０、ＡＦＥ（アナログフロントエンド部）２３０、ＲＡＷバッファメモリ２４０、画像信号処理部２５０、調整制御部２６０、および画像表示部２７０を有している。
レンズ調整駆動部２１０には、たとえば小絞り２１１、光波面変調素子を含むレンズ系(光学系)２１２が配置される。そして、モータドライバ２１３によりレンズ２１２がその光軸方向に移動制御され、位相変調素子を含むレンズ光学系の位置が所望の位置に設定される。
また、レンズ調整駆動部２１０は、調整制御部２６０に指示に従って、レンズ系２１２を光軸を中心に所定角度回転可能に構成されている。
ＡＦＥ２３０は、Ａ／Ｄコンバータ２３１、タイミングジェネレータ２３２と、を有する。
タイミングジェネレータ２３１では、調整制御部２６０の制御の下、センサ（撮像素子）２２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ２３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、バッファメモリ２４０に可能する。
また、タイミングジェネレータ２３１は、調整制御部２６０の制御の下、センサ２２０に対するレンズ２１２の位置を調整し、ピント等を調整するための駆動信号をモータドライバ２１３に供給する。
画像信号処理部２６０は、バッファメモリ２４０の格納データに対して、所定の画像処理を行って、たとえばＰＳＦ像を得、その処理情報を調整制御部２７０に供給するとともに、調整制御部２６０の制御の下、画像表示部２７０に表示する。
調整制御部２６０は、画像信号処理部２６０による信号処理に伴う情報に基づいて、レンズ（光学系）２１２とセンサ（撮像素子）２２０の位置関係を調整するために、レンズ２１２の位置を変更制御等するための制御信号をＡＦＥ２３０のタイミングジェネレータ２３２に出力して、レンズ（光学系）２１２とセンサ（撮像素子）２２０の位置関係を調整制御する。
また、レンズ（光学系）２１２とセンサ（撮像素子）２２０の位置調整処理は、図１８に示すように、ｘ軸、ｙ軸を調整してレンズ２１２とセンサ２２０の位置を調整する。
以上のような調整装置２００を用いて、撮像装置１００は調整され製造される。
以下、深度拡張光学系を採用した場合の各部構成および機能についてさらに説明する。
図１９は、本実施形態の光波面変調素子を含む光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、下記式で表される波面収差の形状である。
波面収差が０．５λ以下の範囲では位相の変化が小さく、通常の光学系と変わらないＯＴＦを持つ。したがって波面収差が０．５λ程度になるまで絞って取り付け位置の調整を行う。
図２０は、前記波面収差の形状と０．５λ以下の範囲を太線で表したものである。
ただし、λはたとえば可視光領域、赤外領域の波長を用いる。
なお、図１９に示す形状は、一例であって、光波面変調素子が、光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表されるものであれば適用可能である。
画像処理装置１４０は、上述したように、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
画像処理装置１４０のＭＴＦ補正処理は、たとえば図２１の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図２１中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図２１中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
本実施形態においては、図２１に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図２２に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図２１のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図２２に示すようになる。
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
このように、実施形態に係る撮像装置１００は、基本的に、１次画像を形成する光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子１２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置１４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子１２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置１４０で行う。
ここで、本実施形態における撮像装置１００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系１１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、図７（Ａ）〜（Ｃ）に示す幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、後段のＤＳＰ等からなる画像処理装置１４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
図２３は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図２４は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２５は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
図２４に示した、位相板を持つ光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図２５に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
次に、画像処理装置１４０の構成および処理について説明する。
画像処理装置１４０は、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。
コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置１９０により制御される。
また、カーネルデータ格納ＲＯＭ１４３には、図２６、図２７、または図２８に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、制御装置１９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
図２６の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
また、図２７の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）に対応したデータとなっている。なお、Ｆナンバ（２．８）、Ｆナンバ（４）は上記した０．５λの範囲外である。
また、図２８の例では、カーネルデータＡは物体距離情報が１００ｍｍ、カーネルデータＢは物体距離が５００ｍｍ、カーネルデータＣは物体距離が４ｍに対応したデータとなっている。
図２７の例のように、絞り情報に応じたフィルタ処理を行うのは以下の理由による。
絞りを絞って撮影を行う場合、絞りによって光波面変調素子を形成する位相板１１３ａが覆われてしまい、位相が変化してしまうため、適切な画像を復元することが困難となる。
そこで、本実施形態においては、本例のように、露出情報中の絞り情報に応じたフィルタ処理を行うことによって適切な画像復元を実現している。
図２９は、制御装置１９０の露出情報（絞り情報を含む）により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部１４４に供給される（ＳＴ１０１）。
コンボリューション制御部１４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子１２０で撮像され、ＡＦＥ１３０を介して二次元コンボリューション演算部１４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部１５０に転送される（ＳＴ１０３）。
以下に画像処理装置１４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。
図３０は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３０の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。２次元コンボリューション演算部１４２においては、カーネルデータを用いてコンボリューション処理を施す。
図３１は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３１の例は、信号処理部の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、前記ノイズ低減フィルタＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ３を施す。
再度ノイズ処理ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
図３２は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３２の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２は、ノイズ低減処理ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記OTF復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ処理ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
図３３は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図３３の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を取得し、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。
２次元コンボリューション演算部１４２においては、ノイズ低減フィルタ処理ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ処理ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減処理ＳＴ２１は省略することも可能である。
以上は露出情報のみに応じて２次元コンボリューション演算部１４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
図３４は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図３４は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００の構成例を示している。
画像処理装置３００は、図３４に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
この画像処理装置３００においては、物体概略距離情報検出装置４００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
上述のように、光波面変調素子としての位相板(Wavefront Coding optical element)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置４００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
図３４の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのレジスタ３０２に被写体距離に応じて少なくとも位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき、レジスタ３０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置４００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
図３５は、ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
図３５は、撮像素子１２０からの被写体分散画像信号より分散のない画像信号を生成するが画像処理装置３００Ａの構成例を示している。
画像処理装置３００Ａは、図３４と同様に、図３５に示すように、コンボリューション装置３０１、カーネル・数値演算係数格納レジスタ３０２、および画像処理演算プロセッサ３０３を有する。
この画像処理装置３００Ａにおいては、ズーム情報検出装置５００から読み出したズーム位置またはズーム量に関する情報および露出情報を得た画像処理演算プロセッサ３０３では、露出情報およびそのズーム位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル、数値演算係数格納レジスタ３０２に格納し、その値を用いて演算するコンボリューション装置３０１にて適正な演算を行い、画像を復元する。
上述したように、光波面変調素子としての位相板をズーム光学系に備えた撮像装置に適用する場合、ズーム光学系のズーム位置によって生成されるスポット像が異なる。このため、位相板より得られる焦点ズレ画像（スポット画像）を後段のＤＳＰ等でコンボリューション演算する際、適性な焦点合わせ画像を得るためには、ズーム位置に応じて異なるコンボリューション演算が必要となる。
そこで、本実施形態においては、ズーム情報検出装置５００を設け、ズーム位置に応じて適正なコンボリューション演算を行い、ズーム位置によらず適性な焦点合わせ画像を得るように構成されている。
画像処理装置３００Ａにおける適正なコンボリーション演算には、コンボリューションの演算係数をレジスタ３０２に共通で１種類記憶しておく構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
各ズーム位置に応じて、レジスタ３０２に補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適性なコンボリューション演算を行う構成、各ズーム位置に応じて、レジスタ３０２にカーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算行う構成、ズーム位置に応じた演算係数を関数としてレジスタ３０２に予め記憶しておき、ズーム位置によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等を採用することが可能である。
図３５の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた位相板１１３ａに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置５００により生成された情報に基づき、レジスタ３０２からズーム光学系１１０のズ−ム位置またはズーム量に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置３０１が、係数選択手段としての画像処理演算プロセッサ３０３で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ３０３が、ズーム情報生成手段としてのズーム情報検出装置５００により生成された情報に基づき変換係数を演算し、レジスタ３０２に格納する。
そして、変換手段としてのコンボリューション装置３０１が、変換係数演算手段としての画像処理演算プロセッサ３０３で得られレジスタ３０２に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのレジスタ３０２にズーム光学系１１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
第２変換係数記憶手段としても機能するレジスタ３０２に、位相板１１３ａに起因する収差に対応した変換係数を予め記憶する。
そして、ズーム情報生成手段としてのズーム情報検出装置５００により生成されたズーム情報に基づき、補正値選択手段としての画像処理演算プロセッサ３０３が、補正値記憶手段としてのレジスタ３０２からズーム光学系のズーム位置またはズーム量に応じた補正値を選択する。
変換手段としてのコンボリューション装置３０１が、第２変換係数記憶手段としてのレジスタ３０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ３０３により選択された補正値とに基づいて画像信号の変換を行う。
図３６に、露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す。
この例では、物体距離情報とズーム情報で２次元的な情報を形成し、露出情報が奥行きのような情報を形成している。
なお、図２や図３の光学系は一例であり、本発明は図２や図３の光学系に対して用いられるものとは限らない。また、スポット形状についても図４および図５は一例であり、本実施形態のスポット形状は、図４および図５に示すものとは限らない。
また、図２６、図２７、および図２８のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
図３６のように３次元、さらには４次元以上とすることで格納量が多くなるが、種々の条件を考慮してより適したものを選択することができるようになる。情報としては、上述した露出情報、物体距離情報、ズーム情報等であればよい。
なお、上述のように、光波面変調素子としての位相板を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のない画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。
また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。
以上説明したように、本実施形態によれば、１次画像を形成する光波面変調素子を含む光学系１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０とを含み、撮像素子１２０の複数の画素を画素の隣接する行または列の配列を列または行方向にずらして配置し、また、画素の形状を、方形以外の多角形または円形とすることにより、各隣接する画素間に直交する方向で隣接する画素が入る形状にでき、たとえば図１５（Ａ）において、矢印Ａで示す方向の長さが同じ場合に方形よりも方形以外の多角形または円形の方が、画素面積を大きくでき、ＰＳＦがかかる画素数を多くすることができる利点がある。
また、光学系１１０と撮像素子１２０の取り付け位置は、調整装置を用いて、光学系を通過した中心において回転非対称で頂部を有する点像強度分布（ＰＳＦ）に係る出力信号が、前記ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されていることから、撮像素子１２０と光波面変調素子としての位相変調素子（位相板）１１３ａを復元に適した配置することができ、公差の緩い深度拡張光学系を実現できる。
その結果、復元画が良好となるようなボカシを実現でき、適切な画質の、ノイズの影響が小さく、良好な復元画像を得ることができる利点がある。
また、光学系を簡単化でき、コスト低減を図ることができ、しかも適切な画質の、ノイズの影響が小さい復元画像を得ることができる利点がある。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、撮影したい物体に対してピントが合い、背景はぼかすといった、いわゆる自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。
また、本実施形態においては、結像レンズ１１２による撮像素子１２０の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子１２０による１次画像ＦＩＭを受けて、１次画像の空間周波数におけるＭＴＦをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像ＦＮＬＩＭを形成する画像処理装置１４０とを有することから、高精細な画質を得ることが可能となるという利点がある。
また、光学系１１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示したが、絞りと同一あるいは絞りより結像レンズ側に配置しても前記と同様の作用効果を得ることができる。
また、図２や図３の光学系は一例であり、本発明は図２や図３の光学系に対して用いられるものとは限らない。また、スポット形状についても図４および図５は一例であり、本実施形態のスポット形状は、図４および図５に示すものとは限らない。
また、図２６、図２７、および図２８のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
本発明に係る撮像装置の一実施形態を示すブロック構成図である。 本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。 本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。 広角側の像高中心のスポット形状を示す図である。 望遠側の像高中心のスポット形状を示す図である。 ＤＥＯＳの原理を説明するための図である。 本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。 本実施形態に係る撮像素子により形成される１次画像のＭＴＦについて説明するための図であって、（Ａ）は撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、（Ｂ）が空間周波数に対するＭＴＦ特性を示している。 基準位置と所定角度回転後のアナログＰＳＦを示す図である。 図９のアナログＰＳＦのＡ／Ｄ変換後のデジタルＰＳＦを示す図である。 図１０のデジタルＰＳＦのＭＴを示す図である。 基準位置の場合のアナログＰＳＦと、デジタルＰＳＦを模式的に示す図である。 ４５度回転後のアナログＰＳＦと、デジタルＰＳＦを模式的に示す図である。 撮像素子の複数の画素が、方形（矩形）であって、かつ、３×４の行列状（マトリクス状）に形成された場合のＰＳＦのかかり（またぎ）状態を示す図である。 撮像素子の複数の画素を画素の隣接する行または列の配列を列または行方向にずらして配置し、また、画素の形状を、方形以外の多角形または円形とした場合のＰＳＦのかかり（またぎ）状態を示す図である。 図１５の状態から回転させた場合のＰＳＦのかかり（またぎ）状態を示す図である。 本実施形態に係る調整装置の構成例を示すブロック図である。 光学系と撮像素子の位置調整処理を説明するための図である。 本実施形態の光波面変調素子を含む光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、式で表される波面収差の形状を示す図である。 波面収差の形状と０．５λ以下の範囲を太線で表した図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。 従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。 光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。 本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。 カーネルデータＲＯＭの格納データの一例（光学倍率）を示す図である。 カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。 カーネルデータＲＯＭの格納データの他例（Ｆナンバ）を示す図である。 露出制御装置の光学系設定処理の概要を示すフローチャートである。 信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。 信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。 信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。 信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。 被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 ズーム情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。 露出情報と、物体距離情報と、ズーム情報とを用いた場合のフィルタの構成例を示す図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図３７の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。
符号の説明
１００・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１５０・・・カメラ信号処理部、１８０・・・操作部、１９０・・・制御装置、１１１・・・物体側レンズ、１１２・・・結像レンズ、１１３・・・波面形成用光学素子、１１３ａ・・・位相板（光波面変調素子）、１４２・・・コンボリューション演算器、１４３・・・カーネルデータＲＯＭ、１４４・・・コンボリューション制御部、２００・・・調整装置、２１０・・・レンズ調整駆動部、２１１・・・小絞り、２１２・・・レンズ(光学系)、２１３・・・モータドライバ、２２０・・・センサ（撮像素子）、２３０・・・ＡＦＥ（アナログフロントエンド部）、２４０・・・ＲＡＷバッファメモリ、２５０・・・画像信号処理部、２６０・・・調整制御部、２７０・・・画像表示部。

Claims (31)

  1. 中心において回転非対称な点像強度分布（ＰＳＦ）により形成され、光学的伝達関数（ＯＴＦ）を変調させる光波面変調素子を含む光学系と、
    前記光学系を通過した被写体像を撮像する撮像素子と、
    前記撮像素子からの被写体の画像信号に対して所定の処理を施す画像処理部と、を有し、
    前記撮像素子は、
    複数の画素が、画素の隣接する行または列の配列を列または行方向にずらして配置されている
    撮像装置。
  2. 前記画素の形状が方形以外の多角形または円形である
    請求項１記載の撮像装置。
  3. 前記撮像素子は、
    前記複数の画素が、前記光学系を通過したＰＳＦに係る出力信号が入力する画素数が、マトリクス状に配置した場合より多くなるようにずらして配置されている
    請求項１または２記載の撮像装置。
  4. 前記ＰＳＦは頂部を有し、
    前記光学系と前記撮像素子の相対的な取り付け位置は、
    前記光学系を通過したＰＳＦに係る出力信号が、前記ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている
    請求項１から３のいずれか一に記載の撮像装置。
  5. 前記ＰＳＦは頂部を有し、
    前記光学系と前記撮像素子の相対的な取り付け位置は、
    前記光学系を通過したＰＳＦに係る出力信号が、前記ＰＳＦの頂部に対する斜め側部において、当該頂部から当該斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている
    請求項１から４のいずれか一に記載の撮像装置。
  6. 前記ＰＳＦは前記頂部を通る中心線を中心に左右対称である
    請求項４または５記載の撮像装置。
  7. 前記光波面変調素子と前記撮像素子を相対的に回転させて前記取り付け位置が設定されている
    請求項４から６のいずれか一に記載の撮像装置。
  8. 前記取り付け位置は、前記光学系を通過したＰＳＦに係る出力信号が、基準位置のＰＳＦに係る出力信号より多くの画素に入力するように設定されている
    請求項４から７のいずれか一に記載の撮像装置。
  9. 前記ＰＳＦは頂部を有し、
    前記撮像素子による画像信号をアナログ信号からデジタル信号に変換して前記画像処理部に変換する変換器を有し、
    前記光学系と前記撮像素子の相対的な取り付け位置は、
    アナログ信号からデジタル信号に変換する際に生じるサンプリング効果により前記ＰＳＦの出力信号が、当該ＰＳＦの頂部に対向する縁部において、直線的に配列される複数の画素にまで入力するように設定されている
    請求項１から５のいずれか一に記載の撮像装置。
  10. 前記ＰＳＦは頂部を有し、
    前記撮像素子による画像信号をアナログ信号からデジタル信号に変換して前記画像処理部に変換する変換器を有し、
    前記光学系と前記撮像素子の相対的な取り付け位置は、
    アナログ信号からデジタル信号に変換する際に生じるサンプリング効果により前記ＰＳＦの出力信号が、当該ＰＳＦの頂部に対する斜め側部において、当該頂部から当該斜め側部の先端部までの間の複数個所で、画素配列の斜め方向に隣接する複数の画素にまで入力するように設定されている
    請求項１から５のいずれか一に記載の撮像装置。
  11. 前記光学系を通過したＰＳＦが、前記アナログ信号からデジタル信号への変換後の変調伝達関数（ＭＴＦ）において、複数のアジマス方向において等しくなるように配置されている
    請求項９または１０記載の撮像装置。
  12. 前記画像処理部は、撮像素子からの被写体分散画像信号より分散のない画像信号を生成する
    請求項１から１１のいずれか一に記載の撮像装置。
  13. 前記光波面変調素子が、物体距離に応じたＯＴＦの変化を、光波面変調素子を持たない光学系よりも小さくする作用を持つ
    請求項１から１１のいずれか一に記載の撮像装置。
  14. 前記光波面変調素子が、前記光学系の光軸をｚ軸とし、互いに直交する２軸をｘ、ｙとしたとき、位相が下記式で表される
    請求項１２または１３記載の撮像装置。
  15. 前記光波面変調素子を有する光学系のＯＴＦが、前記光波面変調素子を含まない光学系の被写界深度よりも広い物体距離にわたって、前記撮像素子のナイキスト周波数まで０．１以上である
    請求項１２から１４のいずれか一に記載の撮像装置。
  16. 前記画像処理部は、ノイズ低減フィルタリングを施す手段を有する
    請求項１から１５のいずれか一に記載の撮像装置。
  17. 前記画像処理部の演算係数を格納する記憶手段を有し、
    前記記憶手段には、露出情報に応じたノイズ低減処理のための演算係数が格納される
    請求項１から１６のいずれか一に記載の撮像装置。
  18. 前記画像処理部の演算係数を格納する記憶手段を有し、
    前記記憶手段には、露出情報に応じた光学的伝達関数（ＯＴＦ）復元のための演算係数が格納される
    請求項１から１６のいずれか一に記載の撮像装置。
  19. 前記露出情報として絞り情報を含む
    請求項１７または１８記載の撮像装置。
  20. 前記撮像装置は、
    被写体までの距離に相当する情報を生成する被写体距離情報生成手段を含み、
    前記画像処理部は、前記被写体距離情報生成手段により生成される情報に基づいて前記分散画像信号より分散のない画像信号を生成する
    請求項１２から１９のいずれか一に記載の撮像装置。
  21. 前記撮像装置は、
    被写体距離に応じて少なくとも前記光波面変調素子または前記光学系に起因する分散に対応した変換係数を少なくとも２以上予め記憶する変換係数記憶手段と、
    前記被写体距離情報生成手段により生成された情報に基づき、前記変換係数記憶手段から被写体までの距離に応じた変換係数を選択する係数選択手段と、を含み、
    前記画像処理部は、前記係数選択手段で選択された変換係数によって、画像信号の変換を行う
    請求項２０記載の撮像装置。
  22. 前記撮像装置は、
    前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段を含み、
    前記画像処理部は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行う
    請求項２０記載の撮像装置。
  23. 前記撮像装置は、
    前記光学系はズーム光学系を含み、
    前記ズーム光学系のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する補正値記憶手段と、
    少なくとも前記光波面変調素子または前記光学系に起因する分散に対応した変換係数を予め記憶する第２変換係数記憶手段と、
    前記被写体距離情報生成手段により生成された情報に基づき、前記補正値記憶手段から被写体までの距離に応じた補正値を選択する補正値選択手段と、を含み、
    前記画像処理部は、前記第２変換係数記憶手段から得られた変換係数と、前記補正値選択手段から選択された前記補正値とによって、画像信号の変換を行う
    請求項１２から１９のいずれか一に記載の撮像装置。
  24. 前記補正値記憶手段で記憶する補正値が前記被写体分散像のカーネルサイズを含む
    請求項２３記載の撮像装置。
  25. 前記撮像装置は、
    被写体までの距離に相当する情報を生成する被写体距離情報生成手段と、
    前記被写体距離情報生成手段により生成された情報に基づき変換係数を演算する変換係数演算手段と、を含み、
    前記画像処理部は、前記変換係数演算手段から得られた変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
    請求項１２から１９のいずれか一に記載の撮像装置。
  26. 前記変換係数演算手段は、前記被写体分散像のカーネルサイズを変数として含む
    請求項２５記載の撮像装置。
  27. 前記変換係数演算手段は、求めた変換係数を前記記憶手段に格納し、
    前記画像処理部は、前記記憶手段に格納された変換係数によって、画像信号の変換を行い分散のない画像信号を生成する
    請求項２５または２６に記載の撮像装置。
  28. 前記画像処理部は、前記変換係数に基づいてコンボリューション演算を行う
    請求項２５から２７のいずれか一に記載の撮像装置。
  29. 光学系と撮像素子の相対的な取り付け位置を調整して撮像装置を製造するための撮像装置の製造装置であって、
    前記撮像素子は、
    複数の画素が、画素の隣接する行または列の配列を列または行方向にずらして配置されて、
    前記光学系を通過した中心において回転非対称な点像強度分布（ＰＳＦ）に係る出力信号が入力する画素数が、マトリクス状に配置した場合より多くなるように前記光学系と前記撮像素子の取り付けを調整する調整装置を有する
    撮像装置の製造装置。
  30. 光学系と撮像素子の相対的な取り付け位置を調整して撮像装置を製造するための撮像装置の製造方法であって、
    前記撮像素子における複数の画素を、画素の隣接する行または列の配列を列または行方向にずらして配置する第１ステップと、
    光学系と撮像素子を配置する第２ステップと、
    前記光学系を通過した中心において回転非対称な点像強度分布（ＰＳＦ）に係る出力信号が入力する画素数が、マトリクス状に配置した場合より多くなるように前記光学系と前記撮像素子の取り付けを調整する第３ステップと
    を有する撮像装置の製造方法。
  31. 前記画素の形状が方形以外の多角形または円形である
    請求項３０記載の撮像装置の製造方法。
JP2006322375A 2006-11-29 2006-11-29 撮像装置、並びにその製造装置および製造方法 Pending JP2008136145A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006322375A JP2008136145A (ja) 2006-11-29 2006-11-29 撮像装置、並びにその製造装置および製造方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006322375A JP2008136145A (ja) 2006-11-29 2006-11-29 撮像装置、並びにその製造装置および製造方法

Publications (1)

Publication Number Publication Date
JP2008136145A true JP2008136145A (ja) 2008-06-12

Family

ID=39560640

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006322375A Pending JP2008136145A (ja) 2006-11-29 2006-11-29 撮像装置、並びにその製造装置および製造方法

Country Status (1)

Country Link
JP (1) JP2008136145A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113690A (ja) * 2010-11-01 2012-06-14 Canon Inc 調整方法、調整装置、光学系の製造方法、撮像装置、及び、撮像装置の製造方法
KR20160109514A (ko) * 2015-03-11 2016-09-21 삼성전자주식회사 픽셀 패턴 및 이를 포함하는 이미지 센서

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012113690A (ja) * 2010-11-01 2012-06-14 Canon Inc 調整方法、調整装置、光学系の製造方法、撮像装置、及び、撮像装置の製造方法
KR20160109514A (ko) * 2015-03-11 2016-09-21 삼성전자주식회사 픽셀 패턴 및 이를 포함하는 이미지 센서
KR102242563B1 (ko) * 2015-03-11 2021-04-20 삼성전자주식회사 픽셀 패턴 및 이를 포함하는 이미지 센서

Similar Documents

Publication Publication Date Title
JP4749984B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP4749959B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP4712631B2 (ja) 撮像装置
JP4663737B2 (ja) 撮像装置およびその画像処理方法
JP4749985B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP2007322560A (ja) 撮像装置、並びにその製造装置および製造方法
JP2008048293A (ja) 撮像装置、およびその製造方法
JP4818957B2 (ja) 撮像装置およびその方法
JP2008268937A (ja) 撮像装置および撮像方法
US8462213B2 (en) Optical system, image pickup apparatus and information code reading device
JP2007300208A (ja) 撮像装置
JP2008245157A (ja) 撮像装置およびその方法
JP2008033060A (ja) 撮像装置および撮像方法、並びに画像処理装置
JP2008245266A (ja) 撮像装置および撮像方法
JP2006311473A (ja) 撮像装置および撮像方法
JP2009086017A (ja) 撮像装置および撮像方法
JP2008245265A (ja) 撮像装置、並びにその製造装置および製造方法
JP4818956B2 (ja) 撮像装置およびその方法
JP2009033607A (ja) 撮像装置および画像処理方法
JP2008136145A (ja) 撮像装置、並びにその製造装置および製造方法
JP2008167040A (ja) 撮像装置、その製造装置および製造方法、並びに情報コード読取装置
JP4916853B2 (ja) 撮像装置およびその方法
JP4948967B2 (ja) 撮像装置、並びにその製造装置および製造方法
JP4722748B2 (ja) 撮像装置およびその画像生成方法
JP5197784B2 (ja) 撮像装置