JP2014115303A - 焦点深度拡張光学系及び撮像システム - Google Patents

Abstract

【課題】光軸から外れた部分の解像度分布の乱れを解消し、画像全体でほぼ一定の解像度が得られる自然な画像を取得可能な焦点深度拡張光学系及びＥＤｏＦ撮像システムを提供する。
【解決手段】被写体１４からの光を撮像素子に結像させるレンズ１１ａ，１１ｂと、レンズ１１ａ，１１ｂによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる焦点深度拡張素子１６と、を備え、レンズ１１ａ，１１ｂ及び焦点深度拡張素子１６を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫ_ｊ・Ｚ_ｊで表し、第１２項Ｚ_１２（ｎ＝４，ｍ＝２）の係数Ｋ_１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが基準値の２倍より小さい範囲内に、前記係数Ｋ_１２が定められている。
【選択図】図２

Description

本発明は、球面収差や色収差を利用して焦点深度を拡張した光学系（以下、焦点深度拡張光学系）を用いて撮像し、得られた画像にデコンボリューション処理を施すことにより、被写界深度を拡張した画像を得るＥＤｏＦ（Extended Depth of Field）撮像システムに関する。

携帯電話機やＰＤＡ、小型ノート型パソコン等には、デジタルカメラが標準的に搭載されるようになってきている。従来、こうした携帯電話機等に搭載されるデジタルカメラは、小型かつ安価に製造するために、例えば単焦点レンズを用いることが一般的であった。しかし、近年では、こうした簡易なデジタルカメラにも撮影画像の画質向上が求められるようになっている。

また、携帯電話機等に搭載されるデジタルカメラは、数ｍ先の人物や風景の撮影等、数ｍ先の被写体の撮像から、文字や二次元コード等の読み取りのために数十ｃｍ先の像の撮像にも用いられる。こうした広範囲な撮影を可能にするには、撮影距離に応じてピント合わせをできるようにすることが考えられるが、携帯電話等に搭載されるデジタルカメラでは、小型かつ安価であることが必須であるためピント合わせのためのレンズ移動機構を設けることは難しい。

こうしたことから、近年では、コスト等の面から携帯電話機等の装置では、数十ｃｍ程度のマクロ撮影域からほぼ無限遠までの撮像距離範囲をピント合わせなしでカバーできるデジタルカメラとしてＥＤｏＦ撮像システムが用いられるようになってきている（特許文献１〜３）。ＥＤｏＦ撮像システムは、位相板等によって光軸からの距離に応じて焦点距離が異なる焦点深度拡張光学系を用いて撮像し、得られたピンぼけ画像を画像処理によって先鋭化することにより、被写界深度が拡張された画像を得る撮像システムである。

特開２０１０−２１３２７４号公報 特開２００７−２０６７３８号公報 特開２００６−０９４４７１号公報

ＥＤｏＦ撮像システムは、焦点深度拡張光学系と画像処理の組み合わせによって被写界深度を拡張できるという利点があるが、一方で、焦点深度拡張光学系という特殊なレンズ系を使用するために、ＥＤｏＦ撮像システムに独自の問題が生じる。

具体的には、光軸上の部分に相当する画像中央の像は一定の解像度（あるいは一定のボケ具合）が得られるが、光軸から外れた部分の像では、像高毎に異なる解像度となってしまうという問題がある。このように、像高に応じて解像度が異なると、取得した画像（画像処理後）の横方向と縦方向とで解像度に差が生じ、違和感のある画像となってしまうという問題がある。しかも、周縁部分に近づくほど、解像度が低下するといったような一定の変化ではなく、焦点深度拡張光学系の光軸上である画像中央部分の解像度を基準として、画像中央からやや離れた中腹位置では解像度が低くなり、周縁部分ではやや解像度が向上する等、複雑な解像度分布が生じてしまう。こうした解像度分布は、風景や人物等の遠景を撮像した場合には局所的に不自然なボケ味となり、遠景画像の全体に違和感を生じさせる。また、文字や二次元コード等の近景を撮像した場合には、文字等が読み取れない等の不具合が生じる。

本発明は上述の問題点に鑑みてなされたものであり、光軸から外れた部分の解像度分布の乱れを解消し、画像全体でほぼ一定の解像度が得られる自然な画像を取得可能な焦点深度拡張光学系及び撮像システムを提供することを目的とする。

本発明の焦点深度拡張光学系は、被写体からの光を撮像素子に結像させるレンズと、前記レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる波面調節手段と、を備え、前記レンズ及び前記波面調節手段を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫ_ｊ・Ｚ_ｊで表し、第１２項Ｚ_１２（ｎ＝４，ｍ＝２）の係数Ｋ_１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ_１２が定められていることを特徴とする。

前記係数Ｋ_１２の絶対値｜Ｋ_１２｜が、｜Ｋ_１２｜＜０．３を満たすことが好ましい。

第１２項Ｚ_１３（ｎ＝４，ｍ＝−２）の係数Ｋ_１３が、Ｋ_１３＝０におけるＭＴＦを基準値として、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ_１３が定められていることが好ましい。

前記係数Ｋ_１３の絶対値｜Ｋ_１３｜が、｜Ｋ_１３｜＜０．３を満たすことが好ましい。

前記係数Ｋ_１２に対するサジタル方向及びタンジェンシャル方向のＭＴＦが０となる点以下の範囲内で、前記係数Ｋ_１２が定められていることが好ましい。

前記係数Ｋ_１３の絶対値｜Ｋ_１３｜が、｜Ｋ_１３｜＜０．２７５を満たすことが好ましい。

サジタル方向のＭＴＦがタンジェンシャル方向のＭＴＦの２倍となる係数Ｋ_１２の値を第１閾値Ｔｈ１、タンジェンシャル方向のＭＴＦがサジタル方向のＭＴＦの２倍となる係数Ｋ_１２の値を第２閾値Ｔｈ２とするときに、前記係数Ｋ_１２がＴｈ１＜Ｋ_１２＜Ｔｈ２、またはＴｈ２＜Ｋ_１２＜Ｔｈ１の条件を満たす範囲内の値であることが好ましい。

前記係数Ｋ_１３の絶対値｜Ｋ_１３｜が、｜Ｋ_１３｜＜０．０８を満たすことが好ましい。

全ての像高において、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ_１２が定められていることが好ましい。

前記レンズ及び前記波面調節手段は固定され、前記合焦範囲の位置及び大きさが一定の固定焦点レンズ系であることが好ましい。

前記レンズまたは前記波面調節手段が移動可能に設けられ、前記合焦範囲の位置または大きさが調節可能であることが好ましい。

本発明の撮像システムは、被写体の像を撮像する撮像素子と、前記被写体からの光を前記撮像素子に結像させるレンズと、前記レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる波面調節手段と、を有し、前記レンズ及び前記波面調節手段を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫ_ｊ・Ｚ_ｊで表し、第１２項Ｚ_１２（ｎ＝４，ｍ＝２）の係数Ｋ_１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ_１２が定められている焦点深度拡張光学系と、を備えることを特徴とする。

前記撮像素子が出力するデータに復元処理を施すことにより、前記合焦範囲に対応して被写界深度が拡張された画像を生成する画像処理手段を備えることが好ましい。

本発明によれば、光軸から外れた部分の解像度分布の乱れを解消し、画像全体でほぼ一定の解像度が得られる自然な画像を取得可能な焦点深度拡張光学系及びＥＤｏＦ撮像システムを提供することができる。

ＥＤｏＦ撮像システムの構成を示すブロック図である。 焦点深度拡張光学系の構成を示す説明図である。 復元処理の態様を示す説明図である。 通常レンズと焦点深度拡張光学系の軸上デフォーカスＭＴＦを示すグラフである。 中間像高における焦点深度拡張光学系の軸外デフォーカスＭＴＦを示すグラフである。 周辺像高における焦点深度拡張光学系の軸外デフォーカスＭＴＦを示すグラフである。 各像高で得られる近景像及び遠景像のＲＡＷデータの例を示す画像である。 係数Ｋ１２に対するＳ方向及びＴ方向のＭＴＦの変化を示すグラフである。 Ｚ_１２項とＺ_１３項の関係を示す説明図である。

図１に示すように、ＥＤｏＦ撮像システム１０は、焦点深度拡張光学系１１，撮像素子１２，画像処理装置１３を備える。ＥＤｏＦ撮像システム１０は、風景や人物等、数ｍ先〜無限遠の遠景の撮像と、文字や２次元コード等、数十ｃｍ程度の距離で撮像する近景の撮像の主に２種類の用途で使用される。

焦点深度拡張光学系１１は、被写体１４から入射する光（以下、被写体光という）を撮像素子１２に結像させるレンズであり、後述するように複数のレンズと焦点を所定の範囲（合焦範囲）に拡張させるための焦点深度拡張素子を含む。また、焦点深度拡張光学系１１は、例えば、光軸を含む中心近傍の光束を手前（被写体１４）側に収束させ、外側を通る光束を奥（撮像素子１２）側に収束させ、焦点を焦点範囲Ｅに拡張する。このように、焦点深度拡張光学系１１は、焦点の範囲を拡張し、撮像された画像の被写界深度を深化させる。

なお、焦点深度拡張光学系１１の光学的性能は具体的なＥＤｏＦ撮像システム１０で求められる性能に設計されるが、以下では一例として、ＦナンバーＦｎが２．２９の固定焦点レンズであるとする。また、レンズの解像力δは、ＦナンバーＦｎに反比例し、参照波長をλ（ｎｍ）とすれば、δ＝１／Ｆｎ／λである。したがって、参照波長λ＝５４６ｎｍとすれば、焦点深度拡張光学系１１の解像力δは約８００本／ｍｍであり、後述する撮像素子１２のサンプリング周波数ｆｓとほぼ等しく、ナイキスト周波数Ｎｙの２倍程度である。

また、後述するように、焦点深度拡張光学系１１は、波面収差をツェルニケ（Zernike）多項式を各項とする式（いわゆるツェルニケモード）で表すときに、第１２項Ｚ_１２の係数Ｋ_１２の絶対値｜Ｋ_１２｜が０．３以下になるように、各レンズ面の形状等が定められている。これにより、ＥＤｏＦ撮像システム１０は、フォーカスシフト（ピントの移動）によって、同じ撮影距離の被写体は画像内で均一な解像度で写し出される。また、像がボケる場合に、取得する画像１５内のどの位置においても上下左右にほぼ均等なボケを実現する。

撮像素子１２は、焦点深度拡張光学系１１によって結像された被写体１４の像を画素毎に光電変換することにより撮像し、ＲＡＷデータを画像処理装置１３に出力する。撮像素子１２は、複数の画素が配列された撮像面が焦点深度拡張光学系１１の合焦範囲内に位置するように、所定位置に配置される。また、撮像素子１２は、撮像した画像の中心が焦点深度拡張光学系１１の光軸に、画像の横方向がＳ（サジタル）方向に、画像の縦方向がＴ（タンジェンシャル）方向にそれぞれ対応するように配置されているとする。焦点深度拡張光学系１１の焦点が合焦範囲に拡張されているため、撮像素子１２が出力するＲＡＷデータにおいては、被写体１４の像はボケている。

なお、撮像素子１２としては、具体的なＥＤｏＦ撮像システム１０で求められる性能のものが用いられるが、以下では、画素ピッチｐが１．２５μｍであるとする。すなわち、撮像素子１２のサンプリング周波数ｆｓは、ｆｓ＝１／ｐ＝８００本／ｍｍであるとする。したがって、ナイキスト周波数Ｎｙは、４００本／ｍｍである。

画像処理装置１３は、ＤＳＰやＤＩＰ等からなり、撮像素子１２が出力する画像データに、各種画像処理を施して、焦点深度拡張光学系１１の合焦範囲に応じて被写界深度が深化された画像１５を得る。具体的には、画像処理装置１３は、ＲＡＷデータに対して、復元処理、ノイズリダクション処理、混色補正処理、シェーディング補正処理、ホワイトバランス調整処理、同時化処理、カラーマトリックス補正処理、ＹＣ変換処理、γ補正処理、エッジ強調処理、をこの順で施して、所定フォーマット（例えばｊｐｅｇ）の画像１５を得る。

図２に示すように、焦点深度拡張光学系１１は、例えば複数のレンズ１１ａ，１１ｂと、焦点深度拡張素子１６を備える。レンズ１１ａは、被写体１４の点１４ａから球面波として出射される光を平面波に整え、焦点深度拡張素子１６に入射させる。レンズ１１ｂは焦点深度拡張素子１６から入射する光を収束させる。焦点深度拡張素子１６は、球面収差や色収差等の各種収差のバランスを、波面収差で調節することによって、焦点深度拡張光学系１１の焦点を点から所定の範囲（以下、合焦範囲という）に拡張する。焦点深度拡張素子１６は、例えば、レンズ１１ａから入射する平面波を光軸Ｌ０を含む中心部分を通る光束（以下、内光束という）Ｌ１と、光束Ｌ１の周囲を通る光束（以下、外光束という）Ｌ２とで、レンズ１１ｂによって収束される距離が異なるように波面を調節する。これにより、焦点深度拡張光学系１１は、レンズ１１ａ，１１ｂ及び焦点深度拡張素子１６により、内光束Ｌ１を短距離の焦点Ｆ１に、外光束Ｌ２を遠距離の焦点Ｆ２に収束させる。したがって、焦点深度拡張光学系１１は、焦点を、短距離焦点Ｆ１から遠距離焦点Ｆ２の間の合焦範囲Ｅに拡張する。前述のように、撮像素子１２は、合焦範囲Ｅ内の所定位置に配置されるので、撮像素子１２が出力するＲＡＷデータは、焦点Ｆ１に収束する像や焦点Ｆ２に収束する像等がボケた状態で畳み込まれたデータとなる。以下では、無限遠等の遠景がベストピントとなるように、撮像素子１２は、焦点Ｆ２に配置されているとする。

図３（Ａ）に示すように、撮像素子１２から出力されるＲＡＷデータ２１では、被写体１４の点１４ａの像は、撮像素子１２の配置に応じてボケた像となる。このとき、図３（Ｂ）に示すように、点１４ａの像は、画素値として、ＲＡＷデータ２１の断面Ａ−Ｂの方向にブロードに分布する。このため、図３（Ｃ）に示すように、ＲＡＷデータ２１のままでは、空間周波数に対するＭＴＦ（以下、周波数ＭＴＦという）が、空間周波数Ｆｑの増大とともに急峻に減少し、解像度は低い。

しかし、画像処理装置１３によって復元処理（いわゆるデコンボリューション処理）を施すことにより、図３（Ｄ）に示す復元処理後の画像データ２２のように、点１４ａはボケのない点像となる。すなわち、復元処理では、ブロードであった画素値の分布（図３Ｂ）から、図３（Ｅ）に示すように急峻なピークを持つように鮮鋭化される。これにより、図３（Ｆ）に示すように、周波数ＭＴＦは、通常の単焦点レンズで撮像した場合と同程度に回復し、所定の解像度を得る。また、復元処理は、ここで例示した点１４ａの像と同様に、ＲＡＷデータ２１に畳み込まれている焦点Ｆ１や焦点Ｆ２（あるいはその間）に収束される像を、その焦点位置に応じて各々に鮮鋭化するので、固定焦点レンズで撮影した画像よりも、被写界深度が深化された画像１５が得られる。

焦点深度拡張光学系１１と同様に携帯電話機等に用いられる一般的な固定焦点レンズ（以下、通常レンズという）と、焦点深度拡張光学系１１とを、光軸上の像のデフォーカスに対するＭＴＦの変化（以下、軸上デフォーカスＭＴＦという）について比較する。

通常レンズや焦点深度拡張光学系１１の透過波面ψは、ツェルニケ（Zernike）多項式Ｚ_ｊ（ｊ＝１〜）を各項とする式ψ＝ΣＫ_ｊ・Ｚ_ｊで表すことができる。ツェルニケ多項式Ｚは、光軸からの距離ρ（ρ＜１）と所定方向（例えばＳ方向）からの角度θ、整数ｍ，ｎ，ｓを用いて、下記数１で表され、焦点深度拡張光学系１１の波面ψは、係数Ｋ_ｊを用いて、ψ＝ΣＫ_ｊ・Ｚ_ｊで表すことができる。例えば、Ｚ_４（ｎ＝２，ｍ＝０）は波面のデフォーカスを、Ｚ_５（ｎ＝２，ｍ＝２）は非点収差を、Ｚ_７（ｎ＝３，ｍ＝１）及びＺ_８（ｎ＝３，ｍ＝−１）はそれぞれＳ，Ｔ各方向のコマ収差を、Ｚ_９（ｎ＝４，ｍ＝０），Ｚ_１６（ｎ＝６，ｍ＝０），Ｚ_２５（ｎ＝８，ｍ＝０）は球面収差を示す。こうしたツェルニケ多項式Ｚ_ｊの中で、第１２項Ｚ_１２（ｎ＝４，ｍ＝２）は、Ｚ_１２＝(４ρ^４−３ρ^２)ｃｏｓ（２θ）であり、ザイデル収差との直接の対応はないが、Ｓ方向とＴ方向に非対称性を生じさせる波面収差の一つのモードである。

また、デフォーカス量を表す係数Ｋ_４と像面でフォーカス量ｄ_１（ｍｍ）は、下記数２の関係にあり、被写体のデフォーカス量（以下、被写体デフォーカス量という）ｄ_２は、下記数３の式で表される。なお、Ｄは口径（ｍｍ）、ｆは焦点距離（ｍｍ）、波長λ（ｎｍ）である。

上述のように、デフォーカス量ｄ_１，ｄ_２と、係数Ｋ_４は一定の関係にあるので、係数Ｋ_４をデフォーカスの指標として用いることができる。なお、以下に示す各ＭＴＦのグラフは、空間周波数１００本／ｍｍにおけるＭＴＦである。これは、後述するＫ_４＝−０．６７５の条件で「ｆｉｌｍ」の文字を撮像した場合の、文字の太さに合わせた空間周波数である。また、各ＭＴＦのグラフは、簡単のためにＫ_９＝−０．１８，Ｋ_１６＝−０．０５７，Ｋ_２５＝−０．０１５６，他Ｋ_４，Ｋ_１２を除く全係数を０としたＭＴＦである。すなわち、球面収差（Ｋ_９，Ｋ_１６，Ｋ_２５）によって波面を調節した球面収差調節型の焦点深度拡張光学系の例である。

図４に示すように、軸上デフォーカスＭＴＦを、通常レンズと焦点深度拡張光学系１１とで比較すると、通常レンズは、ベストピント（Ｋ_４＝０）では焦点深度拡張光学系１１よりもＭＴＦ値が大きいものの、デフォーカスにより、焦点深度拡張光学系１１よりもはやくＭＴＦが減少する。これは、ベストピントからわずかにズレた被写体でも像のボケが大きいことを示す。一方、遠景のＭＴＦと近景のＭＴＦはトレード・オフの関係にあるため、焦点深度拡張光学系１１の場合、ベストピントのＭＴＦが通常レンズよりも小さくなる。しかし、焦点深度拡張光学系１１は、ベストピントからずれてもＭＴＦの減少は緩やかであり、復元処理によって像を鮮鋭化できる程度に、一定以上のＭＴＦ値が得られるようになっている。

なお、ベストピントのＭＴＦは例えば無限遠とみなせる風景等、遠景を撮像した場合の解像度を表し、デフォーカス（例えばＫ_４＝０〜−１程度）して撮像される像は、ベストピントから０〜−数百ｍｍ程度デフォーカスして撮像される近景の像の解像度を表す。例えばＫ_４＝−０．６５７は被写体距離５２０ｍｍ程度に相当する。５００ｍｍ前後の被写体距離は、人物や、バスの時刻表、メモ用紙に書いたメモ等の近景像撮像で高頻度に使用される可能性が高い被写体距離である。

通常レンズの場合、Ｋ_４＝−０．６５７における軸上デフォーカスＭＴＦは０．１（１０％）程度であり、像を解像していないものとみなせる。したがって、通常レンズは、近景撮像の解像度は低く、近景画像から文字や二次元コード等を読み取ることが難しい。一方、焦点深度拡張光学系１１のＫ_４＝−０．６５７における軸上デフォーカスＭＴＦは０．２（２０％）程度に向上される。焦点深度拡張光学系１１の場合には、ＲＡＷデータ２１に復元処理を施すことによってさらに解像度が向上される。したがって、焦点深度拡張光学系１１を用いる場合、被写体距離が５００ｍｍ前後の被写体が通常レンズよりも高解像度であり、文字や二次元コード等を読み取ることができる近景画像を得ることができる。

また、通常レンズの軸上デフォーカスＭＴＦは、ベストピントに対してデフォーカスの方向（正負）によらず、ベストピントに対して対称な曲線形状である。一方、焦点深度拡張光学系１１は、近景のＭＴＦを向上させるために、フォーカス位置を負方向にシフトさせた場合に所定以上の解像度が得られるようになっているため、焦点深度拡張光学系１１の軸上デフォーカスＭＴＦは、ベストピントに対して非対称な曲線形状となる。また、ここで示した軸上デフォーカスＭＴＦに方向性は殆どなく、焦点深度拡張光学系１１の場合も通常レンズの場合も軸上デフォーカスＭＴＦはＳ方向とＴ方向とでほぼ同一である。

焦点深度拡張光学系１１が上述のようなＭＴＦ特性を有することによって、ＥＤｏＦ撮像システム１０は、被写界深度を深化した画像１５を得られるようになるが、以下に説明するように、焦点深度拡張光学系１１に特有の問題も生じる。具体的には、焦点深度拡張光学系１１の場合、前述のように軸上デフォーカスＭＴＦは、Ｓ方向とＴ方向とでほぼ一致しているが、光軸Ｌ０から外れた位置におけるデフォーカスによるＭＴＦの変化（以下、軸外デフォーカスＭＴＦという）を計測すると、焦点深度拡張光学系１１のＳ方向とＴ方向とで差が生じる。

図５に示すように、中程度の像高（以下、中間像高という）における軸外デフォーカスＭＴＦは、Ｓ方向とＴ方向でギャップが生じる。ベストピント（Ｋ_４＝０）においては、Ｔ方向のＭＴＦがＳ方向のＭＴＦよりも大きくなり、Ｋ_４＝−０．６７５では、この関係が逆転し、Ｓ方向のＭＴＦがＴ方向のＭＴＦよりも大きくなる。また、図６に示すように、画像１５の周辺となる像高（以下、周辺像高という）における軸外デフォーカスＭＴＦは、Ｓ方向とＴ方向のギャップがより顕在化し、特にＫ_４＝−０．６７５ではＴ方向のＭＴＦがほぼ０になる。

このようなＳ方向とＴ方向の軸外デフォーカスＭＴＦのギャップは、図７にＲＡＷデータ２１内（及び復元処理後の画像１５）で像高に応じて解像度のばらつきを生じさせる。
図７（Ａ）は、光軸上に対応する部分において、「ｆｉｌｍ」の文字を、Ｋ_４＝−０．６７５に対応する被写体距離で撮像して得られるＲＡＷデータ２１である。すなわち、図７（Ａ）のＲＡＷデータ２１は、中心付近でデフォーカスして撮像された近景像である。このため、デフォーカスの量（Ｋ_４＝−０．６７５）に応じて、Ｓ方向（左右方向）とＴ方向（上下方向）に均一にボケている。これは、軸上デフォーカスＭＴＦが、Ｋ_４＝−０．６７５においてＳ方向とＴ方向とでほぼ一致していることによる。

また、図７（Ｂ）は、焦点深度拡張光学系１１の光軸上に対応する中心部分において、「ｆｉｌｍ」の文字を、Ｋ_４＝０に対応する被写体距離で撮像して得られるＲＡＷデータである。すなわち、図７（Ｂ）のＲＡＷデータ２１は、光軸付近においてベストピントで撮像された遠景像である。このため、Ｓ方向にもＴ方向にも一定の解像度である。これは、軸上デフォーカスＭＴＦが、Ｋ_４＝０においてＳ方向とＴ方向とでほぼ一致していることによる。図７（Ａ）及び（Ｂ）から分かるように、焦点深度拡張光学系１１で撮像する場合、光軸上に対応する中心部分であれば、デフォーカスの量に応じて像がボケるものの、像のボケ方は上下左右で均一であり、自然なボケ方であると言える。

図７（Ｃ）は、中間像高において、「ｆｉｌｍ」の文字を、Ｋ_４＝−０．６７５に対応する被写体距離で撮像して得られるＲＡＷデータ２１である。すなわち、図７（Ｃ）のＲＡＷデータ２１は、中間像高においてデフォーカスして撮像して得られる近景像である。したがって、光軸上での撮像時と同様にデフォーカスの量（Ｋ_４＝−０．６７５）に応じて、Ｓ方向とＴ方向に像がボケているが、Ｓ方向に対応する左右の方向に解像度が高めで、Ｔ方向に対応する上下方向には解像度が低めであり、「ｆｉｌｍ」の文字の縦線部分が若干目立つボケ方になっている。これは、中間像高における軸外デフォーカスＭＴＦにおいて、Ｋ_４＝−０．６７５のＭＴＦがＳ方向とＴ方向でギャップが生じており、Ｓ方向のＭＴＦがＴ方向のＭＴＦよりも若干高めであることによるものである。
また、図７（Ｄ）は、中間像高において、「ｆｉｌｍ」の文字を、Ｋ_４＝０に対応する被写体距離で撮像して得られるＲＡＷデータである。すなわち、図７（Ｄ）のＲＡＷデータ２１は、中間像高においてベストピントで撮像して得られる遠景像である。図７（Ｄ）ではベストピントでの像であるために像の解像度は高く、あまり目立たないが、Ｓ方向とＴ方向とで解像度が異なる。具体的には、左右方向（Ｓ方向）よりも上下方向（Ｔ方向）の解像度が高くなっている。これは、中間像高における軸外デフォーカスＭＴＦのＳ方向とＴ方向とでのギャップによるものである。

図７（Ｅ）は、周辺像高において、「ｆｉｌｍ」の文字を、Ｋ_４＝−０．６７５に対応する被写体距離で撮像して得られる近景像のＲＡＷデータ２１である。また、図７（Ｆ）は、周辺像高において、「ｆｉｌｍ」の文字を、Ｋ_４＝０に対応する被写体距離で撮像して得られる近景像のＲＡＷデータ２１である。これらは、中間像高の場合よりも、周辺像高における軸外デフォーカスＭＴＦのＳ方向とＴ方向のギャップが顕在化することを反映し、Ｓ方向とＴ方向とでボケ方の不均一性がより目立つ。

上述のように、焦点深度拡張光学系１１で撮像して得られるＲＡＷデータ２１（及び画像１５）では、像高に応じて像のボケ方が不均一になることがある。また、一般的なカメラや人間の視覚は、画像の周辺ほど解像度が低いので、周辺像高においてＳ方向とＴ方向とのボケ方の不均一さにより、一方向に解像度が向上して見えてしまうと、不自然さを感じる画像となってしまう。

このような像高に応じたボケ方（解像度）の不均一性は、ツェルニケ多項式第１２項Ｚ_１２の係数Ｋ_１２の大きさを調節することによって緩和することができる。このため、焦点深度拡張光学系１１は、係数Ｋ_１２の絶対値｜Ｋ_１２｜が以下に説明する条件をみたすように、レンズ１１ａ，１１ｂや焦点深度拡張素子１６の面形状等が定められている。

図８に示すように、Ｋ_４＝−０．６７５において、係数Ｋ_１２に対するＭＴＦの変化を表すグラフであり、これを例えば図４〜図６で示した軸上デフォーカスＭＴＦ及び軸外デフォーカスＭＴＦと比較すれば、光軸上でＫ_４＝−０．６７５にデフォーカスして撮像する場合のＭＴＦ（図４のＫ_４＝−０．６７５）はＺ_１２＝０のＭＴＦに、中間像高でＫ_４＝−０．６７５にデフォーカスして撮像する場合のＭＴＦ（図５のＫ_４＝−０．６７５）はＺ_１２＝−０．１０のＭＴＦに、周辺像高でＫ_４＝−０．６７５にデフォーカスして撮像する場合のＭＴＦ（図６のＫ_４＝−０．６７５）はＺ_１２＝−０．３０のＭＴＦに、それぞれ対応する。また、図８から分かるように、係数Ｋ_１２の絶対値｜Ｋ_１２｜が大きくなるほど、Ｓ方向とＴ方向のＭＴＦのギャップが大きくなるので、絶対値｜Ｋ_１２｜が小さければ、Ｓ方向とＴ方向のＭＴＦのギャップが緩和されることにより、画像内でのボケ方及び解像度の不均一性が緩和される。

図８に示す係数Ｋ_１２に対するＭＴＦの変化と、図７（Ａ），（Ｃ），（Ｅ）で示した各像高でデフォーカスして撮像して得られる像の対応関係を考慮すると、Ｚ_１２＝０における像のＭＴＦを基準値とすると、Ｓ方向とＴ方向のＭＴＦのギャップがこの基準値の２倍以上に広がると、Ｓ方向とＴ方向の解像度の相違により、ボケ方が不自然な画像となる。このため、焦点深度拡張光学系１１は、係数Ｋ_１２が、ＭＴＦが基準値の２倍より小さい範囲に定められている。具体的に、図８においては、｜Ｋ_１２｜＜０．３である。

また、図８においては、矢印Ｐ及びＱで示すように、｜Ｋ_１２｜≦０．３の範囲内において、Ｓ方向のＭＴＦ及びＴ方向のＭＴＦがほぼ０となる点があり、この点Ｐ，Ｑを境にＭＴＦの位相が反転している。ＭＴＦが０になると像が伝達されず、位相の反転は２線ボケ等のアーチファクトの原因となるため正確な像を伝達できない。このため、焦点深度拡張光学系１１は、係数Ｋ_１２の大きさが、係数Ｋ_１２に対するＳ方向のＭＴＦ及びＴ方向のＭＴＦが０となる点以下の範囲内であることが好ましい。具体的に、図８においては、点Ｐ（Ｋ_１２＝−０．２７５）より大きく、点Ｑ（Ｋ_１２＝＋０．２７５）よりも小さい範囲、すなわち｜Ｋ_１２｜＜０．２７５であることが好ましい。

さらに、Ｓ方向のＭＴＦとＴ方向のＭＴＦとの差が基準値の２倍以下であっても、Ｓ方向のＭＴＦとＴ方向のＭＴＦの比が１：２（あるいは２：１）以上に離れるとＳ方向とＴ方向とでボケ方（解像度）の不均一性が目立つようになる。このため、Ｓ方向のＭＴＦとＴ方向のＭＴＦの比が１：２または２：１より小さい範囲内に、Ｋ_１２の値が定められていることが好ましい。

Ｓ方向のＭＴＦとＴ方向のＭＴＦの関係はＫ_１２＝０を境に反転する。また、Ｓ方向とＴ方向のＭＴＦの係数Ｋ_１２に対する大小関係は実際の焦点深度拡張光学系１１の構成によって変化する。すなわち、図８では、係数Ｋ_１２のプラス側でＳ方向よりもＴ方向のＭＴＦが大きく、係数Ｋ_１２のマイナス側でＴ方向よりもＳ方向のＭＴＦが大きいが、この関係は具体的な焦点深度拡張光学系１１の構成によって逆になり、係数Ｋ_１２のプラス側でＴ方向よりもＳ方向のＭＴＦが大きく、係数Ｋ_１２のマイナス側でＳ方向よりもＴ方向のＭＴＦが大きくなることがある。このため、上述の条件は、Ｓ方向のＭＴＦがＴ方向のＭＴＦの２倍となる係数Ｋ_１２の値を第１閾値Ｔｈ１、Ｔ方向のＭＴＦがＳ方向のＭＴＦの２倍となる係数Ｋ_１２の値を第２閾値Ｔｈ２とするときに、係数Ｋ_１２が第１閾値Ｔｈ１より大きく第２閾値Ｔｈ２より小さいという条件（Ｔｈ１＜Ｋ_１２＜Ｔｈ２）、または、係数Ｋ_１２が第１閾値より小さく第２閾値より大きいという条件（Ｔｈ２＜Ｋ_１２＜Ｔｈ１）である。具体的に、図８では｜Ｋ_１２｜＜０．０８である。

焦点深度拡張光学系１１は、上述の条件を満たすようにレンズ１１ａ，１１ｂや焦点深度拡張素子１６の面形状等が定められているため、ＥＤｏＦ撮像システム１０で撮像した画像１５内では、像のボケ方及び解像度の均一性が向上する。

なお、上述の各条件を満たす像高の範囲が、像のボケ方及び解像度が均一になる範囲である。したがって、焦点深度拡張光学系１１では、全ての像高において満たされていることが好ましい。

なお、上述の各条件は、Ｋ_４＝−０．６７５にデフォーカスされた場合を例に説明したが、Ｋ_４＝０のベストピントの場合等、他の係数Ｋ_４が他の値の場合も同様である。また、上述の各条件は、簡単のためにＫ_９＝−０．１８，Ｋ_１６＝−０．０５７，Ｋ_２５＝−０．０１５６，他Ｋ_４，Ｋ_１２を除く全係数を０とした球面収差調節型の焦点深度拡張光学系のＭＴＦを例に説明したが、これに限らない。係数Ｋ_１２以外の各係数Ｋ_ｊは実際の焦点深度拡張光学系１１に必要とされる具体的な性能に応じて任意に決定して良い。

なお、上述の実施形態では、ツェルニケ多項式Ｚの第１２項Ｚ_１２と、軸外デフォーカスＭＴＦの関係を説明したが、ツェルニケ多項式Ｚの中には、軸外デフォーカスＭＴＦに対して第１２項Ｚ_１２とほぼ同様の関係を有する項がある。具体的には、第１３項Ｚ_１３（ｎ＝４，ｍ＝−２）＝(４ρ^４−３ρ^２)ｓｉｎ（２θ）である。第１３項は、第１２項Ｚ_１２で表される波面モードを４５度回転させた波面モードを表しており、図９に示すように、軸外デフォーカスＭＴＦをＳ方向から４５度傾斜した方向Ｓ４５と、Ｔ方向から４５度傾斜した方向Ｔ４５とについて測れば、画像１５に対して第１２項Ｚ_１２と同様の効果をもたらす。したがって、第１３項Ｚ_１３の係数Ｋ_１３についても、上述の第１２項Ｚ_１２の係数Ｋ_１２と同様に、上述の条件を満たすことが好ましい。但し、レンズ１１ａ，１１ｂ及び焦点深度拡張素子１６は光軸Ｌ０に対して回転対称であるため、焦点深度拡張光学系１１の設計時に係数Ｋ_１２について上述の条件を満たすように焦点深度拡張光学系１１を形成することと、係数Ｋ_１３について上述の条件を満たすように焦点深度拡張光学系１１を形成することは等価である。しかし、実際に製造した焦点深度拡張光学系１１の波面をツェルニケ多項式Ｚの重ね合せで展開する場合、レンズ１１ａ，１１ｂや焦点深度拡張素子１６の配置誤差、他の収差等との影響により、係数Ｋ_１２と係数Ｋ_１３は、必ずしも同一になるとは限らない。したがって、係数Ｋ_１３も係数Ｋ_１２と同様の条件をみたすことが好ましい。

なお、焦点深度拡張光学系１１は、焦点が、合焦範囲Ｅに拡張されているが、固定焦点レンズの一種である。したがって、焦点深度拡張光学系１１及びＥＤｏＦ撮像システム１０は、固定焦点レンズとして、あるいは固定焦点レンズを用いる他の撮像システムのかわりに好適に用いることができる。この場合、他のな焦点深度拡張光学系のデメリットである解像度分布（不自然なボケ味）もなく、固定焦点レンズを用いる場合よりも被写界深度が拡張された画像を容易に得ることができる。

なお、上述の実施形態では、焦点深度拡張光学系１１のレンズ１１ａ，１１ｂや焦点深度拡張素子１６が固定されている例を説明したがこれに限らない。焦点深度拡張光学系１１のレンズ１１ａ，１１ｂや焦点深度拡張素子１６を移動させることにより、撮像した画像を用いてオートフォーカスを行う撮像システムにおいても好適に用いることができる。このような、オートフォーカスを行う撮像システムでは、左右（あるいは上下）の視差のある像から適切な焦点距離を計測するが、画像１５内の位置によってボケ味が異なる従来の焦点深度拡張光学系を用いることができなかった。しかし、焦点深度拡張光学系１１は、ボケ味が画像１５内の位置によらずにほぼ一定なので、こうした撮像システムにも好適に用いることができる。オートフォーカスを行う撮像システムに焦点深度拡張光学系１１を用いる場合、レンズ１１ａ，１１ｂまたは焦点深度拡張素子１６を光軸に沿って移動させることにより、合焦範囲Ｅを光軸に沿って移動させる。また、ズームレンズのように、焦点深度拡張光学系１１のレンズ１１ａ，１１ｂや焦点深度拡張素子１６を移動させることによって、合焦範囲Ｅの長さを変更するようにしても良い。これらの場合には、レンズ１１ａ，１１ｂや焦点深度拡張素子１６の移動後（あるいは移動中）にも、上述の係数Ｋ_１２の条件（及び係数Ｋ_１３の条件）が満たされるようにしておけば良い。

なお、上述の係数Ｋ_１２（及び係数Ｋ_１３）の条件は、焦点深度拡張光学系１１のレンズ１１ａ，１１ｂや焦点深度拡張素子１６の面形状を一義に定める条件ではない。このため、上述の係数Ｋ_１２（及び係数Ｋ_１３）の条件を満たしながら、レンズ１１ａ，１１ｂや焦点深度拡張素子１６の面形状の様々な組み合わせで焦点深度拡張光学系１１を形成することができる。したがって、上述の係数Ｋ_１２（及び係数Ｋ_１３）の条件は、合焦範囲Ｅの大きさ等、焦点深度拡張光学系としての性能が異なる種々の焦点深度拡張光学系で満たすことができる。

なお、上述の実施形態では、ツェルニケ多項式Ｚの第１２項Ｚ_１２と、第１３項Ｚ_１３について説明したが、第２１項Ｚ_２１（ｎ＝６，ｍ＝２：（１５ρ^６−２０ρ^４＋６ρ^２）ｃｏｓ（２θ））は第１２項Ｚ_１２と、第２２項Ｚ_２２（ｎ＝６，ｍ＝−２：（１５ρ^６−２０ρ^４＋６ρ^２）ｓｉｎ（２θ））は第１３項Ｚ_１３と各々類似した特徴を有する波面モードである。しかし、第１２項Ｚ_１２や第１３項Ｚ_１３ほど、軸外デフォーカスＭＴＦに対する影響は大きくない。このため、軸上デフォーカスＭＴＦのＳ方向とＴ方向とのギャップを解消するためには、第１２項Ｚ_１２（第１３項Ｚ_１３）の係数について、上述の係数Ｋ_１２（及び係数Ｋ_１３）の条件を満たすようにすれば良い。

なお、上述の実施形態では、画像処理装置１３で復元処理を施すことにより、被写界深度が拡張された画像１５を得る構成を説明したが、これに限らない。例えば、焦点深度拡張光学系１１のＭＴＦ性能によっては、撮像素子１２が出力するＲＡＷデータ２１で既にある程度の被写界深度が拡張された画像が得られることがある。こうした場合には、必ずしも復元処理を施す必要はない。また、焦点深度拡張光学系１１のＭＴＦ性能によっては、復元処理を行わず、エッジ強調処理やコントラスト強調処理を施すことによって、簡易的に被写界深度が深化されたように見える画像を得ることもできる。また、こうした復元処理を行わずに得られる被写界深度が拡張されたように見える画像は、復元処理を行わない分、高速に得られるので、動画を撮像する場合に有効である。復元処理を行うＥＤｏＦ撮像システム１０においても、動画撮像時には復元処理を行わないようにしても良い。

なお、撮像素子１２は、ＣＣＤ型撮像素子でも、ＣＭＯＳ型撮像素子でも良い。また、この他の構造の撮像素子であっても良い。

なお、上述の実施形態では、焦点深度拡張光学系１１が光軸を含む中心近傍の光束を手前（被写体１４）側に収束させ、外側を通る光束を奥（撮像素子１２）側に収束させる例を説明したが、これに限らない。光軸を含む中心近傍の光束を奥（撮像素子１２）側に、外側を通る光束を手前（被写体１４）側に収束させるようにしても良い。

なお、焦点深度拡張光学系１１にレンズ１１ａ，１１ｂを備える例を説明したが、焦点深度拡張素子１６以外のレンズは１枚でも良く、３枚以上でも良い。また、レンズ１１ａ，１１ｂの面形状は任意であり、球面を含んでいても良いが、焦点深度拡張光学系１１には少なくとも１枚の非球面が含まれる。

１０ ＥＤｏＦ撮像ステム
１１ 焦点深度拡張光学系
１１ａ，１１ｂ レンズ
１２ 撮像素子
１３ 画像処理装置
１４ 被写体
１４ａ 点
１５ 画像
１６ 焦点深度拡張素子
２１ ＲＡＷデータ

Claims (13)

1. 被写体からの光を撮像素子に結像させるレンズと、
   前記レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる波面調節手段と、を備え、
   前記レンズ及び前記波面調節手段を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫ_ｊ・Ｚ_ｊで表し、第１２項Ｚ_１２（ｎ＝４，ｍ＝２）の係数Ｋ_１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ_１２が定められていることを特徴とする焦点深度拡張光学系。
2. 前記係数Ｋ_１２の絶対値｜Ｋ_１２｜が、｜Ｋ_１２｜＜０．３を満たすことを特徴とする請求項１記載の焦点深度拡張光学系。
3. 第１２項Ｚ_１３（ｎ＝４，ｍ＝−２）の係数Ｋ_１３が、Ｋ_１３＝０におけるＭＴＦを基準値として、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ_１３が定められていることを特徴とする請求項１または２記載の焦点深度拡張光学系。
4. 前記係数Ｋ_１３の絶対値｜Ｋ_１３｜が、｜Ｋ_１３｜＜０．３を満たすことを特徴とする請求項３記載の焦点深度拡張光学系。
5. 前記係数Ｋ_１２に対するサジタル方向及びタンジェンシャル方向のＭＴＦが０となる点以下の範囲内で、前記係数Ｋ_１２が定められていることを特徴とする請求項１〜４のいずれか１項に記載の焦点深度拡張光学系。
6. 前記係数Ｋ_１３の絶対値｜Ｋ_１３｜が、｜Ｋ_１３｜＜０．２７５を満たすことを特徴とする請求項５記載の焦点深度拡張光学系。
7. サジタル方向のＭＴＦがタンジェンシャル方向のＭＴＦの２倍となる係数Ｋ_１２の値を第１閾値Ｔｈ１、タンジェンシャル方向のＭＴＦがサジタル方向のＭＴＦの２倍となる係数Ｋ_１２の値を第２閾値Ｔｈ２とするときに、前記係数Ｋ_１２がＴｈ１＜Ｋ_１２＜Ｔｈ２、またはＴｈ２＜Ｋ_１２＜Ｔｈ１の条件を満たす範囲内の値であることを特徴とする請求項１〜６のいずれか１項に記載の焦点深度拡張光学系。
8. 前記係数Ｋ_１３の絶対値｜Ｋ_１３｜が、｜Ｋ_１３｜＜０．０８を満たすことを特徴とする請求項７記載の焦点深度拡張光学系。
9. 全ての像高において、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ_１２が定められていることを特徴とする請求項１〜８のいずれか１項に記載の焦点深度拡張光学系。
10. 前記レンズ及び前記波面調節手段は固定され、前記合焦範囲の位置及び大きさが一定の固定焦点レンズ系であることを特徴とする請求項１〜９のいずれか１項に記載の焦点深度拡張光学系。
11. 前記レンズまたは前記波面調節手段が移動可能に設けられ、前記合焦範囲の位置または大きさが調節可能であることを特徴とする請求項１〜１０のいずれか１項に記載の焦点深度拡張光学系。
12. 被写体の像を撮像する撮像素子と、
    前記被写体からの光を前記撮像素子に結像させるレンズと、前記レンズによる結像位置を、光軸からの距離に応じて変化させるように波面を調節し、焦点を、幅を持った合焦範囲に拡張させる波面調節手段と、を有し、前記レンズ及び前記波面調節手段を透過後の波面ψをツェルニケ多項式Ｚｊ（ｎ，ｍ）を各項とする式ψ＝ΣＫ_ｊ・Ｚ_ｊで表し、第１２項Ｚ_１２（ｎ＝４，ｍ＝２）の係数Ｋ_１２が０の場合のサジタル方向及びタンジェンシャル方向に共通のＭＴＦを基準値とするときに、サジタル方向とタンジェンシャル方向のＭＴＦのギャップが前記基準値の２倍より小さい範囲内に、前記係数Ｋ_１２が定められている焦点深度拡張光学系と、
    を備えることを特徴とする撮像システム。
13. 前記撮像素子が出力するデータに復元処理を施すことにより、前記合焦範囲に対応して被写界深度が拡張された画像を生成する画像処理手段を備えることを特徴とする請求項１２記載の撮像システム。