JP2011133593A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2011133593A JP2011133593A JP2009291762A JP2009291762A JP2011133593A JP 2011133593 A JP2011133593 A JP 2011133593A JP 2009291762 A JP2009291762 A JP 2009291762A JP 2009291762 A JP2009291762 A JP 2009291762A JP 2011133593 A JP2011133593 A JP 2011133593A
- Authority
- JP
- Japan
- Prior art keywords
- optical system
- aberration control
- aberration
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】画像復元にかかる負荷を軽減でき、シャインプルーフによる画像歪みを抑止でき、深度を大幅に拡大することが可能な撮像装置を提供する。
【解決手段】収差を発生させる収差制御機能を有する収差制御素子または収差制御面を含む収差制御光学系110と、光電変換機能を有する撮像素子120と、画像処理部130と、を有し、収差制御光学系と撮像素子において、撮像面ISとレンズ主面MSを平行ではない配置にする。
【選択図】図1
【解決手段】収差を発生させる収差制御機能を有する収差制御素子または収差制御面を含む収差制御光学系110と、光電変換機能を有する撮像素子120と、画像処理部130と、を有し、収差制御光学系と撮像素子において、撮像面ISとレンズ主面MSを平行ではない配置にする。
【選択図】図1
Description
本発明は、深度拡張光学系を備えた撮像装置に関するものである。
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるCCD(Charge Coupled Device),CMOS(Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。
このように、撮像素子にCCDやCMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末(PDA:Personal DigitalAssistant)、画像検査装置、自動制御用産業カメラ等に用いられている。
図19は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
この撮像レンズ装置1は、光学系2とCCDやCMOSセンサ等の撮像素子3とを有する。
光学系は、物体側レンズ21,22、絞り23、および結像レンズ24を物体側(OBJS)から撮像素子3側に向かって順に配置されている。
撮像レンズ装置1においては、図19に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図20(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
図20(A)〜(C)は、撮像レンズ装置1の撮像素子3の受光面でのスポット像を示している。
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている(たとえば非特許文献1,2、特許文献1〜5参照)。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている(たとえば特許文献6参照)。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている(たとえば特許文献6参照)。
これらの技術深度拡張技術としては、たとえばカメラにおいてF値を絞ることで被写界深度を広げて固定ピントとしているものがある。
加えて、撮像面とレンズ主面を平行ではないように配置し、近距離にあるものと遠距離にあるものに同時に焦点をあわせるシャインプルーフの原理というものが存在する。
加えて、撮像面とレンズ主面を平行ではないように配置し、近距離にあるものと遠距離にあるものに同時に焦点をあわせるシャインプルーフの原理というものが存在する。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
"Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson.
上記のように、深度拡張に関していくつかの実現方法が存在する。
ただし、実際にはこれらの技術には問題があり、カメラとしての性能を維持しながら、単一の技術で深度を拡張していくのは困難である。
ただし、実際にはこれらの技術には問題があり、カメラとしての性能を維持しながら、単一の技術で深度を拡張していくのは困難である。
たとえば、特許文献5に開示された技術において、位相面を用いた深度拡張では、深度拡張量を増やすと点像強度分布(PSF:Point−Spread−Function)も同時にボケが広がってしまい画像復元に大きな負荷がかかる。
シャインプルーフの原理では、深度の拡張量はレンズの主平面と撮像面のチルトに起因するので、画像が台形状に歪んでいってしまう。
本発明は、画像復元にかかる負荷を軽減でき、シャインプルーフによる画像歪みを抑止でき、深度を大幅に拡大することが可能な撮像装置を提供することにある。
本発明の第1の観点の撮像装置、収差を発生させて光学的伝達関数(OTF)を変調させる収差制御機能を有する収差制御部を含む収差制御光学系と、前記収差制御光学系を通過した被写体像を撮像する撮像素子と、を有し、前記収差制御光学系の光軸が前記撮像素子の撮像面に対して非直交である。
好適には、前記撮像素子から出力される画像信号に対して画像処理を行う画像処理部を有し、前記画像処理部は、少なくとも収差制御機能によって変調された光学的伝達関数(OTF)の復元処理を行う。
好適には、画像処理部は、画像の歪みの補正をさらに行う。
好適には、前記画像処理部は、光学的伝達関数(OTF)の復元処理を行った画像に歪みの補正を行う。
好適には、前記収差制御素部は、通常光学系のレンズ面に収差制御面を形成、もしくは通常光学系のレンズとは別の光学系である収差制御素子によって形成される。
本発明によれば、画像復元にかかる負荷を軽減でき、シャインプルーフによる画像歪みを抑止でき、深度を大幅に拡大することができる。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図1は、本発明の実施形態に係る撮像装置の構成例を示すブロックである。
本実施形態に係る撮像装置100は、後で詳述するように、光学系に収差制御面、または収差制御素子を適用してボケの程度をコントロールし、そのボケは画像処理により復元する。本実施形態においては、収差制御素子により収差(本実施形態では非点収差)を意図的に発生させる。
本実施形態においては、収差制御光学系の光軸が撮像素子の撮像面に対して非直交である。
本実施形態に収差制御光学系において、撮像面とレンズ主面が平行ではない関係となるような配置構成が採用されている。
このとき、撮像面IS・レンズ主面MS・物面OSが同一直線上で交わる。物面OSがレンズ主面MSと平行でないため、近距離にあるものと遠距離にあるものに同時に焦点を合わせることができる。
このシステムは一般的に、シャインプルーフカメラと呼ばれるが、本実施形態は一般的なシャインプルーフカメラに対して、収差制御光学系を用いることでさらに深度の拡張を図る。
なお、収差制御光学系を通ったPSFは、固体撮像素子上で2画素以上に広がり、広がったPSFを画像処理で復元を行う。
そして、本実施形態においては、画像処理において、光学的伝達関数(OTF)の復元処理、換言するとPSFの復元処理を行った画像に対して歪み、いわゆる台形歪みの補正を行う。
すなわち、本実施形態においては、収差制御光学系によってボケたPSFとシャインプルーフの原理によって発生する台形歪みは画像処理系にて補正することで良好な画像を得ることができる。
本実施形態においては、収差制御光学系の光軸が撮像素子の撮像面に対して非直交である。
本実施形態に収差制御光学系において、撮像面とレンズ主面が平行ではない関係となるような配置構成が採用されている。
このとき、撮像面IS・レンズ主面MS・物面OSが同一直線上で交わる。物面OSがレンズ主面MSと平行でないため、近距離にあるものと遠距離にあるものに同時に焦点を合わせることができる。
このシステムは一般的に、シャインプルーフカメラと呼ばれるが、本実施形態は一般的なシャインプルーフカメラに対して、収差制御光学系を用いることでさらに深度の拡張を図る。
なお、収差制御光学系を通ったPSFは、固体撮像素子上で2画素以上に広がり、広がったPSFを画像処理で復元を行う。
そして、本実施形態においては、画像処理において、光学的伝達関数(OTF)の復元処理、換言するとPSFの復元処理を行った画像に対して歪み、いわゆる台形歪みの補正を行う。
すなわち、本実施形態においては、収差制御光学系によってボケたPSFとシャインプルーフの原理によって発生する台形歪みは画像処理系にて補正することで良好な画像を得ることができる。
撮像装置100は、図1に示すように、収差制御光学系110、撮像素子120、および画像処理部130を有している。
図2は、本実施形態に係る収差制御光学系を形成する撮像レンズユニットの基本構成を示す図である。
収差制御光学系110は、被写体物体OBJを撮影した像を撮像素子120に供給する。また、収差制御光学系110Aは、物体側から順に、第1レンズ111、第1レンズ112、第3レンズ113、絞り114、第4レンズ115、第5レンズ116が配置されている。
本実施形態の収差制御光学系110は、第4レンズ115と第5レンズ116が接合されている。すなわち、本実施形態の収差制御光学系110のレンズユニットは、接合レンズを含んで構成されている。
収差制御光学系110は、被写体物体OBJを撮影した像を撮像素子120に供給する。また、収差制御光学系110Aは、物体側から順に、第1レンズ111、第1レンズ112、第3レンズ113、絞り114、第4レンズ115、第5レンズ116が配置されている。
本実施形態の収差制御光学系110は、第4レンズ115と第5レンズ116が接合されている。すなわち、本実施形態の収差制御光学系110のレンズユニットは、接合レンズを含んで構成されている。
そして、本実施形態の収差制御光学系110は、収差を意図的に発生させる収差制御機能を有する収差制御面を適用した光学系として構成されている。
本実施形態においては、球面収差のみを発生させるために、収差制御面を挿入する必要がある。なお、収差制御効果は別素子の収差制御素子を挿入しても良い。
その例を示すと図2のようになり、通常の光学系に収差制御面(第3レンズR2面)を含んだ形となっている。
ここでいう収差制御面とは、収差制御素子の持つ収差制御効果をレンズ面に内包したものをいう。好適には収差制御面113aは絞り114に隣接していることが好ましい。
本実施形態においては、球面収差のみを発生させるために、収差制御面を挿入する必要がある。なお、収差制御効果は別素子の収差制御素子を挿入しても良い。
その例を示すと図2のようになり、通常の光学系に収差制御面(第3レンズR2面)を含んだ形となっている。
ここでいう収差制御面とは、収差制御素子の持つ収差制御効果をレンズ面に内包したものをいう。好適には収差制御面113aは絞り114に隣接していることが好ましい。
収差制御面は、ディフォーカスMTFのピークを2分することでアウトフォーカスにおけるOTFの変化を緩和する。
従来から提案されている位相変調面の形状では、一つのピント位置に対して被写界深度を拡張しているため、アウトフォーカスまでOTFの変化をなくそうとするとボカシ量が大きくなってしまい、画像復元に要するフィルターサイズも大きくなってしまう。
これに対して、本実施形態に係る収差制御面は、ピントを分割することにより復元に要するフィルターサイズも抑えて良好な画質を得ることができる。ピークを分割するためには、球面収差に変曲点を持たせる必要がある。
収差制御光学系についてさらに詳述する。
従来から提案されている位相変調面の形状では、一つのピント位置に対して被写界深度を拡張しているため、アウトフォーカスまでOTFの変化をなくそうとするとボカシ量が大きくなってしまい、画像復元に要するフィルターサイズも大きくなってしまう。
これに対して、本実施形態に係る収差制御面は、ピントを分割することにより復元に要するフィルターサイズも抑えて良好な画質を得ることができる。ピークを分割するためには、球面収差に変曲点を持たせる必要がある。
収差制御光学系についてさらに詳述する。
本実施形態の収差制御光学系110Aの収差特性は、絞り114の口径が変化しても深度拡張効果(機能)を有する。
ここで、収差制御光学系110Aは、絞り214の口径を変化させることで複数のF値が選択可能であり、選択可能なF値のいずれにおいても、収差制御素子または収差制御面の効果により深度拡張を行うことが可能である。
本実施形態の収差制御光学系110Aの収差特性は、絞り114の有効径内に複数(2つ以上)の変曲点を有する。
さらに、本実施形態の収差制御光学系110Aの収差特性は、絞り114が開放の口径の場合に光線が通過する領域から収差制御機能による深度拡張効果を有する最小の絞り径の場合に光線が通過する領域を除く領域で一つ以上の変曲点を有する。
換言すると、本実施形態の収差制御光学系110Aの収差特性は、深度拡張作用を期待されるF値の中で、最も明るいF値の時に光線が通過する収差制御面の領域と最も暗いF値の時に光線が通過する収差制御面の領域の間で、一つ以上の変曲点を有する。
ここで、収差制御光学系110Aは、絞り214の口径を変化させることで複数のF値が選択可能であり、選択可能なF値のいずれにおいても、収差制御素子または収差制御面の効果により深度拡張を行うことが可能である。
本実施形態の収差制御光学系110Aの収差特性は、絞り114の有効径内に複数(2つ以上)の変曲点を有する。
さらに、本実施形態の収差制御光学系110Aの収差特性は、絞り114が開放の口径の場合に光線が通過する領域から収差制御機能による深度拡張効果を有する最小の絞り径の場合に光線が通過する領域を除く領域で一つ以上の変曲点を有する。
換言すると、本実施形態の収差制御光学系110Aの収差特性は、深度拡張作用を期待されるF値の中で、最も明るいF値の時に光線が通過する収差制御面の領域と最も暗いF値の時に光線が通過する収差制御面の領域の間で、一つ以上の変曲点を有する。
本実施形態の収差制御光学系110Aにおいては、収差制御機能を有する収差制御面を内包する収差制御光学系を用いてPSFを2画素以上にまたがるようにし、所定の周波数において偽解像しない主像面シフト領域でディフォーカスに対するMTF特性が2つ以上のピークを持つ深度拡張光学系として構成される。
一般的な光波面変調機能を用いた深度拡張光学系ではMTF特性において1つのピークの裾野を広げて深度を拡張するが、これではそれと引き換えにMTF特性のピーク値が下がってしまう。
本実施形態においては、収差制御機能を用いてピークを複数持つようにすることで、ピーク値の低下を抑えつつ深度拡張を実現できる。
球面収差を適切に制御することで画像復元処理を施さなくても深度拡張することができる。
具体的には、本実施形態の収差制御光学系110Aは、主に球面収差を発生させる収差制御素子、または収差制御面によりディフォーカスに対するMTFのピークを複数に分ける(ここでは2分する)ことでアウトフォーカスにおけるOTFの変化を制御でき、深度を拡張することができる。そして、ピークを分割させるために、球面収差に変曲点を持たせる。
上述したように、球面収差に2つ以上の変曲点を適切に持たせることで複数の絞り口径の選択に対し、深度拡張を実現することができる。
そして、上述したように、深度拡張作用を期待されるF値の中で、最も明るいF値の時に光線が通過する収差制御面の領域と最も暗いF値の時に光線が通過する収差制御面の領域の間で、ひとつ以上の変曲点を有することが望ましい。
この構成を採用することにより、F値を変化させた場合でも効率よく深度拡張作用を得られる。
一般的な光波面変調機能を用いた深度拡張光学系ではMTF特性において1つのピークの裾野を広げて深度を拡張するが、これではそれと引き換えにMTF特性のピーク値が下がってしまう。
本実施形態においては、収差制御機能を用いてピークを複数持つようにすることで、ピーク値の低下を抑えつつ深度拡張を実現できる。
球面収差を適切に制御することで画像復元処理を施さなくても深度拡張することができる。
具体的には、本実施形態の収差制御光学系110Aは、主に球面収差を発生させる収差制御素子、または収差制御面によりディフォーカスに対するMTFのピークを複数に分ける(ここでは2分する)ことでアウトフォーカスにおけるOTFの変化を制御でき、深度を拡張することができる。そして、ピークを分割させるために、球面収差に変曲点を持たせる。
上述したように、球面収差に2つ以上の変曲点を適切に持たせることで複数の絞り口径の選択に対し、深度拡張を実現することができる。
そして、上述したように、深度拡張作用を期待されるF値の中で、最も明るいF値の時に光線が通過する収差制御面の領域と最も暗いF値の時に光線が通過する収差制御面の領域の間で、ひとつ以上の変曲点を有することが望ましい。
この構成を採用することにより、F値を変化させた場合でも効率よく深度拡張作用を得られる。
以下、この収差制御光学系110Aの特徴的な構成、機能についてさらに詳述する。
図3(A)、(B)および図4(A),(B)は、本実施形態に係る収差制御光学系の球面収差発生量について説明するための図である。図3は撮像素子(センサ)を固定したときのセンサとPSFとの関係を示し、図4は収差制御光学系を固定したときのセンサとPSFとの関係を示している。
たとえば、撮像素子120はある画素ピッチを有するセンサであるとする。その場合に、本実施形態では、球面収差を発生させてPSFを1画素PXLより大きくする必要がある。
図3(A)および図4(A)に示すように、1画素PXLの中にPSFが納まってしまうサイズで球面収差を発生させてもそれは通常の光学系と同じである。通常光学系では一般的にピント位置の中心PSFのサイズが最小となる。
これに対して、本実施形態に係る収差制御光学系110Aでは、図3(B)に示すように、PSFはアウトフォーカスに限らずピント位置までも1画素PXLに収まらないサイズに制御される。
図3(A)および図4(A)に示すように、1画素PXLの中にPSFが納まってしまうサイズで球面収差を発生させてもそれは通常の光学系と同じである。通常光学系では一般的にピント位置の中心PSFのサイズが最小となる。
これに対して、本実施形態に係る収差制御光学系110Aでは、図3(B)に示すように、PSFはアウトフォーカスに限らずピント位置までも1画素PXLに収まらないサイズに制御される。
次に、収差制御光学系に適した撮像素子(センサ)選定について説明する。
たとえばあるPSFサイズを持った収差制御光学系があるとすると、図4(B)に示すように、センサの画素ピッチがPSFのサイズより小さいものを選ぶことが好ましい。
仮に画素ピッチがPSFより大きいものを選んだとすると通常光学系と同じとなってしまい、そこがピントとなってしまう。よって、その場合、収差制御光学系の球面収差の効果を有効に得ることができない。
たとえばあるPSFサイズを持った収差制御光学系があるとすると、図4(B)に示すように、センサの画素ピッチがPSFのサイズより小さいものを選ぶことが好ましい。
仮に画素ピッチがPSFより大きいものを選んだとすると通常光学系と同じとなってしまい、そこがピントとなってしまう。よって、その場合、収差制御光学系の球面収差の効果を有効に得ることができない。
図5(A)〜(C)は、通常光学系および本実施形態に係る収差制御光学系のディフォーカスに対するMTFの状態を示す図である。
図5(A)は通常光学系のディフォーカスに対するMTFの状態を示し、図5(B)は本実施形態に係る収差制御光学系のディフォーカスに対するMTFの状態を示し、図5(C)は1つのピークを拡大したディフォーカスに対するMTFの状態を示している。
図5(A)は通常光学系のディフォーカスに対するMTFの状態を示し、図5(B)は本実施形態に係る収差制御光学系のディフォーカスに対するMTFの状態を示し、図5(C)は1つのピークを拡大したディフォーカスに対するMTFの状態を示している。
通常の光学系では、図5(A)に示すように、ピント位置が一つで中心にある。両サイドにある二つ目の山は落ちきって反転しているため、偽解像となる。
そのため、解像する領域は網掛けで示す主像面シフト領域MSARとなる。通常光学系の1つのピークを深度拡張すると、図5(C)に示すように、MTFは大きく劣化してしまう。
そのため、解像する領域は網掛けで示す主像面シフト領域MSARとなる。通常光学系の1つのピークを深度拡張すると、図5(C)に示すように、MTFは大きく劣化してしまう。
そこで、本実施形態に係る収差制御光学系のディフォーカスに対するMTFでは、図5(B)に示すように、通常光学系において一つのピークPK1であったのを2つのピークPK11、PK12に分割させている。
MTFは若干劣化するが、深度は2つに分割したことによって2倍程度に伸びていて、さらにひとつのピークを深度拡張するより劣化を抑えていることがわかる。
MTFは若干劣化するが、深度は2つに分割したことによって2倍程度に伸びていて、さらにひとつのピークを深度拡張するより劣化を抑えていることがわかる。
図6(A)〜(C)および図7(A)〜(C)は、本実施形態の収差制御光学系において、球面収差曲線(カーブ)によって任意の周波数でディフォーカスに対するMTFが2分できることを説明する。
図6(A)〜(C)は、高周波のOTF変動を抑えた収差制御光学系における任意の周波数でディフォーカスに対するMTFが2分できることを示しており、図6(A)が球面収差カーブを示し、図6(B)が低周波での主像面シフト領域エリアMSARのMTFのピークの状態を示し、図6(C)が高周波での主像面シフト領域エリアMSARのMTFのピークの状態を示している。
図7(A)〜(C)は、低周波のOTF変動を抑えた収差制御光学系における任意の周波数でディフォーカスに対するMTFが2分できることを示しており、図7(A)が球面収差カーブを示し、図7(B)が低周波での主像面シフト領域エリアMSARのMTFのピークの状態を示し、図7(C)が高周波での主像面シフト領域エリアMSARのMTFのピークの状態を示している。
図7(A)〜(C)からわかるように、低周波の深度を伸ばすためには、球面収差の振幅を大きくすれば良い。
振幅の大きさをコントロールすることによって任意の周波数のディフォーカスMTFのピークを2分割することができる。つまり任意の周波数の深度を拡張することができる。
振幅の大きさをコントロールすることによって任意の周波数のディフォーカスMTFのピークを2分割することができる。つまり任意の周波数の深度を拡張することができる。
なお、本実施形態において、ディフォーカスに対する低周波および高周波とは次のように定義する。
使用する固体撮像素子(撮像素子120)の画素ピッチから決まるナイキスト周波数の半分以上の周波数を高周波、半分より低い周波数を低周波とする。
ただし、ナイキスト周波数は下記の通りに定義する。
ナイキスト周波数=1/(固体撮像素子の画素ピッチ×2)
使用する固体撮像素子(撮像素子120)の画素ピッチから決まるナイキスト周波数の半分以上の周波数を高周波、半分より低い周波数を低周波とする。
ただし、ナイキスト周波数は下記の通りに定義する。
ナイキスト周波数=1/(固体撮像素子の画素ピッチ×2)
図8(A)〜(C)は、絞り径の違いによる球面収差とディフォーカスMTF、および本光学系と通常光学系と深度を比較して示す図である。
図8(A)は絞りを開放した状態を示し、図8(B)は絞りを中間に絞った状態を示し、図8(C)は絞りを最小に絞った状態を示している。
図8(A)は絞りを開放した状態を示し、図8(B)は絞りを中間に絞った状態を示し、図8(C)は絞りを最小に絞った状態を示している。
絞りを最も開放した状態では、図8(A)に示すように、複数の変曲点を持つ絞り近傍の収差制御面において光線が通過するために、球面収差カーブにおいても複数の変曲点を持つ。
そこから絞りを狭めても、図8(B)および(C)に示すように、変曲点が少なくともひとつ以上残る状態まで深度拡張作用を持続できる。
そこから絞りを狭めても、図8(B)および(C)に示すように、変曲点が少なくともひとつ以上残る状態まで深度拡張作用を持続できる。
以上では、主として球面収差曲線(カーブ)に2つの変曲点を持つ場合について説明したが、球面収差カーブに3つ以上の変曲点を持たせることも可能であり、3つ以上の変曲点を持たせる場合、以下に示すような利点がある。
2つ以下の変曲点では、像高に対する変曲点領域の割り振りが偏るために、深度拡張する際に周波数毎にピーク位置がずれる現象が生じてしまう。
こうしたケースの場合、物体距離ごとにPSFに含まれる周波数成分の割合が異なるため、物体距離に対応するレンズの特性と合わせた画像処理が必要になる可能性がある。
そこで、球面収差カーブの変曲点を3つ以上とすることにより、ディフォーカスMTFにおけるピークを複数持たせ、また、球面収差カーブの振幅量を中心部から周辺部にかけて徐々に大きくすることで、周波数制御のバランスをとった深度拡張を実現できる。
こうしたケースの場合、物体距離ごとにPSFに含まれる周波数成分の割合が異なるため、物体距離に対応するレンズの特性と合わせた画像処理が必要になる可能性がある。
そこで、球面収差カーブの変曲点を3つ以上とすることにより、ディフォーカスMTFにおけるピークを複数持たせ、また、球面収差カーブの振幅量を中心部から周辺部にかけて徐々に大きくすることで、周波数制御のバランスをとった深度拡張を実現できる。
図9(A)および(B)は、球面収差カーブにおける変曲点の数の違いによる球面収差とディフォーカスMTFを比較して示す図である。
図9(A)は変曲点の数が2つの場合を、図9(B)は変曲点の数が4つの場合を示している。
図9(A)に示すように、変曲点2つでは、高周波と低周波でピーク位置が異なる。
これに対して、図9(B)に示すように、変曲点4つを適切な振幅量で配置した場合、ピークの位置が周波数によらず同じ位置になる。
すなわち、変曲点が4つの場合、周波数制御のバランスをとった深度拡張を実現できる。
図9(A)は変曲点の数が2つの場合を、図9(B)は変曲点の数が4つの場合を示している。
図9(A)に示すように、変曲点2つでは、高周波と低周波でピーク位置が異なる。
これに対して、図9(B)に示すように、変曲点4つを適切な振幅量で配置した場合、ピークの位置が周波数によらず同じ位置になる。
すなわち、変曲点が4つの場合、周波数制御のバランスをとった深度拡張を実現できる。
撮像素子120は、たとえば図2に示すように、第5レンズ116側から、ガラス製の平行平面板(カバーガラス)121と、CCDあるいはCMOSセンサ等からなる撮像素子の撮像面122が順に配置されている。
収差制御光学系110Aを介した被写体OBJからの光が、撮像素子120の撮像面122上に結像される。
なお、撮像素子120で撮像される被写体分散像は、収差制御面113aにより撮像素子120上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
収差制御光学系110Aを介した被写体OBJからの光が、撮像素子120の撮像面122上に結像される。
なお、撮像素子120で撮像される被写体分散像は、収差制御面113aにより撮像素子120上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
本実施形態において、固体撮像素子120は、シャインプルーフの原理を適用するためにレンズの主平面と平行にならないように傾けて固定される。
図10(A)および(B)は、撮像面と収差制御光学系(レンズ)110Aの主面を傾けて固定することを補足して示す図である。
これは、言い換えれば、撮像素子120面と主面を相対的に傾けることを意味し、図10(A)に示すように、収差制御光学系110Aに対して撮像素子120を傾ける、もしくは、図10(B)に示すように、撮像素子120に対して収差制御光学系110Aを傾けてもどちらでもよい。
これは、言い換えれば、撮像素子120面と主面を相対的に傾けることを意味し、図10(A)に示すように、収差制御光学系110Aに対して撮像素子120を傾ける、もしくは、図10(B)に示すように、撮像素子120に対して収差制御光学系110Aを傾けてもどちらでもよい。
そして、図1に示すように撮像素子120は、収差制御光学系110で取り込んだ像が結像され、結像1次画像情報を電気信号の1次画像信号FIMとして、たとえば図示しないアナログフロントエンド部0を介して画像処理部130に出力する。
画像処理部130は、復元部131、および補正部132を含んで構成されている。
収差制御光学系110を通ったPSFは、固体撮像素子120上で2画素以上に広がっており、PSF復元部131は、この広がったPSFを画像処理で復元を行う。
補正部132は、復元部131画像処理において、光学的伝達関数(OTF)の復元処理、換言するとPSFの復元処理を行った画像に対して歪み、いわゆる台形歪みの補正を行う。
収差制御光学系110を通ったPSFは、固体撮像素子120上で2画素以上に広がっており、PSF復元部131は、この広がったPSFを画像処理で復元を行う。
補正部132は、復元部131画像処理において、光学的伝達関数(OTF)の復元処理、換言するとPSFの復元処理を行った画像に対して歪み、いわゆる台形歪みの補正を行う。
ここで重要なのは、画像処理の順番である。第1にPSFの復元、第2に台形歪みの復元とすることを特徴としている。
理由としては、この順番が逆になると、台形歪みを補正する際にPSFの形状も変化していまい、ボケの復元を単一のフィルタで行えなくなってしまうからである。PSFの復元がコンボリューション処理で行われるのに対し、台形歪みは、座標変換となる。
よって、前記記載の順番が好ましい。
理由としては、この順番が逆になると、台形歪みを補正する際にPSFの形状も変化していまい、ボケの復元を単一のフィルタで行えなくなってしまうからである。PSFの復元がコンボリューション処理で行われるのに対し、台形歪みは、座標変換となる。
よって、前記記載の順番が好ましい。
次に、本実施形態におけるシャインプルーフを用いた全体的な作用を、図11〜図17に関連付けて説明する。
図11は、シャルインプルーフの原理について説明するための図である。
図11において、MSはレンズ主面を、OSは物体面を、ISは撮像面を、それぞれ示している。
図12は、通常光学系のピント面(物体面)と被写界深度を示す図である。
図13は、収差制御光学系のピント面(物体面)と被写界深度を示す図である。
図14は、シャインプルーフ光学系のピント面(物体面)と被写界深度を示す図である。
図15はシャインプルーフと収差制御光学系を組み合わせた時のピント面(物体面)と被写界深度を示す図である。
図16は、画像処理部のPSFの復元に関する図である。
図17は、画像処理部の台形歪み補正に関する図である。
図11において、MSはレンズ主面を、OSは物体面を、ISは撮像面を、それぞれ示している。
図12は、通常光学系のピント面(物体面)と被写界深度を示す図である。
図13は、収差制御光学系のピント面(物体面)と被写界深度を示す図である。
図14は、シャインプルーフ光学系のピント面(物体面)と被写界深度を示す図である。
図15はシャインプルーフと収差制御光学系を組み合わせた時のピント面(物体面)と被写界深度を示す図である。
図16は、画像処理部のPSFの復元に関する図である。
図17は、画像処理部の台形歪み補正に関する図である。
シャインプルーフとは、図11に示すように、撮像平面ISとレンズの主面MSとがあり、1つの直線で交わるとき、ピントがあう物面OSもまた同じ直線で交わるというものである。図11においては、この交わる部分を交差点CPとして示している。
一般的に、撮像面ISとレンズ主面MSは、通常のカメラでは平行に取り付けられており、撮像面ISとレンズ主面MSが交わることはない。
この場合、図12および図13に示すように、カメラがピントを結ぶ物面は一定距離前方の平行平面となる。
ただし、図13の例の方が、図12の例に比べて、被写界深度が増していることが分かる。
一般的に、撮像面ISとレンズ主面MSは、通常のカメラでは平行に取り付けられており、撮像面ISとレンズ主面MSが交わることはない。
この場合、図12および図13に示すように、カメラがピントを結ぶ物面は一定距離前方の平行平面となる。
ただし、図13の例の方が、図12の例に比べて、被写界深度が増していることが分かる。
しかし、撮像面ISとレンズ主面MSを平行ではない配置にすると、図14に示すように、物面OSは平行ではなくなる。このとき、撮像面IS・レンズ主面MS・物面OSが同一直線上で交わるというのがシャインプルーフの原理である。
物面OSがレンズ主面MSと平行でないため、図14および図15に示すように、シャインプルーフカメラは近距離にあるものと遠距離にあるものに同時に焦点を合わせることができる。
本実施形態に関する図15の場合、図14に比較して被写界深度が大幅に拡大されている。
物面OSがレンズ主面MSと平行でないため、図14および図15に示すように、シャインプルーフカメラは近距離にあるものと遠距離にあるものに同時に焦点を合わせることができる。
本実施形態に関する図15の場合、図14に比較して被写界深度が大幅に拡大されている。
図16(A)および(B)は、画像処理部130の復元部131におけるPSFの復元に関する処理を模式的に示している。
図16(A)に示すように、収差制御光学系110によって広がったPSFはコンボリューションフィルターによって、図16(B)に示すように復元される。
図16(A)に示すように、収差制御光学系110によって広がったPSFはコンボリューションフィルターによって、図16(B)に示すように復元される。
図17(A)および(B)は、画像処理部130の補正部132の台形歪み補正に関する処理を模式的に示している。
図17(A)に示すように、シャインプルーフによって歪んだ画像は座標変換によって、図17(B)に示すように、補正される。
座標変換の際に、空いた隙間は画素補完処理を行うことによって解像感を損なうことなく補正することも可能である。
図17(A)に示すように、シャインプルーフによって歪んだ画像は座標変換によって、図17(B)に示すように、補正される。
座標変換の際に、空いた隙間は画素補完処理を行うことによって解像感を損なうことなく補正することも可能である。
図18(A)および(B)は、本発明の実施形態に係る撮像装置を最も適している監視カメラに応用した例を、通常光学系の場合を比較例として示す図である。
図18(A)が比較例を示し、図18(B)が本実施形態に係る撮像装置を適用した場合を示している。
図18(A)が比較例を示し、図18(B)が本実施形態に係る撮像装置を適用した場合を示している。
通常の光学系ではピント位置近傍の人しか見えなかったのに対し、シャインプルーフ光学系では、奥の人まで判別できる。
これは、監視カメラ200Aは、主に人の顔を撮ることが多いという特性を活かした実施例である。
これは、監視カメラ200Aは、主に人の顔を撮ることが多いという特性を活かした実施例である。
以上説明したように、本実施形態によれば、収差を発生させる収差制御機能を有する収差制御素子または収差制御面を含む収差制御光学系110と、光電変換機能を有する撮像素子120と、画像処理部130と、を有し、収差制御光学系と撮像素子において、撮像面ISとレンズ主面MSを平行ではない配置にする。このとき、撮像面IS・レンズ主面MS・物面OSが同一直線上で交わる。物面OSがレンズ主面MSと平行でないため、近距離にあるものと遠距離にあるものに同時に焦点を合わせることができる。
このシステムは一般的に、シャインプルーフカメラと呼ばれるが、本実施形態は通常のシャインプルーフカメラに対して、収差制御光学系110を用いることでさらに深度の拡張を図ることができる。
そして、画像処理部130で、収差制御光学系よってボケたPSFとシャインプルーフの原理によって発生する台形ひずみを補正することで良好な画像を得ることができる。
すなわち、本実施形態によれば、画像復元にかかる負荷を軽減でき、シャインプルーフによる画像歪みを抑止でき、深度を大幅に拡大することができる。
このシステムは一般的に、シャインプルーフカメラと呼ばれるが、本実施形態は通常のシャインプルーフカメラに対して、収差制御光学系110を用いることでさらに深度の拡張を図ることができる。
そして、画像処理部130で、収差制御光学系よってボケたPSFとシャインプルーフの原理によって発生する台形ひずみを補正することで良好な画像を得ることができる。
すなわち、本実施形態によれば、画像復元にかかる負荷を軽減でき、シャインプルーフによる画像歪みを抑止でき、深度を大幅に拡大することができる。
100・・・撮像装置、110・・・収差制御光学系、111・・・第1レンズ、112・・・第2レンズ、113・・・第3レンズ、113a・・・収差制御面、114・・・絞り、115・・・第4レンズ、115・・・第5レンズ、120・・・撮像素子、130・・・画像処理部、131・・・復元部、132・・・補正部。
Claims (5)
- 収差を発生させて光学的伝達関数(OTF)を変調させる収差制御機能を有する収差制御部を含む収差制御光学系と、
前記収差制御光学系を通過した被写体像を撮像する撮像素子と、を有し、
前記収差制御光学系の光軸が前記撮像素子の撮像面に対して非直交である
撮像装置。 - 前記撮像素子から出力される画像信号に対して画像処理を行う画像処理部を有し、
前記画像処理部は、
少なくとも収差制御機能によって変調された光学的伝達関数(OTF)の復元処理を行う
請求項1に記載の撮像装置。 - 前記画像処理部は
画像の歪みの補正をさらに行う
請求項2に記載の撮像装置。 - 前記画像処理部は、
光学的伝達関数(OTF)の復元処理を行った画像に歪みの補正を行う
請求項3に記載の撮像装置。 - 前記収差制御素部は、
通常光学系のレンズ面に収差制御面を形成、もしくは通常光学系のレンズとは別の光学系である収差制御素子によって形成される
請求項1から4のいずれか一に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009291762A JP2011133593A (ja) | 2009-12-24 | 2009-12-24 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009291762A JP2011133593A (ja) | 2009-12-24 | 2009-12-24 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011133593A true JP2011133593A (ja) | 2011-07-07 |
Family
ID=44346413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009291762A Pending JP2011133593A (ja) | 2009-12-24 | 2009-12-24 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011133593A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015115918A (ja) * | 2013-12-16 | 2015-06-22 | 新日鐵住金株式会社 | 撮像装置及び撮像方法 |
US20150248776A1 (en) * | 2014-02-28 | 2015-09-03 | Ricoh Company, Limited | Image capturing apparatus, image capturing system, and image capturing method |
JP2016526408A (ja) * | 2013-06-25 | 2016-09-05 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 皮膚特性のための測定装置、及び、非侵襲的処理装置 |
-
2009
- 2009-12-24 JP JP2009291762A patent/JP2011133593A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016526408A (ja) * | 2013-06-25 | 2016-09-05 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 皮膚特性のための測定装置、及び、非侵襲的処理装置 |
JP2015115918A (ja) * | 2013-12-16 | 2015-06-22 | 新日鐵住金株式会社 | 撮像装置及び撮像方法 |
US20150248776A1 (en) * | 2014-02-28 | 2015-09-03 | Ricoh Company, Limited | Image capturing apparatus, image capturing system, and image capturing method |
EP2913992A3 (en) * | 2014-02-28 | 2015-10-14 | Ricoh Company, Ltd. | Image capturing apparatus, image capturing system, and image capturing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4818957B2 (ja) | 撮像装置およびその方法 | |
JP4712631B2 (ja) | 撮像装置 | |
US8049798B2 (en) | Imaging device and image processing method | |
US8462213B2 (en) | Optical system, image pickup apparatus and information code reading device | |
JPWO2009069752A1 (ja) | 撮像装置および電子機器 | |
JP2008245157A (ja) | 撮像装置およびその方法 | |
JP2008268937A (ja) | 撮像装置および撮像方法 | |
JP2008048293A (ja) | 撮像装置、およびその製造方法 | |
JP2008085387A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP2009069577A (ja) | 撮像装置 | |
JP2011211669A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2007300208A (ja) | 撮像装置 | |
JP6392328B2 (ja) | 光学部品およびそれを用いた撮像装置 | |
JP2008033060A (ja) | 撮像装置および撮像方法、並びに画像処理装置 | |
JP4364847B2 (ja) | 撮像装置および画像変換方法 | |
JP5712031B2 (ja) | 撮像装置、撮影レンズユニット、および撮像ユニット | |
JP2009086017A (ja) | 撮像装置および撮像方法 | |
JP2011133593A (ja) | 撮像装置 | |
JP4818956B2 (ja) | 撮像装置およびその方法 | |
JP5479123B2 (ja) | 撮像装置および電子機器 | |
WO2013172030A1 (ja) | 撮像装置、撮影レンズユニット、および撮像ユニット | |
JP2009033607A (ja) | 撮像装置および画像処理方法 | |
JP2008245265A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
JP5809387B2 (ja) | 撮像装置および電子機器 | |
JP2009134023A (ja) | 撮像装置および情報コード読取装置 |