JP2013162369A

JP2013162369A - 撮像装置

Info

Publication number: JP2013162369A
Application number: JP2012023617A
Authority: JP
Inventors: Makoto Kitagawa; 真北川
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-02-07
Filing date: 2012-02-07
Publication date: 2013-08-19

Abstract

【課題】近距離から遠距離までフォーカスの合った画像復元を行うことができる撮像装置を提供する。
【解決手段】撮像装置１０は、２つの撮像部１１，１７と、被写体までの距離情報に対応付けてＰＳＦデータを記憶したＰＳＦ記憶部１４と、２つの撮像部１１，１７で撮像された各画像データから距離情報を算出する距離情報算出部１６と、算出した距離情報に対応するＰＳＦデータをＰＳＦ記憶部１４から抽出し、抽出したＰＳＦデータに基づいて各画像データのうちのいずれかの画像データを復元する第３の画像復元部１３とを備える。
【選択図】図１

Description

本発明は、撮像装置に関し、より詳細には、光学系と撮像素子を含む撮像装置による画像復元方法に関する。

近年、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子の進化に伴い、デジタルスチルカメラやデジタルビデオカメラ、携帯電話機用のモバイルカメラなどデジタル撮像装置が主流になっている。

図９は、従来の一般的な撮像装置の光学系付近の要部構成を示す図である。撮像装置は、複数の光学レンズを含む光学系１０１と、ＣＣＤやＣＭＯＳなどの撮像素子１０２とを備えて構成される。光学系１０１は、絞り部１０１ａと、複数の光学レンズ１０１ｂとにより構成され、物体面（図示せず）からの光は絞り部１０１ａで角度制限され、光学レンズ１０１ｂにより物体面と反対側にある共役面に結像される。この面を結像面といい、この結像面に撮像素子１０２が配置される。

ここで、物体面上にある点光源が光学系１０１を通過した時、結像面でどのように広がるかを表す関数をＰＳＦ（Point Spread Function：点像分布関数）という。換言すれば、このＰＳＦは光学系の点光源に対する応答を示すもので、画像のぼけの程度を示すものといえる。

図１０は、物体面から光学系までの距離（以下、撮像距離という）が変化したときのＰＳＦデータの一例を示す図である。図１０（Ｂ）の例は撮像距離が１ｍでベストフォーカスのときのＰＳＦデータを示し、図１０（Ａ）の例は撮像距離が遠いとき（無限遠）のＰＳＦデータを示し、図１０（Ｃ）の例は撮像距離が近いとき（５０ｃｍ）のときのＰＳＦデータを示す。これより一般的な光学系ではベストフォーカスのときＰＳＦサイズが最も小さく絞られており、ベストフォーカスを外れるとＰＳＦサイズが顕著に大きくなっていることが分かる。すなわち、撮像距離によってボケが大きく変化しているため、一般の光学系では被写界深度の制限が大きい。撮像装置の被写界深度は下記の式（１）で示される。

前側被写界深度Ｌｆ＝δ・Ｆ・Ｌ^２／（ｆ^２＋δ・Ｆ・Ｌ）
後側被写界深度Ｌｒ＝δ・Ｆ・Ｌ^２／（ｆ^２−δ・Ｆ・Ｌ）
被写界深度＝Ｌｆ＋Ｌｒ・・・式（１）
但し、ｆは光学系の焦点距離、Ｆは光学系のＦ値（Ｆｎｏ）、δは許容錯乱円直径（許容できるぼけ）、Ｌは撮像距離である。

上記式（１）より分かるように被写界深度は、撮像距離Ｌが決定されると、撮像光学系のＦｎｏ、焦点距離ｆ、許容錯乱円直径δで一意に決定されてしまう。一般的なカメラでは、Ｆｎｏ、焦点距離ｆ、許容錯乱円直径δに制約があるため、近距離から遠距離までフォーカスの合った、いわゆる全焦点画像を撮影することはできない。

しかしながら、全焦点画像が撮影できればオートフォーカスなどによるフォーカス合わせのためのタイムラグをなくし、オートフォーカスのレンズなどを動かす可動部も不要になるため、小型化および低コスト化できるものと考えられる。また常に撮りたい被写体にフォーカスが合うため、撮影の失敗が少なくなる。このため、全焦点カメラに対する需要は大きい。このため全焦点画像を撮像するためのカメラシステムとして、光学系内に特殊な位相板を用いて撮像した画像に、画像処理を行うことで被写界深度を拡大する撮像装置が提案されている。

上記において、撮像装置内に配置する特殊な位相板は、撮像距離の変化に対して、ＰＳＦの変化が少なくなるように設計されている。例えば、非特許文献１に記載の技術の場合、光学系内に配置されている位相板の位相分布は下式で示されている。このような位相板は３次位相板と呼ばれる。
Ｚ＝α（Ｘ^３＋Ｙ^３）・・・式（２）

図１１は、３次位相板を配置したときの光学系によるＰＳＦデータを示す図である。図１１（Ｂ）の例は撮像距離が１ｍのときのＰＳＦデータを示し、図１１（Ａ）の例は撮像距離が遠いとき（無限遠）のＰＳＦデータを示し、図１１（Ｃ）の例は撮像距離が近いとき（５０ｃｍ）のときのＰＳＦデータを示す。一般的な光学系とは異なり、元のＰＳＦサイズは大きく画像はぼけているが距離によらず、ぼけ方の変化が小さいことが分かる。つまり、被写界深度によってぼけの程度は変わらず、ＰＳＦが分かっていれば、撮像後の画像を画像処理で復元し全焦点画像を生成することが可能となる。

このような位相板を用いた全焦点カメラの原理について図１２に基づいて簡単に説明する。全焦点カメラは、光学レンズの中に特殊な位相板を挿入し、ぼけた画像（中間画像）を撮影するもので、このぼけ方を、焦点外れによらず一定にできれば、単一の復元関数（デコンボリューションフィルタ）で画像を復元することができる。すなわち、図１２に示す空間領域と周波数領域との関係より、原画像を示すｆ（ｘ，ｙ）、ＰＳＦを示すｈ（ｘ，ｙ）をフーリエ変換し、Ｆ（ｕ，ｖ）、Ｈ（ｕ，ｖ）を求める。そして、逆フィルタやウィナーフィルタなどにより、Ｆ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を算出し、逆フーリエ変換で空間領域に戻すことで、ぼけを除去した画像を生成している。

更に、回折限界までの空間周波数領域においてゼロに落ちないことで、復元によるノイズを抑制することができる。非特許文献１によれば、３次位相板による位相分布は前述の式（２）より、位相差φ（ｘ，ｙ）＝α（ｘ^３＋ｙ^３）で示されるが、このαが十分に大きいとき、良い近似解が得られることを導き出している。なお、３次位相板の原理については、例えば、非特許文献２などに具体的に記載されており、ここでの説明は省略する。

上記の３次位相板は、光軸に対して非対称な形状となっている。このため金型での成型精度、鏡枠への組み込みに回転方向の精度などが必要とされ、一般的な光学系と比べてレンズ組立時の調整が難しく生産性の面で不利になる。このため、非特許文献３や特許文献１などに記載されているような光軸対称の位相板も提案されている。

Edward R.Dowski,Jr., Robert H.Cormack, Scott D.Sarama,"Wavefront Coding;jointly optimized optical and digital imaging systems",http://www.cdm-optics.com/ 小松進一，「撮像システムの被写界深度を拡大するWavefrontCoding技術〜物理的な仕掛けと最近の動向〜」，映像情報メディア学会誌，2009,Vol.63,No.3,pp279-283 S.Lee, N.Park and Y.Park,"Breaking Diffraction Limit of a Small F-number Compact Camera Using Wavefront Coding", September 2008, OPTICS.EXPRESS,Vol.16,No.18,pp13569-13578

特表２０１１−５０３６５２号公報

しかしながら、非特許文献３や特許文献１に記載された光軸対称の位相板の場合、レンズ組立時の調整が容易であるため、生産性の面では有利であるが、焦点外れに伴うＰＳＦの変化が大きく、このため画像復元できる被写体距離も制限される。特に近距離側での焦点外れ位置での画像復元性能が低下してしまうという問題がある。

本発明は、上述のような実情に鑑みてなされたもので、近距離から遠距離までフォーカスの合った画像復元を行うことができる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の第１の技術手段は、少なくとも１つの光学レンズを含む光学系と、該光学系の像面近傍に配置された撮像素子とからなる撮像部を複数備えた撮像装置であって、前記光学系から被写体までの距離情報に対応付けてＰＳＦデータを記憶したＰＳＦ記憶部と、前記複数の撮像部で撮像された各画像データから距離情報を算出する距離情報算出部と、該算出した距離情報に対応するＰＳＦデータを前記ＰＳＦ記憶部から抽出し、該抽出したＰＳＦデータに基づいて前記各画像データのうちのいずれかの画像データを復元する画像復元部とを備えたことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記光学系は、波面を変調し所定の空間周波数までＭＴＦを保ったまま被写界深度を拡大する波面変調素子を備えたことを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記波面変調素子は、前記光学レンズの光軸に対して回転対称であることを特徴としたものである。

第４の技術手段は、第２または第３の技術手段において、前記波面変調素子は、前記光学系に含まれる絞り部近傍に配置されていることを特徴としたものである。

第５の技術手段は、第２〜第４のいずれか１の技術手段において、前記波面変調素子は、入射側と出射側で異なる面により構成され、前記入射側の第１面は、被写体側に凹の球面形状をなし、前記出射側の第２面は、
Ｚ＝α（−ρ^２＋ρ^１６）、但し、αは係数、ρは光軸からの径方向距離
により定義される非球面形状であることを特徴としたものである。

第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記複数の撮像部で撮像された各画像データを予め定められた１つのＰＳＦデータにより復元する他の画像復元部を備え、前記距離情報算出部は、前記他の画像復元部で復元された各画像データから距離情報を算出することを特徴としたものである。

第７の技術手段は、第１〜第６のいずれか１の技術手段において、前記距離情報算出部は、前記複数の撮像部で撮像された各画像データに含まれる各被写体について距離情報を算出し、前記画像復元部は、前記距離情報算出部で算出された各被写体までの距離毎にＰＳＦデータを抽出し、該抽出したＰＳＦデータに基づいて距離毎に画像データを復元し、前記撮像装置は、さらに、前記距離情報算出部で算出された各被写体までの距離情報に基づいて、前記画像復元部で復元された距離毎の画像データを１つの画像データに合成する画像合成部を備えたことを特徴としたものである。

本発明によれば、少なくとも２つの撮像部により得られた距離情報に基づきＰＳＦを変化させ、変化させたＰＳＦにより画像を復元することができるため、近距離から遠距離までフォーカスの合った画像復元を行うことができる。

本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。第１の撮像部および第２の撮像部の構成例を示す図である。本発明による光学系および撮像素子の配置例を示す図である。撮像距離を変えたときのＭＴＦの変化を示す図である。従来方法による復元画像の一例を示す図である。撮像装置が備える２つの撮像部により撮像された画像の一例を示す図である。本発明による画像復元方法の一例を説明するための模式図である。本発明の方法による復元画像の一例を示す図である。従来の一般的な撮像装置の光学系付近の要部構成を示す図である。物体面から光学系までの距離（撮像距離）が変化したときのＰＳＦデータの一例を示す図である。３次位相板を配置したときの光学系によるＰＳＦデータを示す図である。位相板を用いた全焦点カメラの原理について説明するための図である。

以下、添付図面を参照しながら、本発明の撮像装置に係る好適な実施の形態について説明する。

図１は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図で、図中、１０は撮像装置を示す。撮像装置１０は、第１の撮像部１１、第１の画像復元部１２、第３の画像復元部１３、ＰＳＦ記憶部１４、画像合成部１５、距離情報算出部１６、第２の撮像部１７、および第２の画像復元部１８を備えている。本例では、撮像装置１０として、２つの撮像部１１，１７を備えた２眼式カメラを例示しているが、３つ以上の撮像部を備えた多眼式カメラとしてもよい。なお、ＰＳＦとは、前述したように、物体面上にある点光源が光学系を通過した時、結像面でどのように広がるかを表す点像分布関数である。

図２は、第１の撮像部１１および第２の撮像部１７の構成例を示す図である。第１の撮像部１１は、少なくとも１つの光学レンズを含む光学系１１１と、ＣＣＤまたはＣＭＯＳなどの撮像素子１１２とにより構成される。光学系１１１は、波面変調素子の一例である位相板１１１ａ、絞り部１１１ｂ、および光学レンズ１１１ｃを含んで構成されている。また同様に、第２の撮像部１７は、光学系１７１および撮像素子１７２により構成される。光学系１７１は、位相板１７１ａ、絞り部１７１ｂ、および光学レンズ１７１ｃを含んで構成されている。またここでは位相板、絞り、光学レンズの順に光学系が配置されているが、例えば第１の光学レンズ、位相板、絞り、第２の光学レンズの順のように光学レンズに挟まれる形で配置されてもよい。

第１の撮像部１１の場合、位相板１１１ａを含む光学系１１１は、被写体（図示せず）からの光線を透過し、撮像素子１１２の表面に結像させる。撮像素子１１２は、それぞれの素子面に結像した光信号を画像信号（画像データ）に変換し、変換した画像信号を第１の画像復元部１２に出力する。第２の撮像部１７についても同様であるが、位相板１７１ａを含む光学系１７１は、被写体からの光線を透過し、撮像素子１７２の表面に結像させる。撮像素子１７２は、それぞれの素子面に結像した光を画像信号（画像データ）に変換し、変換した画像信号を第２の画像復元部１８に出力する。

本発明の主たる目的は、近距離から遠距離までフォーカスの合った画像復元を行えるようにすることにある。このための構成として、撮像装置１０は、光学系から被写体までの距離情報に対応付けてＰＳＦデータを記憶したＰＳＦ記憶部１４と、２つの撮像部１１，１７で撮像された各画像データから距離情報を算出する距離情報算出部１６と、算出した距離情報に対応するＰＳＦデータをＰＳＦ記憶部１４から抽出し、抽出したＰＳＦデータに基づいて各画像データのうちのいずれかの画像データを復元する画像復元部に相当する第３の画像復元部１３とを備える。以下では、第３の画像復元部１３が第１の撮像部１１で撮像された画像データを復元するものとして説明するが、第２の撮像部１７で撮像された画像データを復元するようにしてもよい。

上記のように構成することにより、２つの撮像部１１，１７により得られた距離情報に基づきＰＳＦを変化させ、変化させたＰＳＦにより画像を復元することができるため、近距離から遠距離までフォーカスの合った画像復元を行うことができる。

図３は、本発明による光学系および撮像素子の配置例を示す図である。ここでは第１の撮像部１１について示しているが、第２の撮像部１７についても同様である。光学系１１１は、波面を変調し所定の空間周波数までＭＴＦ（Modulation Transfer Function）を保ったまま被写界深度を拡大する波面変調素子の一例である位相板１１１ａを備える。位相板１１１ａは、光学レンズ１１１ｃの光軸に対して回転対称に形成されている。このように位相板１１１ａを光軸に対して対称に形成することで、前述の３次位相板と比べてレンズ組立時の調整等を容易に行うことができ、生産性の点で有利となる。また、位相板１１１ａは、光学系１１１に含まれる絞り部１１１ｂ近傍に配置されている。

また、位相板１１１ａは、入射側と出射側で異なる面により構成され、入射側の第１面は、被写体側に凹の球面形状をなし、出射側の第２面は、下記の式（３）により定義される偶数次非球面形状である。
Ｚ＝α（−ρ^２＋ρ^１６）、但し、αは係数、ρは光軸からの径方向距離 …式（３）

上記のように、位相板１１１ａは光学系１１１の絞り部１１１ｂ近傍に配置されており、本例では絞り位置が最も入射側にあるため、光学系１１１の最も入射側に配置されている。被写体からの光は位相板１１１ａに入射後、絞り部１１１ｂを通過し、光束の角度制限を受けた後、光学レンズ１１１ｃを介して撮像素子１１２の各素子面に結像する。この位相板１１１ａによるぼけが、光学レンズ１１１ｃのＰＳＦに重畳されるため、結像面の像は、ぼけたものとなる。

更に、光学レンズ１１１ｃのバックフォーカスを適当に調整することにより、撮像距離によらず所定の空間周波数までＭＴＦを保ったままの像を結像することが可能となる。図４に撮像距離を変えたときのＭＴＦの変化を示す。本例では必要な空間周波数を規格化し、「１」と設定している。図４より距離３００ｍｍ（点線ａ）から無限遠（実線ｂ）まで距離を変えても「１」までの空間周波数においてＭＴＦが保たれていることが分かる。なお、ＭＴＦとは、被写体のもつコントラストを像面上でどれだけ忠実に再現できるかを示すレンズ性能を評価するための指標の一つである。

図１において、第１の撮像部１１で撮像された画像データを中間画像１、第２の撮像部１７で撮像された画像データを中間画像２とする。すなわち、これらの中間画像１，２はぼけを含む画像（ぼけ画像）である。中間画像１は第１の画像復元部１２および第３の画像復元部１３に出力され、中間画像２は第２の画像復元部１８に出力される。第１の画像復元部１２および第２の画像復元部１８は、本発明の他の画像復元部に相当し、ぼけを含む中間画像１，２を予め定められた１つのＰＳＦデータにより復元する。このＰＳＦデータとしては例えば使用頻度の高い撮影距離のＰＳＦや、過焦点距離（無限遠が被写界深度に入る最短の距離）のＰＳＦ、無限遠のＰＳＦなどを用いることが考えられる。

画像データの復元には複数の手法があるが一例としてウィナーフィルタ（wienerfilter）による画像復元がある。これは周波数領域でＰＳＦデータをデコンボリューション（逆畳み込み）し、ぼけ画像を復元するものである。このウィナーフィルタについては例えば特開２００７−１８３８４２号公報などに記載されているが、以下に簡単に説明する。

例えば、デジタルカメラで画像を撮影した際には、手ぶれやピンぼけといった劣化が生じる。ぶれやぼけといった劣化は、前述のＰＳＦ（点像分布関数）により表現される。つまり、劣化画像は、原画像とＰＳＦとの畳み込み積分として表現される。そして、劣化を表すＰＳＦが既知の場合に、劣化画像とこのＰＳＦから、ウィナーフィルタを用いて原画像を復元することができる。

具体的に、ぶれやぼけによる劣化画像は、下式のようにモデル化される。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） …式（４）
ここで、ｇ（ｘ，ｙ）は撮像して得られた画像データ、すなわち、観測画像である劣化画像を表す。また、ｈ（ｘ，ｙ）は劣化を表すＰＳＦデータを表し、ｆ（ｘ，ｙ）は劣化のない原画像を表し、＊は畳み込み積分を表す。

上記式（４）で表す劣化画像モデルは、周波数領域においては、下記のように表されることが知られている。つまり、式（４）の劣化画像モデルは、フーリエ変換により下記の式（５）で示すことができる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）Ｆ（ｕ，ｖ） …式（５）
ここで、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）、及びＦ（ｕ，ｖ）は、劣化画像ｇ（ｘ，ｙ）、ＰＳＦｈ（ｘ，ｙ）、及び原画像ｆ（ｘ，ｙ）のフーリエ変換をそれぞれ表す。

従来、劣化画像のフーリエ変換に、フィルタ処理を行うことにより、原画像のフーリエ変換を推定する（復元する）ことはよく利用されている。フィルタ処理を利用した画像復元は、一般的に、下記の式（６）のように表される。

Ｆ（ｕ，ｖ）＝Ｋ（ｕ，ｖ）Ｇ（ｕ，ｖ） …式（６）
ここで、Ｆ（ｕ，ｖ）は推定された原画像のフーリエ変換で、つまり、復元された画像（復元画像）である。また、Ｋ（ｕ，ｖ）は、画像復元のためのフィルタであり、以下、単に画像復元フィルタと呼ぶ。Ｇ（ｕ，ｖ）は劣化画像のフーリエ変換である。

従来、劣化画像から原画像を復元する画像復元分野において、最も単純な画像復元フィルタとして、逆フィルタが知られている。この逆フィルタとは、Ｋ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）の画像復元フィルタである。ここで、Ｈ（ｕ，ｖ）は、ＰＳＦｈ（ｘ，ｙ）のフーリエ変換である。

しかしながら、この逆フィルタは、ノイズに対して非常に不安定であるために、現実的にはほとんど利用されていない。そのため、画像復元分野において、逆フィルタを安定化した画像復元フィルタが多数利用されている。従来の画像復元フィルタは、フィルタの安定性を調節するパラメータを有しているものが多く、ウィナーフィルタはその一例であり一般的に広く利用されている。

ウィナーフィルタは、下記の式（７）で表される。
ここで、Ｋ_ｗ（ｕ，ｖ）はウィナーフィルタである。また、Ｈ’（ｕ，ｖ）はＰＳＦのフーリエ変換Ｈ（ｕ，ｖ）の複素共役を、ｄはフィルタの安定性を表すパラメータをそれぞれ表す。

上記式（７）のウィナーフィルタによる画像復元は、式（７）のＫ_ｗ（ｕ，ｖ）を、式（６）に代入することで、下記の式（８）のように表される。
ここで、Ｆ（ｕ，ｖ）は推定された原画像のフーリエ変換で、つまり、復元画像である。また、Ｇ（ｕ，ｖ）は劣化画像のフーリエ変換である。

図５は、従来方法による復元画像の一例を示す図である。図５（Ａ）は撮像距離が無限遠（ＩＮＦ）で無限遠のＰＳＦを用いて復元したときの復元画像を示し、図５（Ｂ）は撮像距離が近距離（３００ｍｍ）で無限遠のＰＳＦを用いて復元したときの復元画像を示す。このとき、図５（Ａ）に示すように、撮像距離が無限遠の場合にはノイズがない状態で復元されているが、撮像距離が近距離（３００ｍｍ）の場合には、図５（Ｂ）に示すように、ＰＳＦが大きく異なるため、復元ノイズが発生しており画像復元が完全でないことが分かる。

図１において、第１の撮像部１１からの撮像画像は第１の画像復元部１２で復元され、第２の撮像部１７からの撮像画像は第２の画像復元部１８で復元される。これらの画像復元部１２，１８による復元は完全な画像復元でないことは上記したとおりであり、これは仮の画像復元である。このようにして画像復元された２つの復元画像は距離情報算出部１６に出力される。

距離情報算出部１６は、それぞれ第１の撮像部１１、第２の撮像部１７から入力された共通する被写体を表す画像信号間座標値の差である視差情報（視差マップ）を生成する。距離情報算出部１６が行う処理についてより具体的に説明する。

距離情報算出部１６は、撮像装置１０の画像復元部１２，１８から各々入力された画像信号に基づいて撮像部間における視差情報を画素毎に算出する。視差とは、異なる２つの撮像部から入力された画像信号が表す共通の被写体を表す画素位置の差分である。視差情報は距離に対応しているため距離情報として捉えることができる。

視差情報を算出するために、距離情報算出部１６は、例えば、ブロックマッチング（block matching）を行う。ブロックマッチングにおいて、距離情報算出部１６は一方の画像信号の一部である画像ブロックと他方の画像信号の一部である画像ブロックの画素値の類似性を表す評価値を算出し、最も類似することを表す評価値が算出される画像ブロックを他方の画像信号から探索する。評価値は、例えば、差分絶対和（ＳＡＤ：Sum of Absolute Difference）である。距離情報算出部１６は、両方の画像信号が共通に表す被写体の対応する部位間の視差を算出する。ここで、２つの撮像部１１，１７が撮影した画像の一例について以下に説明する。

図６は、撮像装置１０が備える２つの撮像部１１，１７により撮像された画像の一例を示す図である。図６（Ａ）は第１の撮像部１１が撮像した画像を示す。この画像は被写体として車両を含む画像である。図６（Ｂ）は第２の撮像部１７が撮像した画像を示す。図６（Ｂ）の画像は図６（Ａ）の車両と共通する車両を含む画像である。ここで、図６（Ａ）の画像に含まれる車両のナンバープレートＮ１の中央部の水平方向の座標をＨ１、垂直方向の座標をＶとする。この部位に対応する部位、すなわち、図６（Ｂ）の画像に含まれる車両のナンバープレートＮ２の中央部の水平方向の座標はＨ２、垂直方向の座標はＶである。この場合、画像間の水平方向の座標の差分（Ｈ１−Ｈ２）が視差である。

上述のように、視差は、撮像装置１０（光学系１１１およ光学系１７１）から被写体までの距離Ｚを表す。視差Ｈ１−Ｈ２と距離Ｚとの間には、例えば式（９）に示す関係がある。
但し、ｆは撮像部の焦点距離、Ｂは基線長、ｐは画素ピッチを示す。視差は、撮像装置１０から被写体までの距離によって異なる値をとる。また、視差は、被写体が無限遠にあるときには０であり、撮像装置１０から被写体までの距離が短くなるほど大きくなる。

上記の通り距離情報算出部１６で得られた視差マップの画素値より、画像中に撮像された被写体までの距離が算出される。この距離情報は第３の画像復元部１３に出力される。すなわち、第３の画像復元部１３には、第１の撮像部１１からの中間画像１と、距離情報算出部１６からの距離情報とが入力される。そして、第３の画像復元部１３は、距離情報算出部１６からの距離情報に対応するＰＳＦデータをＰＳＦ記憶部１４から抽出し、抽出したＰＳＦデータに基づいて中間画像１を復元する。

ＰＳＦデータは予め所定の光学設計ソフトウェア等で算出されており、例えば、３００〜４００ｍｍでは２０ｍｍステップ毎、４００〜５００ｍｍでは５０ｍｍステップ毎などのように撮像距離毎にステップを変えてＰＳＦ記憶部１４に記憶されている。前述した被写界深度の式（１）より分かるように、遠距離側では被写界深度が深く、近距離側では被写界深度が浅いため、遠距離側では粗いステップ、近距離側では細かいステップとしている。なお、ＰＳＦ記憶部１４は、ＲＧＢ等の色毎や、画角毎にＰＳＦデータを記憶しておくこともできる。

図７は、本発明による画像復元方法の一例を説明するための模式図である。右画像および左画像はそれぞれ第１の撮像部１１で撮像された中間画像１、第２の撮像部１７で撮像された中間画像２に相当する。前述したように、距離情報算出部１６が右画像（中間画像１）および左画像（中間画像２）より撮像装置１０から被写体までの距離を表す距離情報を算出する。そして、第３の画像復元部１３は、距離情報算出部１６からの距離情報に対応するＰＳＦデータをＰＳＦ記憶部１４から抽出し、抽出したＰＳＦデータに基づいて中間画像１を復元して復元画像を得る。なお、本例では、第１の画像復元部１２および第２の画像復元部１８の記載は省略している。

図８は、本発明の方法による復元画像の一例を示す図である。図８（Ａ）は撮像距離が無限遠（ＩＮＦ）でＰＳＦを用いて復元したときの復元画像を示し、図８（Ｂ）は撮像距離が近距離（３００ｍｍ）でＰＳＦを用いて復元したときの復元画像を示す。このように、前述の図５の従来方法による画像と比較して復元ノイズのない状態で精度よく画像復元できていることが分かる。

次に、撮像装置１０による画像合成処理の一例について説明する。図１において、距離情報算出部１６は、２つの撮像部１１，１７で撮像された各画像データに含まれる各被写体について距離情報を算出し、第３の画像復元部１３は、距離情報算出部１６で算出された各被写体までの距離毎にＰＳＦデータを抽出し、抽出したＰＳＦデータに基づいて距離毎に画像データを復元する。撮像装置１０は、画像合成部１５を備えており、画像合成部１５は、距離情報算出部１６で算出された各被写体までの距離情報に基づいて、第３の画像復元部１３で復元された距離毎の画像データを１つの画像データに合成する。

距離情報算出部１６から得られた距離情報の最大値Ｚｍａｘ、最小値Ｚｍｉｎから撮像画像の奥行き範囲（Ｚｍａｘ−Ｚｍｉｎ）を特定することができる。そして、第３の画像復元部１３ではこの奥行き範囲に従って画像復元を行えばよい。具体的には、撮像画像に被写体Ａ，Ｂ，Ｃが含まれており、例えば、被写体Ａまでの撮像距離が３００ｍｍ、被写体Ｂまでの撮像距離が３２０ｍｍ、被写体Ｃまでの撮像距離が３４０ｍｍであった場合、この撮像画像の奥行き範囲は３００ｍｍ〜３４０ｍｍと特定される。

そして、第３の画像復元部１３は、撮像距離３００ｍｍ，３２０ｍｍ，３４０ｍｍそれぞれに応じたＰＳＦデータをＰＳＦ記憶部１４から抽出し、抽出した各ＰＳＦデータに基づいて画像データを復元する。つまり、撮像距離３００ｍｍ，３２０ｍｍ，３４０ｍｍそれぞれに応じたＰＳＦデータに基づき複数の画像データが復元される。なお、ＰＳＦ記憶部１４に記憶された複数のＰＳＦデータに基づく画像復元は並列処理で実行することが望ましく、これにより処理時間を短縮することができる。

そして、第３の画像復元部１３で距離情報に応じたＰＳＦデータに基づき復元された複数の画像データは、画像合成部１５で１つの画像データに合成される。画像合成部１５は、上述したように、距離情報算出部１６で算出された各被写体までの距離情報に基づいて、第３の画像復元部１３で復元された距離毎の画像データを１つの画像データに合成する。例えば、撮像画像に含まれる被写体Ａの座標ａ（ｘ１，ｙ１）から被写体Ｂの座標ｂ（ｘ２，ｙ２）の範囲が撮像距離３００ｍｍ〜３２０ｍｍという結果が得られている場合、座標ａから座標ｂの間の奥行き領域には、３００ｍｍ〜３２０ｍｍに対応するＰＳＦデータに基づいて復元された画像データを適用する。

画像合成部１５は、上記の処理を撮像画像上の全奥行き範囲（Ｚｍａｘ−Ｚｍｉｎ）に対して行うことで、１つの画像データを合成する。これにより高画質な全焦点画像を生成することが可能となる。そして、生成された全焦点画像は、図示しない表示部に表示してもよく、あるいは、メモリに記録するようにしてもよい。このようにして、少なくとも２つの撮像部により得られた距離情報に基づきＰＳＦを変化させ、変化させたＰＳＦにより画像を復元することができるため、近距離から遠距離までフォーカスの合った画像復元を行うことができる。

１，２…中間画像、１０…撮像装置、１１…第１の撮像部、１２…第１の画像復元部、１３…第３の画像復元部、１４…ＰＳＦ記憶部、１５…画像合成部、１６…距離情報算出部、１７…第２の撮像部、１８…第２の画像復元部、１０１，１１１，１７１…光学系、１１１ａ，１７１ａ…位相板、１０１ａ，１１１ｂ，１７１ｂ…絞り部、１０１ｂ，１１１ｃ，１７１ｃ…光学レンズ、１０２，１１２，１７２…撮像素子。

Claims

少なくとも１つの光学レンズを含む光学系と、該光学系の像面近傍に配置された撮像素子とからなる撮像部を複数備えた撮像装置であって、
前記光学系から被写体までの距離情報に対応付けてＰＳＦデータを記憶したＰＳＦ記憶部と、前記複数の撮像部で撮像された各画像データから距離情報を算出する距離情報算出部と、該算出した距離情報に対応するＰＳＦデータを前記ＰＳＦ記憶部から抽出し、該抽出したＰＳＦデータに基づいて前記各画像データのうちのいずれかの画像データを復元する画像復元部とを備えたことを特徴とする撮像装置。
前記光学系は、波面を変調し所定の空間周波数までＭＴＦを保ったまま被写界深度を拡大する波面変調素子を備えたことを特徴とする請求項１に記載の撮像装置。
前記波面変調素子は、前記光学レンズの光軸に対して回転対称であることを特徴とする請求項２に記載の撮像装置。
前記波面変調素子は、前記光学系に含まれる絞り部近傍に配置されていることを特徴とする請求項２または３に記載の撮像装置。
前記波面変調素子は、入射側と出射側で異なる面により構成され、前記入射側の第１面は、被写体側に凹の球面形状をなし、前記出射側の第２面は、
Ｚ＝α（−ρ^２＋ρ^１６）、但し、αは係数、ρは光軸からの径方向距離
により定義される非球面形状であることを特徴とする請求項２〜４のいずれか１項に記載の撮像装置。
前記複数の撮像部で撮像された各画像データを予め定められた１つのＰＳＦデータにより復元する他の画像復元部を備え、前記距離情報算出部は、前記他の画像復元部で復元された各画像データから距離情報を算出することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
前記距離情報算出部は、前記複数の撮像部で撮像された各画像データに含まれる各被写体について距離情報を算出し、前記画像復元部は、前記距離情報算出部で算出された各被写体までの距離毎にＰＳＦデータを抽出し、該抽出したＰＳＦデータに基づいて距離毎に画像データを復元し、
前記撮像装置は、さらに、前記距離情報算出部で算出された各被写体までの距離情報に基づいて、前記画像復元部で復元された距離毎の画像データを１つの画像データに合成する画像合成部を備えたことを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。