JP2013205781A - 撮像装置 - Google Patents

Abstract

【課題】符号化開口撮影を迅速かつ容易に行うことができる撮像装置を提供することを目的とする。
【解決手段】本発明の一の実施形態に係る撮像装置１０は、独立した合焦距離を有する遠合焦領域１２ａ，近合焦領域１２ｂを含む撮影レンズ１２と、遠合焦領域１２ａ，近合焦領域１２ｂに対応して設けられた符号化開口１１ａ，１１ｂと、遠合焦領域１２ａ，近合焦領域１２ｂのいずれかとこれに対応する符号化開口とを通過した光束を選択的に受光する受光センサ１６ａ，１６ｂを有するＣＣＤ１６と、を備えている。このような構成により撮像装置１０では複数の画像ｉ１，ｉ２を同時に取得することができ、さらに被写体の距離情報（距離画像）や全焦点画像ｉ３を取得することもできる。
【選択図】 図８

Description

本発明は撮像装置に関し、特に符号化開口を用いた撮影が可能な撮像装置に関する。

撮像装置の技術分野では、複数のＰＳＦ（Point Spread Function；点像分布関数）で画像を取得し、取得した画像からボケの修復や被写体の距離推定等の処理を行う技術が知られているが、その際復元・推定処理のロバスト性を向上させるべく、符号化された開口（符号化瞳）を用いることが行われている（このように符号化された開口を用いて撮影を行うことを、以下「符号化開口撮影」という）。例えば異なるパターンの符号化開口を組み込んだレンズを交換してＰＳＦを変化させ、１台の撮像装置で複数の画像を取得する技術が知られている。また例えば特許文献１では、ピンホール状の符号化開口を用いると共に撮影レンズに入射した被写体光をプリズムで複数の光束に分離し、それら光束に対する光路長（合焦状態）がそれぞれ異なるように配置した複数の撮像素子を用いて撮像することにより、３種類の符号化開口画像を取得することが記載されている。

特開平１１−３３７３１３号公報

しかしながらこのような従来の技術は、符号化開口撮影において複数のＰＳＦでの撮影やボケ具合（合焦状態）が異なる複数の画像取得が容易に行えるものではなかった。例えば上述したように異なるパターンの符号化開口を組み込んだレンズを交換して複数回の撮影を行う場合、画像間で撮影タイミングにずれが生じるため静止物体しか撮影することができず、またレンズ交換を行うため撮影が手間と時間を要するものとなっていた。また上記特許文献１のようにプリズムで光路を分離すると、撮像装置が大型で複雑な構成になってしまいコストが上昇するという問題があった。

本発明はこのような事情に鑑みてなされたもので、符号化開口撮影を迅速かつ容易に行うことができる撮像装置を提供することを目的とする。

上記目的を達成するために本発明の第１の態様に係る撮像装置は、複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、複数の領域のそれぞれに対応して設けられた符号化開口と、複数の領域のそれぞれに対応して設けられた複数の受光センサであって、複数の領域のいずれかと当該いずれかの領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、複数の受光センサの撮像信号から複数の領域のそれぞれに対応する複数の画像を生成する画像生成手段と、を備え、特性は焦点距離と合焦距離とのうち少なくとも一方である。

第１の態様に係る撮像装置では、複数の領域がそれぞれ独立した特性（焦点距離と合焦距離との内少なくとも一方）を有する撮影レンズと、複数の領域のそれぞれに対応して設けられた符号化開口とから、複数の画像が生成される。即ち撮影レンズの各領域に対応した複数の画像を同時に生成できるので撮影に手間や時間を要さず、静止画・動画のいずれも撮影することができる。また第１の態様では複数の画像の生成を、撮影レンズの複数の領域が独立した特性を有することで実現しているので、上述した従来技術のように開口パターンを変更するためにレンズを交換したり合焦状態の異なる画像を得るためにプリズムで光路を分離したりする必要がなく、構成が簡単で小型化でき、コスト低減が可能となる。

なお第１の態様において各領域の特性（焦点距離と合焦距離とのうちの少なくとも一方）が「独立した」とは一の領域の特性が他の領域の特性に依存しないことをいい、具体的な焦点距離や合焦距離は等しくてもよいし異なっていてもよい。また第１の態様において撮影レンズは１枚でもよいし、複数枚のレンズを組合せて構成し全体として複数の領域を有するようにしてもよい。また各領域の特性は固定されていてもよいし、変更できるようにしてもよい。さらに、符号化開口のパターンは各領域で同じでもよいし違っていてもよい。符号化開口のパターンが各領域で同じであっても撮影レンズの特性（例えば合焦距離）が異なれば合焦状態が異なる複数の画像が得られるし、符号化開口のパターンが各領域で違えば開口パターンに応じてＰＳＦが異なり、その結果ボケ具合（合焦状態）の異なる複数の画像が得られる。複数の領域のうち一部で開口パターンが違うようにしてもよい。

第１の態様において「合焦距離」とは、以下の式で表される距離ＦＤ、即ち受光センサの受光面から当該受光センサと合焦関係にある被写体までの距離をいう。

（数１）
ＦＤ＝ａ＋ｂ ・・・（１）
ＦＤ：合焦距離
ａ ：レンズと受光センサの受光面との距離
ｂ ：レンズと合焦位置との距離
焦点距離をｆとすると１／ｆ＝（１／ａ）＋（１／ｂ）であり、焦点距離ｆが同じでも距離ａ，ｂの組み合わせ方により合焦距離ＦＤは異なる。逆に焦点距離ｆが異なっていても、距離ａ，ｂの組み合わせ方で合焦距離ＦＤを同じにすることもできる。

第１の態様のような、複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、撮影レンズの各領域が受光センサ上に形成する被写体像が異なると、異なる被写体像が重なることで生じる被写体像間の特性のずれが画質の低下として感じられる。被写体像が異なる要因は主として（１）被写体像間のサイズ差、（２）被写体像間のボケ量の差、（３）被写体像間の視差ズレ、であり、各領域の特性（焦点距離，合焦距離）との関係は以下の通りである。

（ｉ）領域間で焦点距離・合焦距離のいずれもが異なる場合、それら領域に対応する画像間でサイズ差、ボケ量の差、及び視差ズレが生じる。

（ii）領域間で焦点距離は等しいが合焦距離が異なる場合、それら領域に対応する画像間でボケ量の差及び視差ズレが生じる。

（iii）領域間で焦点距離が異なり合焦距離が等しい場合、それら領域に対応する画像間で被写体像のサイズ差及び視差ズレが生じる。

（iv）領域間で焦点距離・合焦距離のいずれもが等しい場合、それら領域に対応する画像間で視差ズレが生じる。

そして複数の領域がそれぞれ独立した特性を有する撮影レンズを用いる場合、通常のセンサでは上記（ｉ）〜（ｉｖ）のように各領域の特性に応じて生じる被写体像の相違、即ち一の領域に対応する画像における他の領域を通過した光束の影響（領域間のクロストーク）により画質が低下してしまう。

そこで本発明の第１の態様に係る撮像装置では、上述した撮影レンズの複数の領域のいずれかと当該領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する受光センサ（瞳指向センサ）を有する撮像素子を用いて領域間のクロストークの影響を除去し、撮影レンズの各領域に対応した複数の画像をそれぞれ独立して取得できるようにしている。なお受光センサによる光束の瞳分割及び選択的な受光は、受光面あるいはその前方に設けた遮光部材、液晶シャッタ、液晶プリズム等の光学要素により実現することができる。

このようにして第１の態様に係る撮像装置では、符号化開口撮影を迅速かつ容易に行い複数の画像を良好な画質で得ることができる。

本発明の第２の態様に係る撮像装置は第１の態様において、複数の領域はそれぞれ異なる符号化開口のパターンを有する。符号化開口撮影を行う場合の開口パターンは静物、人物、風景等被写体の種類や距離等の条件によって異なるため、第２の態様に係る撮像装置では複数の領域がそれぞれ異なる符号化開口のパターンを有するようにすることで被写体に合わせた複数の開口パターンを設定してＰＳＦを変化させることができ、ボケ具合（合焦状態）が異なる複数の画像を迅速かつ容易に取得することができる。

本発明の第３の態様に係る撮像装置は第１または第２の態様において、符号化開口のパターンを変更する開口パターン変更手段を備える。第３の態様は上述のように符号化開口撮影を行う場合の好ましい開口パターンが被写体によって異なる点を考慮し、所望の開口パターンで画像を取得できるようにしたものである。なお第３の態様において開口パターンの変更は、開口パターンに対応した光学部材を撮影レンズの光路中に挿抜したり、開口パターンを電気的に変更可能な液晶シャッタを用いたりすることで実現できる。

本発明の第４の態様に係る撮像装置は第１から第３の態様のいずれかにおいて、生成した複数の画像に基づいて被写体の距離情報を取得する距離情報取得手段を備える。このようにして取得した距離情報は、被写体の３次元形状の測定等に利用できる。なお第４の態様において、取得した距離情報に基づき距離画像を生成するようにしてもよい。

本発明の第５の態様に係る撮像装置は第４の態様において、画像生成手段は取得した距離情報と取得した複数の画像とから全焦点画像を生成する。このようにして生成（復元）した全焦点画像は上述した距離情報と同様に、被写体の３次元形状の測定等、測量・計測分野や画像処理の分野で広く利用することができる。

本発明の第６の態様に係る撮像装置は第１から第５の態様のいずれかにおいて、複数の領域の内少なくとも一つの領域の焦点距離を変更する焦点距離変更手段を備える。第６の態様では焦点距離の変更により被写体に合わせて所望の焦点距離の画像を取得することができる。なお第６の態様において焦点距離の変更は、焦点距離変更用レンズを光軸方向に移動したり撮影レンズの光路中に挿抜したりする等、種々の手法により実現することができる。

本発明の第７の態様に係る撮像装置は第１から第６の態様のいずれかにおいて、複数の領域の内少なくとも一つの領域の合焦距離を変更する合焦距離変更手段を備える。第７の態様では合焦距離の変更により、被写体に合わせて所望の合焦距離の画像を取得することができる。なお第７の態様において合焦距離の変更は、焦点距離変更の場合と同様に合焦距離変更用レンズを光軸方向に移動したり撮影レンズの光路中に挿抜したりする他、撮影レンズ全体を光軸方向に移動する等、種々の手法により実現することができる。

本発明の第８の態様に係る撮像装置は第１から第７の態様のいずれかにおいて、撮影レンズは物理的に分離した２枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域は、２枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する。上述のように本発明に係る撮像装置において撮影レンズは複数枚のレンズで構成されていてもよく、第８の態様はそのような複数枚のレンズからなる撮影レンズの一態様を示すものである。第８の態様における撮影レンズとしては例えば、複数の領域にそれぞれ対応する複数枚のレンズを光軸方向位置を離間させて配置し、当該複数枚のレンズがそれぞれ独立した焦点距離を有するようなレンズが挙げられる。

以上説明したように本発明に係る撮像装置によれば、符号化開口撮影を迅速かつ容易に行うことができる。

図１は、撮像装置１０の要部構成を示すブロック図である。 図２は、符号化開口１１の例を示す図である。 図３は、撮影レンズ１２の正面図である。 図４は、撮像素子１６における光束の選択的な受光の様子を示す図である。 図５は、撮像素子１６における受光セルの配置の例を示す図である。 図６は、ＣＰＵ４０の機能構成を示す図である。 図７は、撮像装置１０における画像取得の様子を示す図である。 図８は、撮像装置１０で取得した画像の例を示す図である。 図９は、撮像装置１０における全焦点画像の例を示す図である。 図１０は、撮影レンズが２枚以上のレンズから構成される場合の例を示す図である。

以下、添付図面に従って本発明に係る撮像装置を実施するための形態について詳細に説明する。

＜撮像装置の構成＞
図１は撮像装置１０の要部構成を示すブロック図である。撮像装置１０の装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御され、ＣＰＵ４０の動作に必要なプログラム（後述する撮像処理や画像生成・合成処理、合焦距離の変更等に用いるプログラムを含む）やパラメータは、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）４６に記憶されている。

撮像装置１０には、レリーズボタンの他モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて、後述するように撮像装置１０の各回路を制御する。

レリーズボタンは撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画／動画撮影モード、マニュアル／オート撮影モード、及び撮影シーン等を選択する手段である。

再生ボタンは、撮影記録した画像の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うための機能と、選択内容の確定及び実行などを指令する機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、カーソル移動操作手段やズームスイッチ、再生モード時のコマ送りボタン等として機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。これらのボタンやキーは、画像抽出や合成処理の際に必要な操作にも用いることができる。

撮影モード時において、被写体を示す画像光は、撮影レンズ１２（撮影レンズ）、符号化開口１１を介して固体撮像素子（撮像素子：以下「ＣＣＤ」という）１６の受光面に結像される。図２は、符号化開口１１の例を示す図である。符号化開口は液晶シャッタ１１−１において光束を透過させる部分と遮光する部分（図２の斜線部分）のパターンとして設定され、本実施形態ではユーザが操作部３８を操作するとＣＰＵ４０の開口パターン変更機能ｆ２（後述）が液晶シャッタ１１−１を制御し、これにより開口パターン（およびこれに応じたＰＳＦ）を変更できるようになっている。符号化開口１１のパターンは被写体の種類や距離等の条件、復元処理の容易さ・正確さ等を考慮して設定／変更してよく、また撮影レンズ１２の領域によらず同じパターンにしてもよいし、領域ごとに異なるパターンにしてもよい。図２は、撮影レンズ１２の領域に対応して符号化開口１１が異なるパターンの符号化開口１１ａ（図２の下半分），１１ｂ（図２の上半分）から構成される場合（従って各領域のＰＳＦが異なる場合）の例である。

なお本実施の形態では液晶シャッタ１１−１により開口パターンを変更するようにしているが、異なるパターンの符号化開口が複数配列された光学部材を適宜移動・回転して撮影レンズ１２の光軸上に配置することでパターンを変更するようにしてもよい。開口パターンの変更を行わない場合は、開口パターン変更機能ｆ２及び液晶シャッタ１１−１に代えて特定の開口パターンを有する光学部材を固定的に設けてもよい。

本実施の形態において、符号化開口１１を撮影レンズ１２の前焦点面に配置し、符号化開口１１と撮影レンズ１２とＣＣＤ１６とでテレセントリック光学系を構成するようにしてもよい。ただし本発明において符号化開口１１と撮影レンズ１２とＣＣＤ１６との配置はそのような態様に限られるものでなく、符号化開口１１を前焦点面以外の位置（撮影レンズ１２の後方を含む）に配置してもよい。

図３は、撮影レンズ１２の外観図である。撮影レンズ１２は、合焦距離が長い領域（以下、遠合焦領域という）１２ａと、遠合焦領域１２ａより短い合焦距離を有する領域（以下、近合焦領域という）１２ｂと、を有し、図３に示すように正面から見て半月型の領域がレンズ中心Ｏ１の上下に設けられており、下部から順に遠合焦領域１２ａ、近合焦領域１２ｂ、となっている。遠合焦領域１２ａ、近合焦領域１２ｂの領域の合焦距離は、他の領域の合焦距離から独立である。このような領域により特性が独立した撮影レンズは、領域ごとに素材や形状を変えることで実現できる。

なお撮影レンズ１２において各領域の焦点距離は等しいものとするが、本発明の撮像装置において撮影レンズの各領域の特性はこのような条件に限定されるものではなく、各領域間で合焦距離と焦点距離との内少なくとも一方が独立していれば、具体的な値は同じであっても異なっていてもよい。またこれらの領域において、合焦距離や焦点距離の具体的な値は撮影目的等に合わせて設定してよい。

なお図３の例では各領域を半月型に形成しているが、レンズ中心に配置した円形の領域とその周辺の円環状の領域（いずれかが遠合焦領域、他方が近合焦領域）とを形成するようにしてもよい。また図３の例では遠合焦領域１２ａ、近合焦領域１２ｂの面積を等しくしているが、これら領域の面積比は光学系の特性や撮影目的・撮影条件等に応じて上記と異なる比率に設定してもよい。また領域数は２に限らず３以上でもよい。

撮影レンズ１２の遠合焦領域１２ａ、近合焦領域１２ｂを通過した光束は、ＣＣＤ１６の各フォトセンサに入射する。図４に示すようにＣＣＤ１６は、撮影レンズ１２の遠合焦領域１２ａを通過した光束を受光する遠画像用受光セル１６ａと、近合焦領域１２ｂを通過した光束を受光する近画像用受光セル１６ｂとを有する。受光セル１６ａ，１６ｂは、マイクロレンズＭＬ、及び受光部１７の前面に設けられた遮光膜１８ａ，１８ｂにより遠合焦領域１２ａ、近合焦領域１２ｂを通過した光束をそれぞれ選択的に受光するようになっており、そのため遮光膜１８ａ，１８ｂはそれぞれ異なる形状をしている。なお受光部１７の前面に遮光膜を設ける代わりに、マイクロレンズＭＬの前面に遮光部材や液晶シャッタを設けるようにしてもよい。

受光セル１６ａ，１６ｂの数の比は、受光セル１６ａ，１６ｂに対応する合焦領域１２ａ，１２ｂの面積比と略等しくなるようにすることが好ましい。図５は撮像素子１６における受光セルの配置例であり、本実施形態では遠合焦領域１２ａと近合焦領域１２ｂの面積が等しいので、受光セル１６ａ，１６ｂの数も等しくなっている。受光セル１６ａ，１６ｂは生成された画像において特定の領域や方向で画質が劣化しないように配置することが好ましく、複数の領域のそれぞれに対応したセルが混在することによる画素データの欠落を、補間等により適宜補うことが好ましい。

ＣＰＵ４０は、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０に加えられる。

アナログ信号処理部２０は、ＣＣＤ１６から出力された電圧信号に対して相関二重サンプリング処理により各画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２１に加える。Ａ／Ｄ変換器２１は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。なおＣＣＤ１６に代えてＭＯＳ型撮像素子を用いることができるが、その場合Ａ／Ｄ変換器２１は撮像素子内に内蔵されていることが多く、また上記相関二重サンプリングは必要としない。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれており、１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられ、画像データが書き換えられている領域以外の領域から、書き込まれた画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされて液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０に表示される。液晶モニタ３０はタッチパネルを採用しており、取得した画像を表示すると共に、画面を介したユーザの操作が可能になっている。

また、操作部３８のレリーズボタンの第１段階の押下（半押し）があると、ＣＰＵ４０はＡＥ動作を開始する。また、レリーズボタンの半押し時にＡ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＣＰＵ４０は、ＡＥ検出部４４から入力するＧ信号の積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいてＣＣＤ１６の電子シャッタ（シャッタスピード）を決定し、その結果に基づいてＣＣＤ１６での電荷蓄積時間を制御する。

ＡＥ動作が終了し、レリーズボタンの第２段階の押下（全押し）があると、その押下に応答して遠合焦領域１２ａ，近合焦領域１２ｂに対応した画像データがＡ／Ｄ変換器２１から出力されて画像入力コントローラ２２からメモリ(SDRAM)４８に入力され、一時的に記憶される。

メモリ４８への一時記憶後、デジタル信号処理部２４におけるＹＣ処理等の信号処理や圧縮伸張処理部２６でのJPEG (joint photographic experts group)形式への圧縮処理等を経て画像ファイルが生成され、それらの画像ファイルは、メディア・コントローラ５２により読み出されてメモリカード５４に記録される。メモリカード５４に記録された画像は、操作部３８の再生ボタンを操作することにより液晶モニタ３０で再生表示することができる。

＜ＣＰＵの機能構成＞
撮像装置１０では後述するように撮影レンズ１２の合焦距離制御や画像の生成・合成を行うが、このような処理は主としてＣＰＵ４０の制御により行われる。図６はそのような処理を行うためのＣＰＵ４０の機能を示す機能ブロック図であり、ＣＰＵ４０は画像生成機能ｆ１（画像生成手段）、開口パターン変更機能ｆ２（開口パターン変更手段）、及び距離情報取得機能ｆ３（距離情報取得手段）を有している。以下、各機能の概略を説明する。

画像生成機能ｆ１は、ＣＣＤ１６から出力される撮像信号を用いて撮影レンズ１２の各領域に対応した画像を生成するとともに、それらの画像から全焦点画像を生成する機能である。画像生成機能ｆ１はまた、距離情報取得機能ｆ３により取得された距離情報から距離画像を生成する。

開口パターン変更機能ｆ２は上述のように、液晶シャッタ１１−１を制御して符号化開口１１の開口パターンを変更する機能である。

距離情報取得機能ｆ３は、画像生成機能ｆ１により取得された画像から被写体の距離情報を取得する機能である。

＜画像取得＞
次に、撮像装置１０での多合焦画像取得について説明する。図７は、撮影レンズ１２の遠合焦領域１２ａ，近合焦領域１２ｂに対応する画像ｉ１，ｉ２（符号化開口画像）の取得の様子を示す図であり、各参照符号の示す内容は以下の通りである。

ａ１，ａ２ ：遠合焦領域１２ａ，近合焦領域１２ｂのレンズ−受光面間距離
ｂ１，ｂ２ ：遠合焦領域１２ａ，近合焦領域１２ｂのレンズ−被写体間距離
ＦＤ１，ＦＤ２：遠合焦領域１２ａ，近合焦領域１２ｂの合焦距離
Ｑ１，Ｑ２ ：被写体
従って図７の状況において、距離ｂ１にある被写体Ｑ１は遠合焦領域１２ａで合焦し、距離ｂ２にある被写体Ｑ２は近合焦領域１２ｂで合焦する。図８は図７の状況において各合焦領域で取得した画像ｉ１，ｉ２の例である。図８(ａ)に示す画像ｉ１は遠合焦領域１２ａで取得した画像を示し、距離ｂ１にある被写体Ｑ１が合焦し、距離ｂ１と異なる距離ｂ２にある被写体Ｑ２は距離ｂ１，ｂ２の差に応じてボケている。一方図８(ｂ)に示す画像ｉ２は近合焦領域１２ｂで取得した画像を示し、距離ｂ２にある被写体が合焦し、距離ｂ２と異なる距離ｂ１にある被写体Ｑ１は距離ｂ２，ｂ１の差に応じてボケている。

このように本実施の形態に係る撮像装置１０では、符号化開口１１と、撮影レンズ１２と、選択的受光が可能な受光セル１６ａ，１６ｂを備えたＣＣＤ１６とにより複数のＰＳＦで符号化開口撮影を行い、ボケ具合（合焦状態）が異なる複数の画像ｉ１，ｉ２を同時に取得できる。複数の画像を同時に取得できるので撮影に手間や時間を要さず、また画像間で撮影タイミングにずれが生じることもない。また上述のように開口パターン変更機能ｆ２及び液晶シャッタ１１−１により開口パターンを変更することで、被写体の種類や撮影目的に合わせた所望の開口パターン（およびこれに応じたＰＳＦ）で画像を取得できる。なお以上の説明では画像が静止画・動画のいずれであるかは特に限定していないが、静止画・動画のいずれも撮影することができる。動画を撮影する場合でも領域間で撮影タイミングがずれることがなく良好な画質の画像が得られ、その後の画像処理にも有利である。

以上説明したように、撮像装置１０では符号化開口撮影を迅速かつ容易に行い複数の画像を良好な画質で取得することができる。

さらに撮像装置１０ではＣＰＵ４０の距離情報取得機能ｆ３により画像ｉ１，ｉ２から被写体の距離情報を取得し、画像生成機能ｆ１により画像ｉ１，ｉ２と距離情報とから両被写体Ｑ１，Ｑ２が合焦した画像（全焦点画像）や距離画像を得ることができる。図９はそのようにして生成した全焦点画像ｉ３の例である。画像ｉ１〜ｉ３及び距離情報（距離画像）は、被写体の３次元形状測定や他の画像との合成等様々な分野で利用可能である。

なお撮像装置１０において、被写体の距離情報は種々の方法で算出することができる。特開２０１１−１２４７１２号に記載されているように受光センサの位相差情報を利用して算出するようにしてもよいし、異なるレンズ位置で取得された複数の撮像信号のコントラストを比較することにより算出するようにしてもよく、種々の方式を用いることができる。同様に、全焦点画像も種々の方法で取得することができる。距離情報や全焦点画像の取得方法が記載された文献としては、例えば“Coded Aperture Pairs for Depth from Defocus and Defocus Deblurring (Changyin Zhou, Stephen Lin, and Shree Nayar; International Journal of Computer Vision (IJCV), Volume 93, Number 1, Pages 53-72, 2011)”，”Programmable Aperture Camera Using LCoS (Hajime Nagahara, Changyin Zhou, Takuya Watanabe, Hiroshi Ishiguro, and Shree Nayar; ECCV 2010)”，“Coded Aperture Pairs for Depth from Defocus (Changyin Zhou, Stephen Lin, and Shree Nayar); ICCV 2009”等の論文が挙げられる。

＜撮像装置の変形例＞
上述した実施形態では撮影レンズが図３に示すようなレンズである場合について説明したが、本発明に係る撮像装置において撮影レンズはこのような態様に限定されるものではない。図１０は撮影レンズの他の態様を示す図である。図１０に示す撮影レンズ１２’は物理的に分離した２枚以上のレンズからなる撮影レンズであって、撮影レンズの複数の領域が、２枚以上のレンズの組合せに対応してそれぞれ独立した特性（合焦距離と焦点距離との内少なくとも一方）を有するレンズである。撮影レンズ１２’では図１０(ａ)に示すように、正面から見て半月型の領域がレンズ中心Ｏ１’の上下に設けられており、下部から順に遠合焦領域１２ａ’、近合焦領域１２ｂ’、となっている。そしてこれら２つの焦点領域が物理的に分離した２枚のレンズとして作用し、全体として撮影レンズ１２’を構成する。これらの領域において、焦点距離の具体的な値は撮影目的等に合わせて設定してよい。なお図１０(ｂ)に示すように、遠合焦領域１２ａ’，近合焦領域１２ｂ’は光軸方向の異なる位置に配置してよい。

また本発明に係る撮像装置において、撮影レンズの特性（合焦距離と焦点距離との内少なくとも一方）を変更できるようにしてもよい。特性の変更は例えば、撮影レンズ全体の移動や、複数のレンズで構成した撮影レンズの内一部のレンズを移動する等、種々の手法で実現できる。また図１０に示すような２枚以上のレンズからなる撮影レンズの内いずれかのレンズを回転・移動させるようにしてもよい。このようなレンズの移動や回転は撮影者によるレンズ鏡筒の回転に応じて行われるようにしてもよいし、ＣＰＵ４０がモータやＰＺＴ（ピエゾ素子）を制御して行われるようにしてもよい。このように撮影レンズの特性を変更することで、所望の特性及びその組み合わせで、複数の画像を同時に取得することができる。なおこのように撮影レンズ（またはその一部）を移動・回転させて合焦距離や焦点距離を変更する場合は、ＣＰＵ４０が焦点距離／合焦距離変更機能ｆ４を有し、また撮像装置がモータ・ドライバ等により構成されるレンズ駆動部を備えるようにする。

以上本発明の一の実施形態により説明したが、本発明の実施の態様は上記実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０…撮像装置、１１…符号化開口、１１−１…液晶シャッタ、１２，１２’ …撮影レンズ、１２ａ，１２ａ’ …遠合焦領域、１２ｂ，１２ｂ’ …近合焦領域、１６…固体撮像素子（ＣＣＤ）、１６ａ…遠画像用受光セル、１６ｂ…近画像用受光セル、１８ａ，１８ｂ…遮光膜、３０…液晶モニタ、３８…操作部、４０…ＣＰＵ、４６…ＥＥＰＲＯＭ、４８…メモリ、５４…メモリカード、ａ１，ａ２…レンズ−受光面間距離、ｂ１，ｂ２…レンズ−被写体間距離、ＦＤ１，ＦＤ２…合焦距離、Ｑ１，Ｑ２…被写体、ｉ１〜ｉ３…画像

Claims (8)

1. 複数の領域を有する撮影レンズであって、当該複数の領域がそれぞれ独立した特性を有する撮影レンズと、
   前記複数の領域のそれぞれに対応して設けられた符号化開口と、
   前記複数の領域のそれぞれに対応して設けられた複数の受光センサであって、前記複数の領域のいずれかと当該いずれかの領域に対応する符号化開口とを通過した光束を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、
   前記複数の受光センサの撮像信号から前記複数の領域のそれぞれに対応する複数の画像を生成する画像生成手段と、
   を備え、
   前記特性は焦点距離と合焦距離とのうち少なくとも一方である、
   撮像装置。
2. 前記複数の領域はそれぞれ異なる符号化開口のパターンを有する、請求項１に記載の撮像装置。
3. 前記符号化開口のパターンを変更する開口パターン変更手段を備える、請求項１または２に記載の撮像装置。
4. 前記生成した複数の画像に基づいて被写体の距離情報を取得する距離情報取得手段を備える、請求項１から４のいずれか１項に記載の撮像装置。
5. 前記画像生成手段は前記取得した距離情報と前記取得した複数の画像とから全焦点画像を生成する、請求項４に記載の撮像装置。
6. 前記複数の領域の内少なくとも一つの領域の焦点距離を変更する焦点距離変更手段を備える、請求項１から５のいずれか１項に記載の撮像装置。
7. 前記複数の領域の内少なくとも一つの領域の合焦距離を変更する合焦距離変更手段を備える、請求項１から６のいずれか１項に記載の撮像装置。
8. 前記撮影レンズは物理的に分離した２枚以上のレンズからなる撮影レンズであって、当該撮影レンズの複数の領域は、前記２枚以上のレンズの組合せに対応してそれぞれ独立した特性を有する、請求項１から７のいずれか１項に記載の撮像装置。

Images