JP2016051011A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】簡素な処理構成によって、光学系間における撮影光の干渉の影響を実際の撮影状況に応じて低減することができる撮像装置及び撮像方法を提供する。
【解決手段】撮像装置３０は、独立した特性を有する第１の光学系２１及び第２の光学系２２を含む撮影光学系１１と、第１の光学系２１及び第２の光学系２２のうち対応の光学系を通過した光を瞳分割して受光する複数の受光センサ２５ａ、２５ｂを有する撮像素子２４と、第１の光学系２１に対応する受光センサ２５ａから出力される撮像信号から第１の撮影画像を生成し、第２の光学系２２に対応する受光センサ２５ｂから出力される撮像信号から第２の撮影画像を生成する画像生成部３６と、第１の光学系２１及び第２の光学系２２の各々のフォーカス状態を独立して調整するフォーカス調整部３２と、重要度情報に基づいてフォーカス調整部３２を制御するフォーカスコントローラ３４とを備える。
【選択図】図１１

Description

本発明は、光学特性が異なる複数種類の光学系を使って撮影を行う撮像装置及び撮像方法に係り、特に光学系間における撮影光の干渉（クロストーク）によって低下しうる撮影画像の画質を改善する技術に関する。

撮像装置の技術分野では、撮影条件を変えて撮影を複数回行ったり、複数の特性を有する光学系を用いて撮影を行ったりすることで、複数種類の画像を取得する技術が知られている。

例えば特許文献１は、曲率半径が異なる多重曲率面を有する多重曲率レンズと単一曲率レンズとを含む撮像レンズ群を介してイメージセンサ上に結像されて取得される画像（イメージ）の復元処理を行うことにより、様々な物体距離の画像を取得する光学システムを開示する。また特許文献２は、使用レンズの内側領域及び外側領域の曲率に基づく全系の焦点距離と、入射瞳面上の面積とを調整することで、可動部無しで、距離が異なる二つの物点を同時に撮像する撮像光学系を開示する。

また特許文献３は、上述のような多彩な光学特性を有するレンズを使って撮影した画像の画質を改善することができる撮像装置を開示する。この撮像装置では、多様レンズと指向性センサとが組み合わされ、瞳分割が利用されて焦点距離及び合焦距離のうち少なくともいずれか一方が異なる複数の撮影画像が取得される。この撮像装置によれば、撮影レンズの複数領域のうちの「一の領域」に対応して生成された画像から、この「一の領域」以外の領域を通過した光束の影響が除去される。

特開２００７−１２２０５５号公報 特開２００３−２７０５２６号公報 国際公開第２０１３／１４６５０６号

上述のように、光学特性の異なる複数種類の光学系を使って複数種類の画像の撮影を同時的に行う場合、画像相互間で撮影光が混入することで画質が低下することがある。特に瞳分割を利用した撮影では、瞳選択特性（光分離性）が良好ではないと、複数種類の画像の成分が混在する多重画像が生成される。

そのような画像において不要成分の影響を低減する手法が上述の特許文献３には開示されているが、画像相互間で混入した撮影光の影響を完全に除去することは非常に難しい。特に、使用するイメージセンサの線形性が悪いケース、イメージセンサに受光される撮影光の強度が強過ぎたり又は弱過ぎたりするケース、イメージセンサの隣接画素に画像光（撮像信号）が漏れているケース、或いは被写体像が鋭いエッジ（輪郭）成分を持つケースでは、特許文献３に開示されているような画像処理の処理強度を強くすると、混入した撮影光が却って強調されてしまい画質が十分に改善されないことがある。

また光学系間における撮影光の干渉（クロストーク）の影響を低減及び除去する画像処理を行う際には、そのような画像処理に必要な演算時間（処理時間）、コスト及び画像処理回路や画像処理プログラムの実装に伴うシステム上の影響を考慮する必要がある。例えば演算処理に長時間を要したり、画像処理を実現するためのコストが高かったり、画像処理回路や画像処理プログラムの実装が面倒だったりすることは、そのような画像処理の実現を阻害する要因となり好ましくない。

したがって光学系間における撮影光の干渉の影響を低減するための新たな技術が、従来の技術とは異なる観点から提案されることが望まれている。特に、実際の撮影の際に求められる画像の種類及び画質の程度は状況に応じて変化しうるものであるため、実際の撮影状況に適応した簡素な構成の画質改善技術が新たに提案されることが望まれている。

本発明は上述の事情に鑑みてなされたものであり、簡素な処理構成によって、光学系間における撮影光の干渉の影響を実際の撮影状況に応じて低減することができる撮像手法及びその応用技術を提供することを目的とする。

本発明の一態様は、相互に独立した特性を有する第１の光学系及び第２の光学系を含む撮影光学系と、第１の光学系及び第２の光学系の各々に対応して設けられる複数の受光センサであって、第１の光学系及び第２の光学系のうち対応の光学系を通過した光を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、第１の光学系に対応する受光センサから出力される撮像信号から第１の撮影画像を生成し、第２の光学系に対応する受光センサから出力される撮像信号から第２の撮影画像を生成する画像生成部と、第１の光学系及び第２の光学系の各々のフォーカス状態を独立して調整するフォーカス調整部と、第１の撮影画像及び第２の撮影画像の重要度を示す重要度情報を取得し、重要度情報に基づいてフォーカス調整部を制御するフォーカスコントローラと、を備える撮像装置に関する。

本態様によれば、重要度情報に基づいて、第１の光学系及び第２の光学系の各々のフォーカス状態を独立して調整することができる。そのため、実際の撮影状況に応じて重要度情報が定められることで、第１の光学系及び第２の光学系の各々のフォーカス状態を実際の撮影状況に応じて調整することができる。一方、瞳分割方式を採用する本態様の撮像装置では、第１の光学系及び第２の光学系の各々のフォーカス状態を調整することで、光学系間における撮影光の干渉の影響をコントロールすることができる。したがって本態様によれば、実際の撮影状況に応じて定められる重要度情報を用いることで、光学系間における撮影光の干渉の影響を実際の撮影状況に応じて低減することが可能になる。また本態様では、特別なハードウェアを追加する必要がないだけではなく複雑な演算処理も必要とされないため、簡素な処理構成によって、光学系間における撮影光の干渉の影響を実際の撮影状況に応じて低減することが可能である。

なお重要度情報の具体的な内容は特に限定されず、「第１の撮影画像及び第２の撮影画像のうちいずれの撮影画像の方が重要か」を直接的に示す情報であってもよいし、間接的に示す情報であってもよい。

ここでいう「相互に独立した特性を有する第１の光学系及び第２の光学系」とは、例えば異なる光学特性を有する第１の光学系及び第２の光学系によって具体化可能である。すなわち、ここでいう「相互に独立した」という表現は「（相互に）異なる」という意味を包含する概念であり、またここでいう「特性」という表現は「光学特性」という意味を包含する概念である。

望ましくは、フォーカスコントローラは、第１の撮影画像の方が第２の撮影画像よりも重要度が高いことを重要度情報が示す場合には、フォーカス調整部を制御して第２の光学系をデフォーカス状態とし、第２の撮影画像の方が第１の撮影画像よりも重要度が高いことを重要度情報が示す場合には、フォーカス調整部を制御して第１の光学系をデフォーカス状態とする。

本態様によれば、第１の撮影画像の方が第２の撮影画像よりも重要度が高い場合には第２の光学系がデフォーカス状態とされ、第２の撮影画像の方が第１の撮影画像よりも重要度が高い場合には第１の光学系がデフォーカス状態とされる。このように第１の光学系及び第２の光学系のフォーカス状態をコントロールすることで、第１の撮影画像及び第２の撮影画像のうち重要度の低い方の撮影画像の高周波成分が低減される。このように重要度の低い方の撮影画像は視認性の高い高周波成分が低減されることで、第１の光学系と第２の光学系との間で撮影光が干渉しても、重要度の低い方の撮影画像が重要度の高い方の撮影画像に及ぼす視覚上の影響を効果的に抑制することができる。

望ましくは、第１の光学系のデフォーカス状態は、フォーカスコントローラがフォーカス調整部を制御して、第１の光学系の点像分布関数の半値全幅を複数の受光センサの画素ピッチ以上とすることにより実現され、第２の光学系のデフォーカス状態は、フォーカスコントローラがフォーカス調整部を制御して、第２の光学系の点像分布関数の半値全幅を複数の受光センサの画素ピッチ以上とすることにより実現される。

本態様によれば、第１の光学系のデフォーカス状態及び第２の光学系のデフォーカス状態が、第１の光学系及び第２の光学系の点像分布関数の半値全幅を受光センサの画素ピッチ以上に調整することにより実現される。これにより、第１の撮影画像及び第２の撮影画像のうち、重要度の低い方の撮影画像の高周波成分を効果的に低減することができる。

望ましくは、撮像装置は、ユーザからの指示情報を取得する指示情報取得部を更に備え、フォーカスコントローラは、指示情報取得部が取得したユーザからの指示情報に基づいて重要度情報を取得する。

本態様によれば、ユーザからの指示情報に基づいて重要度情報を定めることができる。したがって、例えばユーザが実際の撮影状況を判断し、第１の撮影画像及び第２の撮影画像のうちいずれの撮影画像の方が重要か否かを決定して重要度情報を定めることが可能である。

望ましくは、撮像装置は、撮影シーンを解析するシーン解析部を更に備え、フォーカスコントローラは、シーン解析部による解析結果に基づいて重要度情報を取得する。

本態様によれば、実際の撮影シーンに応じて重要度情報を定めることができる。

望ましくは、シーン解析部は、第１の撮影画像及び第２の撮影画像のうちの少なくともいずれか一方に基づいて撮影シーンにおける追尾対象を検出して追尾対象の経時的な挙動を解析し、フォーカスコントローラは、シーン解析部によって解析される追尾対象の経時的な挙動に基づいて重要度情報を取得する。

本態様によれば、追尾対象の経時的な挙動に基づいて重要度情報を定めることができる。なお、追尾対象の決め方は特に限定されず、任意の手法によって追尾対象を決定することが可能である。

望ましくは、撮像装置は、第１の撮影画像及び第２の撮影画像の補正を行う画像補正部であって、第１の撮影画像における第２の光学系を通過した光の影響を低減し、第２の撮影画像における第１の光学系を通過した光の影響を低減する画像補正部を更に備える。

本態様によれば、第１の撮影画像及び第２の撮影画像において、本来意図していない光学系を通過した光の影響を低減し、画質を向上させることができる。

望ましくは、画像補正部は、第１の撮影画像及び第２の撮影画像の検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づいて補正を行う。

本態様によれば、検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正によって、第１の撮影画像及び第２の撮影画像の画質を向上させることができる。

なお検出ゲイン分布及び混信ゲイン分布は、第１の光学系を通過した撮影光及び第２の光学系を通過した撮影光の各々に関する分布情報である。検出ゲイン分布は、本来意図した受光センサによって適切に受光された撮影光の分布（情報データ）を示す。例えば「第１の光学系を通過した撮影光のうち、第１の光学系に対応する受光センサによって受光される撮影光の分布（情報データ）」及び「第２の光学系を通過した撮影光のうち、第２の光学系に対応する受光センサによって受光される撮影光の分布（情報データ）」によって検出ゲイン分布が表される。一方、混信ゲイン分布は、本来意図していない受光センサによって不適切に受光された撮影光の分布（情報データ）を示す。例えば「第１の光学系を通過した撮影光のうち、第２の光学系に対応する受光センサによって受光される撮影光の分布（情報データ）」及び「第２の光学系を通過した撮影光のうち、第１の光学系に対応する受光センサによって受光される撮影光の分布（情報データ）」によって混信ゲイン分布が表される。

望ましくは、第１の光学系及び第２の光学系は、焦点距離及び合焦距離のうち少なくとも一方が異なる。

本態様によれば、焦点距離及び合焦距離のうち少なくとも一方が異なる第１の光学系と第２の光学系との間で生じる撮影光の干渉の影響を、実際の撮影状況に応じて低減することができる。

望ましくは、第２の光学系は、第１の光学系の周辺に設けられ、第１の光学系と同一の光軸を有する。

本態様によれば、例えば同心円を形成するように配置される第１の光学系と第２の光学系との間で生じる撮影光の干渉の影響を、実際の撮影状況に応じて低減することができる。

望ましくは、一体的に設けられる撮影光学系の複数の領域のうち、第１の領域が第１の光学系によって構成され、第２の領域が第２の光学系によって構成される。

本態様によれば、一体的に設けられる第１の光学系と第２の光学系との間で生じる撮影光の干渉の影響を、実際の撮影状況に応じて低減することができる。

本発明の他の態様は、相互に独立した特性を有する第１の光学系及び第２の光学系を含む撮影光学系と、第１の光学系及び第２の光学系の各々に対応して設けられる複数の受光センサであって、第１の光学系及び第２の光学系のうち対応の光学系を通過した光を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、第１の光学系に対応する受光センサから出力される撮像信号から第１の撮影画像を生成し、第２の光学系に対応する受光センサから出力される撮像信号から第２の撮影画像を生成する画像生成部と、第１の光学系及び第２の光学系の各々のフォーカス状態を独立して調整するフォーカス調整部とを備える撮像装置における撮像方法であって、第１の撮影画像及び第２の撮影画像の重要度を示す重要度情報を取得するステップと、重要度情報に基づいてフォーカス調整部を制御するステップと、を含む撮像方法に関する。

本発明によれば、実際の撮影状況に応じて重要度情報が定められることで、瞳分割を利用した簡素な処理構成によって、光学系間における撮影光の干渉の影響を実際の撮影状況に応じて低減することができる。

図１は、本発明を適用可能なデジタルカメラ（撮像装置）の一例を示す斜視図である。 図２は、本発明を適用可能な自動追尾撮像装置（撮像装置）の一例を示す斜視図である。 図３は、第１実施形態に係る撮影光学系の断面構成を示す。 図４は、図３に示す撮像素子の具体的な断面構成例を示す図である。 図５は、図３に示す撮影光学系（特に第１の光学系）及び撮像素子（特に第１の撮像素子（図４参照））に入射する広角画像光の光路を示す図である。 図６は、図３に示す撮影光学系（特に第２の光学系）及び撮像素子（特に第２の撮像素子（図４参照））に入射する望遠画像光の光路を示す図である。 図７は、第１の光学系と第２の光学系との間における撮影光の干渉（クロストーク）による画質の低下の影響を受けた広角画像（図７（ａ）参照）及び望遠画像（図７（ｂ）参照）の一例を示す。 図８は、光学系間における撮影光の干渉（クロストーク）のメカニズムを説明するための概略図である。 図９は、第１実施形態に係る撮影画像例を示す図であり、「広角画像のみが必要とされ望遠画像は不要なタイミング」で撮影取得された出力広角画像及び出力望遠画像を示す。 図１０は、第１実施形態に係る撮影画像例を示す図であり、「広角画像は不要で望遠画像のみが必要なタイミング」で撮影取得された出力広角画像及び出力望遠画像を示す。 図１１は、第１実施形態に係る撮像装置の機能構成を示すブロック図である。 図１２は、撮影光学系（レンズ）の一般的な点拡がり現象を説明するための図であり、（ａ）は点光源からの光が撮影光学系を介して撮像素子に到達するシステムの概略を示す断面図であり、（ｂ）は撮像素子によって受光される光の点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を概略的に示す図である。 図１３は、図１２（ｂ）に示す点像分布関数（ＰＳＦ）の半値全幅（ＦＷＨＭ）を説明するための図である。 図１４は、第１実施形態における撮影光学系（第１の光学系及び第２の光学系）のフォーカスコントロール（撮像方法）の一例を示すフローチャートである。 図１５は、真の広角画像、真の望遠画像、出力広角画像、出力望遠画像及び検出ゲイン分布及び混信ゲイン分布によって構成される行列の関係を示す図である。 図１６は、図１５に示す行列式に対して「検出ゲイン分布及び混信ゲイン分布によって構成される行列」の逆行列を適用して得られる行列式を示す図である。 図１７は、図１６の行列式を簡略化して表した行列式を示す。 図１８は、図１７に示す「Ｗ１（真の広角画像の画素成分（画素値））」を構成する要素ｗ１＿１１〜ｗ１＿ｍｎを示す。 図１９は、図１７に示す行列式に基づいて導出される「ｗ１＿ｉｊ」の算出式を示す。 図２０は、図１７に示す行列式に基づいて導出される「ｔ１＿ｉｊ」の算出式を示す。 図２１は、第１実施形態に係る「撮影光学系のフォーカスコントロール」を行わずに第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を行った場合の画像例を示し、（ａ）は広角画像例を示し、（ｂ）は望遠画像例を示す。 図２２は、第１実施形態に係る「撮影光学系のフォーカスコントロール」を行った後に第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を行った場合の画像例を示し、（ａ）は広角画像例を示し、（ｂ）は望遠画像例を示す。 図２３は、第３実施形態に係る撮影光学系の外観図である。 図２４は、第３実施形態に係る撮像素子の一部を示す拡大断面図である。 図２５は、第３実施形態に係る撮影光学系を使用した撮影メカニズムを説明するための図である。 図２６は、本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図２７は、図２６に示すスマートフォンの構成を示すブロック図である。

以下、図面を参照して本発明の実施形態について説明する。

本発明は、複数種類の光学特性を有する撮影光学系を使って複数種類の画像を撮影可能な撮像装置、撮像方法及びそれらの応用技術に対して広く適用可能であり、その適用可能な技術分野は特に限定されない。例えば、ユーザ操作に応じて撮影を行う撮像装置だけではなく、自動的に撮影を行う撮像装置に対しても本発明は適用可能であり、また静止画を撮影する撮像装置だけではなく、動画を撮影する撮像装置に対しても本発明は適用可能である。

図１は、本発明を適用可能なデジタルカメラ１０（撮像装置３０）の一例を示す斜視図である。図１に示す例では、デジタルカメラ１０のカメラ本体の前面に撮影光学系１１及びフラッシュ１３等が設けられ、カメラ本体の上面にレリーズボタン１２等が設けられている。図１の符号「Ｌ」は、撮影光学系１１の光軸を表す。

図２は、本発明を適用可能な自動追尾撮像装置１４（撮像装置３０）の一例を示す斜視図である。図２に示す自動追尾撮像装置１４では、ギア１９を含む保持部１８と保持部１８に取り付けられた撮影光学系１１とが、装置本体１５上に設けられる台座１６に固定的に据え付けられている。台座１６は、装置本体１５の垂直方向Ｚの軸を中心に回転自在に設けられており、図示しないパン駆動部により垂直方向Ｚの軸を中心にしたパン動作が行われる。ギア１９は水平方向Ｘの軸と同軸上に設けられ、図示しないチルト駆動部からギア１９を介して駆動力が伝達されることにより、撮影光学系１１が上下方向に回動させられてチルト動作が行われる。これらの撮影光学系１１、保持部１８（ギア１９）及び台座１６は、防塵及び防滴用のドームカバー１７によって覆われている。

以下に説明する本発明の各実施形態及び各変形例は、例えば図１に示すようなデジタルカメラ１０に対して適用されてもよいし、図２に示すような自動追尾撮像装置１４に対して適用されてもよい。

＜第１実施形態＞
図３は、第１実施形態に係る撮影光学系１１及び撮像素子２４の断面構成を示す図である。

撮影光学系１１は、相互に独立した特性を有する第１の光学系２１及び第２の光学系２２を含み、特に本実施形態では焦点距離の異なる光学系によって第１の光学系２１及び第２の光学系２２が構成される。すなわち本実施形態の撮影光学系１１は、「広角画像撮影レンズ群」によって構成される第１の光学系２１と、「望遠画像撮影レンズ群」によって構成される第２の光学系２２とを含み、撮像素子２４によって広角画像及び望遠画像が同時的に撮影される。

図３に示す第１の光学系２１は、同一の光軸Ｌ上に配置される第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を含む。一方、第２の光学系２２は、第１望遠用レンズ２２ａ、第１望遠用反射ミラー２２ｃが設けられる第１望遠用反射体２２ｂ、第２望遠用反射ミラー２２ｅが設けられる第２望遠用反射体２２ｄ、及び共通レンズ２３を含む。第１の光学系２１（特に第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ及び第４広角用レンズ２１ｄ）が中央光学系を形成する。一方、第２の光学系２２（特に第１望遠用レンズ２２ａ、第１望遠用反射体２２ｂ、第１望遠用反射ミラー２２ｃ、第２望遠用反射体２２ｄ及び第２望遠用反射ミラー２２ｅ）は、第１の光学系２１が形成する中央光学系の周辺部において設けられ、第１の光学系２１が形成する中央光学系とともに同心円を形成する。なお共通レンズ２３は、光軸Ｌ上に配置され、第１の光学系２１と第２の光学系２２との間で共用される。

このように第２の光学系２２は、第１の光学系２１を構成するレンズ群（第１広角用レンズ２１ａ〜第４広角用レンズ２１ｄ及び共通レンズ２３）の周辺に設けられるレンズ群（第１望遠用レンズ２２ａ及び共通レンズ２３）及び反射ミラー群（第１望遠用反射ミラー２２ｃ（第１望遠用反射体２２ｂ）及び第２望遠用反射ミラー２２ｅ（第２望遠用反射体２２ｄ））を含み、第１の光学系２１と同一の光軸Ｌを有するが、第１の光学系２１とは異なる焦点距離を有する。

撮像素子２４は、光軸Ｌと垂直を形成する方向に関し、複数の受光センサ２５が２次元的に配置されることで構成される。特に本実施形態の撮像素子２４は、第１の光学系２１を介して照射される広角画像光と第２の光学系２２を介して照射される望遠画像光とを同時に受光し、広角画像（第１の撮影画像）を生成するための撮像信号と望遠画像（第２の撮影画像）を生成するための撮像信号とを出力可能な指向性センサを構成する。すなわち本実施形態の撮像素子２４は、第１の光学系２１及び第２の光学系２２の各々に対応して設けられる複数の受光センサ２５であって、第１の光学系２１及び第２の光学系２２のうち対応の光学系を通過した光を瞳分割して選択的に受光する複数の受光センサ２５を有する。

図４は、図３に示す撮像素子２４の詳細な断面構成例を示す図である。

本例の撮像素子２４を構成する複数の受光センサ２５は、第１の光学系２１に対応する「広角画像用の第１の受光センサ２５ａ」と、第２の光学系２２に対応する「望遠画像用の第２の受光センサ２５ｂ」とを含み、これらの第１の受光センサ２５ａ及び第２の受光センサ２５ｂは２次元的に交互に配置される。撮像素子２４に含まれる複数の第１の受光センサ２５ａが「第１の光学系２１を経た広角画像光を受光するための第１の撮像素子２４ａ」を構成し、広角画像を生成するための撮像信号を出力する。また撮像素子２４に含まれる複数の第２の受光センサ２５ｂが「第２の光学系２２を経た望遠画像光を受光するための第２の撮像素子２４ｂ」を構成し、望遠画像を生成するための撮像信号を出力する。

第１の受光センサ２５ａ及び第２の受光センサ２５ｂの各々は、マイクロレンズ２６、フォトダイオード２９、及びマイクロレンズ２６とフォトダイオード２９との配置される中間層２７を有する。中間層２７には遮光マスク２８が設けられており、第１の受光センサ２５ａではフォトダイオード２９の受光面の周辺部に遮光マスク２８が配置され、また第２の受光センサ２５ｂではフォトダイオード２９の受光面の中央部に遮光マスク２８が配置される。遮光マスク２８の配置は、第１の光学系２１及び第２の光学系２２のうちのいずれに対応するかに応じて決定され、各遮光マスク２８は、対応しない光学系からの光をブロックする一方で対応する光学系からの光をブロックすることなくフォトダイオード２９に受光させる。

本例では、遮光マスク２８を含む受光センサ２５によって、第１の光学系２１及び第２の光学系２２のうち対応の光学系を通過した光を瞳分割して選択的に受光する複数の受光センサが実現されているが、他の手段によって瞳分割が実現されてもよい。例えば、マイクロレンズ２６の前段（例えばマイクロレンズ２６と共通レンズ２３（図３参照）との間）に遮光マスク２８が設けられてもよいし、遮光マスク２８以外の遮光手段（例えば液晶シャッター等）が用いられてもよい。

なお、中間層２７には遮光マスク２８以外の部材が設けられてもよく、例えばＲＧＢ（赤緑青）等のカラーフィルタや配線・回路類が中間層２７に設けられてもよい。

図５は、図３に示す撮影光学系１１（特に第１の光学系２１）及び撮像素子２４（特に第１の撮像素子２４ａ（図４参照））に入射する広角画像光Ｗの光路を示す図である。本実施形態において広角画像光Ｗは、第１の光学系２１の第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を順次通過し、撮像素子２４上に広角画像が結像する。

図６は、図３に示す撮影光学系１１（特に第２の光学系２２）及び撮像素子２４（特に第２の撮像素子２４ｂ（図４参照））に入射する望遠画像光Ｔの光路を示す図である。本実施形態において望遠画像光Ｔは、第１望遠用レンズ２２ａを通過（透過）し、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射された後に共通レンズ２３を通過し、撮像素子２４上に望遠画像が結像する。このように、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第２の光学系２２の光軸Ｌの方向に関する長さを短くすることができる。

次に、上述の撮影光学系１１及び撮像素子２４によって取得される広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）において生じうる画質の低下について説明する。

図７は、第１の光学系２１と第２の光学系２２との間における撮影光の干渉（クロストーク）による画質の低下の影響を受けた広角画像（図７（ａ）参照）及び望遠画像（図７（ｂ）参照）の一例を示す。

撮影光学系１１及び撮像素子２４において、第１の光学系２１を経て撮像素子２４に到達する広角画像光と第２の光学系２２を経て撮像素子２４に到達する望遠画像光との瞳分割の性能が十分ではない場合、広角画像光と望遠画像光との分離が不十分となって、広角画像と望遠画像とが重畳的に混在した画像が得られる。すなわち、広角画像光のみを受光することが意図された第１の撮像素子２４ａ（第１の受光センサ２５ａのフォトダイオード２９（図４参照））に望遠画像光が漏れ込むと、図７（ａ）に示すように、望遠画像成分の一部が重畳された広角画像が得られる。同様に、望遠画像光のみを受光することが意図された第２の撮像素子２４ｂ（第２の受光センサ２５ｂのフォトダイオード２９（図４参照））に広角画像光が漏れ込むと、図７（ｂ）に示すように、広角画像成分の一部が重畳された望遠画像が得られる。

このように第１の光学系２１を経た撮影光（広角画像光）と第２の光学系２２を経た撮影光（望遠画像光）との間において干渉があると、撮像素子２４を構成する各受光センサ２５の出力には、本来分離されて受光されないはずの画像成分の信号が混ざり込んでしまう。

図８は、光学系間における撮影光の干渉のメカニズムを説明するための概念図である。

図８において符号「Ｉｗ１」は真の広角画像を示し、符号「Ｉｔ１」は真の望遠画像を示す。ここで言う「真の広角画像Ｉｗ１」及び「真の望遠画像Ｉｔ１」は、第１の光学系２１を通過する撮影光と第２の光学系２２を通過する撮影光との間で干渉が起きていない状態で撮影取得される画像である。一方、符号「Ｉｗ２」は第１の撮像素子２４ａ（第１の受光センサ２５ａ）から実際に出力される撮像信号から生成される出力広角画像を示し、「Ｉｔ２」は第２の撮像素子２４ｂ（第２の受光センサ２５ｂ）から実際に出力される撮像信号から生成される出力望遠画像を示す。

図３に示す撮影光学系１１及び撮像素子２４を具備する撮像装置３０（図１及び図２参照）によって広角画像及び望遠画像を撮影する場合に、撮像装置３０（特に撮像素子２４の遮光マスク２８）が十分な瞳分割性能を有していれば、図８に示す真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１を表す撮像信号が撮像素子２４から出力される。しかしながら上述のように、瞳分割性能が十分ではなく広角画像光と望遠画像光との間において干渉がある場合には、図８に示す出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２のように、広角画像及び望遠画像が混在した多重画像を表す撮像信号が第１の撮像素子２４ａ及び第２の撮像素子２４ｂの各々から出力される。

例えば図８に示すように、真の広角画像Ｉｗ１の撮影光のうち、第１の撮像素子２４ａ（第１の受光センサ２５ａ）によって適切に受光される成分を示す分布情報（指標）を「広角検出ゲイン分布Ｄ１」とし、第２の撮像素子２４ｂ（第２の受光センサ２５ｂ）によって不適切に受光される成分を示す分布情報を「広角混信ゲイン分布Ｄ２」とする。また真の望遠画像Ｉｔ１の撮影光のうち、第１の撮像素子２４ａ（第１の受光センサ２５ａ）によって不適切に受光される成分を示す分布情報を「望遠混信ゲイン分布Ｄ３」とし、第２の撮像素子２４ｂ（第２の受光センサ２５ｂ）によって適切に受光される成分を示す分布情報を「望遠検出ゲイン分布Ｄ４」とする。

この場合、真の広角画像Ｉｗ１に対して広角検出ゲイン分布Ｄ１を適用することで得られる広角画像成分であって第１の撮像素子２４ａ（第１の受光センサ２５ａ）に受光される広角画像成分を「真広角画像成分Ｅ１」とする。また真の望遠画像Ｉｔ１に対して望遠混信ゲイン分布Ｄ３を適用することで得られる望遠画像成分であって第１の撮像素子２４ａ（第１の受光センサ２５ａ）に受光される望遠画像成分を「混信望遠画像成分Ｅ２」とする。また真の広角画像Ｉｗ１に対して広角混信ゲイン分布Ｄ２を適用することで得られる広角画像成分であって第２の撮像素子２４ｂ（第２の受光センサ２５ｂ）に受光される広角画像成分を「混信広角画像成分Ｅ３」とする。また真の望遠画像Ｉｔ１に対して望遠検出ゲイン分布Ｄ４を適用することで得られる望遠画像成分であって第２の撮像素子２４ｂ（第２の受光センサ２５ｂ）に受光される望遠画像成分を「真望遠画像成分Ｅ４」とする。

この場合、第１の撮像素子２４ａ（第１の受光センサ２５ａ）から出力される撮像信号によって生成される出力広角画像Ｉｗ２は、真広角画像成分Ｅ１と混信望遠画像成分Ｅ２とを加算して得られる画像に基づく。また第２の撮像素子２４ｂ（第２の受光センサ２５ｂ）から出力される撮像信号によって生成される出力望遠画像Ｉｔ２は、混信広角画像成分Ｅ３と真望遠画像成分Ｅ４とを加算して得られる画像に基づく。

撮像装置の瞳分割性能が優れているほど、広角画像光と望遠画像光とは精度良く分離されて撮像素子２４により受光され、混信望遠画像成分Ｅ２及び混信広角画像成分Ｅ３の成分割合はゼロ（ブランク）に近づき、出力広角画像Ｉｗ２は真の広角画像Ｉｗ１に近づき、出力望遠画像Ｉｔ２は真の望遠画像Ｉｔ１に近づく。一方、撮像装置の瞳分割性能が劣るほど、広角画像光と望遠画像光とは十分に分離されずに撮像素子２４により受光され、混信望遠画像成分Ｅ２及び混信広角画像成分Ｅ３の成分割合は増え、出力広角画像Ｉｗ２において混信望遠画像成分Ｅ２の比重が大きくなり、出力望遠画像Ｉｔ２において混信広角画像成分Ｅ３の比重が大きくなる。

このように光学系間で撮影光の干渉がある場合に撮像素子２４から出力される撮像信号は、真の画像に検出ゲイン分布を適用して得られる画像成分と、別チャンネルの画像に混信ゲイン分布を適用して得られる画像成分とが加算されたものに相当する。このような指向性センサ（撮像素子２４）における混信（クロストーク）により、広角画像及び望遠画像が重なった画像（撮像信号）が出力されるため、瞳分割性能が十分ではない撮像装置からは画質劣化した撮影画像が出力されることとなる。

本件発明者は、上述の事情に鑑みて鋭意研究を重ねた結果、広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）の重要度に応じて、第１の光学系２１及び第２の光学系２２の各々のフォーカス状態を独立して調整することで、光学系間における撮影光の干渉の影響を実際の撮影状況に応じて効果的に低減することができるという知見を得るに至った。

すなわち本実施形態のように広角画像及び望遠画像を同時撮影可能な撮像装置３０において広角画像及び望遠画像の両画像が必要とされる場合には、両画像の各々のピントが合うように撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカスコントロール（合焦制御）が行われる。その一方で、広角画像及び望遠画像を同時撮影可能なカメラを使用した撮影であっても、「広角画像のみが必要とされ望遠画像は不要なタイミング」或いは「広角画像は不要で望遠画像のみが必要なタイミング」がある。

本件発明者は、これらの実際の撮影状況に応じて撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカス状態をコントロールすることで、所望画像の画質低減を効果的に抑制することができることを新たに見いだした。

すなわち「広角画像のみが必要とされ望遠画像は不要なタイミング」では、広角画像を撮影するための第１の光学系２１のフォーカス状態は所望の被写体にピントが合わせられた状態に調整されるが、望遠画像を撮影するための第２の光学系２２のフォーカス状態が意図的にピンボケ状態（デフォーカス状態）に調整される。一方、「広角画像は不要で望遠画像のみが必要なタイミング」では、望遠画像を撮影するための第２の光学系２２のフォーカス状態は所望の被写体にピントが合わせられた状態に調整されるが、広角画像を撮影するための第１の光学系２１のフォーカス状態が意図的にピンボケ状態（デフォーカス状態）に調整される。このように撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカス状態を撮影状況に応じて適応的にコントロールすることで、撮像素子２４（受光センサ２５）に受光される光成分の空間周波数の観点から以下の技術的恩恵がもたらされる。

すなわち、広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）のうち必要とされる画像に関しては、ピントが合わせられた状態で撮影が行われるので、低い空間周波数成分だけではなく高い空間周波数成分まで撮像素子２４（受光センサ２５）に伝達される。そのため、広角画像及び望遠画像のうち必要とされる画像については、エッジ成分等についても視認可能な精細な画像データ（撮像信号）が撮像素子２４（受光センサ２５）から出力される。

一方、広角画像及び望遠画像のうち不要とされる画像に関しては、ピンボケ状態で撮影が行われるので、低い空間周波数成分だけが撮像素子２４（受光センサ２５）に伝達され、高い空間周波数成分は撮像素子２４（受光センサ２５）に伝達されない。そのため、広角画像及び望遠画像のうち不要とされる画像については、視認されやすいエッジ成分等が不鮮明となった状態で撮像素子２４（受光センサ２５）上に結像し、ピンボケ画像のデータ（撮像信号）が撮像素子２４（受光センサ２５）から出力される。

これにより、図８に示すように光学系間で撮影光の干渉が生じて本来意図していない撮影光が各受光センサ２５によって受光される場合であっても、必要とされる画像に対する不要な画像の撮影光の影響を低減することができる。すなわち、撮影光学系１１のフォーカス状態のコントロールによって、不要な画像の撮影光については高い空間周波数成分が撮像素子２４（受光センサ２５）に到達しない。そのため、たとえ必要とされる画像の撮影光が不要な画像の撮影光と干渉しても、「高い空間周波数成分を含まない視認性の低い目立ち難い不要画像成分」が「必要とされる画像の撮影光」に混入することになる。したがって、この撮影光の干渉による「必要とされる画像」の視認性に対する影響は比較的小さいものとなる。

図９は、第１実施形態に係る撮影画像例を示す図であり、「広角画像のみが必要とされ望遠画像は不要なタイミング」で撮影取得された出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２を示す。本例では、広角画像を撮影するための第１の光学系２１のフォーカス状態は所望の被写体（本例では中央部の車両）にピントが合わせられた状態に調整されるが、望遠画像を撮影するための第２の光学系２２のフォーカス状態が意図的にピンボケ状態（デフォーカス状態）に調整されて撮影が行われた。したがって、第１の光学系２１によって伝達される真の広角画像Ｉｗ１は本来的に鮮鋭な画像となるが、第２の光学系２２によって伝達される真の望遠画像Ｉｔ１は本来的にピントがボケた画像となる。そのため、本実施形態において撮像素子２４（特に第１の撮像素子２４ａ）から出力される撮像信号によって生成される出力広角画像Ｉｗ２（必要とされる画像）は、図８に示す従来の出力広角画像Ｉｗ２と比べ、鮮明な画像となる。なお図９に示す出力望遠画像Ｉｔ２は不鮮明な画像となるが、本ケースでは出力望遠画像Ｉｔ２は「不要な画像」であるため、この出力望遠画像Ｉｔ２の鮮明さは実際上問題とならない。

図１０は、第１実施形態に係る撮影画像例を示す図であり、「広角画像は不要で望遠画像のみが必要なタイミング」で撮影取得された出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２を示す。本例では、望遠画像を撮影するための第２の光学系２２のフォーカス状態は所望の被写体（本例では中央部の車両）にピントが合わせられた状態に調整されるが、広角画像を撮影するための第１の光学系２１のフォーカス状態が意図的にピンボケ状態（デフォーカス状態）に調整されて撮影が行われた。したがって、第２の光学系２２によって伝達される真の望遠画像Ｉｔ１は本来的に鮮鋭な画像となるが、第１の光学系２１によって伝達される真の広角画像Ｉｗ１は本来的にピントがボケた画像となる。そのため、本実施形態において撮像素子２４（特に第２の撮像素子２４ｂ）から出力される撮像信号によって生成される出力望遠画像Ｉｔ２（必要とされる画像）は、図８に示す従来の出力望遠画像Ｉｔ２と比べ、鮮明な画像となる。なお図１０に示す出力広角画像Ｉｗ２は不鮮明な画像となるが、本ケースでは出力広角画像Ｉｗ２は「不要な画像」であるため、この出力広角画像Ｉｗ２の鮮明さは実際上問題とならない。

次に、上述の本実施形態に係る撮像装置３０の具体的な機能構成例について説明する。

図１１は、第１実施形態に係る撮像装置３０の機能構成を示すブロック図である。

本例の撮像装置３０は、上述の撮影光学系１１及び撮像素子２４の他に、フォーカス調整部３２、フォーカスコントローラ３４、画像生成部３６、シーン解析部３７、指示情報取得部３８、画像補正部３９、画像記憶部４０、表示コントローラ４２及び表示部４３を有する。

画像生成部３６は、第１の光学系２１に対応する第１の受光センサ２５ａから出力される撮像信号から広角画像（第１の撮影画像）を生成し、第２の光学系２２に対応する第２の受光センサ２５ｂから出力される撮像信号から望遠画像（第２の撮影画像）を生成する。

画像補正部３９は、画像生成部３６によって生成される広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）の補正を行って、所望の画像を生成する。画像補正部３９における画像補正処理は特に限定されず、例えば広角画像及び望遠画像からノイズ成分を除去するための処理及び広角画像及び望遠画像に特殊効果を付加するための処理等が画像補正部３９で行われてもよい。なお、図１１に示す例では画像生成部３６よりも後段に画像補正部３９が設けられているが、画像生成部３６よりも前段に画像補正部３９が設けられていてもよい。

また「画像生成部３６が生成した広角画像及び望遠画像」のデータ及び／又は「画像補正部３９における画像補正処理後の広角画像及び望遠画像」のデータは、画像記憶部４０に記憶されてもよい。

表示コントローラ４２は表示部４３を制御し、「画像生成部３６が生成した広角画像及び望遠画像」及び／又は「画像補正部３９における画像補正処理後の広角画像及び望遠画像」を表示部４３に表示させる。なお表示コントローラ４２は、表示部４３に表示させる画像のデータ（以下、「表示画像データ」とも称する）を任意の手法で取得することができ、画像記憶部４０から表示画像データを取得してもよいし、画像生成部３６及び画像補正部３９から直接的に表示画像データを取得してもよい。また表示画像データは、光学画像及び望遠画像以外の他のデータ画像が含まれていてもよい。

指示情報取得部３８は、ユーザからの指示情報を取得して、その指示情報を撮像装置３０の各部（例えばフォーカスコントローラ３４、画像生成部３６及び表示コントローラ４２等）に送信する。指示情報取得部３８が取得するユーザからの指示情報は特に限定されず、撮像装置３０の各部（例えばフォーカスコントローラ３４、画像生成部３６及び表示コントローラ４２等）における処理に必要な情報や、後述の「広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）の重要度を示す重要度情報」が指示情報取得部３８によって取得されてもよい。この指示情報取得部３８は、任意の要素によって構成可能であり、ユーザとのインターフェースを形成する各種のデバイス（例えばボタン類（図１のレリーズボタン１２等）及びタッチパネル等）を含んでいてもよい。

シーン解析部３７は、撮影シーンを解析して、その解析結果を撮像装置３０の各部（例えばフォーカスコントローラ３４、画像補正部３９及び表示コントローラ４２等）に送信する。シーン解析部３７は、解析対象の画像データを任意の手法によって取得することができ、例えば撮像素子２４（第１の受光センサ２５ａ及び第２の受光センサ２５ｂ）から出力される撮像信号を使用してもよいし、画像生成部３６によって生成された画像データを使用してもよいし、画像補正部３９による補正後の画像データを使用してもよいし、画像記憶部４０に記憶されている画像データを使用してもよい。また撮影シーンの解析手法は特に限定されず、撮像装置３０の各部（例えばフォーカスコントローラ３４、画像生成部３６及び表示コントローラ４２等）における処理に必要な情報や、後述の「広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）の重要度を示す重要度情報」の基礎を構成する情報が、シーン解析部３７の解析によって得られてもよい。

フォーカス調整部３２は、第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂを含み、第１の光学系２１及び第２の光学系２２の各々のフォーカス状態を独立して調整する。すなわち第１のフォーカスアクチュエータ３３ａは第１の光学系２１のフォーカス状態を調整することができ、また第２のフォーカスアクチュエータ３３ｂは第２の光学系２２のフォーカス状態を調整することができる。これらの第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂは、フォーカスコントローラ３４によって相互に独立して駆動可能である。

第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂによる第１の光学系２１及び第２の光学系２２の駆動手法は特に限定されない。例えば、第１の光学系２１及び第２の光学系２２の各々を構成するレンズ群及びミラー群の一部又は全部が、第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂの各々によって移動させられることで、第１の光学系２１及び第２の光学系２２のフォーカス状態を調整することが可能である。この場合、第１の光学系２１と第２の光学系２２との間で共用される光学要素以外の他の光学要素を移動させることで、第１の光学系２１及び第２の光学系２２のフォーカス状態を調整することが好ましい。すなわち本例では、第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂの各々が、第１の光学系２１と第２の光学系２２との間で共用される共通レンズ２３以外の他の光学要素を移動させることで、第１の光学系２１及び第２の光学系２２のフォーカス状態を調整することが好ましい。

フォーカスコントローラ３４は、フォーカス調整部３２（第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂ）を制御して、第１の光学系２１及び第２の光学系２２のフォーカス状態をコントロールする。特に本実施形態のフォーカスコントローラ３４は、広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）の重要度を示す重要度情報を取得し、その重要度情報に基づいてフォーカス調整部３２を制御する。

フォーカスコントローラ３４は、重要度情報を任意の手法で取得することができる。例えば撮像装置３０のユーザは、「広角画像の方が望遠画像よりも重要度（優先度）が高い」或いは「望遠画像の方が広角画像よりも重要度が高い」と認識する場合、そのような認識を反映した指示情報を指示情報取得部３８に直接的又は間接的に入力してもよい。そのような場合、フォーカスコントローラ３４は、指示情報取得部３８が取得したユーザからの指示情報に基づいて重要度情報を取得することができる。

またフォーカスコントローラ３４は、シーン解析部３７による解析結果に基づいて重要度情報を取得してもよい。例えば、シーン解析部３７による撮影シーンの解析の結果から「広角画像の方が望遠画像よりも重要度（優先度）が高い」撮影が行われる或いは「望遠画像の方が広角画像よりも重要度が高い」撮影が行われるとフォーカスコントローラ３４によって判定される場合、そのような判定に応じた重要度情報をフォーカスコントローラ３４は取得することができる。

シーン解析部３７は、例えば広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）のうちの少なくともいずれか一方に基づいて撮影シーンにおける追尾対象（主要被写体等）を検出し、その追尾対象の経時的な挙動を解析してもよい。この場合、フォーカスコントローラ３４は、シーン解析部３７によって解析される追尾対象の経時的な挙動に基づいて重要度情報を取得してもよい。例えば、撮影シーンに含まれる被写体（主要被写体）の動きがシーン解析部３７によって解析され、撮影対象の被写体（主要被写体）の動きが比較的激しいと判定される場合にはそのような被写体の追跡を優先させる観点から「広角画像の方が望遠画像よりも重要度が高い」と判定されてもよい。一方、撮影対象の主要被写体の動きが比較的穏やかであると判定される場合には、主要被写体の詳細な撮影を優先させる観点から「望遠画像の方が広角画像よりも重要度が高い」と判定されてもよい。

なお、ここでいう「主要被写体」或いは「追尾対象」は、任意の観点から特定可能な「主たる撮影対象」を意味する。したがって例えば、フォーカスエリア内にある被写体、画像中央部に存在する被写体、動きのある人等の被写体、或いはこれらの複数の観点から特定される被写体を、主要被写体或いは追尾対象としうる。

フォーカスコントローラ３４は、このようにして得られる重要度情報に基づいて、第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂを独立して制御し、第１の光学系２１のフォーカス状態及び第２の光学系２２のフォーカス状態を調整する。

すなわち広角画像（第１の撮影画像）の方が望遠画像（第２の撮影画像）よりも重要度が高いことを重要度情報が示す場合、フォーカスコントローラ３４は、フォーカス調整部３２（第２のフォーカスアクチュエータ３３ｂ）を制御して第２の光学系２２をデフォーカス状態とする。この場合、第１の光学系２１のフォーカス状態は、フォーカスコントローラ３４によって制御される第１のフォーカスアクチュエータ３３ａにより調整され、所望の合焦状態で広角画像が撮影される。

一方、望遠画像（第２の撮影画像）の方が広角画像（第１の撮影画像）よりも重要度が高いことを重要度情報が示す場合には、フォーカスコントローラ３４は、フォーカス調整部３２（第１のフォーカスアクチュエータ３３ａ）を制御して第１の光学系２１をデフォーカス状態とする。この場合、第２の光学系２２のフォーカス状態は、フォーカスコントローラ３４によって制御される第２のフォーカスアクチュエータ３３ｂにより調整され、所望の合焦状態で望遠画像が撮影される。

なお重要度情報が「広角画像（第１の撮影画像）の重要度と望遠画像（第２の撮影画像）の重要度との間に差がない」ことを直接的又は間接的に示す場合には、フォーカス調整部３２による通常のフォーカスコントロールが行われ、所望の合焦状態で広角画像及び望遠画像が撮影される。

ここで「第１の光学系２１をデフォーカス状態」とするフォーカスコントロール及び「第２の光学系２２をデフォーカス状態」とするフォーカスコントロールは、不要とされる画像（特にエッジ成分）が目立たなくなるように行われる。したがって例えば、第１の光学系２１又は第２の光学系２２をデフォーカス状態とすることで、不要とされる画像のボケ量を、撮像素子２４（受光センサ２５）の画素ピッチに応じて定められる特定量以上に調整してもよい。より具体的には、第１の光学系２１のデフォーカス状態は、フォーカスコントローラ３４がフォーカス調整部３２（第１のフォーカスアクチュエータ３３ａ）を制御し、第１の光学系２１の点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の半値全幅（ＦＷＨＭ：Ｆｕｌｌ Ｗｉｄｔｈ ａｔ Ｈａｌｆ Ｍａｘｉｍｕｍ）を、撮像素子２４を構成する複数の受光センサ２５の画素ピッチ以上とすることにより実現されてもよい。同様に、第２の光学系２２のデフォーカス状態は、フォーカスコントローラ３４がフォーカス調整部３２（第２のフォーカスアクチュエータ３３ｂ）を制御して、第２の光学系２２の点像分布関数（ＰＳＦ）の半値全幅（ＦＷＨＭ）を撮像素子２４を構成する複数の受光センサ２５の画素ピッチ以上とすることにより実現されてもよい。

図１２は、撮影光学系１１（レンズ）の一般的な点拡がり現象を説明するための図であり、（ａ）は点光源４８からの光が撮影光学系１１を介して撮像素子２４に到達するシステムの概略を示す断面図であり、（ｂ）は撮像素子２４によって受光される光の点像分布関数（ＰＳＦ）を概略的に示す図である。図１３は、図１２（ｂ）に示す点像分布関数（ＰＳＦ）の半値全幅（ＦＷＨＭ）を説明するための図である。撮影光学系１１の点像分布関数（ＰＳＦ）は、点光源４８に対するインパルス応答を表す関数であり、撮影光学系１１の分解能を示す。図１２（ｂ）及び図１３は、撮像素子２４（受光センサ２５）が受光した点光源４８からの光の明るさ（光強度：ｈ（ｘ））を一次元方向（ｘ方向）に関して示す点像分布関数（ＰＳＦ）を表す。

フォーカスコントローラ３４は、フォーカス調整部３２（第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂ）を制御し、第１の光学系２１又は第２の光学系２２の点像分布関数（ＰＳＦ）の半値全幅（ＦＷＨＭ：図１３参照）を受光センサ２５の画素ピッチ以上とすることで、第１の光学系２１又は第２の光学系２２のデフォーカス状態を実現してもよい。

なお、上述の第１の光学系２１のデフォーカス状態及び第２の光学系２２のデフォーカス状態は、他の基準に基づいて実現されてもよい。例えば、フォーカス調整部３２（第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂ）によって、「不要な画像」の撮影に使用される光学系の合焦位置を、合焦位置の調整可能範囲における最至近位置又は最望遠位置に設定することで、第１の光学系２１又は第２の光学系２２のデフォーカス状態が実現されてもよい。この場合、「不要な画像」のボケ量が最大となる位置に「不要な画像」の撮影に使用される光学系の合焦位置を設定することで、第１の光学系２１又は第２の光学系２２がデフォーカス状態に調整されることが好ましい。

次に、本実施形態における撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカスコントロールに関する処理フローについて説明する。

図１４は、第１実施形態における撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカスコントロール（撮像方法）の一例を示すフローチャートである。

まず、第１の撮影画像（広角画像）及び第２の撮影画像（望遠画像）の重要度を示す重要度情報がフォーカスコントローラ３４によって取得される（図１４のＳ１１）。そして、この重要度情報に基づいてフォーカス調整部３２がフォーカスコントローラ３４によって制御され、撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカス状態がコントロールされる。

すなわち、第１の撮影画像（広角画像）の重要度が第２の撮影画像（望遠画像）の重要度よりも高い場合（Ｓ１２のＹ）、フォーカスコントローラ３４が第２のフォーカスアクチュエータ３３ｂを制御して、第２の撮影画像（望遠画像）の撮影に使用される第２の光学系２２がデフォーカス状態に調整される（Ｓ１３）。この場合、フォーカスコントローラ３４は第１のフォーカスアクチュエータ３３ａを制御して、第１の撮影画像（広角画像）の撮影に使用される第１の光学系２１が合焦状態に調整される。

一方、第１の撮影画像（広角画像）の重要度が第２の撮影画像（望遠画像）の重要度よりも高くなく（Ｓ１２のＮ）、第２の撮影画像（望遠画像）の重要度が第１の撮影画像（広角画像）の重要度よりも高い場合（Ｓ１４のＹ）、フォーカスコントローラ３４が第１のフォーカスアクチュエータ３３ａを制御し、第１の撮影画像（広角画像）の撮影に使用される第１の光学系２１がデフォーカス状態に調整される（Ｓ１５）。この場合、フォーカスコントローラ３４は第２のフォーカスアクチュエータ３３ｂを制御して、第２の撮影画像（望遠画像）の撮影に使用される第２の光学系２２が合焦状態に調整される。

第１の撮影画像（広角画像）の重要度が第２の撮影画像（望遠画像）の重要度よりも高くなく、第２の撮影画像（望遠画像）の重要度が第１の撮影画像（広角画像）の重要度よりも高くない場合（Ｓ１４のＮ）、フォーカスコントローラ３４は第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂを制御して、第１の光学系２１及び第２の光学系２２を合焦状態に調整する（Ｓ１６）。

上述の一連のフォーカスコントロールによって、相互に独立した特性を有する第１の光学系２１及び第２の光学系２２のうち、重要度が低い方の光学系がデフォーカス状態に調整されて撮影が行われる。これにより、図９及び図１０に示すように撮影光の干渉（クロストーク）の影響が低減され、重要度が高い方の光学系で撮影される画像の視認性の悪化を効果的に抑制することができる。

以上説明したように本実施形態によれば、重要度情報に基づいて第１の光学系２１及び第２の光学系２２のフォーカス状態がコントロールされ、第１の光学系２１と第２の光学系２２との間における撮影光の干渉の影響を、実際の撮影状況に応じて低減することができる。

特に上述の撮影コントロールは、既存の装置構成を使って低コスト且つ簡便に実現することが可能であり、また複雑な演算処理を必要としないため簡素な処理構成によって実現することが可能である。

＜第２実施形態＞
本実施形態において、上述の第１実施形態と同一又は類似の構成については同一の符号を付し、その詳細な説明は省略する。

本実施形態に係る撮像装置３０は、上述の第１実施形態に係る撮像装置３０と同様の装置構成を有し、上述の第１実施形態と同様に重要度情報に基づいて、広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）のうち重要度が相対的に低い画像の撮影に使用される第１の光学系２１又は第２の光学系２２が意図的にデフォーカス状態に調整され、重要度が相対的に高い画像の画質が向上される（図９及び図１０参照）。

さらに本実施形態では、画像補正部３９（図１１参照）が広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）を補正し、広角画像における第２の光学系２２を通過した光の影響を低減し、望遠画像における第１の光学系２１を通過した光の影響を低減する。すなわち画像補正部３９は、画像生成部３６又は画像記憶部４０から取得した広角画像データ及び望遠画像データの補正処理を行って、「広角画像に混入した望遠画像成分（すなわち第２の光学系２２を通過して第１の受光センサ２５ａにより受信された望遠画像の撮影光成分）」の影響又は「望遠画像に混入した広角画像成分（すなわち第１の光学系２１を通過して第２の受光センサ２５ｂにより受信された広角画像の撮影光成分）」の影響を抑制する。

画像補正部３９において行われる補正処理の具体的な手法は特に限定されず、例えば、画像補正部３９は、広角画像（第１の撮影画像）及び望遠画像（第２の撮影画像）の検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づいて広角画像及び望遠画像の補正処理を行うことができる。

以下、検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく画像補正処理の具体例について説明する。

図１５は、真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２、出力望遠画像Ｉｔ２及び検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの関係を示す図である。なお図１５に示す「真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」は、それぞれ図８〜図１０に示す「真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」に対応する。

撮像素子２４（第１の受光センサ２５ａ及び第２の受光センサ２５ｂ）から出力される撮像信号から生成される出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２は、図１５に示すように、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」と、「第１の光学系２１及び第２の光学系２２の各々を通過した撮影光によって生成される本来の広角画像及び望遠画像である真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１」との積で表される。

検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍは、図１５に示すように、広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４によって構成される２×２行列である。なお図１５に示す「広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４」は、それぞれ図８〜図１０に示す「広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４」に対応する。

図１６は、図１５に示す行列式に対して「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」の逆行列Ｍ^−１を適用して得られる行列式を示す図である。図１６に示すように、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」の逆行列Ｍ^−１と「撮像素子２４（第１の受光センサ２５ａ及び第２の受光センサ２５ｂ）から出力される撮像信号から生成される出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」との積によって、「本来の広角画像及び望遠画像である真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１」を取得することができる。

図１７は、図１６の行列式を簡略化して表した行列式を示す。図１７において「Ｗ１」は真の広角画像Ｉｗ１の画素成分（画素値）を集合的に表し、「Ｔ１」は真の望遠画像Ｉｔ１の画素成分を集合的に表し、「Ｗ２」は出力広角画像Ｉｗ２の画素成分を集合的に表し、「Ｔ２」は出力望遠画像Ｉｔ２の画素成分を集合的に表す。また図１７において「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」は、それぞれ広角検出ゲイン分布Ｄ１、望遠混信ゲイン分布Ｄ３、広角混信ゲイン分布Ｄ２及び望遠検出ゲイン分布Ｄ４を構成する要素を集合的に表す。

図１８は、図１７に示す「Ｗ１」を構成する要素ｗ１＿１１〜ｗ１＿ｍｎを示す。すなわち「Ｗ１」は、真の広角画像Ｉｗ１の画素成分（画素値）に対応する要素ｗ１＿１１〜ｗ１＿ｍｎによって構成される。なお「ｍ」及び「ｎ」はそれぞれ２以上の整数を示し、「ｍ」と「ｎ」とは同じであってもよいし異なっていてもよい。

同様に、図１７に示す「Ｗ２」、「Ｔ１」及び「Ｔ２」も、それぞれ出力広角画像Ｉｗ２、真の望遠画像Ｉｔ１及び出力望遠画像Ｉｔ２の画素成分（画素値）に対応する要素ｗ２＿１１〜ｗ２＿ｍｎ、ｔ１＿１１〜ｔ１＿ｍｎ及びｔ２＿１１〜ｔ２＿ｍｎによって構成される（図示省略）。また図１７に示す「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」も、それぞれ広角画像及び望遠画像の各画素に応じて定められる要素ａ１１〜ａｍｎ、ｂ１１〜ｂｍｎ、ｃ１１〜ｃｍｎ及びｄ１１〜ｄｍｎによって構成される（図示省略）。

図１９は、図１７に示す行列式に基づいて導出される「ｗ１＿ｉｊ」の算出式を示す。図２０は、図１７に示す行列式に基づいて導出される「ｔ１＿ｉｊ」の算出式を示す。図１９及び図２０において「ｉ」は１〜ｍのうちのいずれかの整数を示し、「ｊ」は１〜ｎのうちのいずれかの整数を示す。図１９及び図２０に示すように、真の広角画像Ｉｗ１の画素成分（画素値）に対応する要素ｗ１＿１１〜ｗ１＿ｍｎ及び真の望遠画像Ｉｔ１の画素成分（画素値）に対応する要素ｔ１＿１１〜ｔ１＿ｍｎは、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２と逆行列Ｍ^−１とから演算により算出することができる。

本実施形態の画像補正部３９は、図１９及び図２０により表される演算式に基づいて、画像生成部３６又は画像記憶部４０から取得した広角画像データ及び望遠画像データの補正処理を行うことで、「広角画像に混入した望遠画像成分」の影響又は「望遠画像に混入した広角画像成分」の影響を低減することができる。

厳密に補正処理を行う観点からは、検出ゲイン分布及び混信ゲイン分布は広角画像及び望遠画像の各々を構成する画素の数と同じ数の要素によって構成され、検出ゲイン分布及び混信ゲイン分布を構成する要素毎（対応画素毎）の逆行列Ｍ^−１が画像補正部３９において用いられることが好ましい。ただし、シェーディングが小さい場合等のように「検出ゲイン分布及び混信ゲイン分布を構成する要素」が「広角画像及び望遠画像を構成する画素の一部又は全部」において近似するケースでは、計算コストを優先させる観点から、その近似範囲において共通の代表値によって「検出ゲイン分布及び混信ゲイン分布を構成する要素」を表してもよい。したがって「広角画像及び望遠画像を構成する画素の全部」が近似する場合には、検出ゲイン分布及び混信ゲイン分布を単一の代表値によって表すことができ、「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を簡素且つ高速に行うことが可能になる。

なお広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４に基づく行列Ｍ（図１５〜１７の「Ａ」、「Ｃ」、「Ｂ」及び「Ｄ」参照）は、撮影に使用する撮影光学系１１及び撮像素子２４によって定められる。画像補正部３９は、この行列Ｍから予め導出される逆行列Ｍ^−１の要素を記憶保持しており、その記憶保持している逆行列Ｍ^−１の要素を出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２に適用することで、広角画像における望遠画像の撮影光の影響を低減し、望遠画像における広角画像の撮影光の影響を低減することができる。

また上述の画像補正部３９における「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」は、図１１に示す構成例では画像生成部３６又は画像記憶部４０から取得される広角画像データ及び望遠画像データに対して行われるが、これに限定されない。例えば、撮像素子２４（第１の受光センサ２５ａ及び第２の受光センサ２５ｂ）から出力される撮像信号に対し、画像補正部３９における「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」が行われてもよく、画像生成部３６は画像補正部３９による補正処理後の画像データから広角画像及び望遠画像を生成してもよい。

また上述の画像補正部３９における「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」は、実際には、広角画像データ及び望遠画像データを構成する色チャンネル毎に行われる。画像補正部３９は、その色チャンネルの各々に関する「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１」を記憶保持する。例えば、撮像素子２４（第１の受光センサ２５ａ及び第２の受光センサ２５ｂ）がＲＧＢ（赤緑青）のカラーフィルタを有し、ＲＧＢデータによって構成される広角画像データ及び望遠画像データが撮像信号として撮像素子２４から出力される場合、画像補正部３９は、ＲＧＢの各々の色チャンネルに関する「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１」を保持して出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２に適用する。

図２１は、第１実施形態に係る「撮影光学系１１のフォーカスコントロール」を行わずに第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を行った場合の画像例を示し、（ａ）は広角画像例を示し、（ｂ）は望遠画像例を示す。図２２は、第１実施形態に係る「撮影光学系１１のフォーカスコントロール」を行った後に第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を行った場合の画像例を示し、（ａ）は広角画像例を示し、（ｂ）は望遠画像例を示す。

したがって図２１（ａ）及び図２２（ａ）は、いずれも「広角画像（第１の撮影画像）の方が望遠画像（第２の撮影画像）よりも重要度が高いことを重要度情報が示す場合」の広角画像例であるが、図２１（ａ）は望遠画像用の第２の光学系２２が合焦状態に調整された状態で撮影が行われた広角画像例を示すのに対し、図２２（ａ）は第２の光学系２２がデフォーカス状態に調整された状態で撮影が行われた広角画像例を示す。一方、図２１（ｂ）及び図２２（ｂ）は、いずれも「望遠画像（第２の撮影画像）の方が広角画像（第１の撮影画像）よりも重要度が高いことを重要度情報が示す場合」の望遠画像例であるが、図２１（ｂ）は広角画像用の第１の光学系２１が合焦状態に調整された状態で撮影が行われた望遠画像例を示すのに対し、図２２（ｂ）は第１の光学系２１がデフォーカス状態に調整された状態で撮影が行われた望遠画像例を示す。

図２１（ａ）に示す広角画像例では、望遠画像成分のうち明るい画素成分の混在が多少目立つ。また図２１（ｂ）に示す望遠画像例では、広角画像成分のうち鋭い輪郭成分の混在が多少目立つ。一方、本実施形態に係る図２２（ａ）に示す広角画像例及び図２２（ｂ）に示す望遠画像例では、図２１（ａ）に示す広角画像例及び図２１（ｂ）に示す望遠画像例で目立った混在成分が低減され、全体として視認性に優れた高画質の画像となっている。

以上説明したように、上述の第１実施形態に係る「撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカスコントロール」に加え、上述の第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を行うことで、より高画質の所望画像を取得することができる（図２２（ａ）及び図２２（ｂ）参照）。

特に上述の第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」は、上述の第１実施形態に係る「撮影光学系１１のフォーカスコントロール」と好適に組み合わせ可能である。すなわち、上述の第１実施形態に係る「撮影光学系１１のフォーカスコントロール」によって高周波成分が除外された干渉光（不要撮影光）が撮像素子２４（第１の受光センサ２５ａ又は第２の受光センサ２５ｂ）により受光されるため、第２実施形態に係る「補正処理」による除去誤差が目立ち難い。したがって第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を第１実施形態に係る「撮影光学系１１のフォーカスコントロール」と組み合わせることで、第２実施形態に係る「補正処理」による画質低下のリスクを低減しつつ、第２実施形態に係る「補正処理」による干渉光（不要撮影光）の除去による画質改善のメリットを享受することができる。

＜第３実施形態＞
本実施形態において、上述の第１実施形態と同一又は類似の構成については同一の符号を付し、その詳細な説明は省略する。

上述の第１実施形態では「焦点距離」の異なる第１の光学系２１及び第２の光学系２２を備えた撮像装置３０について説明したが、他の光学特性が異なる第１の光学系２１及び第２の光学系２２を備えた撮像装置３０に対しても本発明は適用可能である。本実施形態では、「合焦距離」の異なる第１の光学系２１及び第２の光学系２２を備えた撮像装置３０の一例について説明する。

図２３は、第３実施形態に係る撮影光学系１１の外観図である。

本実施形態の撮影光学系１１はレンズ形状を有し、合焦距離が相対的に長い領域（以下、「遠合焦領域」という）６０ａと、遠合焦領域６０ａより短い合焦距離を有する領域（以下、「近合焦領域」という）６０ｂとを有する。この一体的に設けられる撮影光学系１１の複数の領域（遠合焦領域６０ａ及び近合焦領域６０ｂ）のうち、第１の領域（遠合焦領域６０ａ）が第１の光学系２１によって構成され、第２の領域（近合焦領域６０ｂ）が第２の光学系２２によって構成される。図２３に示す例では、撮影光学系１１を正面から見て、レンズ中心Ｏ１を含む水平の境界を境とした下側の半月型領域が遠合焦領域６０ａであり第１の光学系２１に相当し、上側の半月型領域が近合焦領域６０ｂであり第２の光学系２２に相当する。なお本例では、第１の光学系２１（遠合焦領域６０ａ）及び第２の光学系２２（近合焦領域６０ｂ）は、同一の焦点距離を有するが、異なる焦点距離を有していてもよい。すなわち第１の光学系２１及び第２の光学系２２は、焦点距離及び合焦距離のうち少なくとも一方が異なっていればよく、第１の光学系２１及び第２の光学系２２の各種の特性値は同じであってもよいし異なっていてもよく、撮影目的及び撮影条件等に応じて具体的な特性値を設定可能である。

図２３の例では第１の光学系２１及び第２の光学系２２が半月型に形成されているが、第１の光学系２１及び第２の光学系２２の形状は特に限定されない。例えば同心円を形成する第１の光学系２１及び第２の光学系２２が用いられてもよく、第１の光学系２１及び第２の光学系２２のうちの一方をレンズ中心Ｏ１を中心とする円形領域とし、他方をその周辺の円環領域としてもよい。また第１の光学系２１及び第２の光学系２２の表面積比及び体積比も特に限定されない。

このような構成の撮影光学系１１を使用することにより、本実施形態に係る撮像装置３０は、合焦距離の異なる２種類の画像を同時に取得することができる。

図２４は、第３実施形態に係る撮像素子２４の一部を示す拡大断面図である。本実施形態の撮像素子２４の各受光センサ２５も、上述の第１実施形態の撮像素子２４の各受光センサ２５と基本的には同様の構成を有するが、本実施形態の遮光マスク２８はフォトダイオード２９の受光面の半分を覆うように配置される。すなわち第１の受光センサ２５ａの遮光マスク２８は、フォトダイオード２９の２分割された受光面のうちの一方を覆うように配置され、第２の受光センサ２５ｂの遮光マスク２８は、フォトダイオード２９の２分割された受光面のうちの他方を覆うように配置される。このような配置を有する遮光マスク２８によって不要な撮影光が遮断されて瞳分割が行われ、第１の光学系２１を通過した撮影光は第１の受光センサ２５ａによって受光され、第２の光学系２２を通過した撮影光は第２の受光センサ２５ｂによって受光される。

なお第１の受光センサ２５ａ及び第２の受光センサ２５ｂの数の比は、第１の光学系２１（遠合焦領域６０ａ）及び第２の光学系２２（近合焦領域６０ｂ）における撮影光の受光面の面積比と等しいことが好ましい。したがって第１の光学系２１及び第２の光学系２２の受光面の面積が等しい場合には、第１の受光センサ２５ａ及び第２の受光センサ２５ｂの数も同じであることが好ましい。また第１の受光センサ２５ａ及び第２の受光センサ２５ｂは、生成される画像の特定の領域及び特定の方向に関して画質が劣化しないように配置されることが好ましく、第１の受光センサ２５ａ及び第２の受光センサ２５ｂを混在させることで補間処理等により画素データの欠落を補うことができる。

図２５は、第３実施形態に係る撮影光学系１１を使用した撮影メカニズムを説明するための図である。

図２５において、各参照符号が示す内容は以下の通りである。

ａ１：第１の光学系２１（遠合焦領域６０ａ）のレンズ−受光面間距離
ａ２：第２の光学系２２（近合焦領域６０ｂ）のレンズ−受光面間距離
ｂ１：第１の光学系２１（遠合焦領域６０ａ）のレンズ−被写体間距離
ｂ２：第２の光学系２２（近合焦領域６０ｂ）のレンズ−被写体間距離
ＦＤ１：第１の光学系２１（遠合焦領域６０ａ）の合焦距離
ＦＤ２：第２の光学系２２（近合焦領域６０ｂ）の合焦距離
Ｑ１Ａ、Ｑ１Ｂ及びＱ２：被写体
なお本実施形態において「合焦距離」とは、撮像素子２４の受光センサ２５の受光面から受光センサ２５と合焦関係にある被写体までの距離を指し、図２５に示す例では「ＦＤ１＝ａ１＋ｂ１」及び「ＦＤ２＝ａ２＋ｂ２」の関係が成立する。また第１の光学系２１（遠合焦領域６０ａ）の焦点距離を「ｆ１」とし、第２の光学系２２（近合焦領域６０ｂ）の焦点距離を「ｆ２」とすると、「１／ｆ１＝（１／ａ１）＋（１／ｂ１）」及び「１／ｆ２＝（１／ａ２）＋（１／ｂ２）」の関係が成立する。

このような「合焦距離の異なる第１の光学系２１及び第２の光学系２２」を具備する撮像装置３０おいても、第１実施形態と同様の機能構成（図１１参照）によって、第１の光学系２１と第２の光学系２２との間における撮影光の干渉の影響を、実際の撮影状況に応じて低減することができる。すなわち重要度情報に基づいてフォーカス調整部３２がフォーカスコントローラ３４によって制御され、撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカス状態がコントロールされる。

なお本実施形態における「フォーカス調整部３２による撮影光学系１１（第１の光学系２１及び第２の光学系２２）のフォーカス状態の調整」は任意の手段によって実現可能である。例えば印加電圧を変えることによって焦点距離等の光学特性を変更可能な部材により撮影光学系１１（第１の光学系２１及び第２の光学系２２）が構成される場合、フォーカス調整部３２の第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂは第１の光学系２１及び第２の光学系２２に印加する電圧を調整することで、第１の光学系２１及び第２の光学系２２の「デフォーカス状態」及び「合焦状態」を実現することが可能である。またフォーカス調整部３２の第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂは、「撮影画像を暈かすための光学部材」を必要に応じて光路上に配置することで、第１の光学系２１及び第２の光学系２２の「デフォーカス状態」を実現することも可能である。また第１の光学系２１（遠合焦領域６０ａ）及び第２の光学系２２（近合焦領域６０ｂ）が分離構造を有する場合、フォーカス調整部３２の第１のフォーカスアクチュエータ３３ａ及び第２のフォーカスアクチュエータ３３ｂは第１の光学系２１及び第２の光学系２２を独立駆動して配置を調整することで「デフォーカス状態」及び「合焦状態」を実現することが可能である。

＜他の変形例＞
本発明は上述の実施形態及びその変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

例えば上述の実施形態同士を適宜組み合わされてもよく、「合焦距離の異なる第１の光学系２１及び第２の光学系２２」を具備する上述の第３実施形態に係る撮像装置３０に、上述の第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を適用してもよい。

また上述の実施形態では、２種類の光学系（第１の光学系２１及び第２の光学系２２）によって撮影光学系１１が構成される例について説明したが、３種類以上の光学系によって撮影光学系１１が構成されてもよい。

また、上述の各構成及び各機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

また、本発明を適用可能な態様は図１に示すデジタルカメラ１０及び図２に示す自動追尾撮像装置１４には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２６は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図２６に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２７は、図２６に示すスマートフォン１０１の構成を示すブロック図である。図２７に示すように、スマートフォン１０１の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びＷｅｂデータやストリーミングデータなどの受信が行われる。

表示入力部１２０は、表示パネル１２１及び操作パネル１２２を備えるいわゆるタッチパネルであり、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。

表示パネル１２１は、ＬＣＤ又はＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

本発明の撮像装置の一実施形態として図２６に例示されるスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図２６に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図２６に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。なお、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、或いはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により他の外部機器に直接的又は間接的に接続する。

スマートフォン１０１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるパーソナルコンピュータ、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、及びイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達したり、スマートフォン１０１の内部のデータが外部機器に伝送されたりするように構成されてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度によって特定される位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。その検出の結果は、主制御部１００に出力される。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。また、主制御部１００は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図２６に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮影が行われてもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影が行われてもよい。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示さてもよいし、操作パネル１２２の操作入力手法の一つとして、カメラ部１４１で撮影取得される画像が利用さてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

なお上述の画像生成部３６、シーン解析部３７、画像補正部３９、表示コントローラ４２及びフォーカスコントローラ３４等（図１１参照）は、例えば主制御部１００によって実現可能であり、また上述のフォーカス調整部３２等（図１１参照）は、例えばカメラ部１４１によって実現可能である。

１０…デジタルカメラ、１１…撮影光学系、１２…レリーズボタン、１３…フラッシュ、１４…自動追尾撮像装置、１５…装置本体、１６…台座、１７…ドームカバー、１８…保持部、１９…ギア、２１…第１の光学系、２２…第２の光学系、２３…共通レンズ、２４…撮像素子、２４ａ…第１の撮像素子、２４ｂ…第２の撮像素子、２５…受光センサ、２５ａ…第１の受光センサ、２５ｂ…第２の受光センサ、２６…マイクロレンズ、２７…中間層、２８…遮光マスク、２９…フォトダイオード、３０…撮像装置、３２…フォーカス調整部、３３ａ…第１のフォーカスアクチュエータ、３３ｂ…第２のフォーカスアクチュエータ、３４…フォーカスコントローラ、３６…画像生成部、３７…シーン解析部、３８…指示情報取得部、３９…画像補正部、４０…画像記憶部、４２…表示コントローラ、４３…表示部、４８…点光源、６０ａ…遠合焦領域、６０ｂ…近合焦領域、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (12)

1. 相互に独立した特性を有する第１の光学系及び第２の光学系を含む撮影光学系と、
   前記第１の光学系及び前記第２の光学系の各々に対応して設けられる複数の受光センサであって、前記第１の光学系及び前記第２の光学系のうち対応の光学系を通過した光を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、
   前記第１の光学系に対応する前記受光センサから出力される撮像信号から第１の撮影画像を生成し、前記第２の光学系に対応する前記受光センサから出力される撮像信号から第２の撮影画像を生成する画像生成部と、
   前記第１の光学系及び前記第２の光学系の各々のフォーカス状態を独立して調整するフォーカス調整部と、
   前記第１の撮影画像及び前記第２の撮影画像の重要度を示す重要度情報を取得し、当該重要度情報に基づいて前記フォーカス調整部を制御するフォーカスコントローラと、を備える撮像装置。
2. 前記フォーカスコントローラは、
   前記第１の撮影画像の方が前記第２の撮影画像よりも重要度が高いことを前記重要度情報が示す場合には、前記フォーカス調整部を制御して前記第２の光学系をデフォーカス状態とし、
   前記第２の撮影画像の方が前記第１の撮影画像よりも重要度が高いことを前記重要度情報が示す場合には、前記フォーカス調整部を制御して前記第１の光学系をデフォーカス状態とする請求項１に記載の撮像装置。
3. 前記第１の光学系の前記デフォーカス状態は、前記フォーカスコントローラが前記フォーカス調整部を制御して、前記第１の光学系の点像分布関数の半値全幅を前記複数の受光センサの画素ピッチ以上とすることにより実現され、
   前記第２の光学系の前記デフォーカス状態は、前記フォーカスコントローラが前記フォーカス調整部を制御して、前記第２の光学系の点像分布関数の半値全幅を前記複数の受光センサの画素ピッチ以上とすることにより実現される請求項２に記載の撮像装置。
4. ユーザからの指示情報を取得する指示情報取得部を更に備え、
   前記フォーカスコントローラは、前記指示情報取得部が取得したユーザからの指示情報に基づいて前記重要度情報を取得する請求項１〜３のいずれか一項に記載の撮像装置。
5. 撮影シーンを解析するシーン解析部を更に備え、
   前記フォーカスコントローラは、前記シーン解析部による解析結果に基づいて前記重要度情報を取得する請求項１〜３のいずれか一項に記載の撮像装置。
6. 前記シーン解析部は、前記第１の撮影画像及び前記第２の撮影画像のうちの少なくともいずれか一方に基づいて前記撮影シーンにおける追尾対象を検出して当該追尾対象の経時的な挙動を解析し、
   前記フォーカスコントローラは、前記シーン解析部によって解析される前記追尾対象の経時的な挙動に基づいて前記重要度情報を取得する請求項５に記載の撮像装置。
7. 前記第１の撮影画像及び前記第２の撮影画像の補正を行う画像補正部であって、前記第１の撮影画像における前記第２の光学系を通過した光の影響を低減し、前記第２の撮影画像における前記第１の光学系を通過した光の影響を低減する画像補正部を更に備える請求項１〜６のいずれか一項に記載の撮像装置。
8. 前記画像補正部は、前記第１の撮影画像及び前記第２の撮影画像の検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づいて前記補正を行う請求項７に記載の撮像装置。
9. 前記第１の光学系及び前記第２の光学系は、焦点距離及び合焦距離のうち少なくとも一方が異なる請求項１〜８のいずれか一項に記載の撮像装置。
10. 前記第２の光学系は、前記第１の光学系の周辺に設けられ、前記第１の光学系と同一の光軸を有する請求項１〜９のいずれか一項に記載の撮像装置。
11. 一体的に設けられる前記撮影光学系の複数の領域のうち、第１の領域が前記第１の光学系によって構成され、第２の領域が前記第２の光学系によって構成される請求項１〜９のいずれか一項に記載の撮像装置。
12. 相互に独立した特性を有する第１の光学系及び第２の光学系を含む撮影光学系と、前記第１の光学系及び前記第２の光学系の各々に対応して設けられる複数の受光センサであって、前記第１の光学系及び前記第２の光学系のうち対応の光学系を通過した光を瞳分割して選択的に受光する複数の受光センサを有する撮像素子と、前記第１の光学系に対応する前記受光センサから出力される撮像信号から第１の撮影画像を生成し、前記第２の光学系に対応する前記受光センサから出力される撮像信号から第２の撮影画像を生成する画像生成部と、前記第１の光学系及び前記第２の光学系の各々のフォーカス状態を独立して調整するフォーカス調整部とを備える撮像装置における撮像方法であって、
    前記第１の撮影画像及び前記第２の撮影画像の重要度を示す重要度情報を取得するステップと、
    当該重要度情報に基づいて前記フォーカス調整部を制御するステップと、を含む撮像方法。