JP2016100607A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】指向性センサを用いながら、多様レンズと通常レンズとの両方で良好な画質の画像が得られる撮像装置及びその制御方法を提供する。
【解決手段】レンズ取付部に、複数の領域を有し且つ複数の領域がそれぞれ独立した特性を有する多様レンズと、１つの特性を有する通常レンズと、が選択的に取り付けられる。レンズ取付部に取り付けられたレンズの種類を判別する。レンズ取付部に多様レンズが取り付けられた場合には、複数の領域に対応する複数の画像を生成し、通常レンズが取り付けられた場合には、指向性センサの全画素の撮像信号から１つの画像を生成する。レンズ取付部に多様レンズが取り付けられた場合に、複数の領域のうちの一の領域に対応して生成された画像から、一の領域以外の領域を通過した光束の影響を除去する補正を行い、通常レンズが取り付けられた場合に、複数種類の画素の画素ごとの感度差を補正する。
【選択図】図３

Description

本発明は、指向性センサを備えており且つレンズ交換可能な撮像装置及びその制御方法に関する。

撮像装置の技術分野では、複数の特性を有するレンズを用いて撮影を行ったり、複数種類のレンズを交換しながら撮影を行ったりすることで、複数種類の画像を取得する技術が知られている。

例えば、特許文献１は、中央光学系（望遠レンズ）と環状光学系（広角レンズ）とから構成される多様レンズと、中央光学系及び環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数種類の画素を含む指向性センサとを組み合わせることで、１つの指向性センサにより望遠画像と広角画像とを同時に取得する撮像装置を開示する。

特許文献２は、特許文献１に記載の多様レンズを使って撮影した画像の画質を改善することができる撮像装置を開示する。この撮像装置では、多様レンズと指向性センサとが組み合わされ、瞳分割が利用されて焦点距離及び合焦距離のうち少なくともいずれか一方が異なる複数の撮影画像が取得される。この撮像装置によれば、例えば、多様レンズの中央光学系及び環状光学系の一方に対応して生成された画像から、他方を通過した光束の影響が除去される。このため、画像相互間で光束が混入することで画質が低下することが防止される。

また、特許文献３は、レンズの異なる領域を通過して入射する光束をそれぞれ瞳分割して選択的に受光する複数種類の画素を含む指向性センサを用いることにより、視差を有する２視点の視点画像を出力する撮像装置を開示する。この特許文献３に記載の撮像装置は、複数種類のレンズの取り付けが可能であり、撮像装置本体に取り付けられたレンズから識別情報を取得して、レンズ毎に定められた補正データに従って感度の異なる２視点の視点画像のシェーディング補正（感度補正）を行う。

特開２０１４−１７６０５６号公報 国際公開第２０１３／１４６５０６号 特許第５２４３６６６号

ところで、特許文献１及び特許文献２に記載の撮像装置において、多様レンズの代わりに通常レンズを取り付けて撮影を行った場合には、指向性センサ自体が有する画素数よりも少ない画素数の画像、すなわち、中央光学系及び環状光学系のいずれか一方を通過した光束を受光する画素の画素数に対応した画像しか得られないという問題があった。また、指向性センサの全画素から撮像信号を読み出して１枚の画像を生成した場合、中央光学系を通過した光束を受光する画素と、望遠光学系を通過した光束を受光する画素との間に感度差があるため、画質が劣化するという問題が生じる。

一方、特許文献３に記載の撮像装置では、通常レンズの代わりに多様レンズを用いた撮影を行うことは考慮されておらず、上記特許文献２に記載されているような多様レンズを使って撮影した画像の画質の改善についても一切考慮されていない。このため、特許文献３に記載の撮像装置では、通常レンズの代わりに多様レンズを取り付けて撮影を行った場合に、中央光学系及び環状光学系の各々に対応する画像相互間で光束が混入することで画質が低下するおそれがある。

本発明はこのような事情に鑑みてなされたものであり、指向性センサを用いながら、多様レンズと通常レンズとの両方で良好な画質の画像が得られる撮像装置及びその制御方法を提供することを目的する。

本発明の目的を達成するための撮像装置は、複数の領域を有し且つ複数の領域がそれぞれ独立した特性を有する多様レンズと、１つの特性を有する通常レンズと、を含む複数種類のレンズが選択的に取り付けられるレンズ取付部と、２次元状に配列された光電変換素子により構成された複数種類の画素を有する指向性センサであって、レンズ取付部に多様レンズが取り付けられた場合に、複数の領域を介して入射する光束をそれぞれ瞳分割して複数種類の画素にて選択的に受光する指向性センサと、レンズ取付部に取り付けられたレンズの種類を判別する判別部と、指向性センサから画素ごとに撮像信号を読み出して画像を生成する画像生成部と、画像生成部にて生成された画像の補正を行う画像補正部と、を備え、画像生成部は、判別部の判別結果に基づき、レンズ取付部に多様レンズが取り付けられている場合には、複数の領域にそれぞれ対応する指向性センサの撮像信号から複数の領域にそれぞれ対応する複数の画像を生成し、レンズ取付部に通常レンズが取り付けられている場合には、指向性センサの全画素の撮像信号から１つの画像を生成し、画像補正部は、判別部の判別結果に基づき、レンズ取付部に多様レンズが取り付けられている場合に、複数の領域のうちの一の領域に対応して生成された画像から、一の領域以外の領域を通過した光束の影響を除去する補正を行い、レンズ取付部に通常レンズが取り付けられている場合に、複数種類の画素の画素ごとの感度差を補正する。

本発明の撮像装置によれば、レンズ取付部に取り付けられたレンズの種類を判別し、この判別したレンズの種類（多様レンズ、通常レンズ）に応じて画像データに施す画像補正処理の種類を切り替えることができる。

本発明の他の態様に係る撮像装置において、特性は、焦点距離及び合焦距離のうち少なくとも一方である。これにより、１つの指向性センサにより焦点距離及び合焦距離のうち少なくとも一方が異なる複数の画像を同時に取得することができる。

本発明の他の態様に係る撮像装置において、レンズ取付部には、複数種類の多様レンズが選択的に取り付けられる。これにより、多様レンズの種類ごとに複数の画像をそれぞれ取得することができる。

本発明の他の態様に係る撮像装置において、画像生成部は、判別部の判別結果に基づき、レンズの種類ごとに予め定められた読出形式で撮像信号を指向性センサから読み出す。これにより、レンズ取付部に取り付けられているレンズの種類に対応した読出形式で撮像信号を指向性センサから読み出すことができる。

本発明の他の態様に係る撮像装置において、判別部の判別結果に基づき、画像補正部にて補正された画像を、レンズの種類ごとに予め定められた記録形式で記録媒体に記録する記録部を備える。これにより、レンズ取付部に取り付けられているレンズの種類に対応した記録形式で画像を記録媒体に記録することができる。

本発明の他の態様に係る撮像装置において、判別部の判別結果に基づき、画像補正部にて補正された画像を、レンズの種類ごとに予め定められた表示形式で表示する表示部を備える。これにより、レンズ取付部に取り付けられているレンズの種類に対応した表示形式で画像を表示部に表示することができる。

本発明の他の態様に係る撮像装置において、画像補正部にて補正された画像を、画像を受信する受信部に伝送する伝送部であって、判別部の判別結果に基づき、レンズの種類ごとに予め定められた伝送形式で画像を受信部に伝送する伝送部を備える。これにより、レンズ取付部に取り付けられているレンズの種類に対応した伝送形式で画像を受信部に伝送することができる。

本発明の他の態様に係る撮像装置において、複数の領域は、第１の領域と、第１の領域の周辺に設けられ且つ第１の領域と同一の光軸を有する第２の領域と、を有する。

本発明の他の態様に係る撮像装置において、レンズ取付部に取り付けられたレンズの種類を入力する入力部を備え、判別部は、入力部への入力結果に基づき、レンズ取付部に取り付けられたレンズの種類を判別する。これにより、手動操作によってレンズの種類を判別することができる。

本発明の目的を達成するための撮像装置の制御方法は、複数種類のレンズが選択的に取り付けられるレンズ取付部と、２次元状に配列された光電変換素子により構成された複数種類の画素を有する指向性センサとを備える撮像装置であって、複数種類のレンズとして、複数の領域を有し且つ複数の領域がそれぞれ独立した特性を有する多様レンズと、１つの特性を有する通常レンズと、を含み、レンズ取付部に多様レンズが取り付けられた場合に、指向性センサにより複数の領域を介して入射する光束をそれぞれ瞳分割して複数種類の画素にて選択的に受光する撮像装置の制御方法において、レンズ取付部に取り付けられているレンズの種類を判別する判別ステップと、指向性センサから画素ごとに撮像信号を読み出して画像を生成する画像生成ステップと、画像生成ステップにて生成された画像の補正を行う画像補正ステップと、を有し、画像生成ステップは、判別ステップの判別結果に基づき、レンズ取付部に多様レンズが取り付けられている場合には、複数の領域にそれぞれ対応する指向性センサの撮像信号から複数の領域にそれぞれ対応する複数の画像を生成し、レンズ取付部に通常レンズが取り付けられている場合には、指向性センサの全画素の撮像信号から１つの画像を生成し、画像補正ステップは、判別ステップの判別結果に基づき、レンズ取付部に多様レンズが取り付けられている場合に、複数の領域のうちの一の領域に対応して生成された画像から、一の領域以外の領域を通過した光束の影響を除去する補正を行い、レンズ取付部に通常レンズが取り付けられている場合に、複数種類の画素の画素ごとの感度差を補正する。

本発明の撮像装置及びその制御方法は、指向性センサを用いながら、多様レンズと通常レンズとの両方で良好な画質の画像が得られる。

第１実施形態の撮像装置の正面斜視図である。 第１実施形態の撮像装置の背面斜視図である。 第１実施形態の撮像装置の電気的構成を示すブロック図である。 レンズ取付部に取り付けられた多様レンズ及び指向性センサの断面構成を示す図である。 図４に示す指向性センサの詳細な断面構成例を示す図である。 第１の画素及び第２の画素の各々における遮光マスクの形状を説明するための説明図である。 図４に示す多様レンズ及び指向性センサに入射する光束である広角画像光の光路を示す図である。 図４に示す多様レンズ及び指向性センサに入射する光束である望遠画像光の光路を示す図である。 レンズ取付部に取り付けられた通常レンズ及び指向性センサの断面構成を示す図である。 図９に示す指向性センサの詳細な断面構成例を示す図である。 第１の光学系と第２の光学系との間における光束の干渉による画質の低下の影響を受けた広角画像及び望遠画像の一例を示す図である。 第１の光学系と第２の光学系との間における広角画像光及び望遠画像光の干渉のメカニズムを説明するための概念図である。 真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２、出力望遠画像Ｉｔ２及び検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの関係を示す図である。 図１３に示す行列式に対して「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」の逆行列Ｍ^−１を適用して得られる行列式を示す図である。 図１４の行列式を簡略化して表した行列式を示す図である。 図１５に示す「Ｗ１」を構成する要素ｗ１＿１１〜ｗ１＿ｍｎを示す図である。 図１５に示す行列式に基づいて導出される「ｗ１＿ｉｊ」の算出式を示す図である。 図１５に示す行列式に基づいて導出される「ｔ１＿ｉｊ」の算出式を示す図である。 多様画像信号処理部による混信低減処理を行った場合に得られる広角画像及び望遠画像の画像例を示す図である。 感度補正処理前の単一画像を説明するための説明図である。 単一画像信号処理部によるシェーディング補正処理を説明するための説明図である。 （ａ）は、レンズ取付部に多様レンズが取り付けられている場合の表示部の画像の表示形式を説明するための説明図であり、（ｂ）は、レンズ取付部に通常レンズが取り付けられている場合の表示部の画像の表示形式を説明するための説明図である。 撮像装置の撮影処理の流れを示すフローチャートである。 第２実施形態の撮像装置の電気的構成を示すブロック図である。 第３実施形態の撮像装置の多様レンズの外観図である。 第３実施形態の撮像装置の指向性センサの一部を示す拡大断面図である。 第３実施形態の撮像装置の多様レンズを使用した撮影メカニズムを説明するための図である。 本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図２８に示すスマートフォンの構成を示すブロック図である。 本発明を適用可能な自動追尾撮像装置の一例を示す斜視図である。

［第１実施形態］
＜撮像装置の全体構成＞
図１は撮像装置２の正面斜視図であり、図２は撮像装置２の背面斜視図である。本実施形態の撮像装置２は、レンズ交換式のデジタルカメラである。

図１及び図２に示すように、撮像装置２の前面には、レンズ取付部３及びストロボ発光部４が設けられている。このレンズ取付部３には、後述する多様レンズ１１と通常レンズ１２とを含む複数種類のレンズが選択的に取り付けられる。

撮像装置２の上面には、シャッタボタン５が設けられている。また、撮像装置２の背面には表示部７及び操作部８が設けられ、撮像装置２の下面にはメモリカード１４（本発明の記録媒体に相当）が装填される装填部（図示せず）が設けられている。表示部７は、撮影モード時には電子ビューファインダとして機能することで、ライブビュー画像を表示する。また、画像再生時の表示部７には、メモリカード１４に記録されている画像データに基づき画像が再生表示される。

操作部８は、電源スイッチと、モード切替スイッチと、十字キーと、実行キーと、本発明の入力部に相当するレンズタイプ入力部１５（図３参照）と、を含む。電源スイッチは、撮像装置２の電源のＯＮとＯＦＦを切り替える際に操作される。モード切替スイッチは、撮像装置２の動作モードを切り替える際に操作される。撮像装置２は、被写体を撮像して被写体像を得る撮影モード、撮像済みの被写体像を再生表示する再生モードなどを有する。

十字キー及び実行キーは、表示部７にメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、撮像装置２の各種設定を確定したりする際などに操作される。

レンズタイプ入力部１５（図３参照）は、レンズ取付部３に取り付けられたレンズの種類（ここでは、多様レンズ１１又は通常レンズ１２）を入力するための入力部である。なお、ここでいうレンズタイプ入力部１５には、前述のメニュー画面上でレンズの種類を選択及び入力する十字キー及び実行キーも含まれる。

図３は、撮像装置２の電気的構成を示すブロック図である。図３に示すように、撮像装置２は、レンズ取付部３に取り付けられた多様レンズ１１又は通常レンズ１２を介して入射する光束を指向性センサ２４にて受光する。以下、多様レンズ１１及び通常レンズ１２及び指向性センサ２４について詳しく説明する。

＜多様レンズ及び指向性センサの構成＞
図４は、レンズ取付部３（図４では図示を省略）に取り付けられた多様レンズ１１及び指向性センサ２４の断面構成を示す図である。

図４に示すように、多様レンズ１１は、複数の領域を有し且つ複数の領域がそれぞれ独立した特性を有している。具体的に多様レンズ１１は、前述の複数の領域として、相互に独立した特性を有する領域である第１の光学系２１（本発明の第１の領域に相当）及び第２の光学系２２（本発明の第２の領域に相当）を含む。ここで、「相互に独立した特性」とは、複数の領域の特性が互いに異なることである。そして、多様レンズ１１では、焦点距離（特性）の異なる光学系によって第１の光学系２１及び第２の光学系２２が構成されている。すなわち、多様レンズ１１は、「広角画像撮影レンズ群（広角レンズ）」によって構成される第１の光学系２１と、「望遠画像撮影レンズ群（望遠レンズ）」によって構成される第２の光学系２２とを含み、指向性センサ２４によって広角画像及び望遠画像が同時撮影される。

第１の光学系２１は、同一の光軸Ｌ上に配置される第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ、及び共通レンズ２３を含む。一方、第２の光学系２２は、第１望遠用レンズ２２ａ、第１望遠用反射ミラー２２ｃが設けられる第１望遠用反射体２２ｂ、第２望遠用反射ミラー２２ｅが設けられる第２望遠用反射体２２ｄ、及び共通レンズ２３を含む。

第１の光学系２１（特に第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、及び第４広角用レンズ２１ｄ）は、中央光学系を形成する。一方、第２の光学系２２（特に第１望遠用レンズ２２ａ、第１望遠用反射体２２ｂ、第１望遠用反射ミラー２２ｃ、第２望遠用反射体２２ｄ、及び第２望遠用反射ミラー２２ｅ）は、第１の光学系２１を中心として第１の光学系２１の周辺部に同心円状に配置されている。従って、第２の光学系２２は環状光学系を形成する。なお、共通レンズ２３は、光軸Ｌ上に配置されており、第１の光学系２１及び第２の光学系２２によって共用される。

このように第２の光学系２２は、第１の光学系２１を構成するレンズ群（第１広角用レンズ２１ａ〜第４広角用レンズ２１ｄ及び共通レンズ２３）の周辺に設けられるレンズ群（第１望遠用レンズ２２ａ）及び反射ミラー群（第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅ）を含み、第１の光学系２１と同一の光軸Ｌを有するが、第１の光学系２１とは異なる焦点距離を有する。従って、多様レンズ１１の第１の光学系２１及び第２の光学系２２（本発明の複数の領域）は、それぞれ独立した特性を有している。

指向性センサ２４は、光軸Ｌに対して垂直な受光面を有している。この受光面には、２次元状に配列された光電変換素子により構成された複数種類の画素（受光センサともいう）２５が形成されている。この指向性センサ２４は、第１の光学系２１を介して入射する光束である広角画像光と第２の光学系２２を介して入射する光束である望遠画像光とを同時に受光して、広角画像を生成するための撮像信号と、望遠画像を生成するための撮像信号とを出力可能である。すなわち、指向性センサ２４は、第１の光学系２１及び第２の光学系２２の各々に対応して設けられる複数種類の画素２５であって、第１の光学系２１及び第２の光学系２２のうちの対応する光学系を通過した光束を瞳分割して選択的に受光する複数種類の画素２５を有する。

図５は、図４に示す指向性センサ２４の詳細な断面構成例を示す図である。

図５に示すように、指向性センサ２４を構成する複数種類の画素２５は、第１の光学系２１に対応する「広角画像用の第１の画素２５ａ」と、第２の光学系２２に対応する「望遠画像用の第２の画素２５ｂ」とを含む。そして、これらの第１の画素２５ａ及び第２の画素２５ｂは２次元的に交互［いわゆる市松模様状（チェッカーフラッグ状）］に配置される。指向性センサ２４に含まれる複数の第１の画素２５ａが「第１の光学系２１を経た広角画像光を受光するための第１の受光部２４ａ」を構成し、広角画像を生成するための撮像信号を出力する。また、指向性センサ２４に含まれる複数の第２の画素２５ｂが「第２の光学系２２を経た望遠画像光を受光するための第２の受光部２４ｂ」を構成し、望遠画像を生成するための撮像信号を出力する。

第１の画素２５ａ及び第２の画素２５ｂの各々は、マイクロレンズ２６、中間層２７、及びフォトダイオード（光電変換素子）２９を有する。中間層２７は、マイクロレンズ２６とフォトダイオード２９との間に配置される。この中間層２７には遮光マスク２８が設けられている。

図６は、第１の画素２５ａ及び第２の画素２５ｂの各々における遮光マスク２８の形状を説明するための説明図である。

図６に示すように、遮光マスク２８は、第１の画素２５ａのフォトダイオード２９の受光面の周辺部を覆う第１のマスク部２８ａと、第２の画素２５ｂのフォトダイオード２９の受光面の中央部を覆う第２のマスク部２８ｂと、を含む。第１のマスク部２８ａ及び第２のマスク部２８ｂの形状は、第１の光学系２１及び第２の光学系２２のうちのいずれに対応するのかに応じて決定される。そして、第１のマスク部２８ａ及び第２のマスク部２８ｂは、第１の光学系２１及び第２の光学系２２のうちの対応しない光学系からの光を遮光し、逆に対応する光学系からの光を遮光せずにフォトダイオード２９に受光させる。

このように、第１のマスク部２８ａ及び第２のマスク部２８ｂの形状はそれぞれに対応する光学系に応じて異なる。このため、本実施形態では、第１のマスク部２８ａの面積と、第２のマスク部２８ｂの面積との大きさが異なる。その結果、第１のマスク部２８ａ及び第２のマスク部２８ｂの面積差に応じて、第１の画素２５ａと第２の画素２５ｂとに感度差が生じる。

本実施形態では、遮光マスク２８によって、第１の光学系２１及び第２の光学系２２のうちの対応する光学系を通過した光を瞳分割して選択的に受光する複数種類の画素２５が実現されているが、他の方法によって瞳分割を実現してもよい。例えば、マイクロレンズ２６の前段、例えばマイクロレンズ２６と共通レンズ２３（図４参照）との間に遮光マスク２８を設けてもよい。また、遮光マスク２８以外の遮光部材（例えば液晶シャッタ等）を用いてもよい。

なお、中間層２７には遮光マスク２８以外の部材が設けられていてもよく、例えばＲＧＢ（赤緑青）等のカラーフィルタや配線・回路類が中間層２７に設けられていてもよい。

図７は、図４に示す多様レンズ１１（特に第１の光学系２１）及び指向性センサ２４に入射する光束である広角画像光Ｗの光路を示す図である。図７に示すように、広角画像光Ｗは、第１の光学系２１の第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ、及び共通レンズ２３を順次通過する。これにより、指向性センサ２４上に広角画像が結像する。

図８は、図４に示す多様レンズ１１（特に第２の光学系２２）及び指向性センサ２４に入射する光束である望遠画像光Ｔの光路を示す図である。図８に示すように、望遠画像光Ｔは、第１望遠用レンズ２２ａを通過し、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射された後に共通レンズ２３を通過する。これにより、指向性センサ２４上に望遠画像が結像する。このように、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第２の光学系２２の光軸Ｌの方向に関する長さを短くすることができる。

＜通常レンズ及び指向性センサの構成＞
図９は、レンズ取付部３（図９では図示を省略）に取り付けられた通常レンズ１２及び指向性センサ２４の断面構成を示す図である。

図９に示すように、通常レンズ１２は、多様レンズ１１とは異なり１つの特性、すなわち、１つの焦点距離及び合焦距離を有する。この通常レンズ１２は、第１レンズ１２ａと、第２レンズ１２ｂと、第３レンズ１２ｃと、第４レンズ１２ｄと、第５レンズ１２ｅとを含む複数のレンズにより構成されている。通常レンズ１２内の各位置を通過した通常光（光束）は、指向性センサ２４を構成する複数種類の画素２５、すなわち、第１の画素２５ａ及び第２の画素２５ｂにそれぞれ入射する。

図１０は、図９に示す指向性センサ２４の詳細な断面構成例を示す図である。図１０に示すように、指向性センサ２４の第１の画素２５ａ及び第２の画素２５ｂは、通常レンズ１２を通過した通常光を受光して、単一画像を生成するための撮像信号を出力する。この際に指向性センサ２４では、前述の通り、多様レンズ１１の第１の光学系２１及び第２の光学系２２に対応して第１のマスク部２８ａ及び第２のマスク部２８ｂの各々の面積の大きさを異ならせているため、第１の画素２５ａと第２の画素２５ｂとに感度差が生じている。その結果、レンズ取付部３に通常レンズ１２を取り付けた場合には、指向性センサ２４の互いに隣接している第１の画素２５ａ及び第２の画素２５ｂの一方から出力される撮像信号の信号値と、他方から出力される撮像信号の信号値との間に、前述の感度差に起因する差異が生じる。

＜撮像装置の電気的構成＞
図３に戻って、撮像装置２は、前述のレンズ取付部３及び表示部７及び操作部８及び指向性センサ２４の他に、統括制御部３１と、レンズタイプ判別部３２と、画像生成部３３と、デジタル信号処理部３４と、通常画像処理部３５と、記録部３６と、伝送部３７と、を有している。

統括制御部３１は、例えばＣＰＵ（Central Processing Unit）であり、操作部８からの制御信号に基づき、図示しないメモリ等から読み出した各種プログラムやデータを逐次実行して、撮像装置２の各部を統括的に制御する。

レンズタイプ判別部３２は、本発明の判別部に相当するものであり、レンズ取付部３に取り付けられたレンズの種類（多様レンズ１１、通常レンズ１２）を判別する。例えば、レンズの種類を示す情報がレンズ自体に記憶されている場合には、レンズタイプ判別部３２は、レンズ取付部３を介してレンズに記憶されている情報を読み取ることにより、レンズ取付部３に取り付けられているレンズの種類を自動判別する。また、レンズには、レンズ取付部３に取り付ける際にレンズ取付部３に係合する係合爪が設けられている。このため、レンズの種類毎に係合爪の位置が異なる場合には、レンズタイプ判別部３２はレンズの係合爪の位置を検出することにより、レンズ取付部３に取り付けられているレンズの種類を自動判別する。なお、レンズ取付部３に取り付けられているレンズの種類を自動判別する方法は、特に限定されるものではなく、公知の各種判別方法を用いることができる。

また、レンズ取付部３に取り付けられているレンズの種類が前述のレンズタイプ入力部１５に入力された場合には、この入力結果に基づいて、レンズタイプ判別部３２は、レンズ取付部３に取り付けられているレンズの種類を判別する。

レンズタイプ判別部３２は、レンズ取付部３に取り付けられているレンズの種類を判別した判別結果を、画像生成部３３と、デジタル信号処理部３４と、表示部７と、記録部３６と、伝送部３７とにそれぞれ出力する。

画像生成部３３は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果に基づき、レンズの種類ごとに予め定められた読出形式で指向性センサ２４の複数種類の画素２５から撮像信号を読み出して、読み出した撮像信号に基づき画像の生成を行う。この際に、画像生成部３３は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果に基づき、生成する画像の種類を切り替える。

具体的に画像生成部３３は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「多様レンズ１１」である場合には、指向性センサ２４の第１の受光部２４ａの第１の画素２５ａと、第２の受光部２４ｂの第２の画素２５ｂとからそれぞれ別個に撮像信号を読み出す読出形式で撮像信号の読み出しを行う（図５参照）。

次いで、画像生成部３３は、前述の図５に示した第１の受光部２４ａの第１の画素２５ａから読み出した撮像信号に基づき、広角画像４２の画像データを生成する。また、画像生成部３３は、第２の受光部２４ｂの第２の画素２５ｂから読み出した撮像信号に基づき、望遠画像４３の画像データを生成する。これにより、広角画像４２及び望遠画像４３により構成される多様画像４１（本発明の複数の画像に相当）が生成される。そして、画像生成部３３は、多様画像４１の画像データをデジタル信号処理部３４に出力する。

一方、画像生成部３３は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「通常レンズ１２」である場合には、前述の図１０に示したように、指向性センサ２４の全画素２５から順番に撮像信号を読み出す読出形式で撮像信号の読み出しを行う。なお、ここでいう「全画素２５」とは画像生成に用いられる全ての画素２５である。そして、画像生成部３３は、読み出した撮像信号に基づき、本発明の１つの画像に相当する単一画像４５の画像データを生成する。画像生成部３３は、単一画像４５の画像データをデジタル信号処理部３４に出力する。

デジタル信号処理部３４は、本発明の画像補正部に相当するものであり、画像生成部３３から入力される画像データに対してデジタル信号処理（補正処理）を施す。このデジタル信号処理部３４は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果に基づき、画像生成部３３から入力される画像データに対して施すデジタル信号処理の種類を切り替える。このため、デジタル信号処理部３４は、多様画像信号処理部４８と、単一画像信号処理部４９と、を有している。

＜多様画像信号処理（混信低減）＞
多様画像信号処理部４８は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「多様レンズ１１」である場合に作動する。多様画像信号処理部４８は、多様レンズ１１の第１の光学系２１及び第２の光学系２２の一方（本発明の一の領域に相当）に対応して生成された画像データから、他方（本発明の一の領域以外の領域に相当）を通過した光束の影響、すなわち、光束の干渉（クロストーク）を除去する補正を行う。

次に、上述の多様レンズ１１及び指向性センサ２４によって取得される広角画像４２及び望遠画像４３において生じうる画質の低下について説明する。

図１１は、第１の光学系２１と第２の光学系２２との間における光束の干渉（クロストーク）による画質の低下の影響を受けた広角画像４２（図１１（ａ）参照）及び望遠画像４３（図１１（ｂ）参照）の一例を示す図である。

第１の光学系２１を経て指向性センサ２４に到達する広角画像光Ｗ（図７参照）と、第２の光学系２２を経て指向性センサ２４に到達する望遠画像光Ｔ（図８参照）との瞳分割の性能が十分ではない場合、両画像光の分離が不十分となって、広角画像４２と望遠画像４３とが重畳的に混在した画像が得られる。すなわち、広角画像光Ｗのみを受光することを意図している第１の受光部２４ａに望遠画像光Ｔが漏れ込むと、図１１（ａ）に示すように、望遠画像成分の一部が重畳された広角画像が得られる。同様に、望遠画像光Ｔのみを受光することを意図している第２の受光部２４ｂに広角画像光Ｗが漏れ込むと、図１１（ｂ）に示すように、広角画像成分の一部が重畳された望遠画像が得られる。

このように第１の光学系２１を経た広角画像光Ｗと第２の光学系２２を経た望遠画像光Ｔとの間において干渉があると、指向性センサ２４を構成する各画素２５の出力には、本来分離されて受光されないはずの画像成分の信号が混ざり込んでしまう。

図１２は、第１の光学系２１と第２の光学系２２との間における広角画像光Ｗ及び望遠画像光Ｔの干渉のメカニズムを説明するための概念図である。

図１２において符号「Ｉｗ１」は真の広角画像４２を示し、符号「Ｉｔ１」は真の望遠画像４３を示す。ここでいう「真の広角画像Ｉｗ１」及び「真の望遠画像Ｉｔ１」は、第１の光学系２１を通過する広角画像光Ｗと第２の光学系２２を通過する望遠画像光Ｔとの間で干渉が起きていない状態で撮影取得される画像である。一方、符号「Ｉｗ２」は第１の受光部２４ａ（第１の画素２５ａ）から実際に出力される撮像信号から生成される出力広角画像を示し、「Ｉｔ２」は第２の受光部２４ｂ（第２の画素２５ｂ）から実際に出力される撮像信号から生成される出力望遠画像を示す。

多様レンズ１１及び指向性センサ２４を具備する撮像装置２によって広角画像４２及び望遠画像４３を撮影する場合に、指向性センサ２４の遮光マスク２８が十分な瞳分割性能を有していれば、真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１を表す撮像信号が指向性センサ２４から出力される。しかしながら、上述のように、瞳分割性能が十分ではなく広角画像光Ｗと望遠画像光Ｔとの間において干渉がある場合には、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２のように、広角画像４２及び望遠画像４３が混在した多重画像を表す撮像信号が第１の受光部２４ａ及び第２の受光部２４ｂの各々から出力される。

例えば、真の広角画像Ｉｗ１の広角画像光Ｗ（光束）のうち、第１の受光部２４ａ（第１の画素２５ａ）によって適切に受光される成分を示す分布情報（指標）を「広角検出ゲイン分布Ｄ１」とし、第２の受光部２４ｂ（第２の画素２５ｂ）によって不適切に受光される成分を示す分布情報を「広角混信ゲイン分布Ｄ２」とする。また、真の望遠画像Ｉｔ１の望遠画像光Ｔ（光束）のうち、第１の受光部２４ａ（第１の画素２５ａ）によって不適切に受光される成分を示す分布情報を「望遠混信ゲイン分布Ｄ３」とし、第２の受光部２４ｂ（第２の画素２５ｂ）によって適切に受光される成分を示す分布情報を「望遠検出ゲイン分布Ｄ４」とする。

ここで、真の広角画像Ｉｗ１に対して広角検出ゲイン分布Ｄ１を適用することで得られる広角画像成分であって第１の受光部２４ａ（第１の画素２５ａ）に受光される広角画像成分を「真広角画像成分Ｅ１」とする。また、真の望遠画像Ｉｔ１に対して望遠混信ゲイン分布Ｄ３を適用することで得られる望遠画像成分であって第１の受光部２４ａ（第１の画素２５ａ）に受光される望遠画像成分を「混信望遠画像成分Ｅ２」とする。また、真の広角画像Ｉｗ１に対して広角混信ゲイン分布Ｄ２を適用することで得られる広角画像成分であって第２の受光部２４ｂ（第２の画素２５ｂ）に受光される広角画像成分を「混信広角画像成分Ｅ３」とする。また、真の望遠画像Ｉｔ１に対して望遠検出ゲイン分布Ｄ４を適用することで得られる望遠画像成分であって第２の受光部２４ｂ（第２の画素２５ｂ）に受光される望遠画像成分を「真望遠画像成分Ｅ４」とする。

この場合、第１の受光部２４ａ（第１の画素２５ａ）から出力される撮像信号によって生成される出力広角画像Ｉｗ２は、真広角画像成分Ｅ１と混信望遠画像成分Ｅ２とを加算して得られる画像に基づく。また、第２の受光部２４ｂ（第２の画素２５ｂ）から出力される撮像信号によって生成される出力望遠画像Ｉｔ２は、混信広角画像成分Ｅ３と真望遠画像成分Ｅ４とを加算して得られる画像に基づく。

撮像装置２の瞳分割性能が優れているほど、広角画像光Ｗと望遠画像光Ｔとは精度良く分離されて指向性センサ２４により受光され、混信望遠画像成分Ｅ２及び混信広角画像成分Ｅ３の成分割合はゼロ（ブランク）に近づき、出力広角画像Ｉｗ２は真の広角画像Ｉｗ１に近づき、出力望遠画像Ｉｔ２は真の望遠画像Ｉｔ１に近づく。一方、撮像装置２の瞳分割性能が劣るほど、広角画像光Ｗと望遠画像光Ｔとは十分に分離されずに指向性センサ２４により受光され、混信望遠画像成分Ｅ２及び混信広角画像成分Ｅ３の成分割合は増え、出力広角画像Ｉｗ２において混信望遠画像成分Ｅ２の比重が大きくなり、出力望遠画像Ｉｔ２において混信広角画像成分Ｅ３の比重が大きくなる。

このように、第１の光学系２１と第２の光学系２２との間で光束（広角画像光Ｗと望遠画像光Ｔ）の干渉がある場合における指向性センサ２４から出力される撮像信号は、真の画像に検出ゲイン分布を適用して得られる画像成分と、別チャンネルの画像に混信ゲイン分布を適用して得られる画像成分とが加算されたものに相当する。このような指向性センサ２４における混信（クロストーク）により、広角画像４２及び望遠画像４３が重なった画像（撮像信号）が出力されるため、瞳分割性能が十分ではない撮像装置２からは画質劣化した撮影画像が出力されることになる。

そこで、多様画像信号処理部４８は、広角画像４２及び望遠画像４３の画像データに対して、指向性センサ２４における混信を除去（ここでいう除去には低減も含む）する画像補正処理（混信低減処理）を行う。具体的に、多様画像信号処理部４８は、広角画像４２及び望遠画像４３の検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づいて広角画像４２及び望遠画像４３の両画像データの補正処理を行う。以下、検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく画像補正処理の具体例について説明する。

図１３は、真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２、出力望遠画像Ｉｔ２及び検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの関係を示す図である。なお、図１３に示す「真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」は、それぞれ前述の図１２に示す「真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」に対応する。なお、図１３中の「Ｗ１」、「Ｗ２」、「Ｔ１」、「Ｔ２」については後述する。

指向性センサ２４（第１の画素２５ａ及び第２の画素２５ｂ）から出力される撮像信号から生成される出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」と、「第１の光学系２１及び第２の光学系２２の各々を通過した光束によって生成される本来の広角画像４２及び望遠画像４３である真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１」との積で表される。

検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍは、広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４によって構成される２×２行列である。なお、「広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４」は、それぞれ前述の図１２に示す「広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４」に対応する。

図１４は、図１３に示す行列式に対して「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」の逆行列Ｍ^−１を適用して得られる行列式を示す図である。図１４に示すように、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」の逆行列Ｍ^−１と「指向性センサ２４（第１の画素２５ａ及び第２の画素２５ｂ）から出力される撮像信号から生成される出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」との積によって、「本来の広角画像４２及び望遠画像４３である真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１」を取得することができる。

図１５は、図１４の行列式を簡略化して表した行列式を示す図である。図１５において「Ｗ１」は真の広角画像Ｉｗ１の画素成分（画素値）を集合的に表し、「Ｔ１」は真の望遠画像Ｉｔ１の画素成分を集合的に表し、「Ｗ２」は出力広角画像Ｉｗ２の画素成分を集合的に表し、「Ｔ２」は出力望遠画像Ｉｔ２の画素成分を集合的に表す。また、図１５において「Ａ」、「Ｂ」、「Ｃ」、及び「Ｄ」は、それぞれ広角検出ゲイン分布Ｄ１、望遠混信ゲイン分布Ｄ３、広角混信ゲイン分布Ｄ２、及び望遠検出ゲイン分布Ｄ４を構成する要素を集合的に表す。

図１６は、前述の図１５に示す「Ｗ１」を構成する要素ｗ１＿１１〜ｗ１＿ｍｎを示す図である。すなわち、「Ｗ１」は、真の広角画像Ｉｗ１の画素成分（画素値）に対応する要素ｗ１＿１１〜ｗ１＿ｍｎによって構成される。なお、「ｍ」及び「ｎ」はそれぞれ２以上の整数を示し、「ｍ」と「ｎ」とは同じであってもよいし異なっていてもよい。

同様に、前述の図１５に示す「Ｗ２」、「Ｔ１」及び「Ｔ２」も、それぞれ出力広角画像Ｉｗ２、真の望遠画像Ｉｔ１及び出力望遠画像Ｉｔ２の画素成分（画素値）に対応する要素ｗ２＿１１〜ｗ２＿ｍｎ、ｔ１＿１１〜ｔ１＿ｍｎ、及びｔ２＿１１〜ｔ２＿ｍｎによって構成される（図示省略）。また、図１５に示す「Ａ」、「Ｂ」、「Ｃ」、及び「Ｄ」も、それぞれ広角画像４２及び望遠画像４３の各画素に応じて定められる要素ａ１１〜ａｍｎ、ｂ１１〜ｂｍｎ、ｃ１１〜ｃｍｎ、及びｄ１１〜ｄｍｎによって構成される（図示省略）。

図１７は、前述の図１５に示す行列式に基づいて導出される「ｗ１＿ｉｊ」の算出式を示す図である。図１８は、前述の図１５に示す行列式に基づいて導出される「ｔ１＿ｉｊ」の算出式を示す図である。図１７及び図１８において「ｉ」は１〜ｍのうちのいずれかの整数を示し、「ｊ」は１〜ｎのうちのいずれかの整数を示す。図１７及び図１８に示すように、真の広角画像Ｉｗ１の画素成分（画素値）に対応する要素ｗ１＿１１〜ｗ１＿ｍｎ及び真の望遠画像Ｉｔ１の画素成分（画素値）に対応する要素ｔ１＿１１〜ｔ１＿ｍｎは、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２と逆行列Ｍ^−１とから演算により算出することができる。

多様画像信号処理部４８は、図１７及び図１８により表される演算式に基づいて、画像生成部３３から取得した広角画像４２及び望遠画像４３の両画像データの補正処理を行うことで、「広角画像４２に混入した望遠画像成分」の影響又は「望遠画像４３に混入した広角画像成分」の影響を低減することができる。

厳密に補正処理を行う観点からは、検出ゲイン分布及び混信ゲイン分布は広角画像４２及び望遠画像４３の各々を構成する画素の数と同じ数の要素によって構成され、検出ゲイン分布及び混信ゲイン分布を構成する要素毎（対応画素毎）の逆行列Ｍ^−１が多様画像信号処理部４８において用いられることが好ましい。ただし、シェーディングが小さい場合等のように「検出ゲイン分布及び混信ゲイン分布を構成する要素」が「広角画像４２及び望遠画像４３を構成する画素の一部又は全部」において近似するケースでは、計算コストを優先させる観点から、その近似範囲において共通の代表値によって「検出ゲイン分布及び混信ゲイン分布を構成する要素」を表してもよい。従って、「広角画像及び望遠画像を構成する画素の全部」が近似する場合には、検出ゲイン分布及び混信ゲイン分布を単一の代表値によって表すことができ、「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を簡素且つ高速に行うことが可能になる。

なお、広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４に基づく行列Ｍ（図１５の「Ａ」、「Ｃ」、「Ｂ」及び「Ｄ」参照）は、撮影に使用する多様レンズ１１及び指向性センサ２４によって定められる。多様画像信号処理部４８は、この行列Ｍから予め導出される逆行列Ｍ^−１の要素を記憶保持しており、その記憶保持している逆行列Ｍ^−１の要素を出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２に適用することで、広角画像４２における望遠画像光Ｔの影響を低減し、望遠画像４３における広角画像光Ｗの影響を低減することができる。

また、上述の多様画像信号処理部４８における「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」（以下、混信低減処理という）は、画像生成部３３から取得される広角画像４２及び望遠画像４３の両画像データに対して行われるが、本発明はこれに限定されるものではない。画像生成部３３が生成した広角画像４２及び望遠画像４３の両画像データを図示しない画像記憶部（メモリ等）に一旦記憶しておき、この画像記憶部から多様画像信号処理部４８が両画像データを読み出して補正処理を行ってもよい。

また、上述の多様画像信号処理部４８における混信低減処理は、実際には、広角画像４２及び望遠画像４３の両画像データを構成する色チャンネル毎に行われる。多様画像信号処理部４８は、その色チャンネルの各々に関する「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１」を記憶保持する。例えば、指向性センサ２４（第１の画素２５ａ及び第２の画素２５ｂ）がＲＧＢ（赤緑青）のカラーフィルタを有し、ＲＧＢデータによって構成される広角画像４２及び望遠画像４３の両画像データが撮像信号として指向性センサ２４から出力される場合を例に挙げて説明する。この場合に多様画像信号処理部４８は、ＲＧＢの各々の色チャンネルに関する「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１」を保持して出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２に適用する。

図１９は、多様画像信号処理部４８における混信低減処理を行った場合に得られる広角画像４２（図１９（ａ）参照）及び望遠画像４３（図１９（ｂ）参照）の画像例を示す図である。図１９（ａ），（ｂ）に示すように、補正処理（混信低減処理）後の広角画像４２及び望遠画像４３では、補正処理前の状態（図１１（ａ），（ｂ）参照）と比較して、「広角画像４２に混入した望遠画像成分」の影響又は「望遠画像４３に混入した広角画像成分」の影響を低減することができる。その結果、全体として視認性に優れた高画質の広角画像４２及び望遠画像４３が得られる。

多様画像信号処理部４８は、混信低減処理を行った広角画像４２及び望遠画像４３の画像データを通常画像処理部３５に出力する。

＜単一画像信号処理（感度補正）＞
図３に戻って、単一画像信号処理部４９は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「通常レンズ１２」である場合に作動する。単一画像信号処理部４９は、単一画像４５の画像データに対して、指向性センサ２４の複数種類の画素（第１の画素２５ａ，第２の画素２５ｂ）ごとの感度差を補正する感度補正（均一化）処理を施す。

図２０は、感度補正処理前の単一画像４５を説明するための説明図である。ここでは説明の煩雑化を防止するため、単一画像４５として濃度が一様なベタ画像を例に挙げて説明を行う。前述の通り、指向性センサ２４において２次元的に交互に配列されている第１の画素２５ａと第２の画素２５ｂとに感度差が生じている（図１０参照）。その結果、図２０に示すように、単一画像４５における第１の画素２５ａに対応する第１の画像画素４５ａの画素値（出力値）と、第２の画素２５ｂに対応する第２の画像画素４５ｂの画素値（出力値）とが不均一になる。このため、単一画像信号処理部４９は、感度補正（均一化）処理として、第１の画像画素４５ａ及び第２の画像画素４５ｂの各々の画素値に対してシェーディング補正処理を行う。

図２１（ａ）〜（ｃ）は、単一画像信号処理部４９によるシェーディング補正処理を説明するための説明図である。図２１（ａ）に示すように、単一画像信号処理部４９は、画像生成部３３から単一画像４５の画像データの入力を受けると、図２１（ｂ）に示すように、第１の画像画素４５ａ及び第２の画像画素４５ｂの各々の画素値に対してシェーディング補正係数を掛ける。なお、指向性センサ２４の第１の画素２５ａ及び第２の画素２５ｂの位置は既知であるので、単一画像４５内の第１の画像画素４５ａ及び第２の画像画素４５ｂの位置も既知となる。

シェーディング補正係数は、第１の画像画素４５ａの画素値を補正するための第１のシェーディング補正係数Ｋ１と、第２の画像画素４５ｂの画素値を補正するための第２のシェーディング補正係数Ｋ２と、を含む。第１のシェーディング補正係数Ｋ１及び第２のシェーディング補正係数Ｋ２は、単一画像信号処理部４９の図示しない内部メモリ等に予め記憶されている。例えば、指向性センサ２４の第１の画素２５ａの感度が第２の画素２５ｂの感度よりも高くなる場合には、第１のシェーディング補正係数Ｋ１は第１の画像画素４５ａの画素値を減少させる値に設定され、且つ第２のシェーディング補正係数Ｋ２は第２の画像画素４５ｂの画素値を増加させる値に設定される。

単一画像信号処理部４９は、単一画像４５内の第１の画像画素４５ａの画素値にそれぞれ第１のシェーディング補正係数Ｋ１を掛けると共に、第２の画像画素４５ｂの画素値にそれぞれ第２のシェーディング補正係数Ｋ２を掛けて、シェーディング補正処理を実行する。これにより、図２１（ｃ）に示すように、単一画像４５の第１の画像画素４５ａの画素値と第２の画像画素４５ｂの画素値とが均一化され、指向性センサ２４の複数種類の画素ごとの感度差が補正される。

なお、第１のシェーディング補正係数Ｋ１及び第２のシェーディング補正係数Ｋ２は、撮影に使用する通常レンズ１２及び指向性センサ２４によって定められる。また、本実施形態では、第１の画像画素４５ａの画素値と、第２の画像画素４５ｂの画素値との両方にシェーディング補正係数を掛けているが、いずれか一方のみにシェーディング補正係数を掛けてもよい。

単一画像信号処理部４９は、シェーディング補正処理後の単一画像４５の画像データを通常画像処理部３５に出力する。

＜撮像装置の他の構成＞
図３に戻って、通常画像処理部３５は、レンズ取付部３に多様レンズ１１が取り付けられている場合には、多様画像信号処理部４８から入力された多様画像４１（広角画像４２及び望遠画像４３）の画像データに対して、オフセット処理、ホワイトバランス補正処理、及びガンマ補正処理などの各種の画像処理を施す。また、通常画像処理部３５は、レンズ取付部３に通常レンズ１２が取り付けられている場合には、単一画像信号処理部４９から入力された単一画像４５の画像データに対して、同様の各種画像処理を施す。そして、通常画像処理部３５は、画像処理後の多様画像４１の画像データ或いは単一画像４５の画像データを図示しないメモリ（ビデオメモリを含む）に出力する。

表示部７は、通常画像処理部３５にて画像処理が施された画像データをビデオメモリから読み出して、この画像データに基づき表示画面に画像（多様画像４１或いは単一画像４５）を表示する。この際に、表示部７は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果に基づき、レンズの種類ごとに予め定められた表示形式で多様画像４１或いは単一画像４５を表示画面に表示する。

図２２（ａ）は、レンズ取付部３に多様レンズ１１が取り付けられている場合に、表示部７に表示される画像の表示形式を説明するための説明図である。また、図２２（ｂ）は、レンズ取付部３に通常レンズ１２が取り付けられている場合に、表示部７に表示される画像の表示形式を説明するための説明図である。

図２２（ａ）に示すように、表示部７は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「多様レンズ１１」である場合には、ビデオメモリから読み出した多様画像４１の画像データに基づき、例えば広角画像４２及び望遠画像４３を表示画面に並列表示形式で並べて表示する。

一方、図２２（ｂ）に示すように、表示部７は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「通常レンズ１２」である場合には、ビデオメモリから読み出した単一画像４５の画像データに基づき、例えば単一画像４５を表示画面に全面表示する表示形式で表示する。

なお、レンズの種類ごとに定められた表示形式は、図２２（ａ），（ｂ）に示した表示形式に特に限定されるものではなく、多様画像４１及び単一画像４５をそれぞれ表示することが可能な表示形式であれば特に限定はされない。

図３に戻って、記録部３６は、シャッタボタン５が押下された際に、通常画像処理部３５にて画像処理が施された画像データをビデオメモリから読み出して、この画像データをレンズの種類ごとに予め定められた記録形式（圧縮形式を含む）でメモリカード１４に記録する。

記録部３６は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「多様レンズ１１」である場合には、メモリから読み出した多様画像４１（広角画像４２及び望遠画像４３）の画像データを、例えばＭＰ（Multi Picture）フォーマット形式でメモリカード１４に記録する。なお、多様画像４１の画像データの記録形式はＭＰフォーマット形式に限定されるものではなく、複数ファイルを記録可能な各種の記録形式を採用してもよい。

一方、記録部３６は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「通常レンズ１２」である場合には、メモリから読み出した単一画像４５の画像データを、例えばＪＰＥＧ（Joint Photographic Experts Group）形式やＴＩＦＦ（Tagged Image File Format）形式などの公知の記録形式でメモリカード１４に記録する。

伝送部３７は、操作部８にて画像データの伝送開始操作がなされた際に、通常画像処理部３５にて画像処理が施された画像データをメモリカード１４等から読み出して、この画像データを例えばプリンタ５５の受信部５６へ伝送する。この伝送部３７としては、例えば、有線又は無線の通信インターフェースや光通信インターフェース等を用いることができる。なお、画像データの伝送先は、プリンタ５５以外の各種の電子機器あるいはネットワーク上のサーバなどであってもよく、特に限定はされない。

伝送部３７は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「多様レンズ１１」である場合には、メモリカード１４から読み出した多様画像４１（広角画像４２及び望遠画像４３）の画像データを、複数ファイルの伝送に適した伝送形式で受信部５６へ伝送する。

一方、伝送部３７は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「通常レンズ１２」である場合には、メモリカード１４から読み出した単一画像４５の画像データを、１ファイルの伝送に適した伝送形式で受信部５６へ伝送する。

［第１実施形態の撮像装置の作用］
次に、図２３を用いて上記構成の撮像装置２の作用について説明を行う。図２３は、撮像装置２の撮影処理（本発明の撮像装置の制御方法）の流れを示すフローチャートである。

ユーザは、撮像装置２の電源スイッチをＯＮする前に、多様レンズ１１及び通常レンズ１２の中から撮影目的に合わせて１つのレンズを選択し、選択したレンズをレンズ取付部３に取り付ける（ステップＳ１）。レンズの取り付け後、ユーザが撮像装置２の電源スイッチをＯＮすると、撮像装置２の各部が作動する。

最初に、レンズタイプ判別部３２がレンズ取付部３を介してレンズに記憶されている情報を読み取ったり、或いはレンズの係合爪の位置を検出したりすることにより、レンズ取付部３に取り付けられているレンズの種類が多様レンズ１１及び通常レンズ１２のいずれであるかを判別する（ステップＳ２、本発明の判別ステップに相当）。なお、ユーザがレンズタイプ入力部１５にレンズの種類を入力した場合には、この入力結果に基づいて、レンズタイプ判別部３２はレンズの種類を判別する。

＜多様レンズを取り付けた場合＞
レンズ取付部３に多様レンズ１１が取り付けられた場合には（ステップＳ３でＹＥＳ）、レンズタイプ判別部３２は、レンズの種類の判別結果が「多様レンズ１１」である旨を画像生成部３３と、デジタル信号処理部３４と、表示部７と、記録部３６と、伝送部３７とにそれぞれ出力する。

次いで、指向性センサ２４による撮影が開始される。多様レンズ１１の第１の光学系２１を経た広角画像光Ｗが、指向性センサ２４の第１の受光部２４ａ（第１の画素２５ａ）にて受光される。また同時に、多様レンズ１１の第２の光学系２２を経た望遠画像光Ｔが、指向性センサ２４の第２の受光部２ｂａ（第２の画素２５ｂ）にて受光される。

画像生成部３３は、レンズタイプ判別部３２によるレンズの種類の判別結果（「多様レンズ１１」）を受けて、指向性センサ２４の第１の受光部２４ａの第１の画素２５ａと、第２の受光部２４ｂの第２の画素２５ｂとからそれぞれ別個に撮像信号を読み出す読出形式で撮像信号の読み出しを行う（ステップＳ４）。次いで、画像生成部３３は、第１の受光部２４ａの各第１の画素２５ａから読み出した撮像信号に基づき広角画像４２の画像データを生成し、第２の受光部２４ｂの各第２の画素２５ｂから読み出した撮像信号に基づき望遠画像４３の画像データを生成する。これにより、画像生成部３３において、広角画像４２及び望遠画像４３からなる多様画像４１の画像データが生成される（ステップＳ５、本発明の画像生成ステップに相当）。そして、画像生成部３３は、多様画像４１の画像データをデジタル信号処理部３４に出力する。

デジタル信号処理部３４は、レンズタイプ判別部３２によるレンズの種類の判別結果（「多様レンズ１１」）を受けて、多様画像信号処理部４８を作動させる。多様画像信号処理部４８は、既述の図１７及び図１８により表される演算式に基づいて、画像生成部３３から取得した広角画像４２及び望遠画像４３の両画像データに対して混信低減処理を行う（ステップＳ６、本発明の画像補正ステップに相当）。これにより、「広角画像４２に混入した望遠画像成分」の影響又は「望遠画像４３に混入した広角画像成分」の影響を低減することができる。その結果、全体として視認性に優れた高画質の広角画像４２及び望遠画像４３が得られる（図１９参照）。そして、多様画像信号処理部４８は、多様画像４１（広角画像４２及び望遠画像４３）の画像データを通常画像処理部３５に出力する。

通常画像処理部３５は、多様画像信号処理部４８から入力される多様画像４１の画像データに対して、オフセット処理、ホワイトバランス補正処理、及びガンマ補正処理などの各種画像処理を施した後、画像処理後の画像データをメモリ（ビデオメモリを含む）に出力する（ステップＳ７）。

表示部７は、レンズタイプ判別部３２によるレンズの種類の判別結果（「多様レンズ１１」）を受けて、ビデオメモリに記録された多様画像４１の画像データに基づき、広角画像４２及び望遠画像４３のライブビュー画像を表示画面に並列表示形式で表示する（ステップＳ８、図２２（ａ）参照）。

ユーザがシャッタボタン５を押下操作（撮影指示操作）すると、ステップＳ４からステップＳ７までの処理が繰り返し実行された後、記録部３６が作動する。記録部３６は、レンズタイプ判別部３２によるレンズの種類の判別結果（「多様レンズ１１」）を受けて、画像補正処理後の多様画像４１の画像データをメモリから読み出し、ＭＰフォーマット形式でメモリカード１４に記録する（ステップＳ９）。

ユーザが操作部８にて画像データの伝送操作を行うと、伝送部３７が作動する。伝送部３７は、レンズタイプ判別部３２によるレンズの種類の判別結果（「多様レンズ１１」）を受けて、伝送操作で指定された多様画像４１の画像データを、複数ファイルの伝送に適した伝送形式でプリンタ５５等の受信部５６へ伝送する（ステップＳ１０）。

以下、多様レンズ１１を用いた撮影を継続する場合には、前述のステップＳ４からステップＳ１０までの処理が繰り返し実行される（ステップＳ１１でＹＥＳ）。

一方、通常レンズ１２での撮影を行う場合、すなわち、撮像装置２のレンズ交換を行う場合には（ステップＳ１１でＮＯ、ステップＳ１２でＹＥＳ）、ユーザは、撮像装置２の電源を一旦ＯＦＦした後、レンズ取付部３から多様レンズ１１を取り外す。次いで、ユーザは、通常レンズ１２をレンズ取付部３に取り付けた後（ステップＳ１）、撮像装置２の電源を再びＯＮにする。

＜通常レンズを取り付けた場合＞
撮像装置２の電源スイッチがＯＮされると、撮像装置２の各部が作動して、前述のステップＳ２で説明したように、レンズタイプ判別部３２がレンズ取付部３に取り付けられているレンズの種類を判別する（ステップＳ２、本発明の判別ステップに相当）。そして、レンズタイプ判別部３２は、レンズの種類の判別結果が「通常レンズ１２」である旨を画像生成部３３と、デジタル信号処理部３４と、表示部７と、記録部３６と、伝送部３７とにそれぞれ出力する（ステップＳ３でＮＯ）。

次いで、指向性センサ２４が撮影を開始する。通常レンズ１２の領域内の各位置を通過した通常光（光束）は、指向性センサ２４の第１の受光部２４ａ（第１の画素２５ａ）及び第２の受光部２ｂａ（第２の画素２５ｂ）にてそれぞれ受光される。

画像生成部３３は、レンズタイプ判別部３２によるレンズの種類の判別結果（「通常レンズ１２」）を受けて、指向性センサ２４の全画素２５から順番に撮像信号を読み出す読出形式で撮像信号の読み出しを行う（ステップＳ１４）。次いで、画像生成部３３は、指向性センサ２４の全画素２５から読み出した撮像信号に基づき、単一画像４５の画像データを生成する（ステップＳ１５、本発明の画像生成ステップに相当）。これにより、指向性センサ２４の全画素２５からの撮像信号に基づいた画像データ（すなわち、広角画像４２及び望遠画像４３の各々よりも画素数の多い画像データ）が生成される。画像生成部３３は、単一画像４５の画像データをデジタル信号処理部３４に出力する。

デジタル信号処理部３４は、レンズタイプ判別部３２によるレンズの種類の判別結果（「通常レンズ１２」）を受けて、単一画像信号処理部４９を作動させる。単一画像信号処理部４９は、既述の図２１（ａ）〜（ｂ）で説明したように、画像生成部３３から取得した単一画像４５の画像データに対してシェーディング補正処理を実行する（ステップＳ１６、本発明の画像補正ステップに相当）。

具体的に、画像生成部３３は、単一画像４５内の第１の画像画素４５ａの画素値に第１のシェーディング補正係数Ｋ１を掛けると共に、第２の画像画素４５ｂの画素値に第２のシェーディング補正係数Ｋ２を掛ける。これにより、単一画像４５の第１の画像画素４５ａの画素値と第２の画像画素４５ｂの画素値とが均一化され、指向性センサ２４の複数種類の画素ごとの感度差が補正される（図２１（ｃ）参照）。そして、単一画像信号処理部４９は、シェーディング補正処理後の単一画像４５の画像データを通常画像処理部３５に出力する。

通常画像処理部３５は、単一画像信号処理部４９から入力される単一画像４５の画像データに対して、オフセット処理、ホワイトバランス補正処理、及びガンマ補正処理などの各種の画像処理を施した後、画像処理後の画像データをメモリ（ビデオメモリを含む）に出力する（ステップＳ１７）。

表示部７は、レンズタイプ判別部３２によるレンズの種類の判別結果（「通常レンズ１２」）を受けて、ビデオメモリに記録された単一画像４５の画像データに基づき、単一画像４５のライブビュー画像を表示画面に全面表示する表示形式で表示する（ステップＳ１８、図２２（ｂ）参照）。

ユーザがシャッタボタン５を押下操作（撮影指示操作）すると、ステップＳ１４からステップＳ１７までの処理が繰り返し実行された後、記録部３６が作動する。記録部３６は、レンズタイプ判別部３２によるレンズの種類の判別結果（「通常レンズ１２」）を受けて、画像補正処理後の単一画像４５の画像データをメモリから読み出し、ＪＰＥＧ形式等でメモリカード１４に記録する（ステップＳ１９）。

ユーザが操作部８にて画像データの伝送操作を行うと、伝送部３７が作動する。伝送部３７は、レンズタイプ判別部３２から入力されるレンズの種類の判別結果が「通常レンズ１２」であるため、伝送操作で指定された単一画像４５の画像データを、１ファイルの伝送に適した伝送形式でプリンタ５５等の受信部５６へ伝送する（ステップＳ２０）。

以下、通常レンズ１２を用いた撮影を継続する場合には、前述のステップＳ１４からステップＳ２０までの処理が繰り返し実行される（ステップＳ２１でＹＥＳ）。

通常レンズ１２を用いた撮影の終了後、再びレンズ交換を行う場合、すなわち、多様レンズ１１により撮影を行う場合には（ステップＳ２１でＮＯ、ステップＳ１２でＹＥＳ）、前述のステップＳ１からステップＳ１０までの処理が繰り返し実行される。そして、レンズ交換を行わない場合（ステップＳ１２でＮＯ）には、全ての処理が終了する。

［本実施形態の効果］
以上のように、本実施形態の撮像装置２は、レンズ取付部３に取り付けられたレンズの種類を判別し、この判別したレンズの種類（多様レンズ１１、通常レンズ１２）に応じて画像データに施す画像補正処理の種類（混信低減処理、感度補正処理）を切り替えることができるので、指向性センサ２４を用いながら多様レンズ１１と通常レンズ１２との両方で良好な画質の画像が得られる。

［第２実施形態の撮像装置］
図２４は、第２実施形態の撮像装置２Ａの電気的構成を示すブロック図である。上記第１実施形態の撮像装置２では、レンズ交換可能なレンズの種類が多様レンズ１１と通常レンズ１２との計２種類であるが、撮像装置２Ａではレンズ交換可能なレンズの種類が３種類以上である。

なお、撮像装置２Ａは、レンズ交換可能なレンズの種類が３種類以上ある点を除けば、第１実施形態の撮像装置２と基本的に同じ構成であるので、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

撮像装置２Ａのレンズ取付部３には、２種類以上の多様レンズ（第１多様レンズ１１Ａ、第２多様レンズ１１Ｂ、・・・）と、通常レンズ１２と、を含む少なくとも３種類以上のレンズが選択的に取り付けられる。第１多様レンズ１１Ａ、第２多様レンズ１１Ｂ、・・・は、第１の光学系２１及び第２の光学系２２の特性（焦点距離等）が異なる点を除けば、第１実施形態の多様レンズ１１と基本的には同じ構成であるので、ここでは具体的な説明を省略する。

第２実施形態の画像生成部３３は、第１実施形態の画像生成部３３と基本的に同じものである。ただし、第２実施形態の画像生成部３３は、レンズ取付部３に第１多様レンズ１１Ａが取り付けられた場合には、広角画像４２及び望遠画像４３により構成される第１多様画像４１Ａの画像データをデジタル信号処理部３４に出力する。以下同様に、第２実施形態の画像生成部３３は、レンズ取付部３に第２多様レンズ１１Ｂ、・・・が取り付けられた場合には、広角画像４２及び望遠画像４３により構成される第２多様画像４１Ｂ、・・・の画像データを生成してデジタル信号処理部３４に出力する。

第２実施形態の多様画像信号処理部４８は、第１実施形態の多様画像信号処理部４８と基本的に同じものである。ただし、レンズタイプ判別部３２によるレンズの種類の判別結果に応じて、レンズ取付部３に取り付けられた多様レンズの種類に対応した前述の混信低減処理を、各多様画像４１Ａ，４１Ｂ，・・・の画像データに施す。

具体的には、前述の通り広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４に基づく行列Ｍ（図１５の「Ａ」、「Ｃ」、「Ｂ」及び「Ｄ」参照）は、撮影に使用する各多様レンズ１１Ａ，１１Ｂ，・・・及び指向性センサ２４によって定められる。このため、第２実施形態の多様画像信号処理部４８は、各多様レンズ１１Ａ，１１Ｂ，・・・のそれぞれに対応する逆行列Ｍ^−１の要素を予め記憶保持している。従って、第２実施形態の多様画像信号処理部４８は、レンズ取付部３に取り付けられている多様レンズ（各多様レンズ１１Ａ，１１Ｂ，・・・）の種類に対応した逆行列Ｍ^−１と、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２との積を演算することで、各多様レンズ１１Ａ，１１Ｂ，・・・にそれぞれ対応した混信低減処理を実行する。

なお、各多様画像４１Ａ，４１Ｂ，・・・の個々の画像データの表示部７における表示形式、記録部３６における記録形式、及び伝送部３７における伝送形式は、基本的には第１実施形態の多様画像４１の画像データの表示形式、記録形式、及び伝送形式と同じであるので、ここでは具体的な説明を省略する。

このように第２実施形態の撮像装置２Ａは、複数種類の多様レンズ（各多様レンズ１１Ａ，１１Ｂ，・・・）を取り付け可能である点を除けば、第１実施形態の撮像装置２と基本的に同じ構成であるので、第１実施形態と同様の効果が得られる。

なお、上記第２実施形態では、複数種類の多様レンズを取り付け可能な撮像装置２Ａを例に挙げて説明を行ったが、複数種類の通常レンズを取り付け可能な撮像装置にも本発明を適用することができる。この場合には、通常レンズ１２及び指向性センサ２４の種類ごとに、第１のシェーディング補正係数Ｋ１及び第２のシェーディング補正係数Ｋ２を定めておく。そして、単一画像信号処理部４９は、レンズタイプ判別部３２によるレンズの種類の判別結果に応じて、レンズ取付部３に取り付けられた通常レンズの種類に対応した第１のシェーディング補正係数Ｋ１及び第２のシェーディング補正係数Ｋ２を用いてシェーディング補正を行う。また、複数種類の多様レンズ及び複数種類の通常レンズを取り付け可能な撮像装置にも本発明を適用することができる。

［第３実施形態］
上述の第１実施形態では「焦点距離」の異なる第１の光学系２１及び第２の光学系２２により構成される多様レンズ１１を備えた撮像装置２について説明したが、本発明の複数の領域として、焦点距離以外の「特性」が異なる第１の光学系２１Ｙ及び第２の光学系２２Ｙを備えた撮像装置に対しても本発明は適用可能である。第３実施形態では、「合焦距離」の異なる第１の光学系２１Ｙ及び第２の光学系２２Ｙにより構成される多様レンズ１１Ｙを備えた撮像装置の一例について説明する。なお、第３実施形態の撮像装置は、第１実施形態とは異なる多様レンズ１１Ｙを備える点を除けば、上記第１実施形態の撮像装置２と基本的に同じ構成であるので、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

図２５は、第３実施形態の撮像装置の多様レンズ１１Ｙの外観図である。図２５に示すように、多様レンズ１１Ｙはレンズ形状を有し、合焦距離が相対的に長い領域（以下、「遠合焦領域」という）６０ａと、遠合焦領域６０ａより短い合焦距離を有する領域（以下、「近合焦領域」という）６０ｂと、を有する。この一体的に設けられる多様レンズ１１Ｙの複数の領域（遠合焦領域６０ａ及び近合焦領域６０ｂ）のうち、第１の領域（遠合焦領域６０ａ）が第１の光学系２１Ｙによって構成され、第２の領域（近合焦領域６０ｂ）が第２の光学系２２Ｙによって構成される。従って、多様レンズ１１Ｙの第１の光学系２１Ｙ及び第２の光学系２２Ｙ（複数の領域）は、それぞれ独立した特性（合焦距離）を有している。

図２５に示す例では、多様レンズ１１Ｙを正面から見て、レンズ中心Ｏ１を含む水平の境界を境とした下側の半月型領域が遠合焦領域６０ａであり第１の光学系２１Ｙに相当し、上側の半月型領域が近合焦領域６０ｂであり第２の光学系２２Ｙに相当する。なお、本実施形態では、第１の光学系２１Ｙ（遠合焦領域６０ａ）及び第２の光学系２２Ｙ（近合焦領域６０ｂ）は同一の焦点距離を有するが、異なる焦点距離を有していてもよい。すなわち、第１の光学系２１Ｙ及び第２の光学系２２Ｙは、焦点距離及び合焦距離のうち少なくとも一方が異なっていればよく、第１の光学系２１Ｙ及び第２の光学系２２Ｙの各種の特性値は同じであってもよいし異なっていてもよく、撮影目的及び撮影条件等に応じて具体的な特性値を設定可能である。

また、図２５の例では第１の光学系２１Ｙ及び第２の光学系２２Ｙが半月型に形成されているが、第１の光学系２１Ｙ及び第２の光学系２２Ｙの形状は特に限定されない。例えば、同心円を形成する第１の光学系２１Ｙ及び第２の光学系２２Ｙが用いられてもよく、第１の光学系２１Ｙ及び第２の光学系２２Ｙのうちの一方がレンズ中心Ｏ１を中心とする円形領域に形成され、他方がその周辺の円環領域に形成されていてもよい。また、第１の光学系２１Ｙ及び第２の光学系２２Ｙの表面積比及び体積比も特に限定されない。

このような構成の多様レンズ１１Ｙを使用することにより、第３実施形態の撮像装置は、合焦距離の異なる２種類の画像を同時に取得することができる。

図２６は、第３実施形態の撮像装置の指向性センサ２４Ｙの一部を示す拡大断面図である。第３実施形態の指向性センサ２４Ｙの各画素も、上述の第１実施形態の指向性センサ２４の各画素２５と基本的には同様の構成を有するが、第３実施形態の遮光マスク２８Ｙはフォトダイオード２９の受光面の半分を覆うように配置される。すなわち、第１の画素２５Ｙａの遮光マスク２８Ｙは、フォトダイオード２９の２分割された受光面のうちの一方を覆うように配置される。また、第２の画素２５Ｙｂの遮光マスク２８Ｙは、フォトダイオード２９の２分割された受光面のうちの他方を覆うように配置される。このような配置を有する遮光マスク２８Ｙによって不要な光束が遮断されて瞳分割が行われ、第１の光学系２１を通過した光束は第１の画素２５Ｙａによって受光され、第２の光学系２２を通過した光束は第２の画素２５Ｙｂによって受光される。

なお、第１の画素２５Ｙａ及び第２の画素２５Ｙｂの数の比は、第１の光学系２１Ｙ（遠合焦領域６０ａ）及び第２の光学系２２Ｙ（近合焦領域６０ｂ）の受光面の面積比と等しいことが好ましい。従って、第１の光学系２１Ｙ及び第２の光学系２２Ｙの受光面の面積が等しい場合には、第１の画素２５Ｙａ及び第２の画素２５Ｙｂの数も同じであることが好ましい。また、第１の画素２５Ｙａ及び第２の画素２５Ｙｂは、生成される画像の特定の領域及び特定の方向に関して画質が劣化しないように配置されることが好ましく、第１の画素２５Ｙａ及び第２の画素２５Ｙｂを混在させることで補間処理等により画素データの欠落を補うことができる。

図２７は、第３実施形態の撮像装置の多様レンズ１１Ｙを使用した撮影メカニズムを説明するための図である。

図２７において、各参照符号が示す内容は以下の通りである。

ａ１：第１の光学系２１Ｙ（遠合焦領域６０ａ）のレンズ−受光面間距離
ａ２：第２の光学系２２Ｙ（近合焦領域６０ｂ）のレンズ−受光面間距離
ｂ１：第１の光学系２１Ｙ（遠合焦領域６０ａ）のレンズ−被写体間距離
ｂ２：第２の光学系２２Ｙ（近合焦領域６０ｂ）のレンズ−被写体間距離
ＦＤ１：第１の光学系２１Ｙ（遠合焦領域６０ａ）の合焦距離
ＦＤ２：第２の光学系２２Ｙ（近合焦領域６０ｂ）の合焦距離
Ｑ１Ａ、Ｑ１Ｂ及びＱ２：被写体
なお、本実施形態において「合焦距離」とは、指向性センサ２４Ｙの各画素２５Ｙａ，２５Ｙｂの受光面から各画素２５Ｙａ，２５Ｙｂと合焦関係にある被写体までの距離を指し、図２７に示す例では「ＦＤ１＝ａ１＋ｂ１」及び「ＦＤ２＝ａ２＋ｂ２」の関係が成立する。また，第１の光学系２１Ｙ（遠合焦領域６０ａ）の焦点距離を「ｆ１」とし、第２の光学系２２Ｙ（近合焦領域６０ｂ）の焦点距離を「ｆ２」とすると、「１／ｆ１＝（１／ａ１）＋（１／ｂ１）」及び「１／ｆ２＝（１／ａ２）＋（１／ｂ２）」の関係が成立する。

このような「合焦距離の異なる第１の光学系２１Ｙ及び第２の光学系２２Ｙ」を具備する第３実施形態の撮像装置おいても、第１実施形態と同様の機能構成（図３参照）によって、第１の光学系２１と第２の光学系２２との間における光束の干渉の影響を、実際の撮影状況に応じて低減することができる。そして、多様レンズ１１Ｙを通常レンズ１２にレンズ交換した場合には、前述の単一画像信号処理部４９によるシェーディング補正処理が実行されるので、第１実施形態と同様に、指向性センサ２４Ｙの複数種類の画素ごと（第１の画素２５Ｙａ及び第２の画素２５Ｙｂ）の感度差が補正される。従って、第１実施形態と同様の効果が得られる。

［その他］
上記各実施形態では、静止画撮影を行う撮像装置を例に挙げて説明を行ったが、動画撮影を行う撮像装置にも本発明を適用することができる。

上記各実施形態では、多様レンズとして、特性（焦点距離や合焦距離）の異なる第１の光学系と第２の光学系とにより構成されるものを例に挙げて説明を行ったが、多様レンズが特性（焦点距離や合焦距離）の異なる３種類以上の光学系により構成されていてもよい。この場合には、指向性センサとして、３種類以上の光学系のうちの対応する光学系を通過した光束を瞳分割して選択的に受光する複数種類の画素を有するものを用いる。また、多様画像信号処理部は、検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づいて３種類以上の画像データ（例えば、広角画像、望遠画像（１）、望遠画像（２）、・・・）の画像補正処理（混信低減処理）を行う。

上記各実施形態では、多様レンズの「特性」が異なる第１の光学系及び第２の光学系として、「焦点距離」や「合焦距離」が異なる第１の光学系及び第２の光学系を例に挙げて説明を行ったが、例えば、特性として、「焦点距離」や「合焦距離」は同一であるが、第１の光学系及び第２の光学系のＭＴＦ（Modulation Transfer Function）が異なっていてもよい。

上記各実施形態では、単一画像信号処理部４９がシェーディング補正によって指向性センサの複数種類の画素ごとの感度差を補正しているが、この感度差を補正する方法はシェーディング補正に限定されるものではなく、公知の各種補正方法を用いることができる。

また、上述の各構成及び各機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

また、本発明を適用可能な態様は図１に示すようなデジタルカメラ型の撮像装置には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２８は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図２８に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図２９は、図２８に示すスマートフォン１０１の構成を示すブロック図である。図２９に示すように、スマートフォン１０１の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Global Positioning System）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びＷｅｂデータやストリーミングデータなどの受信が行われる。

表示入力部１２０は、表示パネル１２１及び操作パネル１２２を備えるいわゆるタッチパネルであり、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。

表示パネル１２１は、ＬＣＤ（Liquid Crystal Display）又はＯＥＬＤ（Organic Light-Emitting Diode Display）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

本発明の撮像装置の一実施形態として図２８に例示されるスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図２８に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図２８に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。なお、記憶部１５０を
構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、或いはＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ：Universal Serial Bus）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wide Band）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により他の外部機器に直接的又は間接的に接続する。

スマートフォン１０１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるパーソナルコンピュータ、有線／無線接続されるＰＤＡ、及びイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達したり、スマートフォン１０１の内部のデータが外部機器に伝送されたりするように構成されてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度によって特定される位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮから位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。その検出の結果は、主制御部１００に出力される。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。また、主制御部１００は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示したりする。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）などの撮像素子を用いて電子撮影するデジタルカメラであり、本発明の撮像装置に相当する。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図２８に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面（筐体１０２の表面）と、筐体１０２の背面とにそれぞれ搭載されている。

筐体１０２の背面に搭載されたカメラ部１４１は、上記各実施形態で説明した指向性センサ２４を有しており、さらに上記各実施形態と同様にレンズ交換が可能である。そして、このカメラ部１４１は、レンズ取付部に取り付けられたレンズの種類を判別すると共に、この判別したレンズの種類に応じて画像データに施す画像補正処理の種類（混信低減処理、感度補正処理）を切り替えることができる。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示されてもよいし、操作パネル１２２の操作入力手法の一つとして、カメラ部１４１で撮影取得される画像が利用されてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

＜自動追尾撮像装置への適用例＞
また、本発明は、例えば、ユーザ操作に応じて撮影を行う撮像装置だけではなく、レンズ交換可能であって且つ自動的に撮影を行う撮像装置に対しても本発明は適用可能である。

図３０は、本発明を適用可能な自動追尾撮像装置２１４（本発明の撮像装置に相当）の一例を示す斜視図である。図３０に示す自動追尾撮像装置２１４では、ギア２１９を含む保持部２１８とこの保持部２１８に取り付けられた撮影光学系２１１とが、装置本体２１５上に設けられる台座２１６に固定的に据え付けられている。台座２１６は、装置本体２１５の垂直方向Ｚの軸を中心に回転自在に設けられており、図示しないパン駆動部により垂直方向Ｚの軸を中心にしたパン動作が行われる。ギア２１９は水平方向Ｘの軸と同軸上に設けられ、図示しないチルト駆動部からギア２１９を介して駆動力が伝達されることにより、撮影光学系２１１が上下方向に回動させられてチルト動作が行われる。これらの撮影光学系２１１、保持部２１８（ギア２１９）及び台座２１６は、防塵及び防滴用のドームカバー２１７によって覆われている。

撮影光学系２１１は、上記各実施形態で説明した多様レンズと通常レンズとが選択的に取り付け可能（レンズ交換可能）になっている。そして、自動追尾撮像装置２１４は、上記各実施形態の撮像装置と同様に、保持部２１８に取り付けられたレンズの種類を判別し、この判別したレンズの種類に応じて画像データに施す画像補正処理の種類（混信低減処理、感度補正処理）を切り替えることができる。その結果、上記各実施形態で説明した効果と同様の効果が得られる。

２…撮像装置，３…レンズ取付部，７…表示部，１１…多様レンズ，１２…通常レンズ，２１…第１の光学系，２２…第２の光学系，２４…指向性センサ，３３…画像生成部，３６…記録部，３７…伝送部，４１…多様画像，４２…広角画像，４３…望遠画像，４５…単一画像，４８…多様画像信号処理部，４９…単一画像信号処理部，５６…受信部

Claims (10)

1. 複数の領域を有し且つ当該複数の領域がそれぞれ独立した特性を有する多様レンズと、１つの特性を有する通常レンズと、を含む複数種類のレンズが選択的に取り付けられるレンズ取付部と、
   ２次元状に配列された光電変換素子により構成された複数種類の画素を有する指向性センサであって、前記レンズ取付部に前記多様レンズが取り付けられた場合に、前記複数の領域を介して入射する光束をそれぞれ瞳分割して前記複数種類の画素にて選択的に受光する指向性センサと、
   前記レンズ取付部に取り付けられた前記レンズの種類を判別する判別部と、
   前記指向性センサから前記画素ごとに撮像信号を読み出して画像を生成する画像生成部と、
   前記画像生成部にて生成された前記画像の補正を行う画像補正部と、を備え、
   前記画像生成部は、前記判別部の判別結果に基づき、前記レンズ取付部に前記多様レンズが取り付けられている場合には、前記複数の領域にそれぞれ対応する前記指向性センサの撮像信号から前記複数の領域にそれぞれ対応する複数の画像を生成し、前記レンズ取付部に前記通常レンズが取り付けられている場合には、前記指向性センサの全画素の撮像信号から１つの画像を生成し、
   前記画像補正部は、前記判別部の判別結果に基づき、前記レンズ取付部に前記多様レンズが取り付けられている場合に、前記複数の領域のうちの一の領域に対応して生成された画像から、前記一の領域以外の領域を通過した光束の影響を除去する補正を行い、前記レンズ取付部に前記通常レンズが取り付けられている場合に、前記複数種類の画素の画素ごとの感度差を補正する撮像装置。
2. 前記特性は、焦点距離及び合焦距離のうち少なくとも一方である請求項１に記載の撮像装置。
3. 前記レンズ取付部には、複数種類の前記多様レンズが選択的に取り付けられる請求項１または２に記載の撮像装置。
4. 前記画像生成部は、前記判別部の判別結果に基づき、前記レンズの種類ごとに予め定められた読出形式で前記撮像信号を前記指向性センサから読み出す請求項１から３のいずれか１項に記載の撮像装置。
5. 前記判別部の判別結果に基づき、前記画像補正部にて補正された前記画像を、前記レンズの種類ごとに予め定められた記録形式で記録媒体に記録する記録部を備える請求項１から４のいずれか１項に記載の撮像装置。
6. 前記判別部の判別結果に基づき、前記画像補正部にて補正された前記画像を、前記レンズの種類ごとに予め定められた表示形式で表示する表示部を備える請求項１から５のいずれか１項に記載の撮像装置。
7. 前記画像補正部にて補正された前記画像を、当該画像を受信する受信部に伝送する伝送部であって、前記判別部の判別結果に基づき、前記レンズの種類ごとに予め定められた伝送形式で当該画像を前記受信部に伝送する伝送部を備える請求項１から６のいずれか１項に記載の撮像装置。
8. 前記複数の領域は、第１の領域と、前記第１の領域の周辺に設けられ且つ前記第１の領域と同一の光軸を有する第２の領域と、を有する請求項１から７のいずれか１項に記載の撮像装置。
9. 前記レンズ取付部に取り付けられた前記レンズの種類を入力する入力部を備え、
   前記判別部は、前記入力部への入力結果に基づき、前記レンズ取付部に取り付けられた前記レンズの種類を判別する請求項１から８のいずれか１項に記載の撮像装置。
10. 複数種類のレンズが選択的に取り付けられるレンズ取付部と、２次元状に配列された光電変換素子により構成された複数種類の画素を有する指向性センサとを備える撮像装置であって、前記複数種類のレンズとして、複数の領域を有し且つ当該複数の領域がそれぞれ独立した特性を有する多様レンズと、１つの特性を有する通常レンズと、を含み、前記レンズ取付部に前記多様レンズが取り付けられた場合に、前記指向性センサにより前記複数の領域を介して入射する光束をそれぞれ瞳分割して前記複数種類の画素にて選択的に受光する撮像装置の制御方法において、
    前記レンズ取付部に取り付けられている前記レンズの種類を判別する判別ステップと、
    前記指向性センサから前記画素ごとに撮像信号を読み出して画像を生成する画像生成ステップと、
    前記画像生成ステップにて生成された前記画像の補正を行う画像補正ステップと、を有し、
    前記画像生成ステップは、前記判別ステップの判別結果に基づき、前記レンズ取付部に前記多様レンズが取り付けられている場合には、前記複数の領域にそれぞれ対応する前記指向性センサの撮像信号から前記複数の領域にそれぞれ対応する複数の画像を生成し、前記レンズ取付部に前記通常レンズが取り付けられている場合には、前記指向性センサの全画素の撮像信号から１つの画像を生成し、
    前記画像補正ステップは、前記判別ステップの判別結果に基づき、前記レンズ取付部に前記多様レンズが取り付けられている場合に、前記複数の領域のうちの一の領域に対応して生成された画像から、前記一の領域以外の領域を通過した光束の影響を除去する補正を行い、前記レンズ取付部に前記通常レンズが取り付けられている場合に、前記複数種類の画素の画素ごとの感度差を補正する撮像装置の制御方法。