JP2016031498A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】カメラボディに装着されている交換レンズが交換された場合等において、撮像素子に入射する被写体光束のうち最も外側に位置する最外光線の入射角度が変化するときに、視差画像を適切に生成できない場合があった。
【解決手段】画像信号を出力する有効画素として２次元的かつ周期的に配列された視差画素のそれぞれに対応して設けられた開口マスクの開口は、有効画素領域の端に配置された視差画素が、被写体像を集光する複数の交換レンズのいずれに対しても、入射光束のうち複数の交換レンズのそれぞれの光軸から偏位した予め定められた部分光束の少なくとも一部を通過させるように位置づけられている撮像素子。
【選択図】図１

Description

本発明は、撮像素子および撮像装置に関する。

単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−７９９４号公報

カメラボディに装着されている交換レンズが交換された場合等において、撮像素子に入射する被写体光束のうち最も外側に位置する最外光線の入射角度が変化するときに、視差画像を適切に生成できない場合があった。

本発明の第１の態様における撮像素子は、画像信号を出力する有効画素として２次元的かつ周期的に配列された視差画素のそれぞれに対応して設けられた開口マスクの開口は、有効画素領域の端に配置された視差画素が、被写体像を集光する複数の交換レンズのいずれに対しても、入射光束のうち複数の交換レンズのそれぞれの光軸から偏位した予め定められた部分光束の少なくとも一部を通過させるように位置づけられている。

本発明の第２の態様における撮像装置は、画像信号を出力する有効画素として２次元的かつ周期的に配列されそれぞれが開口マスクを有する視差画素を含む撮像素子と、いずれの視差画素に対しても、装着されている交換レンズから入射する被写体光束のうち交換レンズの光軸から偏位した予め定められた部分光束の少なくとも一部が開口マスクの開口を通過するかを判定する判定部と、判定部が、開口を通過しないと判定した場合にユーザにその旨を報知する報知部とを備える。

本発明の第３の態様における撮像装置は、画像信号を出力する有効画素として２次元的かつ周期的に配列されそれぞれが開口マスクを有する視差画素を含む撮像素子と、被写体像を集光するズームレンズとを備え、開口マスクの開口は、有効画素領域の端に配置された視差画素が、ズームレンズの複数の焦点距離に対して、被写体光束のうちズームレンズの光軸から偏位した予め定められた部分光束の少なくとも一部を通過させるように位置づけられている。

本発明の第４の態様における撮像素子は、画像信号を出力する有効画素として２次元的かつ周期的に配列された分割画素のそれぞれは、単位画素領域内に形成された複数のフォトダイオードを含み、有効画素領域の端に配置された分割画素であっても、被写体像を集光する交換レンズのいずれに対しても、入射光束のうち交換レンズの光軸から偏位した予め定められた部分光束の少なくとも一部が複数のフォトダイオードのうち特定のフォトダイオードに入射するように位置づけられている。

本発明の第５の態様における撮像装置は、画像信号を出力する有効画素として２次元的かつ周期的に配列され、それぞれが単位画素領域内に偏位した複数のフォトダイオードを含む分割画素を含む撮像素子と、いずれの分割画素に対しても、装着されている交換レンズから入射する被写体光束のうち交換レンズの光軸から偏位した予め定められた部分光束の少なくとも一部が複数のフォトダイオードのうち特定のフォトダイオードに入射するかを判定する判定部と、判定部が、特定のフォトダイオードに入射しないと判定した場合にユーザにその旨を報知する報知部とを備える。

本発明の第６の態様における撮像装置は、画像信号を出力する有効画素として２次元的かつ周期的に配列され、それぞれが単位画素領域内に偏位した複数のフォトダイオードを含む分割画素を含む撮像素子と、被写体像を集光するズームレンズとを備え、分割画素は、有効画素領域の端に配置された分割画素であっても、ズームレンズのいずれの焦点距離に対しても、被写体光束のうちズームレンズの光軸から偏位した予め定められた部分光束の少なくとも一部が複数のフォトダイオードのうち特定のフォトダイオードに入射するように位置づけられている。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラの構成を説明する図である。 撮像素子の一部を拡大した様子を概念的に表す概念図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つである場合における開口マスクの開口形状の一例を説明する図である。 撮像素子の断面を表す概略図である。 配線の形成位置による画素感度と画素への光線入射角度の変化を説明する図である。 撮像素子に入射する被写体光束のうち最外光線の入射角度を説明する図である。 撮像素子の画素の構成を説明する図である。 撮像素子の画素の構成を説明する図である。 変形例に係る撮像素子の画素の構成を説明する図である。 変形例に係る撮像素子の画素の構成を説明する図である。 ２ＰＤが採用された撮像素子の画素の構成を説明する図である。 ２Ｄ画像データと視差画像データの生成処理の例を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。詳しくは後述するが、本実施形態に係るデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。また、左視点の視差画素を視差Ｌｔ画素または左視差画素、右視点の視差画素を視差Ｒｔ画素または右視差画素と記す場合もある。左視点の視差画像を視差Ｌｔ画像、右視点の視差画像を視差Ｒｔ画像と記す場合もある。

図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、交換レンズ３００がカメラ本体２００に装着されて構成される。カメラ本体２００は、撮像素子１００、カメラ本体制御部２０１、Ａ／Ｄ変換回路２０２、ワークメモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、および表示制御部２１０を備える。交換レンズ３００は、撮影光学系としての撮影レンズ２０、絞り２２、交換レンズ制御部３０１、およびレンズ駆動部３０４を備える。また、カメラ本体２００は、カメラマウント２１３を備え、交換レンズ３００は、レンズマウント３０３を備える。カメラマウント２１３とレンズマウント３０３が係合すると、カメラ本体２００側の通信端子と交換レンズ３００側の通信端子との接続が確立され、互いに制御信号等の通信を行うことができる。カメラ本体制御部２０１および交換レンズ制御部３０１は、相互に通信を実行しつつ協働してカメラ本体２００と交換レンズ３００を制御する。

交換レンズ３００には、焦点距離等が異なる複数の種類がある。ユーザは、撮影目的に応じて任意の一つをカメラ本体２００へ装着することができる。交換レンズ３００に備えられた撮影レンズ２０は、光軸２１に沿って入射する被写体光束をカメラ本体２００内に配置された撮像素子１００へ導く。図１に示すように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。瞳近傍には、光軸を中心として同心状に入射光束を制限する絞り２２が配置されている。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、複数の画素が二次元的に配列された、例えばＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画素信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画素信号をデジタル信号に変換してワークメモリ２０３へ出力する。

画像処理部２０５は、ワークメモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像データは、後述するように、撮像素子１００の視差なし画素の出力から生成される基準画像データと、撮像素子１００の視差画素の出力から生成される視差画像データを包含する。画像処理部２０５は、他にも、選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。ＪＰＥＧファイル形式の画像データを生成する場合には、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、表示制御部２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、カメラ本体制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、カメラ本体制御部２０１に制御されて実行される。

デジタルカメラ１０は、通常の２Ｄ撮影モードの他に視差画像撮影モードを備える。視差画像撮影モードに設定されていれば、視差画像を撮影することができる。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。

カメラ本体制御部２０１は、カメラメモリ２１４を含む。カメラ本体制御部２０１は、交換レンズ３００がカメラ本体２００に装着されると、交換レンズ制御部３０１を介して撮影レンズ２０のレンズ情報を取得する。本実施形態においては、レンズ情報として交換レンズ３００を識別する識別情報を取得する。また、カメラメモリ２１４から後述する交換レンズを識別する識別情報に関する対応テーブルを取得する。カメラ本体制御部２０１は、撮影レンズ２０のレンズ情報を対応テーブルに照らし合わせて、いずれの視差画素に対しても、装着されている交換レンズ３００から入射する被写体光束のうち交換レンズ３００の光軸２１から偏位した予め定められた部分光束の少なくとも一部が後述する配線の開口を通過するかを判定する。予め定められた部分光束が配線の開口を通過しないと判定した場合、すなわち、交換レンズ３００の識別番号に合致する識別番号が対応テーブルに含まれない場合には、その旨をユーザに報知する。具体的には、予め定められた部分光束が配線の開口を通過しない旨を表示部２０９に表示する。なお、ユーザへの報知方法は、本例に限られない。例えば、音声により報知してもよい。

カメラメモリ２１４は、例えばフラッシュメモリなどの不揮発性メモリであり、デジタルカメラ１０を制御するプログラム、各種パラメータ等を記憶する役割を担う。カメラメモリ２１４は、上記の対応テーブルを記憶している。対応テーブルは、透過する被写体光束が予め設定されている入射角度範囲に収まる交換レンズの識別情報が記載されたテーブルである。なお、ファームアップにより対応テーブルを随時更新してもよい。

交換レンズ制御部３０１は、レンズ駆動部３０４を介して撮影レンズ２０を移動させる。交換レンズ制御部３０１は、レンズメモリ３０２を含む。交換レンズ制御部３０１は、撮影レンズ２０のレンズ情報を記憶しているレンズメモリ３０２から当該レンズ情報を読み出し、カメラ本体制御部２０１に送信する。レンズメモリ３０２は、撮影レンズ２０のレンズ情報として当該撮影レンズ２０を識別するための識別情報を記憶している。

図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には例えば２０００万個以上もの画素がマトリクス状に配列されている。本実施形態においては、隣接する８画素×８画素の６４画素が一つの基本格子を構成する。基本格子は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。

基本格子は、視差画素と視差なし画素を含む。視差画素は、交換レンズ３００を透過する入射光束のうち、光軸から偏位した部分光束を受光し、画素信号に変換して出力する偏位画素である。詳しくは後述するが、視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を形成する配線が設けられている。配線は、偏位開口を規定する開口マスクとして機能する。視差画素には、視差Ｌｔ画素と視差Ｒｔ画素の２種類が存在する。視差Ｌｔ画素は、画素中心に対して左側に到達した部分光束を受光し、画素信号に変換して出力する画素である。視差Ｒｔ画素は、画素中心に対して右側に到達した部分光束を受光し、画素信号に変換して出力する画素である。一方、視差なし画素は、偏心のない非偏位画素である。視差なし画素は、交換レンズ３００を透過する入射光束の全体を受光し、画素信号に変換して出力する。

なお、図２においては、撮像素子１００における一つの基本格子を、その画素配列に一致させてそのまま羅列した様子を示している。画素の種類が理解されるように示しているが、実際には各画素に対応した出力値が並ぶ。また、基本格子内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。

撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分される。基本格子には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素がその群の視差なしＮ画素の間に少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子内において分散して配置されるとよい。例えば、２次元的かつ周期的に配置されるとよい。分散して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。

図２に示す基本格子においては、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。ＲＧＢ比率は、視差Ｌｔ画素、視差Ｒｔ画素、および視差なし画素のそれぞれについて、ベイヤー配列と同じＲ：Ｇ：Ｂ＝１：２：１の構成である。視差なし画素と視差Ｌｔ画素と視差Ｒｔ画素の画素数比は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１である。視差なし画素の空間解像度は、ベイヤー配列に近い状態を保っている。

続いて、単眼立体撮像におけるボケと視差の関係について説明する。視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する前に、まず、視差なし画素におけるデフォーカスの概念について簡単に説明する。

図３は、視差なし画素におけるデフォーカスの概念を説明する図である。図３（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図３（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

図３（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。

図４は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。

図４（ａ）に示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図４（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。

また、図４（ｃ）に示すように、さらに物点が焦点位置からずれると、図４（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。

図４（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図４（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。

図３で説明した光強度分布の変化と、図４で説明した光強度分布の変化をそれぞれグラフ化すると、図５のように表される。図５は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。

図５（ａ）は、図３で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図３（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図３（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図３（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図５（ｂ）は、図４で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図４（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図４（ｂ）に対して同等のデフォーカス状態である図３（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図４（ｃ）に対して同等のデフォーカス状態である図３（ｃ）の分布曲線１８０３と相似形状を示す。なお、図４（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図４（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。

図６は、視差画素の種類が２つである場合における開口部１０４の開口形状の一例を説明する図である。図６（ａ）は、視差Ｌｔ画素の開口マスクにおける開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図６（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。この場合に、本明細書においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。また、開口部が光電変換部の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換部の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

図６（ｂ）は、図６（ａ）で示した各開口部を有する画素のみを集めた画素群において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素群の中の画素位置を表し、中心位置が像点に対応する画素位置である。また、曲線Ｌｔは図５（ｂ）の分布曲線１８０４、曲線Ｒｔは図５（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図５（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ幅は、図５（ｂ）の合成分布曲線１８０６で示される、視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。

図６（ｃ）は、図６（ａ）で示した各開口部を有する画素のみを集めた画素群において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素群の中の画素位置を表し、中心位置が像点に対応する画素位置である。図６（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素のボケ幅が視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図６（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。

図７は、撮像素子１００の断面を表す概略図である。特に、撮像素子１００のうち有効画素領域の中央部分の断面を表す概略図である。有効画素領域の端部の断面については後述する。撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、配線層１０５、および基板１０９が配列されて構成されている。

基板１０９には、二次元的に複数の光電変換部１０８が配列されている。光電変換部１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換部１０８により変換された画像信号、光電変換部１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。

配線１０６は、入射光束を制限する開口マスクとしても機能する。規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換部１０８へ導くことができる。本実施形態においては、図７に示した開口形状に対応すべく、配線１０６は、光電変換部１０８の半分を覆うようにＸ軸方向に延伸している。開口マスクとして機能する配線１０６の作用により入射光束が制限され、視差が生じることになる。配線１０６の延伸部分の端部は、テーパー形状に形成されている。

一方、視差を生じさせない光電変換部１０８上には、配線１０６が存在しない。すなわち、配線１０６は、Ｘ軸方向に延伸していない。別言すれば、配線１０６は、対応する光電変換部１０８に対して入射する入射光束を制限しない、つまり入射光束の全体を通過させる開口マスクとして機能するとも言える。なお、開口形状を形成する配線１０６を配線層１０５のうち最も光電変換部１０８側に形成してもよい。

カラーフィルタ１０２は、配線層１０５上に設けられている。カラーフィルタ１０２は、各光電変換部１０８に対して特定の波長帯域を透過させるように着色された、光電変換部１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する入射光束のより多くを光電変換部１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換部１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換部１０８の相対的な位置関係を考慮して、より多くの入射光束が光電変換部１０８に導かれるようにその光軸がシフトされていることが好ましい。

このように、各々の光電変換部１０８に対応して一対一に設けられるカラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換部１０８とは反対側に設けられる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。

以上の説明では、配線１０６が開口マスクの機能を兼ねる構成であったが、開口マスクを別途形成してもよい。例えば、カラーフィルタ１０２の直下に開口マスクを形成することができる。開口マスクは、各光電変換部１０８に対応して別個独立に配列してもよいし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換部１０８に対して一括して形成してもよい。また、開口マスクの開口部に色成分を持たせれば、カラーフィルタ１０２と開口マスクを一体的に形成することもできる。

開口マスクは、光電変換部１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスクは、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部に相当する領域をエッチングで除去して形成される。さらに、光電変換部１０８そのものの領域を開口部に相当するように形成してもよい。

図８は、配線の形成位置による画素感度と画素への光線入射角度の変化を説明する図である。図８（ａ）は、比較例としての視差Ｌｔ画素の構成を説明する図である。ここでは、マイクロレンズ４０１、配線４０６、および光電変換部４０８を図示している。配線４０６は、光電変換部４０８に接した状態で配置されている。配線４０６は、光電変換部４０８の右半分を覆っている。また、マイクロレンズ４０１の焦点位置は光電変換部４０８の受光面の高さに設定されている。図８（ａ）の中央の図は、マイクロレンズ４０１に垂直に平行光が入射した状態を示している。この状態においては、入射する光線の一部は光電変換部４０８に達する。図８（ａ）の左図は、マイクロレンズ４０１に入射する平行光が時計回りの方向、すなわちマイナス側に傾いた状態を示している。この状態においては、入射する光線の全ては光電変換部４０８に達する。図８（ａ）の右図は、マイクロレンズ４０１に入射する平行光が反時計回りの方向、すなわちプラス側に傾いた状態を示している。この状態においては、入射する光線の全ては光電変換部４０８に達しない。

図８（ｂ）は、比較例としての視差Ｌｔ画素の光線入射角度と画素感度との関係を説明する図である。横軸は、画素への光線入射角度［θ］を示し、縦軸は、画素感度を示す。破線は、視差なし画素の光線入射角度と画素感度との関係を示す。比較例としての視差Ｌｔ画素においては、配線４０６が光電変換部４０８に接した状態で配置されているので、太線で図示するように、入射光線角度がマイナスの場合には感度を有するものの、プラスの場合には感度を有しない。

図８（ｃ）は、本実施形態の視差Ｌｔ画素の構成を説明する図である。ここでは、マイクロレンズ１０１、配線１０６、および光電変換部１０８を図示している。既に説明したように、配線１０６は、光電変換部１０８から離れた位置に配置されている。配線１０６は、光電変換部１０８の右半分を覆っている。また、マイクロレンズ１０１の焦点位置は光電変換部１０８の受光面の高さに設定されている。図８（ｃ）の中央の図は、マイクロレンズ１０１に垂直に平行光が入射した状態を示している。この状態においては、入射する光線の一部は光電変換部１０８に達する。比較例の視差Ｌｔ画素と比較した場合には、配線１０６がマイクロレンズ１０１の焦点位置よりもマイクロレンズ１０１寄りに配置されているが、制限する光束の範囲は同一であるので、光電変換部４０８に達する光線の量は変わらない。

図８（ｃ）の左図は、マイクロレンズ１０１に入射する平行光が時計回りの方向に傾いた状態を示している。この状態においては、入射する光線の一部は光電変換部１０８に達するものの、残部１１１は配線１０６により遮られて光電変換部１０８に達しない。図８（ｃ）の右図は、マイクロレンズ１０１に入射する平行光が半時計回りの方向に傾いた状態を示している。この状態においては、入射する光線の全てが光電変換部１０８に達しないのではなく、一部１１２は光電変換部１０８に達する。

図８（ｄ）は、本実施形態の視差Ｌｔ画素における光線入射角度と画素感度の関係を説明する図である。横軸は、画素への光線入射角度［θ］を示し、縦軸は、画素感度を示す。破線は、視差なし画素の光線入射角度と画素感度との関係を示す。本実施形態の視差Ｌｔ画素においては、配線１０６が光電変換部１０８から離れた位置に配置されているので、太線で図示するように、画素は、左半分だけでなく、右半分にも感度を有する。より詳細には、図８（ｃ）の左図で説明したように、この状態においては、残部１１１が光電変換部１０８に達しない分だけ、画素感度は低下する。領域１１３は、残部１１１が光電変換部１０８に達した場合の画素感度に相当する。一方で、図８（ｃ）の右図で説明したように、この状態においては、光線の一部１１２は光電変換部１０８に達する。したがって、画素は、右半分にも感度を有する領域を持つ。図においては、領域１１４は、光線の一部１１２が光電変換部１０８に達したことによる画素感度に相当する。

なお、以上の説明では、視差Ｌｔ画素を例に挙げたが、視差Ｒｔ画素についても同様のことが言える。以上のような視差Ｌｔ画素、視差Ｒｔ画素が配列されているので、図５に示した分布曲線１８０４と分布曲線１８０５とを重なり易くすることができる。一般には、マイクロレンズ１０１の焦点位置が入射光束を制限する面から少しでもずれていれば、同様のことが言える。ここでいう入射光束を制限する面は、図７、８における配線１０６に相当する。

図９は、撮像素子１００に入射する被写体光束のうち最外光線の入射角度（ＣＲＡ）を説明する図である。より詳細には、図９は、最外光線の入射角度と撮影レンズ２０の射出距離との関係を示している。撮像素子１００に入射する被写体光束は、例えば有効画素領域に入射する被写体光束である。図９（ａ）は、交換レンズ３００として広角レンズが装着された場合を示す。図９（ｂ）は、交換レンズ３００として標準レンズが装着された場合を示す。図９（ｃ）は、交換レンズ３００として望遠レンズが装着された場合を示す。なお、図９においては、望遠になるほど射出瞳距離が長くなるとする。

図９に示すように、撮影レンズ２０の射出瞳距離により、最外光線の入射角度は異なる。具体的には、交換レンズ３００として標準レンズが装着された場合のＣＲＡを基準とすると、図９（ａ）に示すように、広角レンズが装着された場合のＣＲＡは、基準よりも大きくなる。一方で、図９（ｃ）に示すように、望遠レンズが装着された場合のＣＲＡは、基準よりも小さくなる。

最外光線の入射角度が変わることにより、有効画素領域の端部に配列された画素に対する入射光束の入射角度も変わる。詳しくは後述するが、本実施形態の撮像素子１００においては、広角レンズが装着されている場合でも、望遠レンズが装着されている場合でも、視差画素が入射光束を受光できるように、配線１０６の位置および配線１０６の開口が規定されている。結果として、左右の視差画像間でのシェーディングを抑制することができ、不均一な瞳分割による左右の視差画像間の差異を抑制することができる。

図１０は、撮像素子１００の画素１１０の構成を説明する図である。特に、有効画素領域の端部に位置する画素の断面を表す概略図である。ここでは、画素１１０として右視差画素を例に挙げており、マイクロレンズ１０１、配線１０６、および光電変換部１０８を図示している。配線１０６のうち破線で示す部分は開口部分を示し、ハッチングで示す部分は遮光部分を示す。一点鎖線は、望遠レンズが装着されている場合の入射光束を示し、二点鎖線は、標準レンズが装着されている場合の入射光束を示し、三点鎖線は、広角レンズが装着されている場合の入射光束を示す。

本実施形態において、予め設定されている光量を通過させるために必要な開口マスクの高さを目標高さｈ１という。ここでいう高さとは、光電変換部１０８からの距離である。本実施形態においては、予め設定されている光量は、マイクロレンズ１０１に入射する光量の１／４とする。なお、予め設定されている光量は、本例に限られない。

配線１０６は、目標高さｈ１に配置されている。より詳細には、配線１０６は、配線１０６のうち光電変換部１０８に対向する側の面が、目標高さｈ１に一致するように配置されている。開口部１０４がマイクロレンズ１０１と目標高さｈ１との間に位置するように配置されていると言うこともできる。目標高さｈ１は、光電変換部１０８の表面から、広角レンズが装着された場合における、入射光束のうち第１方向である紙面右方向側の特定部分の光束１２１と、望遠レンズが装着された場合における、入射光束のうち第２方向である紙面左方向側の特定部分の光束１２２との交点１２３までの距離である。交点１２３は、より詳細には、光束１２１における紙面左側の外縁の光線である周縁光線１２６と、光束１２２における紙面右側の外縁の光線である周縁光線１２７との交点である。ここで、光束１２１は、広角レンズが装着された場合の、マイクロレンズ１０１に入射する全光束のうち１／４の光量に相当する光束であり、光束１２２は、望遠レンズが装着された場合の、マイクロレンズ１０１に入射する全光束のうち１／４の光量に相当する光束である。また、配線１０６は、遮光部分が光束１２１に沿うように、配置されている。以上のように配線１０６が配置されることにより、画素１１０は、どの交換レンズが装着されようとも、マイクロレンズ１０１に入射する光量の少なくとも１／４の光量を受光することができる。すなわち、視差画素として機能することができる。以上のように、配線１０６の開口は、有効画素領域の端に配置された視差画素であっても、被写体像を集光する交換レンズのいずれに対しても、入射光束のうち交換レンズの光軸から偏位した予め定められた部分光束の少なくとも一部を通過させるように位置づけられている。

なお、配線１０６の形成位置は、本例に限られない。配線１０６は、マイクロレンズ１０１から離れた位置であれば、図１０に示す形成位置よりも高い位置に形成されてもよい。より詳細には、配線１０６は、配線１０６のうち光電変換部１０８に対向する側の面が目標高さｈ１よりも高い位置に形成されてもよい。

マイクロレンズ１０１は、マイクロレンズ１０１の光軸１２５が光電変換部１０８の中心を示す画素中心線１２４に対してシフトした位置に配置されている。ここでは、右側にシフトした位置に配置されている。マイクロレンズ１０１がシフトされると、画素感度の角度依存性のピーク角度が変わる。そこで、被写体光束の最外光線の入射角度に合わせてマイクロレンズ１０１をシフトさせるとよい。例えば、カメラシステムとしてのバランスの観点からは、標準レンズに合わせてシフトさせるとよい。

図１１は、撮像素子１００の画素１１０の構成を説明する図である。特に、有効画素領域の端部に位置する画素の断面を表す概略図である。図１１は、図１０に対応しており、左視差画素および右視差画素のそれぞれについて、広角レンズ、標準レンズ、および望遠レンズが装着された場合を示す。ここでは、マイクロレンズ１０１、配線１０６、および光電変換部１０８を図示している。配線１０６のうち破線で示す部分は開口部分を示し、ハッチングで示す部分は遮光部分を示す。図１３中のハッチング領域１３１は、入射光束のうち光電変換部１０８に到達する部分を示す。一点鎖線、二点鎖線、および三点鎖線は、既に説明した通りである。

図１１（ａ）は、広角レンズが装着されている場合の左視差画素の構成を示す。この場合には、入射光束のうち略３／４の光束が光電変換部１０８に到達する。

図１１（ｂ）は、標準レンズが装着されている場合の左視差画素の構成を示す。この場合には、入射光束のうち略１／２の光束が光電変換部１０８に到達する。

図１１（ｃ）は、望遠レンズが装着されている場合の左視差画素の構成を示す。この場合には、入射光束のうち略１／４の光束が光電変換部１０８に到達する。

以上のように、広角レンズが装着されている場合であっても、望遠レンズが装着されている場合であっても、入射光束のうち少なくとも１／４の光束が光電変換部１０８に到達する。したがって、広角レンズが装着されている場合であっても、望遠レンズが装着されている場合であっても、左視差画像を生成することができる。

図１１（ｄ）は、広角レンズが装着されている場合の右視差画素の構成を示す。この場合には、入射光束のうち略１／４の光束が光電変換部１０８に到達する。

図１１（ｅ）は、標準レンズが装着されている場合の右視差画素の構成を示す。この場合には、入射光束のうち略１／２の光束が光電変換部１０８に到達する。

図１１（ｆ）は、望遠レンズが装着されている場合の右視差画素の構成を示す。の場合には、入射光束のうち略３／４の光束が光電変換部１０８に到達する。

以上のように、広角レンズが装着されている場合であっても、望遠レンズが装着されている場合であっても、入射光束のうち少なくとも１／４の光束が光電変換部１０８に到達する。したがって、広角レンズが装着されている場合であっても、望遠レンズが装着されている場合であっても、右視差画像を生成することができる。

図１１（ｂ）と（ｅ）に示すように、標準レンズが装着されている場合には、左視差画素に入射する入射光束の光量と、右視差画素に入射する入射光束の光量とが等しくなる。すなわち、標準レンズが装着された場合には、瞳分割比が左右の視差画素で均等になる。図１１（ａ）と（ｆ）に示すように、広角レンズが装着されている場合に、左視差画素に入射する入射光束の光量と、望遠レンズが装着されている場合に、右視差画素に入射する入射光束の光量とがおおよそ等しくなる。広角レンズが装着されている場合に、マイクロレンズ１０１への全入射光束に対する左視差画素が受光する部分光束（すなわち図１１（ａ）のハッチング領域１３１）の比と、望遠レンズが装着されている場合に、マイクロレンズ１０１への全入射光束に対する右視差画素が受光する部分光束（すなわち図１１（ｆ）のハッチング領域１３１）の比とが、実質的に等しくなるということもできる。なお、実質的に等しいとは、広角レンズ、望遠レンズ、左視差画素、右視差画素の製造誤差等により、厳密には等しくならないものの、その差が微差であり、等しいとみなせる場合を含む。同様に、図１１（ｃ）と（ｄ）に示すように、望遠レンズが装着されている場合に、左視差画素に入射する入射光束の光量と、広角レンズが装着されている場合に、右視差画素に入射する入射光束の光量とがおおよそ等しくなる。望遠レンズが装着されている場合に、マイクロレンズ１０１への全入射光束に対する左視差画素が受光する部分光束（すなわち図１１（ｃ）のハッチング領域１３１）の比と、広角レンズが装着されている場合に、マイクロレンズ１０１への全入射光束に対する右視差画素が受光する部分光束（すなわち図１１（ｄ）のハッチング領域１３１）の比とが、実質的に等しくなるということもできる。以上のように、広角レンズまたは望遠レンズが装着されている場合には、瞳分割比が左右の視差画素で均等にならないものの、少なくとも予め定められた光量は受光される。よって、瞳分割比が左右の視差画素で極端に異なる状況を回避することができる。

以上の説明では、配線１０６は、既に説明した目標高さｈ１、または目標高さｈ１よりも高い位置で、かつマイクロレンズ１０１から離れた位置に形成されたが、目標高さｈ１よりも低い位置に形成されてもよい。この場合には、左視差画素の光電変換部１０８に対してより多くの入射光束が到達する一方、右視差画素の光電変換部１０８に対して入射光束が到達しない場合があり得る。同様に、右視差画素の光電変換部１０８に対してより多くの入射光束が到達する一方、左視差画素の光電変換部１０８に対して入射光束が到達しない場合があり得る。そこで、配線１０６の開口幅を調節するとよい。具体的には、配線１０６の開口幅を半開口よりも大きくする。

図１２は、変形例に係る撮像素子１００の画素１１０の構成を説明する図である。特に、有効画素領域の端部に位置する画素の断面を表す概略図である。ここでは、画素１１０として右視差画素を例に挙げており、マイクロレンズ１０１、配線１０６、および光電変換部１０８を図示している。配線１０６のうち破線で示す部分は開口部分を示し、ハッチングで示す部分は遮光部分を示す。一点鎖線、二点鎖線、および三点鎖線は、既に説明した通りである。

図示するように、配線１０６は、目標高さｈ１よりも低い位置、すなわち、より光電変換部１０８側に形成されている。ここで、本実施形態において、交換レンズによらず、視差画像を生成するために必要な開口マスクの高さを限界高さｈ２という。既に説明したように、配線１０６は、遮光部分が光束１２１に沿うように、配置される。しかしながら、配線１０６がこのように配置されたとしても、限界高さｈ２よりも低い位置であれば、標準レンズまたは望遠レンズが装着された場合に、配線１０６で遮光されることなく、全光束が光電変換部１０８に到達し得る。このような場合には、視差画像を生成することはできない。そこで、配線１０６のうち光電変換部１０８に対向する側の面は、広角レンズが装着された場合における、入射光束のうち第１方向である紙面右方向側の特定部分の光束１２１と、望遠レンズが装着された場合における、入射光束のうち第２方向である紙面左方向側の光束１２２との交点１４１よりもマイクロレンズ１０１側に配置されている。交点１４１は、より詳細には、光束１２１における紙面左側の外縁の光線である周縁光線１２６と、光束１２２における紙面左側の外縁の光線である周縁光線１２８との交点である。以上のように配線１０６が配置されることにより、標準レンズが装着された場合はもちろんのこと、望遠レンズが装着された場合であっても、入射光束の一部は配線１０６のテーパー面で遮光される。したがって、画素１１０は、どの交換レンズが装着されようとも、入射光束の全光束ではなく、その一部を受光することができる。すなわち、視差画素として機能することができる。

なお、配線１０６の配置位置は、本例に限られない。標準レンズまたは望遠レンズが装着された場合において、入射光束の全てが光電変換部１０８に到達すること、すなわち、画素１１０が視差画素として機能しないことが許容されるのであれば、交点１４１よりも光電変換部１０８側に配置されてもよい。この場合には、配線１０６が、遮光部分が光束１２１に沿うように配置されており、かつ、光電変換部１０８に接していなければ、少なくとも広角レンズが装着された場合には、画素１１０を視差画素として機能させることができる。

図１３は、変形例に係る撮像素子の画素１１０の構成を説明する図である。特に、有効画素領域の端部に位置する画素の断面を表す概略図である。図１３は、図１２に対応しており、左視差画素および右視差画素のそれぞれについて、広角レンズ、標準レンズ、および望遠レンズが装着された場合を示す。ここでは、マイクロレンズ１０１、配線１０６、および光電変換部１０８を図示している。配線１０６のうち破線で示す部分は開口部分を示し、ハッチングで示す部分は遮光部分を示す。図１３中のハッチング領域１５１は、図１１で示したハッチング領域１３１に対応している。ハッチング領域１５２は、入射光束のうち配線１０６の位置および開口幅を変更することにより配線１０６を通過することになった部分を示す。一点鎖線、二点鎖線、および三点鎖線は、既に説明した通りである。

図１３（ａ）は、広角レンズが装着されている場合の左視差画素の構成を示す。図１３（ｂ）は、標準レンズが装着されている場合の左視差画素の構成を示す。図１３（ｃ）は、望遠レンズが装着されている場合の左視差画素の構成を示す。図１３（ａ）、（ｂ）、（ｃ）に示すように、ハッチング領域１５１は、光電変換部１０８に到達する。また、図１３（ａ）、（ｂ）に示すように、ハッチング領域１５１に示す光束に加えて、ハッチング領域１５２に示す光束も光電変換部１０８に到達する。したがって、広角レンズまたは標準レンズが装着されている場合には、光電変換部１０８は、より多くの光束を受光することができる。広角レンズが装着されている場合であっても、望遠レンズが装着されている場合であっても、左視差画像を生成することができる。

図１３（ｄ）は、広角レンズが装着されている場合の右視差画素の構成を示す。図１３（ｅ）は、標準レンズが装着されている場合の右視差画素の構成を示す。図１３（ｆ）は、望遠レンズが装着されている場合の右視差画素の構成を示す。図１３（ｄ）、（ｅ）、（ｆ）に示すように、ハッチング領域１５１は、光電変換部１０８に到達する。また、図１３（ｅ）、（ｆ）に示すように、ハッチング領域１５１に示す光束に加えて、ハッチング領域１５２に示す光束も光電変換部１０８に到達する。したがって、標準レンズまたは望遠レンズが装着されている場合には、光電変換部１０８は、より多くの光束を受光することができる。広角レンズが装着されている場合であっても、望遠レンズが装着されている場合であっても、右視差画像を生成することができる。

以上のように、配線１０６が目標高さｈ１よりも低い位置に形成された場合であっても、配線１０６の開口幅を調整することにより、装着されたレンズに関わらず、光電変換部１０８は、少なくとも予め定められた光量を受光することができる。したがって、左右の視差画像間でのシェーディングを抑制すると共に、不均一な瞳分割による左右の視差画像間の差異を抑制することができる。

以上の説明では、画素は、単位画素領域内に１つの光電変換部を備える構成であったが、単位画素領域内に２つの光電変換部を備える構成であってもよい。より詳細には、画素は、単位画素領域内に、単位画素領域の中心に対して左方向に偏位した左側の光電変換部と、右方向に偏位した右側の光電変換部とを備える構成であってもよい。本明細書においては、このような構造を２ＰＤと記す場合がある。また、２ＰＤ構造の画素を分割画素と記す場合がある。

図１４は、２ＰＤが採用された撮像素子の画素５００の構成を説明する図である。特に、有効画素領域の端部の断面を表す概略図である。画素５００は、左側の光電変換部５０２と、右側の光電変換部５０３と、これらを分離する分離部５０４と、マイクロレンズ５０１を含んで構成される。左側の光電変換部５０２と右側の光電変換部５０３とは、分離部５０４を挟んで、単位画素領域の中心に対して対称に配置される。左側の光電変換部５０２に蓄積された電荷および右側の光電変換部５０３に蓄積された電荷をどのように読み出すかによって、画素５００を左視差画素および右視差画素のいずれとしても機能させることができる。したがって、２ＰＤとは、１つのマイクロレンズ５０１の下に左視差画素と右視差画素が共存して構成される構造ということもできる。なお、図１４中のハッチング領域５０５は、図１１で示したハッチング領域１３１に対応している。一点鎖線、二点鎖線、および三点鎖線は、既に説明した通りである。また、マイクロレンズ５０１の集光位置は、図１１で示したマイクロレンズ１０１の集光位置と同一である。すなわち、左側の光電変換部５０２および右側の光電変換部５０３が形成された位置から、Ｚ軸のプラス方向にずれた位置に設定される。

左側の光電変換部５０２および右側の光電変換部５０３は、図１０に示した配線１０６が形成されている位置に形成されている。すなわち、目標高さｈ１よりも高い位置に形成されている。なお、左側の光電変換部５０２および右側の光電変換部５０３の形成位置は、本例に限られない。左側の光電変換部５０２および右側の光電変換部５０３は、既に説明した目標高さｈ１、または目標高さｈ１よりも高い位置で、かつマイクロレンズ５０１から離れた位置に形成されていればよい。

図１４（ａ）は、広角レンズが装着されている場合の画素の構成を示す。図１４（ｂ）は、標準レンズが装着されている場合の画素の構成を示す。図１４（ｃ）は、望遠レンズが装着されている場合の画素の構成を示す。図１４（ａ）、（ｂ）、（ｃ）に示すように、ハッチング領域５０５により示される光束の一部は、分離部５０４に到達してしまうものの、大部分は、左側の光電変換部５０２に到達する。したがって、画素５００を左視差画素として機能させれば、図１１（ａ）、（ｂ）、（ｃ）に示した構成の場合と同様の効果を得ることができる。すなわち、広角レンズが装着されている場合であっても、望遠レンズが装着されている場合であっても、光電変換部５０２は少なくとも予め定められた光量を受光することができる。結果として、左視差画像を生成することができる。

図１４（ｄ）は、広角レンズが装着されている場合を示す。図１４（ｅ）は、標準レンズが装着されている場合を示す。図１４（ｆ）は、望遠レンズが装着されている場合を示す。図１４（ｄ）、（ｅ）、（ｆ）に示すように、ハッチング領域５０５により示される光束の一部は、分離部５０４に到達してしまうものの、大部分は、右側の光電変換部５０３に到達する。したがって、画素５００を右視差画素として機能させれば、図１１（ｄ）、（ｅ）、（ｆ）に示した構成の場合と同様の効果を得ることができる。すなわち、広角レンズが装着されている場合であっても、望遠レンズが装着されている場合であっても、光電変換部５０３は少なくとも予め定められた光量を受光することができる。結果として、右視差画像を生成することができる。

以上のように、２ＰＤが採用された撮像素子を用いた場合であっても、装着されたレンズに関わらず、左右の視差画像を生成することができる。また、図１４（ｂ）と（ｅ）に示すように、標準レンズが装着されている場合に、光電変換部５０２に入射する入射光束の光量と、光電変換部５０３に入射する入射光束の光量とが等しくなる。すなわち、標準レンズが装着された場合には、瞳分割比が左右の視差画素で均等になる。図１４（ａ）と（ｆ）に示すように、広角レンズが装着されている場合に、光電変換部５０２に入射する入射光束の光量と、望遠レンズが装着されている場合に、光電変換部５０３に入射する入射光束の光量とがおおよそ等しくなる。広角レンズが装着されている場合に、マイクロレンズ５０１への全入射光束に対する光電変換部５０２が受光する部分光束の比と、望遠レンズが装着されている場合に、マイクロレンズ５０１への全入射光束に対する光電変換部５０３が受光する部分光束の比とが、実質的に等しくなるということもできる。同様に、図１４（ｃ）と（ｄ）に示すように、望遠レンズが装着されている場合に、光電変換部５０２に入射する入射光束の光量と、広角レンズが装着されている場合に、光電変換部５０３に入射する入射光束の光量とがおおよそ等しくなる。望遠レンズが装着されている場合に、マイクロレンズ５０１への全入射光束に対する光電変換部５０２が受光する部分光束の比と、広角レンズが装着されている場合に、マイクロレンズ５０１への全入射光束に対する光電変換部５０３が受光する部分光束の比とが、実質的に等しくなるということもできる。以上のように、広角レンズまたは望遠レンズが装着されている場合には、瞳分割比が左右の視差画素で均等にならないものの、少なくとも予め定められた光量は受光される。よって、瞳分割比が左右の視差画素で極端に異なる状況を回避することができる。

２ＰＤが採用された撮像素子を用いた場合には、カメラ本体制御部２０１は、いずれの分割画素に対しても、装着されている交換レンズから入射する被写体光束のうち交換レンズ３００の光軸から偏位した予め定められた部分光束の少なくとも一部が複数のフォトダイオードのうち特定のフォトダイオードに入射するかを判定する。そして、特定のフォトダイオードに入射しないと判定した場合にユーザにその旨を報知する。ユーザへの報知方法は、既に説明した通りである。

以上の説明では、左側の光電変換部５０２および右側の光電変換部５０３は、図１０等に示した配線１０６が形成された位置に形成されたが、図１０等に示した光電変換部１０８が形成された位置に形成されてもよい。この場合には、マイクロレンズ５０１の集光位置を、左側の光電変換部５０２および右側の光電変換部５０３が形成された位置よりも、Ｚ軸のプラス方向にずれた位置に設定するとよい。

撮像素子１００から出力される撮影画像データから２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図１５は、基準画像データとしての２Ｄ画像データと視差画像データの生成処理の例を説明する図である。図１５においては、図２に示す基本格子を例に挙げて説明する。

基本格子における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_６１、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_５６、Ｐ_７４、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等の、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って一般的な２Ｄ画像としての画像処理を行う。

もう一度述べると、画像処理部２０５は、２Ｄ−ＲＧＢプレーンデータをさらに色ごとに分離し、上述のような補間処理を施して、基準画像データとしての各プレーンデータを生成する。すなわち、緑色の基準画像プレーンデータとしてのＧｎ_０プレーンデータ、赤色の基準画像プレーンデータとしてのＲｎ_０プレーンデータ、および青色の基準画像プレーンデータとしてのＢｎ_０プレーンデータの３つを生成する。これらのプレーンデータは、視差画素に対して密度の高い視差なし画素をベースとして生成されるので、次に述べる視差画像データのプレーンデータよりは高解像である。

図の右列は、視差画素データを構成するプレーンデータとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。より好ましくは距離に応じた線形補間を導入する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、基本格子を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｇｎ_０プレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_２７の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_６３の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｒｎ_０プレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_３２の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子には、Ｐ_７６の画素値が残る。この画素値を基本格子の６４画素分の代表値とする。より好ましくは距離に応じた線形補間を導入する。このようにして、Ｂｎ_０プレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。

本実施形態においては、画像処理部２０５は、これらのプレーンデータを用いて、高解像な左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。

赤色視差プレーン（ＲＬｔ_０プレーンデータとＲＲｔ_０プレーンデータ）は、Ｒｎ_０プレーンデータの画素値と、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの画素値とを用いて生成する。具体的には、例えばＲＬｔ_０プレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＬｔ_０ｍｎを算出する場合、まず、画像処理部２０５は、Ｒｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_０ｍｎを抽出する。次に、画像処理部２０５は、ＲＬｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＬｔ_ｍｎを、ＲＲｔプレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値ＲＲｔ_ｍｎを抽出する。そして、画像処理部２０５は、画素値Ｒｎ_０ｍｎを、画素値ＲＬｔ_ｍｎとＲＲｔ_ｍｎの比で分配して画素値ＲＬｔ_０ｍｎを算出する。具体的には、以下の式（１）により算出する。

ＲＬｔ_０ｍｎ＝２Ｒｎ_０ｍｎ×ＲＬｔ_ｍｎ／（ＲＬｔ_ｍｎ＋ＲＲｔ_ｍｎ） …（１）
同様に、ＲＲｔ_０プレーンデータの対象画素位置（ｉ_ｍ，ｊ_ｎ）の画素値ＲＲｔ_０ｍｎを算出する場合も、画像処理部２０５は、画素値Ｒｎ_０ｍｎを画素値ＲＬｔ_ｍｎと画素値ＲＲｔ_ｍｎの比で分配して算出する。具体的には、以下の式（２）により算出する。

ＲＲｔ_０ｍｎ＝２Ｒｎ_０ｍｎ×ＲＲｔ_ｍｎ／（ＲＬｔ_ｍｎ＋ＲＲｔ_ｍｎ） …（２）
画像処理部２０５は、このような処理を、左端かつ上端の画素である（１、１）から右端かつ下端の座標である（ｉ_０，ｊ_０）まで順次実行する。

そして、高解像な赤色視差プレーンであるＲＬｔ_０プレーンデータとＲＲｔ_０プレーンデータの生成処理が完了したら、次に高解像な緑色視差プレーンであるＧＬｔ_０プレーンデータとＧＲｔ_０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_０ｍｎを抽出する代わりに、Ｇｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｇｎ_０ｍｎを抽出し、さらにＲＬｔ_ｍｎの代わりにＧＬｔ_ｍｎを、ＲＲｔ_ｍｎの代わりにＧＲｔ_ｍｎを抽出して、同様に処理する。さらに、高解像な緑色視差プレーンであるＧＬ_０ｔプレーンデータとＧＲｔ_０プレーンデータの生成処理が完了したら、次に高解像な青色視差プレーンであるＢＬｔ_０プレーンデータとＢＲｔ_０プレーンデータの生成処理を実行する。具体的には、上述の説明においてＲｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｒｎ_０ｍｎを抽出する代わりに、Ｂｎ_０プレーンデータの同一画素位置（ｉ_ｍ，ｊ_ｎ）から画素値Ｂｎ_０ｍｎを抽出し、さらにＲＬｔ_ｍｎの代わりにＢＬｔ_ｍｎを、ＲＲｔ_ｍｎの代わりにＢＲｔ_ｍｎを抽出して、同様に処理する。

以上の処理により、左側視点の高解像なカラー画像データ（ＲＬｔ_０プレーンデータ、ＧＬｔ_０プレーンデータ、ＢＬｔ_０プレーンデータ）および右側視点の高解像なカラー画像データ（ＲＲｔ_０プレーンデータ、ＧＲｔ_０プレーンデータ、ＢＲｔ_０プレーンデータ）が生成される。すなわち、実際には撮像素子１００の画素として存在しない、ＲＧＢいずれかのカラーフィルタを併せ持つ視差Ｌｔ画素および視差Ｒｔ画素の仮想的な出力として、左側視点および右側視点のカラー画像データを、比較的簡易な処理により取得することができる。したがって、これらの画像データを３Ｄ画像対応の再生装置で再生すれば、ユーザは、カラー画像としての高解像な３Ｄ映像を鑑賞できる。特に、処理が簡易なので高速に画像データを生成することができ、動画に対しても対応できる。

以上のように、解像度の低い視差画像データと解像度の高い２Ｄ画像データとから、解像度の高い視差画像データを生成する処理は、解像度の低い視差画像が持つ視差成分を２Ｄ画像に重畳することにより変位処理を実現するので、視差変調処理ということができる。

以上の説明では、デジタルカメラとしてレンズ交換型のデジタルカメラを用いたが、レンズ一体型のデジタルカメラを用いてもよい。レンズ一体型のデジタルカメラがズームレンズを備える場合においては、ズームレンズがテレ端に位置するときには、望遠レンズが装着された場合に相当し、ズームレンズがワイド端に位置するときには、広角レンズが装着された場合に相当する。したがって、既に説明した撮像素子を備えることにより、ズームレンズの位置に関わらず、左右の視差画像を生成することができる。以上のようなレンズ一体型のデジタルカメラは、画像信号を出力する有効画素として２次元的かつ周期的に配列されそれぞれが開口マスクを有する視差画素を含む撮像素子と、被写体像を集光するズームレンズとを備え、開口マスクの開口は、有効画素領域の端に配置された視差画素であっても、ズームレンズのいずれの焦点距離に対しても、被写体光束のうちズームレンズの光軸から偏位した予め定められた部分光束の少なくとも一部を通過させるように位置づけられるように構成することができる。また、画像信号を出力する有効画素として２次元的かつ周期的に配列され、それぞれが単位画素領域内に偏位した複数のフォトダイオードを含む分割画素を含む撮像素子と、被写体像を集光するズームレンズとを備え、分割画素は、有効画素領域の端に配置された分割画素であっても、ズームレンズのいずれの焦点距離に対しても、被写体光束のうちズームレンズの光軸から偏位した予め定められた部分光束の少なくとも一部が複数のフォトダイオードのうち特定のフォトダイオードに入射するように位置づけられるように構成することもできる。

以上の説明では、カメラ本体制御部２０１は、交換レンズ３００の識別情報により、予め定められた部分光束の少なくとも一部が配線の開口を通過するかを判定したが、撮像素子１００の出力により、配線の開口を通過するかを判定してもよい。例えば、有効画素領域の端部の出力が予め定められた閾値よりも小さいかを判定することにより、配線の開口を通過するかを判定することができる。有効画素領域の端部の出力が予め定められた閾値よりも小さい場合には、配線の開口を通過しないと判定する。また、設定されている絞り値によっては、配線の開口を通過するかが変化する。そこで、設定されている絞り値によってユーザに報知するかを判定してもよい。また、交換レンズ３００を透過する被写体光束の最外光線が撮像素子１００に対して予め設定されている入射角度範囲に収まるかを判定してもよい。この場合に、最外光線が有効画素領域のうち撮像対象となる領域に対して予め設定されている入射角度範囲に収まるかを判定してもよい。例えば、撮像素子１００のサイズが３５ｍｍフルサイズ相当である場合において、撮像範囲としてＡＰＳ−Ｃサイズ相当が選択されたときには、ＡＰＳ−Ｃサイズ相当に対して入射角度範囲に収まるかを判定してもよい。

以上の説明では、カメラ本体制御部２０１は、被写体光束が入射角度範囲に収まらないと判定した場合に、その旨をユーザに報知したが、他の制御を実行してもよい。例えば、撮影モードが視差画像撮影モードに設定されていたとしても、通常の２Ｄ撮影モードにより撮影してもよい。

配線１０６の開口幅を撮像素子１００における画素位置に応じて設定してもよい。例えば、撮像素子１００の周縁に向かうほど大きく設定してもよい。これにより、広角レンズまたは望遠レンズが装着された場合に、視差画素が予め定められた光量を受光し易くなる。また、画素配列の一部を広角レンズに合わせて設計し、残部を望遠レンズに合わせて設計してもよい。例えば、画素配列の半分を広角レンズに合わせて設計し、残りの半分を望遠レンズに合わせて設計してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、２２ 絞り、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０４ 開口部、１０５ 配線層、１０６ 配線、１０８ 光電変換部、１０９ 基板、１１０ 画素、１１１ 残部、１１２ 一部、１１３ 領域、１１４ 領域、１２１ 光束、１２２ 光束、１２３ 交点、１２４ 画素中心線、１２５ 光軸、１２６ 周縁光線、１２７ 周縁光線、１２８ 周縁光線、１３１ ハッチング領域、１４１ 交点、１５１ ハッチング領域、１５２ ハッチング領域、２００ カメラ本体、２０１ カメラ本体制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ 表示制御部、２１３ カメラマウント、２１４ カメラメモリ、２２０ メモリカード、３００ 交換レンズ、３０１ 交換レンズ制御部、３０２ レンズメモリ、３０３ レンズマウント、３０４ レンズ駆動部、３２２ 中心線、４０１ マイクロレンズ、４０６ 配線、４０８ 光電変換部、５００ 画素、５０１ マイクロレンズ、５０２ 光電変換部、５０３ 光電変換部、５０４ 分離部、５０５ ハッチング領域、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (19)

1. 画像信号を出力する有効画素として２次元的かつ周期的に配列された視差画素のそれぞれに対応して設けられた開口マスクの開口は、有効画素領域の端に配置された前記視差画素が、被写体像を集光する複数の交換レンズのいずれに対しても、入射光束のうち前記複数の交換レンズのそれぞれの光軸から偏位した予め定められた部分光束の少なくとも一部を通過させるように位置づけられている撮像素子。
2. 前記開口マスクの開口は、前記有効画素領域に入射する被写体光束のうち最外光線の入射角度が予め設定された角度範囲内であれば前記部分光束の少なくとも前記一部を通過させるように位置づけられている請求項１に記載の撮像素子。
3. 前記視差画素は、フォトダイオードと、前記フォトダイオードに対応して形成されたマイクロレンズとを有し、
   前記開口マスクは、前記フォトダイオードと前記マイクロレンズとの間に形成され、
   前記開口マスクは、前記光軸方向において、前記最外光線が前記角度範囲の一端側の角度で入射する場合における、前記入射光束のうち第１方向側の特定部分の光束と、前記最外光線が前記角度範囲の他端側の角度で入射する場合における、前記入射光束のうち前記第１方向とは反対の第２方向側の特定部分の光束との交点の位置、または前記交点と前記マイクロレンズとの間に配置されている請求項２に記載の撮像素子。
4. 前記視差画素は、前記光軸から第１方向に偏位した部分光束を受光する第１視差画素と、前記光軸から前記第１方向とは反対の第２方向に偏位した部分光束を受光する第２視差画素とを含み、
   前記最外光線が前記角度範囲の一端側の角度で入射する場合に、前記マイクロレンズへの全入射光束に対する前記第１視差画素が受光する前記部分光束の比と、前記最外光線が前記角度範囲の他端側の角度で入射する場合に、前記マイクロレンズへの全入射光束に対する前記第２視差画素が受光する前記部分光束の比とが等しい請求項３に記載の撮像素子。
5. 前記第１視差画素に対応して設けられた前記開口マスクの開口、および前記第２視差画素に対応して設けられた前記開口マスクの開口のそれぞれは半開口である請求項４に記載の撮像素子。
6. 前記視差画素は、フォトダイオードと、前記フォトダイオードに対応して形成されたマイクロレンズとを有し、
   前記開口マスクは、前記フォトダイオードと前記マイクロレンズとの間に形成され、
   前記開口マスクは、前記光軸方向において、前記最外光線が前記角度範囲の一端側の角度で入射する場合における、前記入射光束のうち第１方向側の特定部分の光束と、前記最外光線が前記角度範囲の他端側の角度で入射する場合における、前記入射光束のうち前記第１方向とは反対の第２方向側の特定部分の光束との交点よりも前記フォトダイオード側で、かつ、前記最外光線が前記角度範囲の一端側の角度で入射する場合における、前記第１方向側の前記特定部分の前記光束と、前記最外光線が前記角度範囲の他端側の角度で入射する場合における、前記第２方向側の前記特定部分の前記光束において前記第１方向側の外縁の光線である周縁光線との交点よりも前記マイクロレンズ側に配置されている請求項２に記載の撮像素子。
7. 前記視差画素は、前記光軸から第１方向に偏位した部分光束を受光する第１視差画素と、前記光軸から前記第１方向とは反対の第２方向に偏位した部分光束を受光する第２視差画素とを含み、
   前記第１視差画素に対応して設けられた前記開口マスクの開口、および前記第２視差画素に対応して設けられた前記開口マスクの開口のそれぞれは半開口よりも大きい請求項６に記載の撮像素子。
8. 画像信号を出力する有効画素として２次元的かつ周期的に配列されそれぞれが開口マスクを有する視差画素を含む撮像素子と、
   いずれの前記視差画素に対しても、装着されている交換レンズから入射する被写体光束のうち前記交換レンズの光軸から偏位した予め定められた部分光束の少なくとも一部が前記開口マスクの開口を通過するかを判定する判定部と、
   前記判定部が、前記開口を通過しないと判定した場合にユーザにその旨を報知する報知部と
   を備える撮像装置。
9. 前記判定部は、有効画素領域に入射する被写体光束のうち最外光線の入射角度が予め設定された角度範囲内であるかを判定することにより、前記部分光束の少なくとも前記一部が前記開口マスクの開口を通過するかを判定する請求項８に記載の撮像装置。
10. 前記判定部は、有効画素領域のうち撮像対象とする領域に入射する被写体光束のうち最外光線の入射角度が予め設定された角度範囲内であるかを判定することにより、前記部分光束の少なくとも前記一部が前記開口マスクの開口を通過するかを判定する請求項８に記載の撮像装置。
11. 画像信号を出力する有効画素として２次元的かつ周期的に配列されそれぞれが開口マスクを有する視差画素を含む撮像素子と、
    被写体像を集光するズームレンズと
    を備え、
    前記開口マスクの開口は、有効画素領域の端に配置された前記視差画素が、前記ズームレンズの複数の焦点距離に対して、被写体光束のうち前記ズームレンズの光軸から偏位した予め定められた部分光束の少なくとも一部を通過させるように位置づけられている撮像装置。
12. 画像信号を出力する有効画素として２次元的かつ周期的に配列された分割画素のそれぞれは、単位画素領域内に形成された複数のフォトダイオードを含み、有効画素領域の端に配置された前記分割画素であっても、被写体像を集光する交換レンズのいずれに対しても、入射光束のうち前記交換レンズの光軸から偏位した予め定められた部分光束の少なくとも一部が前記複数のフォトダイオードのうち特定のフォトダイオードに入射するように位置づけられている撮像素子。
13. 前記分割画素は、前記有効画素領域に入射する被写体光束のうち最外光線の入射角度が予め設定された角度範囲内であれば前記部分光束の少なくとも前記一部が前記特定のフォトダイオードに入射するように位置づけられている請求項１２に記載の撮像素子。
14. 前記分割画素は、前記複数のフォトダイオードに対応するマイクロレンズを含み、
    前記分割画素は、前記最外光線が前記角度範囲の一端側の角度で入射する場合における、前記入射光束のうち第１方向側の特定部分の光束と、前記最外光線が前記角度範囲の他端側の角度で入射する場合における、前記入射光束のうち前記第１方向とは反対の第２方向側の特定部分の光束との交点の位置、または前記交点と前記マイクロレンズとの間に配置されている請求項１３に記載の撮像素子。
15. 前記複数のフォトダイオードは、前記光軸から第１方向に偏位した部分光束を受光する第１フォトダイオードと、前記光軸から前記第１方向とは反対の第２方向に偏位した部分光束を受光する第２フォトダイオードとを含み、
    前記最外光線が前記角度範囲の一端側の角度で入射する場合に、前記第１フォトダイオードに入射する前記入射光束の光量と、前記最外光線が前記角度範囲の他端側の角度で入射する場合に、前記第２フォトダイオードに入射する前記入射光束の光量とが等しい請求項１３または１４に記載の撮像素子。
16. 画像信号を出力する有効画素として２次元的かつ周期的に配列され、それぞれが単位画素領域内に偏位した複数のフォトダイオードを含む分割画素を含む撮像素子と、
    いずれの前記分割画素に対しても、装着されている交換レンズから入射する被写体光束のうち前記交換レンズの光軸から偏位した予め定められた部分光束の少なくとも一部が前記複数のフォトダイオードのうち特定のフォトダイオードに入射するかを判定する判定部と、
    前記判定部が、前記特定のフォトダイオードに入射しないと判定した場合にユーザにその旨を報知する報知部と
    を備える撮像装置。
17. 前記判定部は、有効画素領域に入射する被写体光束のうち最外光線の入射角度が予め設定された角度範囲内であるかを判定することにより、前記部分光束の少なくとも前記一部が前記特定のフォトダイオードに入射するかを判定する請求項１６に記載の撮像装置。
18. 前記判定部は、有効画素領域のうち撮像対象とする領域に入射する被写体光束のうち最外光線の入射角度が予め設定された角度範囲内であるかを判定することにより、前記部分光束の少なくとも前記一部が前記特定のフォトダイオードに入射するかを判定する請求項１６に記載の撮像装置。
19. 画像信号を出力する有効画素として２次元的かつ周期的に配列され、それぞれが単位画素領域内に偏位した複数のフォトダイオードを含む分割画素を含む撮像素子と、
    被写体像を集光するズームレンズと
    を備え、
    前記分割画素は、有効画素領域の端に配置された前記分割画素であっても、前記ズームレンズのいずれの焦点距離に対しても、被写体光束のうち前記ズームレンズの光軸から偏位した予め定められた部分光束の少なくとも一部が前記複数のフォトダイオードのうち特定のフォトダイオードに入射するように位置づけられている撮像装置。

Images