JP2014107593A - 撮像装置およびレンズユニット - Google Patents

Abstract

【課題】左右の視差画像のそれぞれにおいては、水平方向と垂直方向でボケが非対称になる。その結果、自然なボケが得られないという問題がある。
【解決手段】撮像装置は、１つの光学系の入射光束に対して、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、左方向の視点を生み出す開口マスクを備えた左視差画素と、右方向の視点を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を持つ画素配列からなる撮像素子と、光学系の途中に左右方向に多くの光束を通過させる長軸を、上下方向に少ない光束を通過させる短軸を持つ非対称な形状の絞りを備え、絞りの長軸と短軸の間の比率を、撮像素子の画素配列の中における視差画素と視差なし画素との間の密度比に応じて設定する。
【選択図】図１

Description

本発明は、撮像装置およびレンズユニットに関する。

単一の撮影光学系を用いて、互いに視差を有する左右の視差画像を一度の撮影で生成する撮像装置が知られている。当該撮像装置においては、撮像素子に配列された全ての画素の右半分または左半分は遮光部材により遮光されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２００３−７９９４号公報
［特許文献２］ 特開２０１１−１９７２７８号公報

撮像素子は、遮光部材により遮光されている画素（視差画素）に加えて、遮光部材により遮光されていない画素（視差なし画素）を含む場合がある。左右に視差を生じさせる場合には、視差画素においては、遮光部材により制限された入射光束を受光する受光領域の水平方向の幅は、垂直方向の幅より短い場合が多い。一方、視差なし画素においては、遮光部材により制限されていない入射光束を受光する受光領域の水平方向の幅は、垂直方向の幅と同一である場合が多い。このように視差画素と視差なし画素とで受光領域の形状が異なる場合には、左右の視差画像と視差なし画像とでボケの出かたが異なるという問題がある。

本発明の第１の態様における撮像装置は、１つの光学系の入射光束に対して、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、左方向の視点を生み出す開口マスクを備えた左視差画素と、右方向の視点を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を持つ画素配列からなる撮像素子と、光学系の途中に左右方向に多くの光束を通過させる長軸を、上下方向に少ない光束を通過させる短軸を持つ非対称な形状の絞りを備え、絞りの長軸と短軸の間の比率を、撮像素子の画素配列の中における視差画素と視差なし画素との間の密度比に応じて設定する。

本発明の第２の態様における撮像装置は、第１軸方向の第１領域幅が前記第１軸方向に直交する第２軸方向の第２領域幅よりも短い、被写体光束を受光する受光領域が、画素中心に対して前記第１軸方向に偏位した位置に設定された偏位画素と、被写体光束を受光する受光領域が、画素中心に対して偏位していない位置に設定された非偏位画素とが二次元的に配列された撮像素子と、第１軸方向に対応する第１開口幅と第２軸方向に対応する第２開口幅とが、１＞（第２開口幅）／（第１開口幅）＞（第１領域幅）／（第２領域幅）の関係を満たす開口部を有する絞りとを備える。

本発明の第３の態様におけるレンズユニットは、カメラユニットに装着された場合に、第１軸方向の第１領域幅が前記第１軸方向に直交する第２軸方向の第２領域幅よりも短い、被写体光束を受光する受光領域が、画素中心に対して前記第１軸方向に偏位した位置に設定された偏位画素と、被写体光束を受光する受光領域が、画素中心に対して偏位していない位置に設定された非偏位画素とに関する情報を前記カメラユニットから取得する取得部と、開口部を有する絞りと、情報に基づいて、第１軸方向に対応する第１開口幅と第２軸方向に対応する第２開口幅とが、１＞（第２開口幅）／（第１開口幅）＞（第１領域幅）／（第２領域幅）の関係を満たすよう、開口部の開口を調整する調整部とを備える。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 撮像素子の断面の構成を説明する図である。 絞りの概念を説明するための図である。 絞りの外観図である。 視差なし画素におけるデフォーカスの概念を説明する図である。 視差画素におけるデフォーカスの概念を説明する図である。 視差なし画素と視差画素の光強度分布を示す図である。 視差画素の種類が２つである場合における開口部の開口形状を説明する図である。 ボケの非対称性を説明するための図である。 視差画像および視差なし画像と、被写界深度との関係を示す図である。 画素配列の比較例を示す図である。 画素配列の一例を示す図である。 画素配列のバリエーションを示す図である。 画素配列のバリエーションを示す図である。 開口マスクのバリエーションを説明するための図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、基準方向の視点として中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、レンズ一体型のカメラである。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。絞り２２は、光軸２１に沿って瞳近傍に配置されている。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

画像処理部２０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

制御部２０１は、デジタルカメラ１０を統合的に制御する。例えば、設定された絞り値に応じて絞り２２の開口を調整し、ＡＦ評価値に応じて撮影レンズ２０を光軸方向に進退させる。また、撮影レンズ２０の位置を検出して、撮影レンズ２０の焦点距離、フォーカスレンズ位置を把握する。さらに、駆動部２０４に対してタイミング制御信号を送信し、撮像素子１００から出力される画像信号が画像処理部２０５で画像データに処理されるまでの一連の撮像制御を管理する。

操作部２０８は、ユーザの操作を受け付けて制御部２０１へ指示を伝達する受付部の一部として機能する。操作部２０８は、撮影開始指示を受け付けるシャッタボタン等、複数の操作部材を含む。

次に、撮像素子１００の構成の一例について説明する。図２は、撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられ、二次元的に繰り返し配列された開口部１０４を有する開口マスク１０３が、配線層１０５に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列してもよいし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成してもよい。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列するとよい。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹＣＭの補色フィルタの組合せであってもよい。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されてもよい。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。左視点の視差画素を視差Ｌｔ画素、右視点の視差画素を視差Ｒｔ画素、視差なし画素をＮ画素と記す場合もある。また、左視点の視差画像を視差Ｌｔ画像、右視点の視差画像を視差Ｒｔ画像、視差なし画像をＮ画像と記す場合もある。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率がよいイメージセンサの場合は、マイクロレンズ１０１を設けなくてもよい。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。

また、本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担ってもよい。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

また、開口マスク１０３は、光電変換素子１０８に重ねて設けられる透過阻止膜によって形成されてもよい。この場合、開口マスク１０３は、例えば、ＳｉＮ膜とＳｉＯ_２膜を順次積層して透過阻止膜とし、開口部１０４に相当する領域をエッチングで除去して形成される。

絞り２２について説明する。まず、絞りの概念について説明する。図３は、絞りの概念を説明するための図である。図３に示す絞りは、上左絞り羽根１５２と、下左絞り羽根１５４と、上右絞り羽根１５３と、下右絞り羽根１５５と、左回転軸１７０と、右回転軸１７２とを有する。上左絞り羽根１５２及び下左絞り羽根１５４が左回転軸１７０の周りにそれぞれ紙面右回り及び左回りに回転するとともに、上右絞り羽根１５３及び下右絞り羽根１５５が右回転軸１７２の周りにそれぞれ紙面左回り及び右回りに回転する。それぞれの絞り羽根の駆動には、カム機構が用いられる。それぞれの絞り羽根を回転させ開口部の大きさを変化させることによって、被写体光束である入射光束の光量を変化させることができる。ただし、図３に示す絞りでは、Ｘ軸方向の開口幅とＹ軸方向の開口幅の比は、開口部の開口面積の変化とともに変化する。

本実施形態の絞り２２は、虹彩絞りであり、かつ開口部が楕円形状を有する楕円絞りである。絞り２２の絞り羽根には、当該絞り羽根の形状を加工することにより任意の曲率を持たせる。このような絞り羽根を持つ絞り２２において、カム機構の駆動比をＸ軸方向とＹ軸方向とで異ならせることによって、Ｘ軸方向の開口幅とＹ軸方向の開口幅の比を一定に保つ。具体的には、絞り羽根のＸ軸方向の移動量がＹ軸方向の移動量より大きくなるよう調整する。これにより、Ｘ軸方向の開口幅とＹ軸方向の開口幅の比を一定に保ちつつ、開口面積を変化させる楕円絞りを実現できる。

以上の説明では、絞り２２として虹彩絞りを採用したが、例えば交換式の絞りを用いることもできる。撮影レンズ２０に、超望遠レンズのフィルタホルダのように、絞り２２としての交換式絞りを挿入することにより入射光束を制限できる。開口部の面積が異なる複数の交換式絞りを用意すれば、交換式絞りを入れ替えることにより絞り値を変更できる。

図４は、絞り２２の外観図である。具体的には、被写体側から見た正面図である。図４（ａ）に示すように、絞り２２は、フィルタ３０２、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。

ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで絞り２２をレンズユニットに対して挿抜する。絞り２２がレンズユニットに挿入された場合には、フィルタ３０２の中心が光軸２１と一致する。

フィルタ３０２は、ベース部３０７の被写体光束範囲に形成される。フィルタ３０２は、被写体光束を遮断する遮断部３０３、被写体光束を通過させる開口部３０４から構成される。図示するように開口部３０４は、遮断部３０３の中央部分に設けられている。開口部３０４の形状は楕円である。楕円のＸ軸方向の開口幅（長軸径）をａ、Ｙ軸方向の開口幅（短軸径）をｂと記す。

図４（ｂ）、（ｃ）、（ｄ）に示す絞り２２は、開口部３０４の楕円の面積が異なる点を除いて、図４（ａ）に示す絞り２２と同一の構成である。図４（ｂ）、（ｃ）、（ｄ）の順に開口部３０４の楕円の面積は小さくなっている。ただし、図４（ｂ）、（ｃ）、（ｄ）に示す絞り２２の開口部３０４の長軸径ａ、短軸径ｂの比はそれぞれ、図４（ａ）に示す絞り２２の開口部３０４の長軸径ａ、短軸径ｂの比と同一である。つまり、図４（ａ）〜（ｄ）の絞り２２においては、開口部３０４の長軸径と短軸径の比が一定に保たれている。

一般的には、絞り値Ｆは、焦点距離ｆとレンズに入射する有効光束の径Ｄとの比で定義される。本実施形態においては、開口部３０４が楕円であるので、径Ｄを開口部３０４の長軸径ａと短軸径ｂの平均値として定義する。図４の各図に示す絞り２２の絞り値Ｆは、図４（ａ）から（ｄ）に向かって順に例えばＦ１．４、Ｆ２、Ｆ４、Ｆ８に相当する。ユーザは、図４に示す各絞り２２を適宜入れ替えることにより、絞り値Ｆを変更できる。

＜視差画素とボケ特性＞
次に、視差Ｌｔ画素および視差Ｒｔ画素が受光する場合のデフォーカスの概念を説明する。まず、視差なし画素におけるデフォーカスの概念について簡単に説明する図である。図５は、視差なし画素におけるデフォーカスの概念を説明する図である。図５（ａ）で示すように、被写体である物点が焦点位置に存在する場合、レンズ瞳を通って撮像素子受光面に到達する被写体光束は、対応する像点の画素を中心として急峻な光強度分布を示す。すなわち、レンズ瞳を通過する有効光束の全体を受光する視差なし画素が像点近傍に配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値は急激に低下する。

一方、図５（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、被写体光束は、物点が焦点位置に存在する場合に比べて、撮像素子受光面においてなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値が低下する上に、より周辺画素まで出力値を有する分布を示す。

図５（ｃ）に示すように、さらに物点が焦点位置からずれると、被写体光束は、撮像素子受光面においてよりなだらかな光強度分布を示す。すなわち、対応する像点の画素における出力値がさらに低下する上に、より周辺画素まで出力値を有する分布を示す。

図５（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合にも、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示す。

図６は、視差画素におけるデフォーカスの概念を説明する図である。視差Ｌｔ画素および視差Ｒｔ画素は、レンズ瞳の部分領域としてそれぞれ光軸対象に設定された２つの視差仮想瞳のいずれかから到達する被写体光束を受光する。本明細書において、単一のレンズ瞳における互いに異なる仮想瞳から到達する被写体光束を受光することによって視差画像を撮像する方式を単眼瞳分割撮像方式という。

図６（ａ）で示すように、被写体である物点が焦点位置に存在する場合、いずれの視差仮想瞳を通った被写体光束であっても、対応する像点の画素を中心として急峻な光強度分布を示す。像点付近に視差Ｌｔ画素が配列されていれば、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。また、像点付近に視差Ｒｔ画素が配列されていても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する。すなわち、被写体光束がいずれの視差仮想瞳を通過しても、像点に対応する画素の出力値が最も大きく、周辺に配列された画素の出力値が急激に低下する分布を示し、それぞれの分布は互いに一致する。

一方、図６（ｂ）に示すように、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれると、物点が焦点位置に存在した場合に比べて、視差Ｌｔ画素が示す光強度分布のピークは、像点に対応する画素から一方向に離れた位置に現れ、かつその出力値は低下する。また、出力値を有する画素の幅も広がる。すなわち、撮像素子受光面の水平方向に対して点像の広がりを有することになるので、ボケ量は増す。視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から、視差Ｌｔ画素における一方向とは逆向きかつ等距離に離れた位置に現れ、同様にその出力値は低下する。また、同様に出力値を有する画素の幅も広がる。すなわち、物点が焦点位置に存在した場合に比べてなだらかとなった同一の光強度分布が、互いに等距離に離間して現れる。視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれ量は、視差量に相当する。

また、図６（ｃ）に示すように、さらに物点が焦点位置からずれると、図６（ｂ）の状態に比べて、さらになだらかとなった同一の光強度分布が、より離間して現れる。点像の広がりがより大きくなるので、ボケ量は増す。また、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピーク間のずれも大きくなっているので、視差量も増す。つまり、物点が焦点位置から大きくずれる程、ボケ量と視差量が増すと言える。

図６（ｄ）に示すように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合には、図６（ｃ）の状態とは逆に、視差Ｒｔ画素が示す光強度分布のピークは、像点に対応する画素から上記一方向に離れた位置に現れる。視差Ｌｔ画素が示す光強度分布のピークは、視差Ｒｔ画素における一方向とは逆向きに離れた位置に現れる。すなわち、物点のずれの方向に応じて、視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークが、像点に対応する画素からどちらの方向に離れた位置に現れるかが決まる。

図５で説明した光強度分布の変化と、図６で説明した光強度分布の変化をそれぞれグラフ化すると、図７のように表される。図７は、視差なし画素と視差画素の光強度分布を示す図である。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。縦軸は各画素の出力値を表し、この出力値は実質的に光強度に比例するので、図においては光強度として示す。

なお、上述のように、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合も、撮像素子受光面から遠ざかる方向に物点がずれた場合と同じような光強度分布を示すので、図において、撮像素子受光面に近づく方向にずれた場合の光強度分布の変化を省略している。撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークについても、撮像素子受光面から遠ざかる方向に物点がずれた場合の視差Ｌｔ画素および視差Ｒｔ画素が示す光強度分布のピークと同様であるので、省略している。

図７（ａ）は、図５で説明した光強度分布の変化を表すグラフである。分布曲線１８０１は、図５（ａ）に対応する光強度分布を表し、最も急峻な様子を示す。分布曲線１８０２は、図５（ｂ）に対応する光強度分布を表し、また、分布曲線１８０３は、図５（ｃ）に対応する光強度分布を表す。分布曲線１８０１に比較して、徐々にピーク値が下がり、広がりを持つ様子がわかる。

図７（ｂ）は、図６で説明した光強度分布の変化を表すグラフである。分布曲線１８０４と分布曲線１８０５は、それぞれ図６（ｂ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布は中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０６は、図６（ｂ）に対して同等のデフォーカス状態である図５（ｂ）の分布曲線１８０２と相似形状を示す。

分布曲線１８０７と分布曲線１８０８は、それぞれ図６（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布を表す。図からわかるように、これらの分布も中心位置に対して線対称の形状を成す。また、これらを足し合わせた合成分布曲線１８０９は、図６（ｃ）に対して同等のデフォーカス状態である図５（ｃ）の分布曲線１８０３と相似形状を示す。なお、図６（ｄ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布は、図６（ｃ）の視差Ｌｔ画素の光強度分布と視差Ｒｔ画素の光強度分布の位置を入れ替えた関係になるので、それぞれ分布曲線１８０８と分布曲線１８０７に相当する。

図８は、視差画素の種類が２つである場合における開口部１０４の開口形状を説明する図である。図８（ａ）は、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素（Ｎ画素）の開口部１０４ｎの形状を中心線３２２で分割したそれぞれの形状と同一である例を示している。つまり、図８（ａ）では、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になっている。本実施形態においては、視差なし画素の開口部１０４ｎを全開口の開口部といい、開口部１０４ｌおよび開口部１０４ｒを半開口の開口部という。ここでは、半開口の開口部において、紙面横方向（水平方向）と紙面縦方向（垂直方向）との比は、１：２である。開口部が光電変換素子の中央に位置する場合に、当該開口部が基準方向に向いているという。視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒは、それぞれ対応する光電変換素子１０８の中心（画素中心）を通る仮想的な中心線３２２に対して、互いに反対方向に偏位している。したがって、視差Ｌｔ画素の開口部１０４ｌおよび視差Ｒｔ画素の開口部１０４ｒはそれぞれ、中心線３２２に対する一方向、当該一方向とは反対の他方向に視差を生じさせる。

視差画素では、半開口の開口部を有する開口マスクで光電変換素子の一部を覆い当該光電変換素子に入射する光を制限することにより、被写体光束を受光する受光領域が画素中心に対して水平方向に偏位した位置に設定される。このように、被写体光束を受光する受光領域が画素中心に対して水平方向に偏位した位置に設定される画素を視差画素と定義する。受光領域が偏位している点に着目すると、視差画素を偏位画素ということもできる。受光領域において、水平方向の領域幅は垂直方向の領域幅よりも短くなっている。なお、開口マスクを用いずとも受光領域の水平方向の領域幅を垂直方向の領域幅よりも短くできる。具体的には、光電変換素子そのものの水平方向の領域幅が垂直方向の領域幅よりも短くなるよう、当該光電変換素子を形成すればよい。

一方、視差なし画素では、受光領域が画素中心に対して偏位していない位置に設定されている。受光領域が画素中心に対して偏位していない位置に設定される画素を視差なし画素と定義する。受光領域が偏位していない点に着目すると、視差なし画素を非偏位画素ということもできる。

図８（ｂ）は、図８（ａ）で示した各開口部を有する画素において、撮像素子受光面から遠ざかる方向に、物点が焦点位置からずれた場合の光強度分布を示す。図中において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。また、曲線Ｌｔは図７（ｂ）の分布曲線１８０４、曲線Ｒｔは図７（ｂ）の分布曲線１８０５にそれぞれ相当する。曲線Ｎは視差なし画素に対応しており、図７（ｂ）の合成分布曲線１８０６と相似形状を示す。また、それぞれの開口部１０４ｎ、開口部１０４ｌ、開口部１０４ｒは、開口絞りとしての機能を発揮する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素が捉える被写体像のボケ幅は、図７（ｂ）の合成分布曲線１８０６で示される、視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となる。

図８（ｃ）は、図８（ａ）で示した各開口部を有する画素において、撮像素子受光面に近づく方向に、物点が焦点位置からずれた場合の光強度分布を示す。図において、横軸は画素位置を表し、中心位置が像点に対応する画素位置である。図８（ｃ）の曲線Ｌｔ、曲線Ｒｔは、開口部１０４ｎを有する視差なし画素が捉える被写体像のボケ幅が視差Ｌｔ画素と視差Ｒｔ画素を足し合わせた曲線のボケ幅と同程度となるという関係を維持しつつ、図８（ｂ）の曲線Ｌｔ、曲線Ｒｔに対して位置関係が逆転している。

＜被写界深度と非対称ボケ＞
次に、被写界深度とボケの非対称性との関係について説明する。図８（ｂ）、（ｃ）からも明らかなように、非合焦域では、視差画素が捉える被写体像のボケ幅は、視差なし画素が捉える被写体像のボケ幅よりも狭い。これは、図８（ａ）の視差画素の開口マスクによって実質的にレンズの入射光束が右半分と左半分に絞られていることを意味する。換言すると、単一のレンズ瞳に左右２つの仮想瞳が生じているといえる。すなわち、視差画素の開口マスクにおける開口面積は、レンズの絞りの効果と同等の役割を果たす。

一般に、レンズを絞ると被写界深度の深い画像が撮像される。視差画素における開口マスクの開口は、水平方向に短く垂直方向に長い。したがって、縦線などの水平方向に周波数成分を持つ被写体に対しては深い被写界深度の画像が撮像されるのに対し、横線などの垂直方向に周波数成分を持つ被写体に対しては浅い被写界深度の画像が撮像される。

図９は、ボケの非対称性を説明するための図である。例えば、図９（ａ）のような正方形のパッチの被写体を撮像すると、合焦域では、図９（ａ）のような被写体像が得られる。図９（ｂ）では、左視差画素と右視差画素が捉えた被写体像を合わせて示している。非合焦域では、図９（ｂ）に示すような水平方向のボケが少ない、縦線が横線よりもシャープに見える被写体像が撮像される。すなわち、視差画素における開口マスクの開口が水平方向と垂直方向で非対称性なので、被写体像の水平方向と垂直方向でボケが非対称性になっている。これは、ボケの非等方性ということもできる。

図９（ｂ）の左目用の被写体像と右目用の被写体像を重ね合わせて表示し、３Ｄ画像から２Ｄ画像を得たとすると、２Ｄ画像には水平方向のシャープなボケに起因した２線ボケのような、あまり好ましくないボケが生じることもある（図９（ｃ））。

図１０は、視差画像および視差なし画像と、被写界深度との関係を示す図である。具体的には、図１０は、撮像素子１００の画素ピッチをａ［ｍｍ］として、周波数がｆ［本／ｍｍ］にあるような被写体像の縞模様チャートを撮像したときの縦線縞模様チャートとそれを９０°回転して撮像したときの横線縞模様チャートのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性の被写体距離依存性を示す図である。縦軸は、ＭＴＦを示し、横軸は、デジタルカメラ１０からの距離ｄを示す。ＭＴＦ分布は、合焦位置の光軸付近のＭＴＦを１とした場合に、縞模様チャートを合焦位置から前後させるとどのように減衰するかを表す。図１０（ａ）は、視差なし画像（Ｎ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図１０（ａ）に示すように、視差なし画像では、縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布は一致している。図１０（ｂ）は、視差画像（視差Ｌｔ画像および視差Ｒｔ画像）における一定周波数の被写体像の被写体距離に関する縦線縞模様チャートと横線縞模様チャートのＭＴＦ分布を示す。図１０（ｂ）に示す横線縞模様チャートのＭＴＦ分布は、図１０（ａ）に示す横線縞模様チャートのＭＴＦ分布に一致する。一方、図１０（ｂ）に示す縦線縞模様チャートのＭＴＦ分布は、図１０（ａ）に示す縦線縞模様チャートのＭＴＦ分布に比べてコントラストの高い区間が広く分布し、被写界深度が深いことが読み取れる。換言すると、縞模様チャートを合焦位置から前後させると、視差画像では、横線縞模様チャートと横線縞模様チャートとでコントラストが異なっている。これが先ほど図９で示したボケの非対称性を生み出している。図１０では、視差なし画像と視差画像との間の被写界深度の違いを示したが、視差画像内の垂直方向と水平方向との間の被写界深度の違いと捉えることもできる。

＜視差画素の開口形状と楕円絞り＞
上述したように、視差画素においては、開口マスクの開口部の水平方向の開口幅（すなわち受光領域の水平方向の領域幅）は、垂直方向の開口幅（すなわち受光領域の垂直方向の領域幅）の１／２になっている。したがって、水平方向の被写界深度は深く、結果としてボケがつきにくい。一方、垂直方向の被写界深度は浅く、結果としてボケがつきやすい。したがって、視差画素に対しては、円形絞りではなく楕円絞りを用いるのが好ましい。より詳細には、楕円の水平方向を長軸、垂直方向を短軸とし、長軸径ａと短軸径ｂの比を、上記の被写界深度の非対称性を低減する目的で２：１にするとよい。このような楕円絞りを用いれば、縦横の開口幅の違いによる被写界深度の非対称性を低減できる。楕円を表す式は下記になる。

絞りを開放側から最大絞りまで絞る場合に、楕円形状の偏平率（すなわち水平方向の開口幅（長軸径）ａ：垂直方向の開口幅（短軸径ｂ））を保ったまま相似形に縮小していくのが好ましい。

一方、視差なし画素においては、開口部の水平方向と垂直方向の比は、１：１である。水平方向と垂直方向とで被写界深度に差は生じない。したがって、開口部の水平方向と垂直方向の比が２：１の楕円絞りを用いると、むしろボケがアンバランスになる。したがって、視差なし画素に対しては円形絞りを用いることが好ましい。

以上のように、視差画素と視差なし画素とで、開口マスクの開口部の形状が異なる、すなわち受光領域の形状が異なる場合には、視差画像と視差なし画像とでボケの出かたが異なる。ここで、撮像素子全体に対してどのような絞りを用いるのかが問題となる。視差画素または視差なし画素のみが配列された撮像素子であれば、どのような絞りを用いるかは簡単である。すなわち、上述のように視差画素の受光領域における水平方向の領域幅と垂直方向の領域幅が１：２であれば、水平方向の開口幅と垂直方向の開口幅が２：１の楕円絞りを用いればよいし、視差なし画素のみが配列された撮像素子であれば円形絞りを用いればよい。しかし、本実施形態の撮像素子は、視差画素と視差なし画素を両方含む。この場合、視差画像のボケのアンバランスの改善と、視差なし画像のボケのバランスの悪化とのバランスを考慮し、楕円の長軸径ａ、短軸径ｂを設定する。具体的には、このような撮像素子に対して、１＞（楕円の短軸径ｂ）／（楕円の長軸径ａ）＞（視差画素の受光領域における水平方向の領域幅）／（視差画素の受光領域における垂直方向の領域幅）の関係を満たす開口部を有する楕円絞りを用いる。これにより、視差画素においては、円形絞りを用いる場合に比べてボケのアンバランスが低減される。一方、視差なし画素においては、水平方向の開口幅と垂直方向の開口幅が２：１の楕円絞りを用いる場合に比べてボケのバランスの悪化を抑制できる。

ここで、後述する視差変調によって高解像度の視差画像を生成するにあたり、視差なし画像のボケは最終的に生成される高解像度の視差画像のボケに反映される。したがって、視差画素と視差なし画素の密度比に基づいて楕円の長軸径ａ、短軸径ｂを設定するとよい。例えば、視差なし画素が視差画素に対して支配的であれば、視差画像のボケは最終的に生成される高解像度の視差画像全体に対する影響が小さい。したがって、視差なし画素が視差画素に対して支配的になるほど、楕円の長軸径ａと短軸径ｂの比を１に近づける。すなわち、円形絞りに近づける。これにより、視差なし画像のボケのバランスの悪化を小幅に留めつつ、視差画像のボケのアンバランスを改善できる。

逆に、視差画素が視差なし画素に対して支配的であれば、視差画像のボケは最終的に生成される高解像度の視差画像全体に対する影響が大きい。したがって、視差画素が視差なし画素に対して支配的になるほど、楕円の長軸径ａと短軸径ｂの比を１／２に近づける。すなわち、水平方向の開口幅と垂直方向の開口幅が２：１の楕円絞りに近づける。これにより、視差画像のボケのアンバランスを大幅に改善しつつ、視差なし画像のボケのバランスの悪化を抑制できる。

以上のように、視差画素と視差なし画素の密度比に基づいて楕円の長軸径ａと短軸径ｂの比を設定することにより、視差変調処理により視差画像を生成するにあたって、ボケのアンバランスが改善された視差画像を得ることができる。その結果、より自然なボケの視差画像を得ることができる。

＜視差画素密度比と楕円絞りの形状＞
図１１は、画素配列の比較例を示す図である。図１１に示す撮像素子３００は、図の太線で示す２×２画素のパターン３１０を基本格子とする。パターン３１０において、左上の画素および右下の画素に視差Ｌｔ画素が割り当てられている。左下の画素および右上の画素に視差Ｒｔ画素が割り当てられている。ここでは、撮像素子３００は、モノクロセンサである。図１１に示す撮像素子３００の配列は、Ｎ：Ｌｔ：Ｒｔ＝０：１：１である。つまり、図１１に示す撮像素子３００は、視差画素のみが配列された撮像素子である。

図１２は、本実施形態の画素配列の一例を示す図である。図１２に示す撮像素子１００は、図の太線で示す２×２画素のパターン１１０を基本格子とする。パターン１１０において、左上の画素および右下の画素に視差なし画素が割り当てられている。また、左下の画素に視差Ｌｔ画素が割り当てられ、右上の画素に視差Ｒｔ画素が割り当てられている。ここでは、撮像素子１００は、モノクロセンサである。図１２に示す撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝２：１：１である。

図１３は、本実施形態の画素配列のバリエーションを示す図である。図１３に示す撮像素子１００は、隣接する８画素×８画素のパターン１１０を基本格子とする。パターン１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。なお、図示するように、ベイヤー配列においては、左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配される。

パターン１１０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_７２…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_６３…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_４４…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_８４…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_３６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_７６…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_６７…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_４８…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_８８…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。ここでは、撮像素子１００は、カラーセンサである。図１３に示す撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝６：１：１である。

図１４は、本実施形態の画素配列のバリエーションを示す図である。図１４に示す撮像素子１００は、隣接する８画素×８画素のパターン１１０を基本格子とする。パターン１１０は、２×２の４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向に４つ含む。また、図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。ここでは、撮像素子１００は、カラーセンサである。図１４に示す撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１である。

図１３においては、撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、パターン１１０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素のそれぞれが、パターン１１０内においてできるだけ等方性を有して配置されるとよい。なお、視差画素および視差なし画素が混合して配置されているので、一見ランダムに配置されるように見える。等方性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、高品質な視差画像データが得られる。

以上のそれぞれの配列において、光学系の絞りは如何なる楕円形状をとればよいか説明する。それぞれの配列において視差画素の密度が異なるので、非対称ボケの影響度合いも異なると推察される。非対称ボケの影響度合いは、後の各実施形態で説明する画像処理を通して、中間的に生成される２Ｄ画像におけるボケで測定するものとする。なぜならば、後述する視差変調という画像処理を通して最終的に生成される３Ｄ画像は、右目用画像と左目用画像を単純に重ね合わせて表示すると中間的に生成された２Ｄ画像と同じ状態に見えるからである。

全画素数に占める視差画素の総数の割合（視差画素の密度）がδで表される場合に、絞りの楕円形状（長軸径ａと短軸径ｂの比）をδの関数として表す。ただし、視差画素の密度は、互いに同数の左視差画素と右視差画素の和であり、視差なし画素と左視差画素と右視差画素の密度比が下記の（式１）で表されるとする。

Ｎ：Ｌｔ：Ｒｔ＝１−δ ： δ／２ ： δ／２ （式１）
上述した中間的に生成される２Ｄ画像を生成するにあたって、以下の実施形態で述べる画像処理では、視差なし画素の画素値と視差画素の画素値を密度比に応じて混合する処理を行う。これにより、全ての画素でサンプリングした空間情報を最大限に生かすことができる。実際には、画像処理部２０５は、撮像素子１００の画素配列順にその出力値（画素値）が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。プレーンデータとは、同一に特徴付けられた画素グループごとに分離して寄せ集められた画像データである。画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、周辺の視差なし画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたＮ画像を生成する。

同様に、画像処理部２０５は、撮像素子１００の全出力値から左視差画素の画素値以外の画素値を除去して空格子とする。そして、空格子となった画素値を、周辺の左視差画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたＬｔ画像を生成する。さらに画像処理部２０５は、撮像素子１００の全出力値から右視差画素の画素値以外の画素値を除去して空格子とする。そして、空格子となった画素値を、周辺の右視差画素の画素値を用いて補間処理により算出する。これにより、空格子が埋められたＲｔ画像を生成する。その後、Ｌｔ画像とＲｔ画像の平均画像を生成すると、当該平均画像も別な空間情報を備えた視差なし画像を表している。したがって、Ｎ画像と、Ｌｔ画像とＲｔ画像の平均画像の２種類の視差なし画像を混合して、新たに１つに統合した視差なし画像Ｎ'を生成する。これを各画素位置上で行う。ここでは、視差画素密度に応じた相乗平均をとる例を示す。これは後述するローカル・ゲインバランス補正と呼ばれる処理ステップで行う。

これを模式的に表すと密度比δの関数で表すことができる（式２）。

（式２）
中間２Ｄ画像を視差画素の密度の関数として生成するので、δの極限値、すなわち、δ→１の場合には視差画素のみで作成した画像となり、δ→０の場合には視差なし画素のみで作成した画像となる。この極限状態で、楕円絞りの偏平率ａ：ｂが如何なる値を採るべきかを考察すると、δの関数として表す場合の出発点の境界条件が与えられる。

δ→１の場合には視差画素のみで構成されるので、上述のように、開口マスクの形状によるボケのアンバランスを低減するようにａ：ｂ＝２：１である。δ→０の場合には視差なし画素のみで構成されるので、通常の２Ｄ専用センサと同等になり、円形絞りでよい。したがって、ａ：ｂ＝１：１である。

以上をまとめると、（式３）、（式４）となる。
δ＝１の場合 ａ：ｂ＝２：１ （式３）
δ＝０の場合 ａ：ｂ＝１：１ （式４）
（式３）、（式４）から、０＜δ＜１の中間値に対して、以下のように書くと境界条件を満たした一般式を得ることができる。

ａ：ｂ＝（１＋δ）：１（δは任意の値） （式５）
（式５）は、次のように書き換えることができる。
任意のδに対して

（式６）
楕円絞りの出発点ａ：ｂ＝２：１を基準にｂの項で画素密度比の影響を表す。図１１で示した比較例の画素配列、および図１２〜図１４で示した本実施形態の画素配列の場合に、楕円形状は如何なる値を採るかを以下に示す。

図１１で示したように、Ｌｔ：Ｒｔ＝１：１、すなわちδ＝１の場合には、ａ：ｂ＝（１＋１）：１＝２：１となる。すなわち、上述したように、視差画素の受光領域における水平方向の領域幅と垂直方向の領域幅が１：２であれば、水平方向の開口幅と垂直方向の開口幅が２：１の楕円絞りを用いればよいことを示している。

図１２に示したように、Ｎ：Ｌｔ：Ｒｔ＝２：１：１、すなわちδ＝１／２の場合には、ａ：ｂ＝（１＋１／２）：１＝３：２となる。

図１３に示したように、Ｎ：Ｌｔ：Ｒｔ＝６：１：１、すなわちδ＝１／４の場合には、ａ：ｂ＝（１＋１／４）：１＝５：４となる。

図１４に示したように、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１、すなわちδ＝１／８の場合には、ａ：ｂ＝（１＋１／８）：１＝９：８となる。

次に、視差画素が半開口の状態から、水平方向に開口を広げた場合に、視差画素の開口形状の関数として楕円絞りの形状を表す場合について説明する。図１５は、視差画素の開口マスクの開口形状を説明する図である。視差Ｌｔ画素の開口部１０４ｌは、中心線３２２から右側に幅ｕだけ延伸している。一方、視差Ｒｔ画素の開口部１０４ｒは、中心線３２２から左側に幅ｕだけ延伸している。視差画素の開口部は、（式７）で表すことができる。

水平開口幅：垂直開口幅＝（（１／２）＋ｕ）：１ （式７）
まず初めに、全てが視差画素のみで構成されている場合について説明する。すなわち、δ＝０の場合である。この場合には、視差開口幅の逆数比が、ａ：ｂとなる。

（式８）
この関係式はｕが負の値であっても成り立つ。よって、｜ｕ｜＜１／２である。（式６）と対比すると、（式８）ではａの項に視差画素の開口幅に関する影響を押し込めたということもできる。

絞りが採るべき楕円形状ａ：ｂの値は、視差画素密度δの関数と視差画素の開口幅の増減比ｕの２つの関数として一般化することができる。それには式６と式８をつなげればよい。共に視差画素のみで構成される場合の楕円形状ａ：ｂ＝２：１を基本型で記述しているので、次のように統合することができる。

（式９）

＜実施形態１＞
ここでは、撮像素子１００の配列として図１２で示した配列を採用する。すなわち、撮像素子１００はモノクロセンサであり、撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝２：１：１である。形状は楕円であり、かつ長軸径ａ：短軸径ｂ＝３：２となる絞りを装着する。以下にそうして撮像された画像データを現像する画像処理を示す。画像処理の手順は、およそ以下の通りである。
１）視差多重化モザイク画像データ入力
２）視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
５）実際の視差画像の生成
６）出力空間への変換
以下、順に説明する。

１）視差多重化モザイク画像データ入力
図１２の視差が多重化された単板式モノクロのモザイク画像をＭ（ｘ，ｙ）で表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。

便宜的にモザイク画像Ｍ（ｘ，ｙ）の内、視差なし画素の信号面をＮ_{ｍｏｓａｉｃ}（ｘ，ｙ）、左視差画素の信号面をＬｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）、右視差画素の信号面をＲｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）、と表すことにする。

こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をＭ'（ｘ，ｙ）として出力する。

３）仮の視差画像の生成
空間周波数解像度の低い分解能である仮の左視差画像と、空間周波数解像度の低い分解能である仮の右視差画像を生成する。左視差画素ばかりを集めた信号面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めた信号面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めた信号面内の単純平均補間を行う。すなわち、Ｌｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）からＬｔ（ｘ，ｙ）を、Ｒｔ_{ｍｏｓａｉｃ}（ｘ，ｙ）からＲｔ（ｘ，ｙ）を、Ｎ_{ｍｏｓａｉｃ}（ｘ，ｙ）からＮ（ｘ，ｙ）を生成する。仮の視差なし画像をＮ（ｘ，ｙ）、仮の左視差画像をＬｔ（ｘ，ｙ）、仮の右視差画像をＲｔ（ｘ，ｙ）と表す。なお、仮の視差なし画像Ｎ（ｘ，ｙ）を生成する場合には、信号面内での方向判定を導入して高精細に行うのがよい。

４）左右の照度分布補正による視差なし基準画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間でさらに照度を合わせる。そうして、全ての画素でゲイン整合のとれた新しい視差なしの基準画像面を作成する。これは平均値と置き換えることと等価であり、視差の消滅した中間画像面が出来上がる。これをＮ（ｘ，ｙ）と書くことにする。

このように左視点の画像と右視点の画像の平均値をさらに視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、モノクロ面のデータを書き換え、視差なしモノクロ面の画像Ｎ（ｘ，ｙ）を出力する。

５）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差画像Ｌｔ（ｘ，ｙ）とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差のモノクロ画像Ｌｔ'（ｘ，ｙ）を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差画像Ｒｔ（ｘ，ｙ）とステップ５で中間処理として生成した解像力の高い視差なしのモノクロ画像Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差のカラー画像Ｒｔ'（ｘ，ｙ）を生成する。

視差なしのモノクロ画像は、全開口のボケ幅と一致する被写体像を形成している。したがって、比を一定に保つ視差変調の分母には、左視点像と右視点像の相加平均による全開口のボケ幅を持った像を基準点にとり、視差変調後の左右の画像が再度、半開口のボケ幅をもつ像となるように変調を加える。

６）出力色空間への変換
こうして得られた高解像な視差なしの中間モノクロ画像Ｎ（ｘ，ｙ）と高解像の左視差のモノクロ画像Ｌｔ'（ｘ，ｙ）、高解像の右視差のモノクロ画像Ｒｔ'（ｘ，ｙ）のそれぞれを適当なガンマ変換を行って出力空間の画像として出力する。

＜実施形態２＞
ここでは、撮像素子１００の配列として図１４で示した配列を採用する。すなわち、撮像素子１００はカラーセンサであり、撮像素子１００の配列は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１である。形状は楕円であり、かつ長軸径ａ：短軸径ｂ＝９：８となる絞りを装着する。以下にそうして撮像された画像データを現像する画像処理を示す。画像処理の手順は、およそ以下の通りである。
１）色・視差多重化モザイク画像データ入力
２）色・視差モザイク画像のグローバル・ゲインバランス補正
３）仮の視差画像の生成
４）左右の局所照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
５）視差なし基準画像の生成
６）実際の視差画像の生成
７）出力色空間への変換
以下、順に説明する。

１）色・視差多重化モザイク画像データ入力
図１４の色と視差の多重化された単板式モザイク画像をＭ（ｘ，ｙ）で表す。階調はＡ／Ｄ変換によって出力された線形階調であるものとする。

便宜的にモザイク画像Ｍ（ｘ，ｙ）の内、Ｒ成分の視差なし画素の信号面をＲ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｒ成分の左視差画素の信号面をＲ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｒ成分の右視差画素の信号面をＲ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の左視差画素の信号面をＧ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の視差なし画素の信号面をＧ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｇ成分の右視差画素の信号面をＧ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｂ成分の視差なし画素の信号面をＢ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｂ成分の左視差画素の信号面をＢ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）、Ｂ成分の右視差画素の信号面をＢ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）と表すことにする。

こうして視差なし画素が１つのゲイン係数で、左視差画素が１つのゲイン係数で、右視差画素が１つのゲイン係数で補正されたモザイク画像をＭ'（ｘ，ｙ）として出力する。

３）仮の視差画像の生成
空間周波数解像度の低い分解能である仮の左視差画像と、空間周波数解像度の低い分解能である仮の右視差画像を生成する。左視差画素ばかりを集めたＧ色面内の単純平均補間を行う。近接して存在する画素値を用いて、距離の比に応じて線形補間を行う。同様に、右視差画素ばかりを集めたＧ色面内の単純平均補間を行う。同様に、視差なし画素ばかりを集めたＧ色面内の単純平均補間を行う。同様の処理をＲ，Ｇ，Ｂの各々について行う。すなわち、Ｒ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｌｔ（ｘ，ｙ）を、Ｒ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｒｔ（ｘ，ｙ）を、Ｒ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＲ_Ｎ（ｘ，ｙ）を、Ｇ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｌｔ（ｘ，ｙ）を、Ｇ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｒｔ（ｘ，ｙ）を、Ｇ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＧ_Ｎ（ｘ，ｙ）を、Ｂ_{Ｌｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｌｔ（ｘ，ｙ）を、Ｂ_{Ｒｔ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｒｔ（ｘ，ｙ）を、Ｂ_{Ｎ＿ｍｏｓａｉｃ}（ｘ，ｙ）からＢ_Ｎ（ｘ，ｙ）を生成する。

ここで、仮のＲ成分の視差なし画像をＲ_Ｎ（ｘ，ｙ）、仮のＧ成分の視差なし画像をＧ_Ｎ（ｘ，ｙ）、仮のＢ成分の視差なし画像をＢ_Ｎ（ｘ，ｙ）、仮のＲ成分の左視差画像をＲ_Ｌｔ（ｘ，ｙ）、仮のＧ成分の左視差画像をＧ_Ｌｔ（ｘ，ｙ）、仮のＢ成分の左視差画像をＢ_Ｌｔ（ｘ，ｙ）で表す。同様に、仮のＲ成分の右視差画像をＲ_Ｒｔ（ｘ，ｙ）、仮のＧ成分の右視差画像をＧ_Ｒｔ（ｘ，ｙ）、仮のＢ成分の右視差画像をＢ_Ｒｔ（ｘ，ｙ）で表す。なお、仮の視差なし画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を生成する場合には、信号面内での方向判定を導入して高精細に行うのがよい。

４）左右の照度分布補正による視差なし色モザイク画像の生成
（ローカル・ゲインバランス補正）
次にステップ１で行ったグローバル・ゲイン補正と同様の考え方で、画素単位のローカル・ゲイン補正を行うことによって、まず画面内の左視差画素と画面内の右視差画素の照度を合わせる。この操作によって左右間の視差を消滅させる。その上で左右平均をとった信号面と視差なし画素の撮像信号面との間でさらに照度を合わせる。以上により、全ての画素でゲイン整合のとれた新しいＢａｙｅｒ面を作成する。これは平均値と置き換えることと等価であり、視差の消滅したＢａｙｅｒ面が出来上がる。これをＭ_Ｎ（ｘ，ｙ）と書くことにする。

なお、視差なし画素の開口マスクは全開口である。したがって、左右間で視差消滅させた被写体像のボケ幅を全開口のボケ幅と一致させる目的で相加平均を用いる。これにより、左右間の視差を消滅させる。

さらに、左右間で視差消滅させた信号面と視差なし画素の撮像信号面との間で平均をとる操作は、両者が既に同じボケ幅の被写体像に揃えられているので、そのボケ幅を保存する必要がある。したがって、この場合には共通に相乗平均をとらなければならない。ここで、視差画素の数は視差なし画素の数より少ない。加えて、視差画像の解像力は、視差なし画像の解像力より低い。したがって、視差なし画素の画素値と左右の視差画素の平均値とに対する重みの配分を均等にすると、得られる画像の解像力は、視差画像の解像力の影響により全体として低下する。よって、視差なし画像の解像力に可能な限り近づける工夫が必要になる。そこで、撮像素子上の画素配列における視差なし画素と視差画素の密度比を考慮に入れて相乗平均をとるとよい。具体的には、実施形態２で用いた視差なし画素（Ｎ）と左視差画素（Ｌｔ）と右視差画素（Ｒｔ）の比は、Ｎ：Ｌｔ：Ｒｔ＝１４：１：１、すなわち、Ｎ：(Ｌｔ＋Ｒｔ)＝７：１であるので、視差なし画素には７／８乗の重みを、視差画素には１／８乗の重みを与えて、密度の高い視差なし画素を重視した配分とする。以下にそれらの具体式を挙げる。

このように左視点の画像と右視点の画像の平均値と、視差のない基準視点の画像との平均値をとった画素値を新たな視差なし画素値として、Ｂａｙｅｒ面のデータを書き換え、視差なしＢａｙｅｒ面の画像Ｍ_Ｎ（ｘ，ｙ）を出力する。

５）視差なし基準画像の生成
公知のＢａｙｅｒ補間技術を行う。例として、本出願人と同一発明者のＵＳＰ７９５７５８８（ＷＯ２００６／００６３７３）やＵＳＰ８２５９２１３に示される補間アルゴリズムがある。

６）実際の視差画像の生成
ステップ３で生成した解像力の低い仮の左視差のカラー画像Ｒ_Ｌｔ（ｘ，ｙ）、Ｇ_Ｌｔ（ｘ，ｙ）、Ｂ_Ｌｔ（ｘ，ｙ）とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い左視差のカラー画像Ｒ'_Ｌｔ（ｘ，ｙ）、Ｇ'_Ｌｔ（ｘ，ｙ）、Ｂ'_Ｌｔ（ｘ，ｙ）を生成する。同様に、ステップ３で生成した解像力の低い仮の右視差のカラー画像Ｒ_Ｒｔ（ｘ，ｙ）、Ｇ_Ｒｔ（ｘ，ｙ）、Ｂ_Ｒｔ（ｘ，ｙ）とステップ５で中間処理として生成した解像力の高い視差なしのカラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）を用いて、実際に出力する解像力の高い右視差のカラー画像Ｒ'_Ｒｔ（ｘ，ｙ）、Ｇ'_Ｒｔ（ｘ，ｙ）、Ｂ'_Ｒｔ（ｘ，ｙ）を生成する。

視差なし画素の開口マスクは全開口である。したがって、視差変調の方式として相加平均を基準点にとる方式を採用することにより、視差画像のボケ幅を伝達しつつ、Ｎ画像と（Ｌｔ画像+Ｒｔ画像）／２のボケ幅の違いを補正するような視差変調効果を得る。

ここで、例えば高解像な左視差画像Ｒ'_Ｌｔを生成するにあたって、視差変調を行う場合も、撮像素子の画素配列における各視差画素同士の間でのＲＧＢの密度比を考慮に入れた相乗平均をとる。すなわち、左視差画素同士の間ではＲ：Ｇ：Ｂ＝１：２：１であり、右視差画素同士の間でもＲ：Ｇ：Ｂ＝１：２：１であるので、Ｒ成分による視差変調に１／４乗の重みを、Ｇ成分による視差変調に１／２乗の重みを、Ｂ成分による視差変調に１／４乗の重みを与えて、密度の高いＧ成分による視差変調を重視した配分をとる。具体的には、以下の式を用いて高解像な左視差画像Ｒ'_Ｌｔ、Ｇ'_Ｌｔ、Ｂ'_Ｌｔと高解像な右視差画像Ｒ'_Ｒｔ、Ｇ'_Ｒｔ、Ｂ'_Ｒｔを算出する。

７）出力色空間への変換
こうして得られた高解像な視差なしの中間カラー画像Ｒ_Ｎ（ｘ，ｙ）、Ｇ_Ｎ（ｘ，ｙ）、Ｂ_Ｎ（ｘ，ｙ）と高解像の左視差のカラー画像Ｒ_Ｌｔ（ｘ，ｙ）、Ｇ_Ｌｔ（ｘ，ｙ）、Ｂ_Ｌｔ（ｘ，ｙ）、高解像の右視差のカラー画像Ｒ_Ｒｔ（ｘ，ｙ）、Ｇ_Ｒｔ（ｘ，ｙ）、Ｂ_Ｒｔ（ｘ，ｙ）のそれぞれをセンサの分光特性のカメラＲＧＢから標準的なｓＲＧＢ色空間へ色マトリックス変換とガンマ変換を行って出力色空間の画像として出力する。

なお、撮像素子１００の配列として図１３で示した配列、すなわちＮ：Ｌｔ：Ｒｔ＝６：１：１の配列を採用する場合には、開口部の形状が楕円であり、かつ長軸ａ：短軸ｂ＝５：４となる絞りを装着する。現像処理は実施形態２と同様の手続きを経るので説明は省略する。ただし、ローカル・ゲインバランス補正の場合のＮ画像とＬｔ画像とＲｔ画像の混合割合が、視差画素の密度の変化に伴って変える必要がある。

以上の実施形態では、左右に視差をつける例を示したが、撮像素子と光学系を同時に９０度回転すれば、上下視差の撮像系の実施形態となる。４５度回転すれば斜め視差の撮像系の実施形態となる。

特許文献２に示されるような、画素が正方形ではないハニカム構造であっても、Ｎ画素とＬｔ画素とＲｔ画素が混在する配列では同様の考え方が成り立つ。すなわち、左右に視差がつくように視差画素が構成されている場合は、左右視差の実施形態と同様に楕円絞りを導入することができる。

また、以上の説明では、マイクロレンズと受光領域が一対一に対応していたが、一つのマイクロレンズに対して左右に分かれた二つの受光領域を対応させ、それぞれを右視差画素、左視差画素としてもよい。この場合、左視差画素にとっては、右視差画素の受光領域が遮光マスクの役割を果たし、右視差画素にとっては、左視差画素の受光領域が遮光マスクの役割を果たす。

絞り２２の形状を楕円として説明したが、他の形状としてもよい。例えば、絞り２２の形状を長方形としてもよい。

デジタルカメラ１０をレンズ一体型のカメラとして説明したが、レンズユニットがカメラユニットに装着されて構成されるレンズ交換式一眼レフカメラとしてもよい。この場合に、例えば、カメラユニットおよびレンズユニットを下記のように構成することにより、レンズユニットは、装着されるカメラユニットに応じて絞りの開口幅を制御できる。

カメラユニットは、実装されている撮像素子の視差画素と視差なし画素に関する情報を記憶している。当該情報として、視差画素の受光領域の開口形状を示す情報、視差画素と視差なし画素の数に関する情報を挙げることができる。視差画素と視差なし画素の数に関する情報は、具体的には、視差画素と視差なし画素の密度比である。なお、視差画素と視差なし画素の数に関する情報は、視差画素と視差なし画素の画素数でもよいし、全体の画素数と視差画素数でもよい。すなわち、演算を施すことにより最終的に視差画素と視差なし画素の密度比が得られる情報であればよい。

レンズユニットは、撮影レンズ２０と、絞り２２とを含んで構成される。レンズユニットはさらに、取得部、制御部、および演算部を含んで構成される。取得部は、カメラユニットに装着された場合に、視差画素と視差なし画素に関する情報をカメラユニットから取得する。制御部は、取得された情報に基づいて、１＞（楕円の短軸径ｂ）／（楕円の長軸径ａ）＞（視差画素の受光領域における水平方向の領域幅）／（視差画素の受光領域における垂直方向の領域幅）の関係を満たすよう、開口部の開口を調整する調整部を含む。例えば、カメラユニットから視差画素と視差なし画素の密度比を取得する場合には、当該密度比に基づいて上述の関係を満たすよう、開口部の開口を調整する。開口部の開口を調整するにあたって、具体的には、上述した演算を適用できる。これにより、密度比に応じて開口部の開口を調整できる。視差画素と視差なし画素の数に関する情報として視差画素と視差なし画素の密度比がカメラユニットに記憶されていない場合には、演算部が、記憶されている情報を用いて視差画素と視差なし画素の密度比を算出する。

一方、カメラユニットから視差画素の受光領域の開口形状を示す情報を取得する場合には、調整部は、当該開口形状に基づいて上述の関係を満たすよう、開口部の開口を調整する。以上のように、調整部は、カメラユニットに記憶されている情報の種類に応じて開口部の開口を調整する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、２２ 絞り、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０４ｌ 開口部、１０４ｒ 開口部、１０４ｎ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ パターン、１５２ 上左絞り羽根、１５３ 上右絞り羽根、１５４ 下左絞り羽根、１５５ 下右絞り羽根、１７０ 左回転軸、１７２ 右回転軸、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２２０ メモリカード、３００ 撮像素子、３０２ フィルタ、３０３ 遮断部、３０４ 開口部、３０７ ベース部、３０８ 外周部、３０９ 把持部、３１０ パターン、３２２ 中心線、１８０１ 分布曲線、１８０２ 分布曲線、１８０３ 分布曲線、１８０４ 分布曲線、１８０５ 分布曲線、１８０６ 合成分布曲線、１８０７ 分布曲線、１８０８ 分布曲線、１８０９ 合成分布曲線

Claims (15)

1. １つの光学系の入射光束に対して、基準方向の視点を生み出す開口マスクを備えた視差なし画素と、左方向の視点を生み出す開口マスクを備えた左視差画素と、右方向の視点を生み出す開口マスクを備えた右視差画素の少なくとも３種類の画素を持つ画素配列からなる撮像素子と、
   前記光学系の途中に左右方向に多くの光束を通過させる長軸を、上下方向に少ない光束を通過させる短軸を持つ非対称な形状の絞りを備え、
   前記絞りの長軸と短軸の間の比率を、前記撮像素子の画素配列の中における視差画素と視差なし画素との間の密度比に応じて設定する撮像装置。
2. 前記左視差画素と前記右視差画素がそれぞれ互いに重ならない領域の半開口のマスクを備え、前記視差なし画素が前記半開口の領域を互いに重ね合わせた領域の全開口マスクを備え、
   前記視差なし画素と前記左視差画素と前記右視差画素との間の密度比が（１−δ）：δ／２：δ／２で表される時、
   前記絞りの長軸径ａと短軸径ｂの間の比率を
   ａ：ｂ＝（１＋δ）：１， ０＜δ＜１
   に設定する請求項１に記載の撮像装置。
3. 前記絞りの長軸と短軸の間の比率を、前記視差画素と視差なし画素との間の密度比の他に、前記視差画素の開口マスクの形状にも応じて設定する請求項１に記載の撮像装置。
4. 前記左視差画素と前記右視差画素がそれぞれ互いに重ならない半開口の領域と一部で重なる領域の開口マスク（垂直開口幅：水平開口幅＝１：（１／２）＋ｕ）を備え、前記視差なし画素が前記互いに重ならない２つの半開口の領域を重ね合わせた領域の全開口マスクを備え、
   前記視差なし画素と前記左視差画素と前記右視差画素との間の密度比が（１−δ）：δ／２：δ／２で表される時、
   前記絞りの長軸径ａと短軸径ｂの間の比率を
   ａ：ｂ＝（１＋δ）：（１＋２ｕ）， ０＜δ＜１， ｜ｕ｜＜１／２
   に設定する請求項３に記載の撮像装置。
5. 前記非対称な形状の絞りとして、長軸径ａと短軸径ｂを持つ楕円絞りを用いる請求項１から４のいずれか１項に記載の撮像装置。
6. 第１軸方向の第１領域幅が前記第１軸方向に直交する第２軸方向の第２領域幅よりも短い、被写体光束を受光する受光領域が、画素中心に対して前記第１軸方向に偏位した位置に設定された偏位画素と、前記被写体光束を受光する受光領域が、前記画素中心に対して偏位していない位置に設定された非偏位画素とが二次元的に配列された撮像素子と、
   前記第１軸方向に対応する第１開口幅と前記第２軸方向に対応する第２開口幅とが、
   １＞（第２開口幅）／（第１開口幅）＞（第１領域幅）／（第２領域幅）
   の関係を満たす開口部を有する絞りと
   を備える撮像装置。
7. 前記第１開口幅と前記第２開口幅は、前記偏位画素と前記非偏位画素の密度比に基づいて設定される請求項６に記載の撮像装置。
8. 前記偏位画素と前記非偏位画素の密度比がδ：１−δ（ただし、０＜δ＜１）で表される場合に、
   ａ：ｂ＝（１＋δ）：１（ａ：第１開口幅、ｂ：第２開口幅）
   の関係を満たす請求項７に記載の撮像装置。
9. 前記第１開口幅と前記第２開口幅は、前記偏位画素と前記非偏位画素の密度比および前記偏位画素の前記受光領域の形状に基づいて設定される請求項６に記載の撮像装置。
10. 前記偏位画素と前記非偏位画素の密度比がδ：１−δ（ただし、０＜δ＜１）で表され、かつ、前記偏位画素の前記受光領域における前記第２領域幅と前記第１領域幅の比が１：（１／２）＋ｕ（ただし、｜ｕ｜＜１／２）で表される場合に、
    ａ：ｂ＝１＋δ：１＋２ｕ（ａ：第１開口幅、ｂ：第２開口幅）
    の関係を満たす請求項９に記載の撮像装置。
11. 前記絞りは、前記第１開口幅と前記第２開口幅の比を一定に保ったまま前記開口部の開口面積を変化させる請求項６から１０のいずれか１項に記載の撮像装置。
12. 前記偏位画素の画素値を用いて基準方向に対して前記第１軸方向に偏位した視点に対応する第１画像を生成し、前記非偏位画素の画素値を用いて前記基準方向の視点に対応する第２画像を生成し、前記第１画像と前記第２画像を用いて、前記第１軸方向に偏位した視点に対応する第３画像を生成する画像処理部をさらに備える請求項６から１１のいずれか１項に記載の撮像装置。
13. 前記偏位画素は開口マスクを有し、当該開口マスクにより前記偏位画素の前記受光領域が設定される請求項６から１２のいずれか１項に記載の撮像装置。
14. 前記絞りの前記開口部の形状は楕円である請求項６から１３のいずれか１項に記載の撮像装置。
15. カメラユニットに装着された場合に、第１軸方向の第１領域幅が前記第１軸方向に直交する第２軸方向の第２領域幅よりも短い、被写体光束を受光する受光領域が、画素中心に対して前記第１軸方向に偏位した位置に設定された偏位画素と、前記被写体光束を受光する受光領域が、前記画素中心に対して偏位していない位置に設定された非偏位画素とに関する情報を前記カメラユニットから取得する取得部と、
    開口部を有する絞りと、
    前記情報に基づいて、前記第１軸方向に対応する第１開口幅と前記第２軸方向に対応する第２開口幅とが、
    １＞（第２開口幅）／（第１開口幅）＞（第１領域幅）／（第２領域幅）
    の関係を満たすよう、前記開口部の開口を調整する調整部と
    を備えるレンズユニット。

Images