JP2013162362A - 撮像装置および撮像プログラム - Google Patents

Abstract

【課題】単一の撮影光学系を用いて、任意の数の視差を有する画像を一度の撮影で生成する場合には、２つの撮像光学系を用いる場合に比べて、得られる画像の画質は低下するという課題が存在した。
【解決手段】撮像装置は、隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子と、入射光束を撮像素子に対してシフトさせるシフトユニットを、一組の光電変換素子群において、光束制限部が設けられた基準となる光電変換素子に指向していた入射光束が、他の光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動しつつ、撮像素子による複数回の撮像動作を実行する撮像制御部とを備える。
【選択図】図１

Description

本発明は、撮像装置および撮像プログラムに関する。

２つの撮像光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像する撮像装置が知られている（特許文献１参照）。このような撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

しかしながら、複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。そこで、近年、単一の撮影光学系を用いて、互いに視差を有する複数の視差画像を一度の撮影で生成する撮像装置が知られている。ただし、単一の撮影光学系を用いて、互いに視差を有する複数の視差画像を一度の撮影で生成する場合には、複数の撮像光学系を用いる場合に比べて、得られる画像の画質は低下するという課題が存在した。

本発明の第１の態様における撮像装置は、隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、ｎ個の前記光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子と、入射光束を撮像素子に対してシフトさせるシフトユニットを、一組の光電変換素子群において、光束制限部が設けられた基準となる光電変換素子に指向していた入射光束が、他の光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動しつつ、撮像素子による複数回の撮像動作を実行する撮像制御部とを備える。

本発明の第２の態様における撮像プログラムは、隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子による撮像動作を実行する第１撮像ステップと、入射光束を撮像素子に対してシフトさせるシフトユニットを、一組の光電変換素子群において、光束制限部が設けられた基準となる光電変換素子に指向していた入射光束が、他の光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動するシフトステップと、撮像素子による撮像動作を再度実行する第２撮像ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

デジタルカメラ１０の構成を説明する図である。 撮像素子１００の断面を表す概略図である。 撮像素子１００の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つの場合のバリエーションを説明する図である。 バリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のバリエーションの一例を示す図である。 他のカラーフィルタ配列を説明する図である。 Ｗ画素と視差画素の配列の一例を示す図である。 視差画像を高精細化する原理を説明するための図である。 高精細視差モードを説明するための図である。 高精細カラーモードを説明するための図である。 高精細視差モードを説明するための図である。 高精細２Ｄモードを説明するための図である。 視差画像と２Ｄ画像の生成過程を示す概念図である。 高精細画像を生成する処理フローである。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

本実施形態に係る撮像装置の一例としてのデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、本体ユニット３０と本体ユニット３０に着脱できるレンズユニット５０とから構成される。レンズユニット５０が備える撮影レンズ２０は、光軸２１に沿って入射する入射光束を、本体ユニット３０が備える撮像素子１００へ導く。本実施形態においては、デジタルカメラ１０を、レンズユニット５０が交換できるレンズ交換式カメラとして説明するが、レンズユニット５０が本体ユニット３０と一体的に構成されるタイプのカメラであっても良い。

本体ユニット３０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、表示制御部２１０、ＡＦセンサ２１１およびレリーズスイッチ２１２を備える。レンズユニット５０は、撮影レンズ２０に加え、レンズ制御部２３１、レンズメモリ２３２、フォーカスレンズ駆動部２３３、シフトユニットの一例としての補正レンズユニット２３４を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、フォーカスレンズ２２、補正レンズ２３等を含む複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。また、画像処理部２０５は、撮像素子１００の画素配列に即して、入力される画像信号から非視差画像データとしての２Ｄ画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整したりする機能も担う。生成された画像データは、表示制御部２１０により表示信号に変換され、表示部２０９に表示され得る。また、生成された画像データは、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録され得る。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御信号をレンズ制御部２３１へ送信する。

レリーズスイッチ２１２は、押下げ方向に２段階に検知できる押しボタンで構成されている。制御部２０１は、１段階目の押下げであるＳＷ１の検知により撮影準備動作であるＡＦ、ＡＥ等を実行し、２段階目の押下げであるＳＷ２の検知により撮像素子１００による撮像動作を実行する。

デジタルカメラ１０は、通常の画質モードの他に高精細モードを備える。高精細モードには、視差画像の高精細化に重点を置いた高精細視差モード、カラー画像の高精細化に重点を置いた高精細カラーモード、２Ｄ画像の高精細化に重点を置いた高精細２Ｄモードが含まれる。これら複数の高精細モードにおいて設定可能なモードは、撮像素子の種類によって定まる。ユーザは、設定可能ないずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。なお、デジタルカメラの機種に応じて、高精細モードのいずれかのモードが予め設定されていてもよい。

制御部２０１の一部であるカメラメモリ２１３は、例えばフラッシュメモリなどの不揮発性メモリであり、デジタルカメラ１０を制御するプログラム、各種パラメータなどを記憶する役割を担う。カメラメモリ２１３は、例えば、高精細モードにおける設定可能なモード毎に、補正レンズ２３を駆動する際のシフト方向およびシフト量、並びに撮像回数を記憶している。

画質モードが高精細モードに設定されている場合、制御部２０１は、カメラメモリ２１３を参照し、設定されているモードに応じたシフト方向およびシフト量を定める。そして、制御部２０１は、レンズ制御部２３１および補正レンズ駆動部２３５を介して補正レンズ２３を駆動しつつ、撮像素子１００による複数回の撮像動作を実行する。画質モードが高精細モードに設定されている場合における、制御部２０１の具体的な処理内容は、後述する。

レンズ制御部２３１は、レンズユニット５０の制御を司る。レンズ制御部２３１は、例えば、合焦制御信号を制御部２０１から受信して、フォーカスレンズ駆動部２３３を介してフォーカスレンズを移動させる。また、レンズ制御部２３１は、フォーカスレンズ２２を含む撮影レンズ２０の現在位置を検出して制御部２０１へ送信する。

補正レンズユニット２３４は、補正レンズ２３、補正レンズ駆動部２３５を含む。補正レンズ駆動部２３５は、補正レンズ２３の位置を検出する位置検出センサと、デジタルカメラ１０に加えられるブレを検出する振れ検出センサと、補正レンズ２３を駆動する２つのＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）を備える。補正レンズ駆動部２３５は、振れ検出センサから検出されたデジタルカメラ１０のブレを打ち消すように、位置検出センサの出力を加味して、ＶＣＭによって補正レンズ２３を駆動する。これにより、被写体像は、撮像素子１００の受光面上で安定した結像状態を維持する。

画質モードが高精細モードに設定されている場合には、レンズ制御部２３１は、制御部２０１の制御に従って、定められたシフト方向およびシフト量に応じて補正レンズ２３を駆動するよう補正レンズ駆動部２３５を制御する。補正レンズ駆動部２３５は、定められたシフト方向およびシフト量に応じて補正レンズ２３を駆動する。

レンズメモリ２３２は、レンズユニット５０に関する各種特性値を記憶している不揮発性メモリである。レンズ制御部２３１は、制御部２０１の要求に従って、撮影レンズ２０の位置情報、レンズメモリ２３２が記憶している各種特性値等をレンズ情報として制御部２０１へ送信する。

次に、撮像素子１００の構成について詳細に説明する。図２は、撮像素子１００の断面を表す概略図である。図示するように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、光束制限部の一例としての開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。開口マスク１０３は、開口部１０４を有し、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられている。開口マスク１０３は、対応する光電変換素子１０８の上方に、配線層１０５に接した状態で設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められて構成されていると言える。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体９０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体９１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体９０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体９０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体９０のうち、光軸２１と交差する被写体９０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体９０のうち、光軸２１から離間した被写体９０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体９０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体９１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体９１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体９１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体９１が被写体９０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体９１側で結像する。逆に、被写体９１が被写体９０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体９１とは反対側で結像する。

したがって、非合焦位置に存在する被写体９１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体９１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体９１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。

次に、カラーフィルタ１０２と視差画像について説明する。図６は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。

このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図７は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。

それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。

以下にいくつかのバリエーションについて説明する。図８は、バリエーションの一例を示す図である。図８のバリエーションは、図７における繰り返しパターン分類Ａ−１に相当する。

図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＢ画素は視差なし画素であり、Ｇｂ画素を視差Ｌｔ画素に、Ｇｒ画素を視差Ｒｔ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌｔ画素と視差Ｒｔ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４が定められる。図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。

図９は、他のバリエーションの一例を示す図である。図９のバリエーションは、図７における繰り返しパターン分類Ｂ−１に相当する。図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌｔ画素を、右側のＧｂ画素に視差Ｒｔ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図８の例よりも、更に２Ｄ画像の高画質化が望める。

図１０は、更に他のバリエーションの一例を示す図である。図１０のバリエーションは、図７における繰り返しパターン分類Ｄ−１に相当する。図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌｔ画素を、右側のＧｂ画素に視差Ｒｔ画素を割り当てる。さらに、左側のＲ画素に視差Ｌｔ画素を、右側のＲ画素に視差Ｒｔ画素を割り当てる。さらに、左側のＢ画素に視差Ｌｔ画素を、右側のＢ画素に視差Ｒｔ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。

２つのＧｂ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌｔ画素と視差Ｒｔ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図９の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。

なお、上述のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。

図１１は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図６で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。

このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。

Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。

図１２は、図１１の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図１２のバリエーションは、ベイヤー配列における図７の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌｔ画素を、右側のＷ画素に視差Ｒｔ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。

続いて、高精細モードについて具体的に説明する。まず、高精細視差モードにおける高精細化の原理について説明する。図１３は、視差画像を高精細化する原理を説明するための図である。

図１３の左図は、補正レンズ２３のシフト前における入射光束と画素配列の位置関係を示し、右図は、補正レンズ２３のシフト後における入射光束と画素配列の位置関係を示す。シフト前の補正レンズ２３は、撮像素子１００の受光面上における、予め定められた領域に被写体像が結像するよう、その位置が規定される。一例として、補正レンズ２３は、補正レンズ２３の光軸が他の光学系の光軸と一致するように、初期位置が規定される。ＶＣＭが駆動していないときの位置に規定される。図１３の左図および右図はともに、同一物点Ｏから放射される入射光束を示し、画素配列として図８に示した繰り返しパターンを採用している。なお、図４では、繰り返しパターン１１０に対応する被写体領域の一部分を微小領域として説明したが、図１３においては、繰り返しパターン１１０の中の１画素に対応する点を物点Ｏとして説明する。また、入射光束のうち開口部を通過した部分光束のみが光電変換素子に到達する。したがって、同一の入射光束が入射されたとしても、開口部の位置によって光電変換素子に到達する部分光束は異なることになる。右図において、シフト前の入射光束および瞳位置を破線で、シフト後の入射光束および瞳位置を実線で示す。また、画素配列における右下の画素３０１に対応する光電変換素子を基準の光電変換素子とし、左上の画素３０２に対応する光電変換素子を他の光電変換素子とする。

補正レンズ２３がシフトされる前においては、図１３の左図に示すように、物点Ｏから放射される入射光束は、画素配列における基準の光電変換素子に指向している。ここで、指向とは、物点Ｏから放射される入射光束が、基準の光電変換素子（画素３０１）に向かうことである。つまり、物点Ｏと画素３０１が結像関係を有するような向きとも言える。したがって、制御部２０１が、物点Ｏから放射される入射光束が基準の光電変換素子に指向している状態で撮像動作を実行することによって、撮像素子１００は、物点Ｏの視差Ｒｔ画素の画素データを出力することができる。

その後、制御部２０１は、カメラメモリ２１３を参照して、基準の光電変換素子に指向していた入射光束が、他の光電変換素子に指向するように、シフト方向およびシフト量を定めて補正レンズ２３を駆動する。ここでは、左上の画素３０２に対応する光電変換素子が他の光電変換素子であるので、制御部２０１は、基準の光電変換素子に指向している入射光束が、左上の画素３０２に対応する光電変換素子に指向するように補正レンズ２３を駆動する。

そうすると、図１３の右図に示すように、瞳位置が変化し、物点Ｏから放射される入射光束は、他の光電変換素子に指向することになる。したがって、制御部２０１が、物点Ｏから放射される入射光束が他の光電変換素子（画素３０２）に指向している状態で撮像動作を実行することによって、撮像素子１００は、物点Ｏに対応する視差Ｌｔ画素の画素データを出力することができる。

撮像素子１００が一度の撮像動作によって出力できる、物点Ｏに対応する画素データは、視差Ｌｔ画素および視差Ｒｔ画素の画素データの一方である。例えば物点Ｏに対応する視差Ｌｔ画素の画素データが出力される場合には、物点Ｏに対応する視差Ｒｔ画素の画素データは出力されない。ここで、一度の撮像動作によって複数の視差画像を生成する場合には、画像処理部は、補間処理を実行することにより、物点Ｏに対応する視差Ｒｔ画素の画素データを近似的に生成する。補間処理により生成された近似的な視差Ｒｔ画素の画素データは、物点Ｏの実際の画素データではないので、撮像動作によって得られた視差Ｌｔ画素の画素データに比べ、精度が劣る。

本実施の形態によれば、上述のように、物点Ｏに対応する視差Ｌｔ画素の画素データおよび視差Ｒｔ画素の画素データの両方が、撮像動作によって得られる。また、ここでは、物点Ｏについて説明したが、他の物点についても同様のことが言える。つまり、上述のように、補正レンズ２３がシフトされることによって、受光面に結像した光学像全体がずれる。したがって、画像処理部２０５は、実際の撮像動作によって得られた視差Ｌｔ画素および視差Ｒｔ画素の画素データの両方を用いて、高精細な視差画像を生成することができる。

図１４は、高精細視差モードを説明するための図である。高精細視差モードは、高精細な視差画像が得られるモードであり、その原理は、図１３を用いて説明した通りである。図１４は、図８に示した繰り返しパターン（図７のＡ−１の繰り返しパターン）が画素配列として採用された場合を例示している。繰り返しパターン１１０における右下の画素３０１に対応する光電変換素子を基準の光電変換素子とし、左上の画素３０２に対応する光電変換素子を他の光電変換素子とする。

本実施の形態において、制御部２０１は、補正レンズ２３を駆動することによって、物点Ｏからの入射光束を撮像素子１００に対しシフトさせる。ここで、入射光束を基準にすれば、制御部２０１による補正レンズ２３の駆動によって、撮像素子１００が入射光束に対してシフトすることになる。図１４以降では、入射光束を固定とした上で撮像素子１００がシフトされた状態を図示している。なお、以降の説明においては、説明の便宜上、「撮像素子のシフト」という文言が登場するが、本実施形態においては、これまでに説明したように、実際に駆動されるのは、あくまで補正レンズ２３である。

図１４（ａ）は、撮像素子のシフト前後の画素配列の一部を示す。具体的には、左図は、撮像素子のシフト前の画素配列を示し、右図は、撮像素子のシフト後の画素配列を示す。また、撮像素子１００の画素配列に対して、図示するように、右向きにｉ軸を定め、下向きにｊ軸を定める。図示された各々の画素配列において、左端かつ上端の座標を（１，１）とし、右端かつ下端の座標を（４，４）とする。なお、撮像素子のシフトの前後において、座標が同一の画素には、同一の入射光束が入射する。

図１４（ｂ）は、撮像素子のシフト前後において、一部の画素のみを抽出した図である。具体的には、左図は、撮像素子のシフト前における視差Ｒｔ画素のみを抽出した図であり、右図は、撮像素子のシフト後における視差Ｌｔ画素のみを抽出した図である。

制御部２０１は、図１４（ａ）の左図に示す状態で、１回目の撮像動作を実行する。その後、制御部２０１は、基準の光電変換素子（画素３０１）に指向していた入射光束が、他の光電変換素子（画素３０２）に指向するように、補正レンズ２３を駆動することによって、入射光束を撮像素子に対してシフトさせる。ここでは、制御部２０１は、補正レンズ２３を左方向に１画素および上方向に１画素シフトさせる。したがって、入射光束を基準とすれば、相対的には、図１４（ａ）の右図に示すように、繰り返しパターン１１０は、入射光束に対して右方向に１画素および下方向に１画素シフトされる。制御部２０１は、図１４（ａ）の右図に示す状態で２回目の撮像動作を実行する。

ここで、図１４（ｂ）において、座標（２，２）に着目すると、左図においては、繰り返しパターン１１０における右下の画素３０１に対応する基準の光電変換素子が位置している。一方、右図においては、座標（２，２）には左上の画素３０２に対応する他の光電変換素子が位置している。座標が同一の画素には、同一の入射光束が入射するので、撮像素子のシフト前の座標（２，２）に位置する基準の光電変換素子と、シフト後の座標（２，２）に位置する他の光電変換素子には、同一の入射光束が入射することになる。したがって、撮像素子１００は、同一の物点から得られた左右両方の視差画素の画素データを出力することができる。なお、図１４（ｂ）から明らかなように、座標（４，２）、座標（２，４）、座標（４，４）においても同様のことが言える。さらに、図１４（ａ）に示すように、シフト前の視差Ｌｔ画素に対応する座標には、シフト後において、視差Ｒｔ画素が位置している。したがって、撮像素子１００は、これらの座標においても、同一の物点から左右両方の視差画素の画素データを出力することができる。よって、画像処理部２０５は、１回目および２回目の撮像動作により得られる画素データの両方を用いることで、高精細な視差画像を生成することができる。

図１５は、高精細カラーモードを説明するための図である。高精細カラーモードは、高精細な３Ｄカラー画像が得られるモードである。具体的には、繰り返しパターン１１０において、視差画素が、Ｒ画素、Ｇ画素、Ｂ画素の全てに割り当てられている場合に、同一の物点からの入射光束が、Ｒ画素、Ｇ画素、Ｂ画素の全てに入射するよう補正レンズ２３を駆動することによって、高精細な３Ｄカラー画像を得る。

図１５の繰り返しパターン１１０は、ベイヤー配列における図７の繰り返しパターン分類Ｄ−１に類似するので、ここではＤ'−１とする。Ｄ'−１の繰り返しパターンは、左右に４画素、上下に８画素の３２画素からなる。Ｄ'−１の繰り返しパターン１１０において、左端の列には、Ｂ画素、Ｒ画素、Ｇ画素がこの順に繰り返し配列されたカラーフィルタ配列に対して、視差Ｌｔ画素が割り当てられている。

視差Ｌｔ画素の列の右隣の列には、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素がこの順に配列されたカラーフィルタ配列に対して、視差Ｌｔ画素と視差なし画素が交互に割り当てられている。視差Ｌｔ画素と視差なし画素が交互に割り当てられた列の右隣の列には、Ｂ画素、Ｒ画素、Ｇ画素がこの順に繰り返し配列されたカラーフィルタ配列に対して、視差Ｒｔ画素が割り当てられている。右端の列には、Ｇ画素、Ｇ画素、Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素がこの順に配列されたカラーフィルタ配列に対して、視差Ｒｔ画素と視差なし画素が交互に割り当てられている。シフト前の撮像素子における、座標（１，６）に位置する画素３０３に対応する光電変換素子を基準の光電変換素子とし、座標（１，２）に位置する画素３０４に対応する光電変換素子を第１の他の光線変換素子、座標（１，４）に位置する画素３０５に対応する光電変換素子を第２の他の光電変換素子とする。

図１５（ａ）は、撮像素子の画素配列の一部を示す。具体的には、左図は、撮像素子のシフト前の画素配列を示し、中図は、撮像素子における１回目のシフト後の画素配列を示し、右図は、撮像素子における２回目のシフト後の画素配列を示す。また、撮像素子１００の画素配列に対して、図示するように、右向きにｉ軸を定め、下向きにｊ軸を定める。座標が同一の画素には、同一の入射光束が入射する。図１５（ｂ）は、撮像素子における視差Ｌｔ画素のみを抽出した図であり、図１５（ｃ）は、撮像素子における視差Ｒｔ画素のみを抽出した図である。

制御部２０１は、図１５（ａ）の左図に示す状態で１回目の撮像動作を実行する。その後、制御部２０１は、基準の光電変換素子に指向していた入射光束が、第２の他の光電変換素子に指向するように、補正レンズ２３を駆動することによって、入射光束を撮像素子に対してシフトさせる。ここでは、制御部２０１は、補正レンズ２３を上方向に２画素シフトさせる。したがって、入射光束を基準にすれば、相対的には、図１５（ａ）の中図に示すように、繰り返しパターン１１０は、入射光束に対して下方向に２画素シフトされる。制御部２０１は、図１５（ａ）の中図に示す状態で２回目の撮像動作を実行する。

その後、制御部２０１は、基準の光電変換素子に指向していた入射光束が、第１の他の光電変換素子に指向するように、入射光束を撮像素子に対してシフトさせる。ここでは、制御部２０１は、補正レンズ２３を上方向に２画素シフトさせる。したがって、入射光束を基準にすれば、相対的には、図１５（ａ）の右図に示すように、繰り返しパターン１１０は、下方向に２画素シフトされる。制御部２０１は、図１５（ａ）の右図に示す状態で３回目の撮像動作を実行する。

ここで、図１５（ｂ）において、座標（１，６）に着目すると、左図においては、繰り返しパターン１１０における画素３０３に対応する基準の光電変換素子が位置している。一方、中図においては、座標（１，６）には画素３０５に対応する第２の他の光電変換素子が位置している。さらに、右図においては、座標（１，６）には画素３０４に対応する第１の他の光電変換素子が位置している。座標が同一の画素には、同一の入射光束が入射するので、撮像素子のシフト前の座標（１，６）に位置する基準の光電変換素子と、１回目のシフト後の座標（１，６）に位置する第２の他の光電変換素子と、２回目のシフト後の座標（１，６）に位置する第１の他の光電変換素子には、同一の入射光束が入射することになる。したがって、撮像素子１００は、同一の物点からＲ画素、Ｇ画素、Ｂ画素の全ての視差Ｌｔ画素の画素データを出力することができる。なお、図１５（ｂ）から明らかなように、視差Ｌｔ画素が位置する他の座標についても同様のことが言える。

以上の説明では、視差Ｌｔ画素に着目して説明したが、視差Ｒｔ画素についても同様のことが言える。ここで、例えば、シフト前の繰り返しパターン１１０における、座標（３，６）に位置する画素３０６に対応する光電変換素子を基準の光電変換素子とし、座標（３，２）に位置する画素３０７に対応する光電変換素子を第１の他の光線変換素子、座標（３，４）に位置する画素３０８に対応する光電変換素子を第２の他の光電変換素子とする。

図１５（ｃ）において、座標（３，６）に着目すると、左図においては、繰り返しパターン１１０における画素３０６に対応する基準の光電変換素子が位置している。一方、中図においては、座標（３，６）には、画素３０８に対応する第２の他の光電変換素子が位置している。さらに、右図においては、座標（３，６）には、画素３０７に対応する第１の他の光電変換素子が位置している。したがって、撮像素子１００は、同一の物点からＲ画素、Ｇ画素、Ｂ画素の全ての視差Ｒｔ画素の画素データを出力することができる。なお、図１５（ｃ）から明らかなように、視差Ｒｔ画素が位置する他の座標についても同様のことが言える。視差Ｌｔ画素、視差Ｒｔ画素のそれぞれについて、Ｒ画素、Ｇ画素、Ｂ画素の全ての画素データが得られるので、画像処理部２０５は、１回目、２回目および３回目の撮像動作により得られる各画素データを用いることで、高精細な３Ｄカラー画像を生成することができる。

図１６は、高精細視差モードを説明するための図である。図１６は、ベイヤー配列を採用する場合の、視差画素と視差なし画素の配列の一例を示す図である。図の例においては、ベイヤー配列の４画素が上下左右にそれぞれ２組続く１６画素を繰り返しパターン１１０とする。１６画素のうち、左上のベイヤー配列のＧｂ画素に視差Ｌｔ画素を、Ｇｒ画素に視差Ｒｔ画素を割り当てる。繰り返しパターン１１０における視差Ｒｔ画素３０９に対応する光電変換素子を基準の光電変換素子とし、視差Ｌｔ画素３１０に対応する光電変換素子を他の光電変換素子とする。

図１６（ａ）は、撮像素子の画素配列の一部を示す。具体的には、左図は、撮像素子のシフト前の画素配列を示し、中図は、撮像素子における１回目のシフト後の画素配列を示し、右図は、撮像素子における２回目のシフト後の画素配列を示す。また、撮像素子１００の画素配列に対して、図示するように、右向きにｉ軸を定め、下向きにｊ軸を定める。

図１６（ｂ）、図１６（ｃ）は、撮像素子において、一部の画素のみを抽出した図である。具体的には、図１６（ｂ）の左図は、撮像素子のシフト前における視差Ｒｔ画素のみを抽出した図であり、図１６（ｂ）の中図は、撮像素子における１回目のシフト後の視差Ｌｔ画素のみを抽出した図である。図１６（ｃ）の左図は、撮像素子のシフト前における視差Ｌｔ画素のみを抽出した図であり、図１６（ｃ）の右図は、撮像素子における２回目のシフト後の視差Ｒｔ画素のみを抽出した図である。

制御部２０１は、図１６（ａ）の左図に示す状態で１回目の撮像動作を実行する。その後、制御部２０１は、基準の光電変換素子に指向していた入射光束が、他の光電変換素子に指向するように、補正レンズ２３を駆動することによって、入射光束を撮像素子に対してシフトさせる。ここでは、制御部２０１は、補正レンズ２３を左方向に１画素および上方向に１画素シフトさせる。したがって、入射光束を基準にすれば、相対的には、図１６（ａ）の中図に示すように、繰り返しパターン１１０は、右方向に１画素および下方向に１画素シフトされる。制御部２０１は、図１６（ａ）の中図に示す状態で２回目の撮像動作を実行する。さらに、制御部２０１は、補正レンズ２３を右方向に２画素および下方向に２画素シフトさせる。したがって、入射光束を基準にすれば、相対的には、図１６（ａ）の右図に示すように、繰り返しパターン１１０は、左方向に２画素および上方向に２画素シフトされる。制御部２０１は、図１６（ａ）の右図に示す状態で３度目の撮像動作を実行する。

ここで、図１６（ｂ）において、座標（２，２）に着目すると、左図においては、繰り返しパターン１１０における画素３０９に対応する基準の光電変換素子が位置している。一方、中図においては、座標（２，２）には画素３１０に対応する他の光電変換素子が位置している。座標が同一の画素には、同一の入射光束が入射するので、撮像素子のシフト前の座標（２，２）に位置する基準の光電変換素子と、シフト後の座標（２，２）に位置する他の光電変換素子には、同一の入射光束が入射することになる。したがって、撮像素子１００は、同一の物点から左右両方の視差画素の画素データを出力することができる。

また、図１６（ｃ）において、座標（１，１）に着目すると、左図においては、繰り返しパターン１１０における画素３１０に対応する他の光電変換素子が位置している。一方、右図においては、座標（１，１）には画素３０９に対応する基準の光電変換素子が位置している。別言すると、視差Ｌｔ画素３１０に対応する光電変換素子を新たに基準の光電変換素子とし、視差Ｒｔ画素３０９に対応する光電変換素子を新たに他の光電変換素子として捉えた場合に、新たな基準の光電変換素子に指向していた入射光束が、新たな他の光電変換素子に指向するようシフトされていると言える。

座標が同一の画素には、同一の入射光束が入射するので、撮像素子のシフト前の座標（２，２）に位置する他の光電変換素子と、シフト後の座標（２，２）に位置する基準の光電変換素子には、同一の入射光束が入射することになる。したがって、撮像素子１００は、同一の物点から左右両方の視差画素の画素データを出力することができる。

以上のように、シフト前の視差Ｒｔ画素３０９が位置する座標において、視差Ｌｔ画素および視差Ｒｔ画素の両方の画素データが得られるだけでなく、シフト前の視差Ｌｔ画素３１０が位置する座標においても、視差Ｌｔ画素および視差Ｒｔ画素の両方の画素データが得られる。したがって、画像処理部２０５は、１回目、２回目および３回目の撮像動作により得られる各画素データを用いることで、高精細な視差画像を生成することができる。

図１７は、高精細２Ｄモードを説明するための図である。高精細２Ｄモードは、高精細な２Ｄ画像が得られるモードである。具体的には、同一の物点からの入射光束が、視差画素だけでなく、視差なし画素にも入射するよう補正レンズ２３をシフトさせることによって、高精細な２Ｄ画像を得る。図１７の繰り返しパターンは、図１６の繰り返しパターンと同一であるので、説明を省略する。繰り返しパターン１１０における視差Ｌｔ画素３１１に対応する光電変換素子を基準の光電変換素子とし、繰り返しパターン１１０における左下のベイヤー配列のＧｂ画素３１２に対応する光電変換素子を他の光電変換素子とする。

図１７（ａ）は、撮像素子のシフト前後の画素配列の一部を示す。具体的には、左図は、撮像素子のシフト前の画素配列を示し、右図は、撮像素子のシフト後の画素配列を示す。

図１７（ｂ）は、撮像素子のシフト前後において、一部の画素のみを抽出した図である。具体的には、左図は、撮像素子のシフト前における視差Ｌｔ画素のみを抽出した図であり、右図は、撮像素子のシフト後における他の光電変換素子に対応する画素のみを抽出した図である。

制御部２０１は、図１７（ａ）の左図に示す状態で１回目の撮像動作を実行する。その後、制御部２０１は、基準の光電変換素子に指向していた入射光束が、他の光電変換素子に指向するように、補正レンズ２３を駆動することによって、入射光束を撮像素子に対してシフトさせる。ここでは、制御部２０１は、補正レンズ２３を下方向に２画素シフトさせる。したがって、入射光束を基準にすれば、相対的には、図１７（ａ）の右図に示すように、繰り返しパターン１１０は、上方向に２画素シフトされる。制御部２０１は、図１７（ａ）の右図に示す状態で２回目の撮像動作を実行する。

ここで、図１７（ｂ）において、座標（１，５）に着目すると、左図においては、繰り返しパターン１１０における画素３１１に対応する基準の光電変換素子が位置している。一方、右図においては、座標（１，５）には、画素３１２に対応する他の光電変換素子が位置している。したがって、撮像素子１００は、同一の物点から視差Ｌｔ画素と視差なし画素の両方の画素データを出力することができる。なお、図１７（ｂ）から明らかなように、座標（１，１）、座標（５，１）、座標（５，５）においても同様のことが言える。したがって、画像処理部２０５は、１回目および２回目の撮像動作により得られる画素データの両方を用いることで、高精細な２Ｄ画像を生成することができる。

図１８は、視差画像と２Ｄ画像の生成過程を示す概念図である。図１８（ａ）は、撮像素子１００における一つの繰り返しパターン１１０およびその周囲の出力を、その画素配列に一致させてそのまま羅列した様子を示す。図においては、図１４の例に即して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。図１８（ａ）は、図１４（ａ）と同一であるので、説明を省略する。図１８（ｂ）は、図１８（ａ）に示す２つの画素配列から、視差Ｌｔ画素、視差Ｒｔ画素をそれぞれ抽出した図を示す。

図１８（ｂ）に示すように、視差Ｌｔ画像は、図１８（ａ）に示す２つの画素配列の撮像画像データから、視差Ｌｔ画素の画像データを寄せ集めて生成されるので、１つの画像データのみから生成される場合に比べ、空格子の数は少なくなる。空格子は、画像処理部２０５による補間処理によって生成される画像データで埋められることになるが、補間処理により生成される画素データの数は、１つの画像データのみから視差Ｌｔ画像を生成する場合に比べて減少する。したがって、画像処理部２０５は、より高精細な視差Ｌｔ画像を生成することができる。

なお、制御部２０１は、２回目の撮像動作の後、空格子が存在しないよう、補正レンズ２３を駆動させつつ、さらに３回目、４回目の撮像動作を実行してもよい。例えば、制御部２０１は、２回目の撮像動作の後、補正レンズ２３を下方向に１画素シフトさせて３回目の撮像動作を行い、さらに右方向に１画素および上方向に１画素シフトさせて４回目の撮像動作を実行する。そうすると、画像処理部２０５は、補間処理によって得られる画像データで空格子を埋める必要がないので、より一層高精細な視差画像を生成することができる。なお、ここでは、視差Ｌｔ画像について説明したが、視差Ｒｔ画像についても同様のことが言える。

図１８（ｃ）は、図１８（ａ）に示す２つの画素配列から得られる、Ｒ画像、Ｂ画像、補間Ｇ画像を示す。Ｒ画像は、２つの画像データからＲ画素の画像データを寄せ集めて生成されるので、視差Ｌｔ画像と同様、１つの画像データのみから生成される場合に比べ、空格子の数は少なくなる。補間処理により生成される画素データの数は、１つの画像データのみからＲ画像を生成する場合に比べて減少するので、画像処理部２０５は、より高精細なＲ画像を生成することができる。また、Ｂ画像についても同様のことが言える。

Ｇ画素については、そもそも視差なし画素が割り当てられていない。したがって、図１８（ｃ）の右図に示すように、画像処理部２０５は、Ｇ画素に割り当てられた視差Ｌｔ画素および視差Ｒｔ画素の画素データを用いて補間処理を実行する。さらに、画像処理部２０５は、空格子を補間処理によって得られる画像データで埋めることによって、Ｇ画像を生成することができる。以上のように生成された、Ｒ画像、Ｇ画像、Ｂ画像を用いて、画像処理部２０５は、高精細な２Ｄ画像を生成することができる。

図１９は、高精細画像を生成する処理フローである。具体的には、画質モードが高精細モードに設定されている状態において、制御部２０１が、ＳＷ２がオンになったことを検出した場合の処理フローを示す。制御部２０１は、ＳＷ２がオンになったことを検出すると、撮像素子１００による撮像動作を実行する（ステップＳ１０１）。１回目の撮像動作においては、補正レンズ２３を用いた振れ補正機能により、シャッタ速度によって定められる露光時間を通じて、撮像素子１００の受光面上に結像する被写体像が静止させられる。また、この撮像動作により得られる各画素の画素データは、画像処理部２０５によって撮像画像データとして生成された後、メモリ２０３に記憶される。

制御部２０１は、撮像動作を行った後、実行した撮像回数を示す変数Ｎに１を代入する（ステップＳ１０２）。そして、制御部２０１は、カメラメモリ２１３を参照して、設定されている高精細モードに応じたシフト方向及びシフト量を決定する（ステップＳ１０３）。例えば、撮像素子１００の画素配列として図１４に示す画素配列が採用され、高精細視差モードに設定されている場合には、制御部２０１は、補正レンズ２３のシフト方向及びシフト量として、左方向に１画素および上方向に１画素と決定する。

制御部２０１は、決定したシフト方向及びシフト量に応じて補正レンズ２３を駆動した後（ステップＳ１０４）、再度撮像動作を実行する（ステップＳ１０５）。シフト後の撮像動作においては、補正レンズ２３を用いた振れ補正機能により、シャッタ速度によって定められる露光時間を通じて、撮像素子１００の受光面上のシフト分だけずれた領域に結像する被写体像が静止させられる。また、この撮像動作により得られる各画素の画素データについても、画像処理部２０５によって撮像画像データとして生成された後、メモリ２０３に記憶される。制御部２０１は、実行した撮像回数を１だけ計数する（ステップＳ１０６）。

制御部２０１は、実行した撮像回数Ｎが、設定されている高精細モードに応じた撮像回数Ｎ_０に達しているか判定する（ステップＳ１０７）。例えば、ステップＳ１０３に示した例では、撮像回数Ｎ_０は２である。実行した撮像回数Ｎが、設定されている高精細モードに応じた撮像回数Ｎ_０に達していなければ（ステップＳ１０７：Ｎｏ）、ステップ１０３に移行する。実行した撮像回数Ｎが、設定されている高精細モードに応じた撮像回数Ｎ_０に達していれば（ステップＳ１０７：Ｙｅｓ）、画像処理部２０５は、メモリ２０３に記憶されている複数の撮像画像データを用いて、互いに視差を有する複数の視差画像データを生成するとともに２Ｄ画像データを生成する（ステップＳ１０８）。なお、画像処理部２０５は、設定されている撮影モードに応じて複数の視差画像データおよび２Ｄ画像データの生成の一方を省略してもよい。例えば、撮影モードが視差画像撮影モードに設定されている場合には、画像処理部２０５は、２Ｄ画像データの生成を省略してもよい。

以上の説明では、シフトユニットとして補正レンズユニットを例に挙げて説明したが、デジタルカメラが例えば撮像素子シフト式の手振れ補正機構を採用している場合には、シフトユニットは、撮像素子をｘｙ方向にシフトさせる撮像素子シフトユニットとして実現されてもよい。この場合には、制御部２０１による制御に従って撮像素子シフトユニットが撮像素子１００をシフトさせることによって、被写体像を撮像素子１００に対してシフトさせることができる。

以上の説明では、光束制限部として開口マスク１０３を例に挙げて説明したが、光電変換部上に反射膜を設けることによって光束制限部を実現してもよい。この場合、反射膜は、一組の光電変換素子群における光電変換素子のそれぞれが入射光束に対して互いに異なる部分光束を通過させるように位置づけられた上で形成される。

以上の説明では、開口マスク１０３の作用によって光電変換素子が受光する被写体光束に視差が生じたが、マイクロレンズ、シリンドリカルレンズ等の集光レンズの作用によって視差を生じさせることもできる。集光レンズの作用によって視差を生じさせる構成について簡単に説明すると、当該構成では、一つの集光レンズに対して複数の光電変換素子が対応するよう配置される。そして、集光レンズは、複数の光電変換素子のそれぞれに、入射光束における互いに異なる部分光束を入射させる。したがって、この場合には、集光レンズを光束制限部とみなすことができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、２２ フォーカスレンズ、２３ 補正レンズ、３０ 本体ユニット、５０ レンズユニット、１００ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ 表示制御部、２１１ ＡＦセンサ、２１２ レリーズスイッチ、２１３ カメラメモリ、２２０ メモリカード、２３１ レンズ制御部、２３２ レンズメモリ、２３３ フォーカスレンズ駆動部、２３４ 補正レンズユニット、２３５ 補正レンズ駆動部、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン

Claims (9)

1. 隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子と、
   前記入射光束を前記撮像素子に対してシフトさせるシフトユニットを、前記一組の前記光電変換素子群において、前記光束制限部が設けられた基準となる前記光電変換素子に指向していた前記入射光束が、他の前記光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動しつつ、前記撮像素子による複数回の撮像動作を実行する撮像制御部と
   を備える撮像装置。
2. 前記光束制限部は、対応する前記光電変換素子上に設けられた開口マスクである請求項１に記載の撮像装置。
3. 前記撮像制御部は、前記他の前記光電変換素子として、前記光束制限部が設けられた基準でない前記光電変換素子を含むように、前記シフトユニットを制御する請求項１または２に記載の撮像装置。
4. 前記撮像制御部は、前記他の前記光電変換素子として、基準となる前記光電変換素子に対応して設けられたカラーフィルタとは透過させる波長帯域の異なるカラーフィルタが設けられた前記光電変換素子を含むように、前記シフトユニットを制御する請求項１から３のいずれか１項に記載の撮像装置。
5. 前記撮像制御部は、前記光束制限部が設けられた基準でない前記光電変換素子を新たに基準として、前記シフトユニットを制御する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記撮像制御部は、前記光束制限部が設けられていない前記光電変換素子を新たに基準として、前記シフトユニットを制御する請求項１から４のいずれか１項に記載の撮像装置。
7. 複数回の前記撮像動作により取得された複数の撮像画像データのうち前記光束制限部が設けられた前記光電変換素子の出力に基づいて、互いに視差を有する複数の視差画像データを生成する画像処理部を備える請求項１から６のいずれか１項に記載の撮像装置。
8. 前記画像処理部は、複数回の前記撮像動作により取得された複数の撮像画像データのうち前記光束制限部が設けられていない前記光電変換素子の出力に基づいて、２Ｄ画像データを生成する請求項７に記載の撮像装置。
9. 隣接するｎ個（ｎは２以上の整数）の光電変換素子のうち、少なくとも２つに対応して設けられたそれぞれの光束制限部が、入射光束に対して互いに異なる部分光束を通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が、周期的に配列された撮像素子による撮像動作を実行する第１撮像ステップと、
   前記入射光束を前記撮像素子に対してシフトさせるシフトユニットを、前記一組の前記光電変換素子群において、前記光束制限部が設けられた基準となる前記光電変換素子に指向していた前記入射光束が、他の前記光電変換素子に指向するように、シフト方向およびシフト量を定めて駆動するシフトステップと、
   前記撮像素子による撮像動作を再度実行する第２撮像ステップと
   をコンピュータに実行させる撮像プログラム。

Images