JP2013236160A - 撮像素子、撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。
【解決手段】撮像素子であって、入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子と、複数の視差に対応した、入射光の断面領域内の部分領域からの光を、対応する複数の光電変換素子にそれぞれ入射させる開口部とを備え、複数の視差は、互いの差異により奥行き情報を得られる視差対を複数有し、開口部は、複数の視差対ごとに部分領域の面積が異なる。
【選択図】図１

Description

本発明は、撮像素子、撮像装置、画像処理方法およびプログラムに関する。

２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］ 特開平８−４７００１号公報

しかしながら、複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。

本発明の第１の形態においては、撮像素子であって、入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子と、複数の視差に対応した、入射光の断面領域内の部分領域からの光を、対応する複数の光電変換素子にそれぞれ入射させる開口部とを備え、複数の視差は、互いの差異により奥行き情報を得られる視差対を複数有し、開口部は、複数の視差対ごとに部分領域の面積または位置の少なくとも一方が異なる。

本発明の第２の形態においては、撮像装置であって、上記撮像素子と、撮像素子により撮像された、複数の視差対に対応する複数の第１視差画像対を含む第１視差画像群を取得する視差画像取得部と、複数の第１視差画像対に基づいて、新たな視差対に対応する第２視差画像対を生成する視差画像生成部とを備える。

本発明の第３の形態においては、画像処理装置であって、入射光を電気信号に光電変換する、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した、入射光の断面領域内の部分領域からの光がそれぞれ入射する撮像素子により撮像された、複数の視差に対応する第１視差画像群を取得する視差画像取得部と、視差画像取得部により取得された第１視差画像群を用いた演算により、複数の視差とは異なる新たな視差に対応する第２視差画像を生成する視差画像生成部とを備える。

本発明の第３の形態においては、画像処理方法であって、入射光を電気信号に光電変換する、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した、入射光の断面領域内の部分領域からの光がそれぞれ入射する撮像素子により撮像された、複数の視差に対応する第１視差画像群を取得する視差画像取得手順と、視差画像取得手順で取得された第１視差画像群を用いた演算により、複数の視差とは異なる新たな視差に対応する第２視差画像を生成する視差画像生成手順とを備える。

本発明の第３の形態においては、プログラムであって、入射光を電気信号に光電変換する、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した、入射光の断面領域内の部分領域からの光がそれぞれ入射する撮像素子により撮像された、複数の視差に対応する第１視差画像群を取得する視差画像取得手順、および、視差画像取得手順で取得された第１視差画像群を用いた演算により、複数の視差とは異なる新たな視差に対応する第２視差画像を生成する視差画像生成手順をコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。 本発明の実施形態に係る撮像素子の断面を表す概略図である。 第１の実施形態に係る撮像素子１００の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概略図である。 合成開口を説明する概略図である。 合成開口２３４ｌ、２３４ｒによって撮像される被写体３０と視差画像との関係を示す。 図６における合成開口２３４ｌによる像と、合成開口２３４ｒによる像の一例である。 合成開口２３６ｌ、２３６ｒによって撮像される被写体３０と視差画像との関係を示す。 図７における合成開口２３６ｌによる像と、合成開口２３６ｒによる像の一例である。 新たに生成される視差画像と合成開口との関係を示す概略図である。 被写体３０と合成開口２４０ｌ、２４０ｒに対応する視差画像との関係を示す。 図１１における合成開口２４０ｌによる像と、合成開口２４０ｒによる像の一例である。 新たな視差画像を生成する処理を説明する概略図である。 デジタルカメラ１０において絞り４０を変えた場合の合成開口を説明する概略図である。 本実施形態をカラー画像に適用する繰り返しパターンの一例を示す。 本実施形態をカラー画像に適用する繰り返しパターンの他の例を示す。 本実施形態をカラー画像に適用する繰り返しパターンのさらに他の例を示す。 本実施形態をカラー画像に適用する繰り返しパターンのさらに他の例を示す。 本実施形態をカラー画像に適用する場合の繰り返しパターンを配列する例を示す。 視差画素をカラー化する方法を示す概念図である。 図２０で得られたカラー視差画像から新たな視差対に対応する対のカラー視差画像を得る方法を示す概念図である。 図２１の（ａ）、（ｂ）、（ｃ）の合成開口に対応する画像の一例である。 デジタルカメラ１０の他の例を示す概念図である。 本実施形態をカラー画像に適用する繰り返しパターンのさらに他の例を示す。 複数の対の視差画像の足し算により新たな対の視差画像を得る場合の繰り返しパターンのさらに他の例を示す。 複数の視差画像対の足し算により新たな視差画像対を得る場合の繰り返しパターンのさらに他の例を示す。 複数の対の視差画像の足し算により新たな対の視差画像を得る場合の繰り返しパターンのさらに他の例を示す。 複数の対の視差画像の足し算により新たな対の視差画像を得る場合の繰り返しパターンのさらに他の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を生成する。さらに、本実施形態に係るデジタルカメラは、同一のシーンについて撮影時に生成した上記複数の視点とは別の視点に対応する画像を生成する。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、絞り４０、撮像素子１００、駆動部２０４、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、画像処理部２２０、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

絞り４０は、撮影レンズ２０と共に光軸２１に沿って配置される。図１で絞り４０は光軸２１に沿って撮影レンズ２０よりも撮像素子１００側に配置されているが、撮影レンズ２０が複数のレンズ群を有する場合には、光軸２１に沿って当該光学レンズ群のいずれか間に配置される。絞り４０の一例は、複数の絞り羽根を有する虹彩絞りである。絞り４０が虹彩絞りの場合には、制御部２０１の制御により、複数の絞り羽根が電磁駆動されて、被写体光束の通過光量を段階的に制限する。例えば、絞り４０は、撮像素子１００の全体に対して１つ設けられる。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２２０は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

画像処理部２２０は、他にも、撮像素子１００の画素配列に即して、入力される画像信号から、視差画像データ、非視差画像データとしての２Ｄ画像データ等を生成したり、選択された画像フォーマットに従って画像データを調整する機能も担う。画像処理部２２０はさらに、視差画像データを取得する視差画像取得部２２２と、当該視差画像データから新たな視差を有する視差画像データを生成する視差画像生成部２２４とを有する。

生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２０５に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。なお、以下の撮像素子１００をＡＦセンサ２１１の代わりに用いてもよく、その場合には別個のＡＦセンサ１１は設けなくてよい。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。

図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口１０４を有する開口マスク１０３が、配線層に接して設けられている。開口１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。

カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素として特化させる場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。

輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口１０４を有する開口マスク１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。

スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク１２３において開口１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。

次に、開口マスク１０３の開口１０４と、生じる視差の関係について説明する。図３は、第１の実施形態に係る撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示す例で、開口マスク１０３は４種類の開口１０４ｌ、１０４ｒ、１１４ｌ、１１４ｒを有する。開口１０４ｌ、１０４ｒ、１１４ｌ、１１４ｒはいずれもｙ方向に長い長方形である。開口１０４ｌ、１１４ｌは−ｘ方向にシフトしており、開口１０４ｒ、１１４ｒは＋ｘ方向にシフトしている。

同じ−ｘ方向にシフトしている開口１０４ｌ、１１４ｌ同士を比較すると、開口１０４ｌのほうか開口１１４ｌよりも大きい。また、開口１０４ｌと開口１１４ｌとで、中央側の辺はそれぞれの画素内においてほぼ同じ中央に近い位置にある。一方、開口１０４ｌの−ｘ側の辺は、開口１１４ｌの−ｘ側の辺よりも−ｘ側にある。これにより、開口１０４ｌの幾何学的な重心位置は、開口１１４ｌの幾何学的な重心位置よりも−ｘ側にある。また、開口１０４ｌの面積は、開口１１４ｌの面積の２倍である。

また、開口１０４ｌと開口１０４ｒとは、形状および大きさが同じであって、シフトの方向は反対であるが、シフト量の絶対値は同じである。同様に、開口１１４ｌと開口１１４ｒとは、形状および大きさが同じであって、シフトの方向は反対であるが、シフト量の絶対値は同じである。

撮像素子１００の全体は、開口１０４ｌ、１０４ｒ、１１４ｌ、１１４ｒを有する４つの視差画素がｘ方向に並んだ光電変換素子群が、二次元的かつ周期的に配列されている。すなわち、撮像素子１００は、上記光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められている。図３に示す例においては、開口１０４ｌのｙ方向に隣接した画素も開口１０４ｌとなるように並べられているが、他の開口が隣接するように並べられてもよい。ここで、ｘ方向は、例えば、デジタルカメラ１０を横位置で撮像する場合における水平方向である。

図４は、視差画素と被写体の関係を説明する概略図である。特に図４（ａ）は撮像素子１００のうち光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。なお、図４では説明を簡単にすべく、繰り返しパターン内の開口１０４ｌ、１０４ｒの画素対について、視差画素と被写体の関係を説明する。

また、図４（ａ）、図４（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３０を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、２つの部分領域ＰｌおよびＰｒが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の＋ｘ側の視差画素は、拡大図からもわかるように、部分領域Ｐｒから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口１０４ｒの位置が定められている。同様に、−ｘ側の視差画素に向かって、部分領域Ｐｌに対応して開口１０４ｌの位置が定められている。

別言すれば、例えば部分領域Ｐｒと＋ｘ側の視差画素の相対的な位置関係によって定義される、部分領域Ｐｒから射出される被写体光束の主光線Ｒｒの傾きにより、開口１０４ｒの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口１０４ｒを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、−ｘ側の視差画素に向かって、主光線Ｒｌの傾きにより開口１０４ｌの位置が、定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ２つの部分領域ＰｒおよびＰｌを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ２つの部分領域ＰｒおよびＰｌを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの＋ｘ側の視差画素は、同じ部分領域Ｐｒからの被写体光束を受光している。

光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて＋ｘ側の視差画素が部分領域Ｐｒからの被写体光束を受光する開口１０４ｒの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて＋ｘ側の視差画素が部分領域Ｐｒからの被写体光束を受光する開口１０４ｒの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｒからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図３および図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、４つの視差に対応する４種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３０からの被写体光束は、撮影レンズ２０の瞳の２つの部分領域ＰｒおよびＰｌを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３０からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３０が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３０側で結像する。逆に、被写体が図４（ａ）および（ｂ）の被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３０とは反対側で結像する。

したがって、非合焦位置に存在する被写体３０のうち、微小領域Ｏｔ'から放射される被写体光束は、２つの部分領域ＰｒおよびＰｌのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｌを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｌ'として、繰り返しパターン１１０ｔ'に含まれる、開口１０４ｌを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３０の互いに異なる微小領域から放射された被写体光束である。すなわち、−ｘ側の開口１０４ｌに対応する光電変換素子１０８へは主光線をＲｌ'とする被写体光束が入射し、＋ｘ側の開口１０４ｒに対応する光電変換素子１０８へは主光線をＲｒ^＋とする被写体光束が入射するが、この被写体光束は、被写体３０のＯｔ'とは異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口１０４ｌに対応する光電変換素子１０８で被写体３０を捉えた−ｘ側の視差画像と、開口１０４ｒに対応する光電変換素子１０８で被写体３０を捉えた＋ｘ側の視差画像は、合焦位置に存在する被写体に対する画像であれば互いにずれが無く、非合焦位置に存在する被写体に対する画像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐｒと部分領域Ｐｌの距離により、方向と量が定まる。つまり、−ｘ側の視差画像と＋ｘ側の視差画像は、互いに視差像を形成する。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、複数の視差画像が得られる。上記図４（ａ）から図４（ｃ）においては二種類の開口１０４ｌ、１０４ｒで説明したが、図３で示した撮像素子１００は四種類の開口１０４ｌ、１０４ｒ、１１４ｌ、１１４ｒを有するので、４つの視差画像が形成される。

ここで４つの視差画像のうち、互いに異なる一対の視差画像上の視差によって、画像上の被写体の奥行き情報を得ることができる。この場合に、視差以外の条件はなるべく同じで、視差が大きくとれる視差画像を一対とすることが好ましい。よって、繰り返しパターン内で、開口の大きさが互いに同じでシフト量の絶対値が同じでシフト方向が異なる画素が対となることが好ましい。そのような画素の対に対応する視差の対を視差対と表記することがある。図３で示した撮像素子１００においては、開口１０４ｌ、１０４ｒの画素の対に対応する視差の対が一の視差対であり、開口１１４ｌ、１１４ｒの画素の対に対応する視差の対が他の視差対となる。また、一の視差対と他の視差対とは開口の面積が異なる。

図５は、合成開口を説明する概略図である。ここで、各画素の開口が撮影レンズ２０の瞳上に投影された像を、合成開口と呼ぶとすれば、当該合成開口は各画素の開口と略相似な形状を有する。以下、特に断らない限り、各画素の開口に代えて合成開口を用いて説明する。

撮像素子１００には二つの視差対があるとし、当該二つの視差対に対応する四種類の開口があるとする。図５には当該四種類の開口に対応して四種類の合成開口２３０ｌ、２３０ｒ、２３２ｌ、２３２ｒが示される。当該合成開口２３０ｌ、２３０ｒ、２３２ｌ、２３２ｒは、ｙ方向の辺が短い点の他は、図３の開口１０４ｌ、１０４ｒ、１１４ｌ、１１４ｒと互いに同じ関係にある。よって、合成開口３２０ｌ、３２０ｒが一の視差対に対応し、合成開口２３２ｌ、２３２ｒが他の視差対に対応する。また、一の視差対と他の視差対とは合成開口の面積が異なる。

各画素に入射する光束は、当該合成開口２３０ｌ等のみならず、撮像素子１００の全体に対して設けられた絞り４０との組み合わせで規定される。図５に示すように、絞り４０が円形であって開放状態、例えばＦ値が１．８であるとする。

この場合に、合成開口２３０ｌ、２３０ｒの外側の領域は絞り４０によって光束が遮られることになり、光学的に有効になるのは、合成開口２３４ｌ、２３４ｒである。すなわち、絞り４０と開口１０４ｌとの両方を透過して光電変換素子に到達する光は、絞り４０の位置に、当該絞り４０と開口１０４ｌとを光学的に重畳した合成開口２３４ｌ、２３４ｒを透過した光と光学的に等価である。よって、光学的に有効な開口部は、物理的な構成としての開口１０４ｌ等および絞り４０により形成されるともいえる。また、合成開口２３２ｌ、２３２ｒは、合成開口２３０ｌ、２３０ｒよりも外辺が内側に寄っているので、絞り４０によって光束がほとんど遮られることなく、光学的に有効になるのは、合成開口２３６ｌ、２３６ｒである。

図６は、合成開口２３４ｌ、２３４ｒによって撮像される被写体３０の物点３２と視差画像との関係を示す。図６（ａ）は物点３２に撮影レンズ２０の焦点が合っている場合であり、図６（ｂ）は光軸方向で物点３２が当該焦点３４よりも遠くにあり、図６（ｃ）はさらに遠くにある状態を示す。

図６（ａ）において、撮像素子１００に到達した物点３２からの光束のうち合成開口２３４ｌを透過した光束は、合成開口２３４ｌに対応する光電変換素子に入射する。また、撮像素子１００に到達した光束のうち合成開口２３４ｒを透過した光束は、合成開口２３４ｒに対応する光電変換素子に入射する。ここで図６（ａ）のように物点３２が焦点３４にある場合には、合成開口２３４ｌによる像と、合成開口２３４ｒによる像とは撮像素子１００上のほとんど同じ位置の光電変換素子に入射する。

一方、図６（ｂ）においても、撮像素子１００に到達した物点３２光束のうち合成開口２３４ｌ、２３４ｒを透過した光束は、合成開口２３４ｌ、２３４ｒに対応する光電変換素子にそれぞれ入射する。この場合は図６（ａ）の場合とは異なり、合成開口２３４ｌによる像と、合成開口２３４ｒによる像とは撮像素子１００上における異なる位置にある光電変換素子に入射する。さらに、物点３２からの光束の集光点が撮像素子１００よりも手前になるので、光束が広がってより多くの光電変換素子に入射する、いわゆるボケが生じる。

さらに、図６（ｃ）においては、合成開口２３４ｌによる像と、合成開口２３４ｒによる像とは、図６（ｂ）よりも撮像素子１００上におけるさらに離れた位置にある光電変換素子に入射する。さらに、図６（ｂ）よりも物点３２からの光束がより広がって、より多くの光電変換素子に入射して、ボケが大きくなる。

図７は、図６（ｂ）および図６（ｃ）における合成開口２３４ｌによる像と、合成開口２３４ｒによる像の一例である。図７に示すように、光軸方向で物点３２が焦点３４から離れるほど、視差対の像のピークが離れて視差が大きく表れるとともに、幅が広くなってボケが大きくなっている。

図８は、合成開口２３６ｌ、２３６ｒによって撮像される物点３２と視差画像との関係を示す。図８（ａ）は物点３２に撮影レンズ２０の焦点が合っている場合であり、図８（ｂ）は光軸方向で物点３２が当該焦点３４よりも遠くにあり、図８（ｃ）はさらに遠くにある状態を示す。さらに図９は、図７（ｂ）および図７（ｃ）における合成開口２３６ｌによる像と、合成開口２３６ｒによる像の一例である。

図８および図９においても、図６および図７と同様に、物点３２が焦点３４にある場合には、合成開口２３６ｌによる像と、合成開口２３６ｒによる像とは撮像素子１００上のほとんど同じ位置にある光電変換素子に入射し、焦点３４から離れるほど撮像素子１００上において互いにより離れた位置にある光電変換素子に入射する。また、物点３２が焦点３４から離れるほど、ボケが大きくなる。

図７と図９とを比較すると、合成開口２３４ｌ、２３４ｒの対と合成開口２３６ｌ、２３６ｒの対の位置、特にその幾何学的な重心間の距離に対応して、合成開口２３４ｌ、２３４ｌによる像のピークの間隔の方が、合成開口２３６ｌ、２３６ｌによる像のピークの間隔よりも大きく、視差がより大きく現れている。一方、合成開口２３４ｌ、２３４ｒの対と合成開口２３６ｌ、２３６ｒの対の面積に対応して、合成開口２３４ｌ、２３４ｌによる像の広がりの方が、合成開口２３６ｌ、２３６ｌによる像の広がりよりも大きく、ボケが大きく表れている。

図１０は、新たに生成される視差画像と合成開口との関係を示す概略図である。例えば、一の視差対の一方に対応する合成開口２３４ｌの像から、他の視差対の一方に対応する２３６ｌの像を引き算すると、合成開口２４０ｌによる像と光学的に等価な像が得られる。同様に、一の視差対の他方に対応する合成開口２３４ｒの像から、他の視差対の他方に対応する合成開口２３６ｒの像を引き算すると、合成開口２４０ｒによる像と光学的に等価な像が得られる。

合成開口２４０ｌは、ｘ方向の外側の辺が合成開口２３４ｌの外側の辺と同じ位置にあり、ｘ方向の内側の辺が合成開口２３６ｌの外側の辺と同じ位置にある。よって、合成開口２４０ｌの幾何学的な重心は、合成開口２３４ｌ、２３６ｌのいずれよりも外側にあり、面積は合成開口２３４ｌの面積から合成開口２３６ｌの面積を引いた大きさになる。ここで、合成開口２４０ｌ、２４０ｒは、撮像素子１００上のいずれの光電変換素子の上の開口とも対応しない、仮想の合成開口である。

図１１は、物点３２と合成開口２４０ｌ、２４０ｒに対応する視差画像との関係を示す。図１１（ａ）は物点３２に撮影レンズ２０の焦点３４が合っている場合であり、図１１（ｂ）は光軸方向で物点３２が当該焦点３４よりも遠くにあり、図１１（ｃ）はさらに遠くにある状態を示す。さらに図１２は、図１１（ｂ）および図１１（ｃ）における合成開口２４０ｌによる像と、合成開口２４０ｒによる像の一例である。

図１１および図１２においても、図６および図７等と同じく、物点３２が焦点３４にある場合には、合成開口２３６ｌによる像と、合成開口２３６ｒによる像とは撮像素子１００上のほとんど同じ位置にある光電変換素子に入射し、焦点３４から離れるほど撮像素子１００上において互いにより離れた位置にある光電変換素子に入射することと対応する。また、物点３２が焦点３４から離れるほど、ボケが大きくなることと対応する。

しかしながら、図１１に示すように、合成開口２４０ｌ、２４０ｒはいずれも、入射光の光束のうち中央領域を遮ることに対応する。よって、図１２を図７および図９と比較すると、合成開口２４０ｌ、２４０ｒの像のピーク間隔が、他の合成開口２３４ｌ、２３４ｒ、２３６ｌ、２３６ｒの像のピーク間隔より大きく、オーバーラップも小さい。また、合成開口２４０ｌ、２４０ｒの大きさに対応して、ボケは合成開口２３６ｌ、２３６ｒと同程度か、それより小さい。

図１３は、新たな視差画像を生成する処理を説明する概略図である。右列から順に、合成開口２３６ｒ、２３６ｌ、２３４ｌに対応する視差画素の出力を集めて生成される視差画像データの生成の様子、および、合成開口２４０ｌに対応する視差画像データの生成の様子を説明する。

図５の合成開口に対応する撮像素子１００を有するデジタルカメラ１０の一度の撮影により、合成開口２３６ｒ、２３６ｌ、２３４ｌに対応する視差画像が得られる。視差対を二つ、計４種類の視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、例えばｘ方向一列に配列されている。したがって、開口１０４ｌを有する視差画素は、例えば撮像素子１００上において、ｘ方向に４画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる部分領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、合成開口２３６ｒ等に対応した４つの視差画像が得られる。図５には４つのうち３つの視差画像を示している。

しかし、上記撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、ｘ方向の画素数が１／４に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、視差画像生成部２２４は、補間処理を施してｘ方向に４倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データを生成する。ただし、そもそも補間処理前の視差画像データがｘ方向に１／４に間引かれた画像であるので、ｘ方向の解像度は、ｙ方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。

上記補完処理後の一の視差画像と他の視差画像とを用いた演算により、視差画像生成部２２４は、新たな視差画像を生成する。この場合に例えば、画像上で対応する画素位置のそれぞれについて、一の視差対の一方に対応する合成開口２３４ｌの視差画像の画素値から、他の視差対の一方に対応する合成開口２３６ｌの視差画像の画素値を引き算する。これにより、合成開口２４０ｌに対応する新しい視差画像が得られる。

同様に、上記補完処理後に、画像上で対応する画素位置のそれぞれについて、一の視差対の他方に対応する合成開口２３４ｒの視差画像の画素値から、他の視差対の他方に対応する２３６ｒの視差画像の画素値を引き算する。これにより、合成開口２４０ｒに対応する新しい視差画像が得られる。以上により、新しい視差対に対応する視差画像の対（視差画像対ということがある）を得ることができる。なお、すでに補完処理後の視差画像を引き算しているので、合成開口２４０ｌ、２４０ｒに対応する視差画像に対しては補完処理をしなくてよい。

以上、本実施形態によれば、一の撮像素子１００に設けられた異なる視差対に対応する複数の視差画像対から、新たな視差対に対応する視差画像対を生成することができる。よって、撮像素子１００上の分解能を低下させずに多くの視差画像対を得ることができる。また、新たな視差画像対に対応する合成開口の重心が、撮像素子１００の合成開口の重心よりもより外側に位置する場合には、撮像素子１００から直接的に得られる視差画像対よりも、新たに生成された視差画像対から、より鮮明で正確な奥行き情報を得ることができる。

また、一度の撮影で複数の視差画像対を得ることができるので、複数回の撮影で複数の視差画像対を得る場合に比べて、撮影の時間差による画像の差がなく、より精密な奥行き情報を得ることができる。

図１４は、デジタルカメラ１０において絞り４０を変えた場合の合成開口を説明する概略図である。図５と同じ合成開口２３０ｌ等に対して、図５よりも絞り４０を狭くする。例えばＦ値が５．６であるとする。これにより、入射光の光束のうち周辺光がより遮られる。よって、合成開口２３０ｌ、２３０ｒに対して光学的に有効なのは、より狭い合成開口２５０ｌ、２５０ｒとなる。なお、合成開口２３２ｌ、２３２ｒは、絞り４０によって光束がほとんど遮られることなく、光学的に有効になるのは、合成開口２５２ｌ、２５２ｒである。

よって、図１４に示す場合も、一度の撮影で、合成開口２５０ｌ、２５０ｒの視差画像対、合成開口２５２ｌ、２５２ｒの視差画像対の、計４つの視差画像が得られる。さらに、一の視差対の一方に対応する合成開口２５０ｌの視差画像から、他の視差対の一方に対応する２５２ｌの視差画像を引き算すると、合成開口２６０ｌによる視差画像が得られる。同様に、一の視差対の他方に対応する合成開口２５０ｒの像から、他の視差対の他方に対応する２５２ｒの像を引き算すると、合成開口２６０ｒによる像と光学的に等価な像が得られる。以上により、絞り４０を変えた場合でも、新たな視差画像対を得ることができる。

図１５は、本実施形態をカラー画像に適用する繰り返しパターンの一例を示す。図１５の繰り返しパターンは、２種類の開口群３００Ａ、３００Ｂを有する。両方の開口群３００Ａ、３００Ｂは同じ数の画素、図１５においては４つの画素を含む。当該４つの画素に配されるカラーフィルタは、いわゆるベイヤー配列であって、斜めに２つの緑色のカラーフィルタが配されるとともに、他の箇所に一つずつ青色のカラーフィルタおよび赤色のカラーフィルタが配される。なお、図１５以降において、緑色、青色、赤色のカラーフィルタが配されていることをそれぞれ斜線、縦線、横線のハッチングで示す。また、図示の都合上、開口内は白抜きで示されているが、当該開口内もカラーフィルタで覆われている。

一方の開口群３００Ａにおいて、緑色のカラーフィルタを有する開口３０１、３０４はそれぞれ画素に対して±ｘ方向にシフトしており、その位置と大きさは例えば図３における開口１０４ｌ、１０４ｒと同じである。また、青色のカラーフィルタを有する開口３０２および赤色のカラーフィルタを有する開口３０３は画素に対して中央に配される。よって、これらの画素は入射光の光束における中央領域が入射するので、視差なし画素となる。さらに、開口３０２、３０３はともに、開口３０１の面積と開口３０４の面積との和に等しい面積を有する。

他方の開口群３００Ｂにおいて、開口群３００Ａに対応して、緑色のカラーフィルタを有する開口３０５、３０８はそれぞれ画素に対して±ｘ方向にシフトしており、青色のカラーフィルタを有する開口３０６および赤色のカラーフィルタを有する開口３０７は画素に対して中央に配される。また、開口３０５、３０８の位置と大きさは、例えば図３における開口１１４ｌ、１１４ｒと同じである。また、開口３０６、３０７はともに、開口３０５の面積と開口３０８の面積との和に等しい面積を有する。

図１６は、本実施形態をカラー画像に適用する繰り返しパターンの他の例を示す。以下、図１６の繰り返しパターンについて図１５の繰り返しパターンと異なる点を説明する。図１６の繰り返しパターンにおいては、開口群３１０Ｂにおける青色のカラーフィルタを有する開口および赤色のカラーフィルタを有する開口は、開口群３１０Ａにおける青色のカラーフィルタを有する開口および赤色のカラーフィルタを有する開口と同じ面積を有する。

図１７は、本実施形態をカラー画像に適用する繰り返しパターンのさらに他の例を示す。以下、図１７の繰り返しパターンについて図１５の繰り返しパターンと異なる点を説明する。図１７の繰り返しパターンにおいては、いずれの開口３２１から３２８も、図１５の開口３０１から３０８よりもｙ方向が狭い。その点を除き、開口３２１から３２８の位置および大きさの関係は、開口３０１から３０８の位置および大きさの関係と同じである。

図１８は、本実施形態をカラー画像に適用する繰り返しパターンのさらに他の例を示す。以下、図１８の繰り返しパターンについて図１７の繰り返しパターンと異なる点を説明する。図１８の繰り返しパターンにおいては、開口群３３０Ｂにおける青色のカラーフィルタを有する開口および赤色のカラーフィルタを有する開口は、開口群３３０Ａの青色のカラーフィルタを有する開口および赤色のカラーフィルタを有する開口と同じ面積を有する。

図１９は、本実施形態をカラー画像に適用する場合の繰り返しパターンを配列する例を示す。図１９において「Ａ」は図１５から図１８の開口群３００Ａ、３１０Ａ、３２０Ａ、３３０Ａのいずれか一つを表し、「Ｂ」は当該「Ａ」と対になる図１５から図１８の開口群３００Ｂ、３１０Ｂ、３２０Ｂ、３３０Ｂのいずれか一つを表す。

図１９（ａ）は、「Ａ」の開口群と「Ｂ」の開口群とがｘ方向に並んだ繰り返しパターンであって、ｙ方向には「Ａ」と「Ｂ」とが交互に配されている。図１９（ｂ）は、「Ａ」の開口群と「Ｂ」の開口群とがｙ方向に並んだ繰り返しパターンであって、ｘ方向には「Ａ」だけまたは「Ｂ」だけが並んでいる。図１９（ｃ）は、「Ａ」の開口群と「Ｂ」の開口群とがｘ方向に並んだ繰り返しパターンであって、ｙ方向には「Ａ」だけまたは「Ｂ」だけが並んでいる。上記図１５から図１９において、繰り返しパターンを光電変換素子上の開口で説明したが、瞳位置でこれらと等価になる合成開口が形成されればよく、撮影レンズ２０の光学系によっては光電変換素子上の開口が上記図１５から図１９と異なる形状および大きさになってもよい。

図２０は、視差画素をカラー化する方法を示す概念図である。図２０（ａ）および図２０（ｅ）は、一例として図１８の繰り返しパターンを示している。

ここで、図２０（ａ）のように色ごとに配置された開口群３００Ａの各開口と、図２０（ｂ）に示される絞り４０とを合成すると、図２０（ｃ）に示されるような合成開口群３３２Ａが得られる。合成開口群３３２Ａにおいても、緑画素Ｇの−ｘ側の合成開口と＋ｘ側の合成開口を足し合わせると、赤画素Ｒおよび青画素Ｂの合成開口と等しくなる。同様に、図２０（ｅ）に示される開口群３３０Ｂと、図２０（ｆ）の絞り４０とを合成すると、図２０（ｇ）に示されるような合成開口群３３２Ｂが得られる。なお、図２０（ａ）の開口群３３０Ａと図２０（ｅ）の開口群３３０Ｂとは同一の撮像素子１００上に設けられているので、一度の撮影で図２０（ｃ）の合成開口３３２Ａによる画像と図２０（ｇ）の合成開口３３２Ｂによる画像とを取得することができる。

緑画素Ｇについては、−ｘ側の合成開口の緑画素と＋ｘ側の合成開口の緑画素を対にすることで、ｘ方向に視差を有する対の視差画素が構成される。一方、青画素Ｂおよび赤画素Ｒは視差無し画素である。したがって、このままでは緑単色の視差画像は得られるが、フルカラーの視差画像を得ることができない。そこで、±ｘ側の緑画素Ｇの光強度等の画素値を、青画素Ｂおよび赤画素Ｒに適用することにより、青色および赤色についても仮想的にｘ方向に対の画素値を得る。

この場合に、視差画像生成部２２４は、例えばまず図１３と同じように、合成開口の種類毎に各画素から寄せ集めた画像に補完処理をする。ここで青画素Ｂは、合成開口群３３２Ａと合成開口群３３２Ｂとで同一の合成開口であるから、合成開口群３３２Ａと合成開口群３３２Ｂとで合成開口が異なる緑画素Ｇよりも２倍の解像度を有している。同様に、赤画素Ｒも緑画素Ｇの２倍の解像度を有している。よって、補完処理の一例は、青画素Ｂについて合成開口群３３２Ａと合成開口群３３２Ｂとの両方から画素を寄せ集めてｘ方向ｙ方向に２倍ずつ補完し、赤画素Ｒについても青画素Ｂと同様に補完する。一方、緑画素Ｇについては４種類の合成開口があるのでそれぞれの合成開口からの画素を寄せ集めて、繰り返しパターンに合わせてｘ方向およびｙ方向の一方には２倍、他方には４倍補完する。これにより、一つの青色の視差無し画像と、一つの赤色の視差無し画像と、４つの緑色の視差画像とが生成される。他の補完処理の例については後述する。

視差画像生成部２２４は、さらに補完後の一つの赤色の視差無し画像と、４つの緑色の視差画像のうちの合成開口群２３２Ａに対応する２つの緑色の視差画像について、画像上の対応する画素位置毎に下記演算を行う。
Ｒ（ｌｔ）＝Ｒ（ｎ）×Ｇ（ｌｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式１
Ｒ（ｒｔ）＝Ｒ（ｎ）×Ｇ（ｒｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式２

これにより、ｘ方向に対になった赤画素の画素値Ｒ（ｌｔ）およびＲ（ｒｔ）が得られ、赤単色の一の視差画像対が生成される。ここで、Ｒ（ｌｔ）およびＲ（ｒｔ）は、演算される赤色の−ｘ側の視差画素および＋ｘ側の視差画素の画素値を示し、Ｒ（ｎ）は、補完後の視差なし赤画素Ｒの画素値を示し、Ｇ（ｌｔ）およびＧ（ｒｔ）は、補完後の合成開口群２３２Ａに対応する−ｘ側の視差の緑画素および＋ｘ側の視差の緑画素の画素値を示す。

視差画像生成部２２４は、同様に、補完後の一つの青色の視差無し画像と、４つの緑色の視差画像のうちの合成開口群２３２Ａに対応する２つの緑色の視差画像について、画像上の対応する画素位置毎に下記演算を行う。
Ｂ（ｌｔ）＝Ｂ（ｎ）×Ｇ（ｌｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式３
Ｂ（ｒｔ）＝Ｂ（ｎ）×Ｇ（ｒｔ）／（Ｇ（ｌｔ）＋Ｇ（ｒｔ）） …数式４

これにより、ｘ方向に対になった青画素の画素値Ｂ（ｌｔ）およびＢ（ｒｔ）が得られ、青単色の一の視差画像対が生成される。Ｂ（ｌｔ）およびＢ（ｒｔ）は、計算される−ｘ側の視差の青画素および＋ｘ側の視差の青画素の画素値を示し、Ｂ（ｎ）は、補完後の視差なし青画素Ｂの画素値を示す。図２０（ｄ）は、このようにして得られたｘ方向の視差を有する赤緑青画素に対応する合成開口を示す。

また、視差画像生成部２２４は、補完後の一つの青色の視差無し画像と、４つの緑色の視差画像のうちの合成開口群２３２Ｂに対応する２つの緑色の視差画像について、上記数式１および２と同様の演算をして青単色の他の視差画像対を生成する。同様に、視差画像生成部２２４は、補完後の一つの赤色の視差無し画像と、４つの緑色の視差画像のうちの合成開口群２３２Ｂに対応する２つの緑色の視差画像について、上記数式１および２と同様の演算をして、赤単色の他の視差画像対を生成する。図２０（ｈ）は、これにより得られた、ｘ方向の視差を有する赤緑青画素に対応する合成開口を示す。

図２１は、図２０で得られたカラー視差画像対から新たな視差対に対応する対のカラー視差画像を得る方法を示す概念図である。図２１（ａ）は図２０（ｄ）の合成開口に対応し、図２１（ｂ）は図２０（ｈ）の合成開口に対応する。図２１（ａ）の合成開口に対応する視差画像と図２１（ｂ）の合成開口に対応する視差画像とに基づいて、図２１（ｃ）の合成開口に対応する視差画像を得る。この場合に、色ごとに、図１３と同様に、画像上で対応する画素位置のそれぞれについて、一の視差対の一方に対応する合成開口の視差画像の画素値から、他の視差対の一方に対応する合成開口の視差画像の画素値を引き算する。

図２２は、図２１（ａ）、図２１（ｂ）、図２１（ｃ）の合成開口に対応する画像の一例である。 図２１（ｃ）の合成開口は、図２１（ａ）および図２１（ｂ）の合成開口と比較して、重心の位置が画素の中心から離れている。よって、図２２に示すように、図２１（ｃ）の合成開口に対応する視差画像は、図２１（ａ）および図２１（ｂ）の合成開口に対応する視差画像と比較して、ピーク間距離が離れており、視差量が大きくなって立体感が強調される。

さらに、図２１（ｃ）の合成開口は、少なくとも図２１（ａ）の合成開口と比較して開口面積が小さい。よって、図２２に示すように、図２１（ｃ）の合成開口に対応する視差画像は、少なくとも図２１（ａ）の合成開口に対応する視差画像と比較して、広がりが小さくなっており、被写界深度が深くボケが生じにくい。したがって、この方法によれば、視差がより強調された鮮明なカラー視差画像を得ることができる。

また、図２１（ｃ）の合成開口に対応する視差画像は演算によって生成されている。よって、空間的な解像度を低下させることなく、より多くの視差対による視差画像を得ることができる。

ここで、図２０における補完処理の他の例について説明する。当該補完処理は、合成開口群または開口群における視差無し画素の開口の種類に基づいて選ばれることが好ましい。例えば、図２０で説明した開口群３１０Ａ、３１０Ｂの場合、および、図１８に示す開口群３３０Ａ、３３０Ｂの場合には、視差画像生成部２２４は、青色赤色ともに、視差無し画素の開口が１種類なので、青画素Ｂについて合成開口群３３２Ａと合成開口群３３２Ｂとの両方から画素を寄せ集めてｘ方向ｙ方向に２倍ずつ補完し、赤画素Ｒについても青画素Ｂと同様に補完する。これにより、視差無し画像については高解像度を保って補完することができる。

一方、図１５の開口群３００Ａ、３００Ｂの場合、および、図１７に示す開口群３２０Ａ、３２０Ｂの場合には、青色赤色ともに、視差無し画素の開口が２種類ある。視差無し画素の開口のそれぞれの種類は、対の視差画素の開口を合わせたものと光学的に等価である。この場合には、視差画像生成部２２４は、青画素Ｂについて合成開口群３００Ａ（または３２０Ａ）から画素を寄せ集めて緑画素Ｇと同様に補完する。またこれとは別個に、青画素Ｂについて合成開口群３００Ｂ（または３２０Ｂ）から画素を寄せ集めて緑画素Ｇと同様に補完する。

これにより、開口群３００Ａ等に対応した青色の視差無し画像と、開口群３００Ｂ等に対応した青色の視差無し画像とが得られる。そこで、視差画像生成部２２４は、開口群３００Ａ等に対応した青色の視差画像対を生成するときには、上記数式１および２において開口群３００Ａ等に対応した補完後の青色の視差無し画像を用い、開口群３００Ｂ等に対応した青色の視差画像対を生成するときには、上記数式１および２において開口群３００Ｂ等に対応した補完後の青色の視差無し画像を用いてもよい。赤色についても青色と同様の補完処理および視差画像対を生成する。これにより、各色の視差画像対の生成において、撮像素子１００上で視差無し画素が割り当てられた色と、視差画素が割り当てられた色との間のバランスの再現性を向上させることができる。

図２３は、デジタルカメラ１０の他の例を示す概念図である。図２３のデジタルカメラ１０においては、図１のデジタルカメラ１０の撮像素子１００に代えて、ハーフミラー１５０と二枚の撮像素子１５２、１５４を有する。ハーフミラー１５０は撮影レンズ２０および絞り４０を通過した入射光の強度を二つに分割する。撮像素子１５２、１５４はそれぞれハーフミラー１５０により分割された入射光の一方を受光して撮像する。撮像後の処理は上記実施形態と同様である。

撮像素子１５２と撮像素子１５４には、互いに異なる視差対に対応する開口が配される。例えば、撮像素子１５２には図１５から図１８の開口群３００Ａ、３１０Ａ、３２０Ａ、３３０Ａのいずれか一つが繰り返しパターンとして繰り返し配され、撮像素子１５４には、撮像素子１５２で配された開口群と対をなす、図１５から図１８の開口群３００Ｂ、３１０Ｂ、３２０Ｂ、３３０Ｂのいずれか一つが繰り返しパターンとして繰り返し配される。なお、撮像素子１５２と撮像素子１５４はそれぞれの複数の互いに異なる視差対に対応する開口を有していてもよい。また、入射光を三つ以上に分割して、互いに異なる視差対に対応する開口を有する三枚以上の撮像素子で撮像してもよい。

図２４は、本実施形態をカラー画像に適用する繰り返しパターンのさらに他の例を示す。図３から図２３の実施形態においては、複数の視差対に対応する複数の視差画像対の引き算により、新たな視差対に対応する視差画像対を生成している。図２４は、これに代えて、複数の視差対に対応する複数の視差画像対の足し算により、新たな視差対に対応する視差画像対を生成する場合の繰り返しパターンの例である。

図２４の繰り返しパターンは、二種類の開口群３４０Ｂ、３４０Ｃを有する。開口群３４０Ｂは、図１６の開口群３１０Ｂと同じである。開口群３４０Ｃの緑画素の開口は、図１６の開口群３１０Ａの緑画素の開口から開口群３１０Ｂの緑画素の開口を引き算したものに対応する。したがって、図２１に示した方法において、開口群３４０Ｂの視差画像から開口群３４０Ｃの視差画像を引き算することに変えて、開口群３４０Ｂの視差画像と開口群３４０Ｃの視差画像とを足し算することにより、図１６の開口群３１０Ａに対応した視差画像を得ることができる。

図２５は、複数の視差画像対の足し算により新たな視差画像対を得る場合の繰り返しパターンのさらに他の例を示す。図２５の繰り返しパターンは、二種類の開口群３５０Ｂ、３５０Ｃを有する。開口群３５０Ｂは、図１５の開口群３００Ｂと同じである。開口群３５０Ｃの緑画素の開口は、図１５の開口群３００Ａの緑画素の開口から開口群３１０Ｂの緑画素の開口を引き算したものに対応する。したがって、図２１に示した方法において、開口群３５０Ｂの視差画像と開口群３５０Ｃの視差画像とを足し算することにより、図１５の開口群３００Ａに対応した視差画像を得ることができる。

図２６は、複数の視差画像対の足し算により新たな視差画像対を得る場合の繰り返しパターンのさらに他の例を示す。図２６の繰り返しパターンは、二種類の開口群３６０Ｂ、３６０Ｃを有する。開口群３６Ｃは、図２５の開口群３５０Ｂと同じである。開口群３６０Ｂの緑画素の開口は、図２５の開口群３５０Ｃの緑画素の開口と同じである。開口群３６０Ｂの青画素および赤画素はそれぞれ２つの分離した開口を有している。青画素および赤画素における一方の開口は、緑画素の開口と同じ位置および大きさであり、他方は当該一方の開口と対称な位置に配される。図２１に示した方法において、開口群３６０Ｂの視差画像と開口群３６０Ｃの視差画像とを足し算することにより、図１５の開口群３００Ａに対応した視差画像を得ることができる。

図２７は、複数の視差画像対の足し算により新たな視差画像対を得る場合の繰り返しパターンのさらに他の例を示す。図２７の繰り返しパターンは、二種類の開口群３７０Ｂ、３７０Ｃを有する。開口群３７０Ｂは、図１８の開口群３３０Ｂと同じである。開口群３７０Ｃの緑画素の開口は、図１８の開口群３３０Ａの緑画素の開口から開口群３３０Ｂの緑画素の開口を引き算したものに対応する。したがって、図２１に示した方法において、開口群３７０Ｂの視差画像と開口群３７０Ｃの視差画像とを足し算することにより、図１８の開口群３３０Ａに対応した視差画像を得ることができる。

図２８は、複数の視差画像対の足し算により新たな視差画像対を得る場合の繰り返しパターンのさらに他の例を示す。図２８の繰り返しパターンは、二種類の開口群３８０Ｂ、３８０Ｃを有する。開口群３８０Ｂは、図１７の開口群３２０Ｂと同じである。開口群３８０Ｃの緑画素の開口は、図１７の開口群３２０Ａの緑画素の開口から開口群３２０Ｂの緑画素の開口を引き算したものに対応する。したがって、図２１に示した方法において、開口群３８０Ｂの視差画像と開口群３８０Ｃの視差画像とを足し算することにより、図１７の開口群３２０Ａに対応した視差画像を得ることができる。

なお、上記図２４から図２８において、繰り返しパターンを光電変換素子上の開口で説明したが、瞳位置でこれらと等価になる合成開口が形成されればよく、撮影レンズ２０の光学系によっては光電変換素子上の開口が上記図２４から図２８と異なる形状および大きさになってもよい。

図１５から図２８の実施形態において、カラーフィルタの色配列はベイヤー配列でなくてもよい。例えば、単位開口群のいずれかの画素が色のないホワイト画素Ｗであってもよい。また、ｘ方向にシフトした開口は、緑画素Ｇでなく、赤画素Ｒ、青画素Ｂ、またはホワイト画素Ｗに割り当てられても良い。

上記実施形態において開口および合成開口はいずれも略四角形を有するが、開口および合成開口の形状はこれに限られない。例えば、開口および合成開口は角が丸みを帯びた四角形、楕円、真円等であってもよい。また、上記実施形態において、異なる視差対に対応する開口間で面積と位置の両方が異なっているが、面積が同じで位置が異なっていてもよいし、位置、例えば重心位置が同じで面積が異なっていてもよい。

また、図１から図２８の実施形態において、視差画像生成部２２４はデジタルカメラ１０で撮像された視差画像に基づいて新たな視差対に対応する視差画像を生成している。これに代えてまたはこれに加えて、視差画像取得部２２２が、他の撮像装置で撮像された複数の視差対に対応する複数の視差画像対、視差無画像等を取得し、視差画像生成部２２４が当該視差画像に基づいて、カラーまたはモノクロの新たな視差対に対応する視差画像対を生成してもよい。この場合に、視差画像取得部２２２および視差画像生成部２２４はデジタルカメラ１０とは別個に、例えばパーソナルコンピュータ等に設けられてもよい。その場合に、視差画像取得部２２２および視差画像生成部２２４の機能がコンピュータプログラムとして、当該パーソナルコンピュータ等にインストールされてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０ 被写体、３２ 物点、３４ 焦点、４０ 絞り、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４、１０４ｌ、１０４ｒ、１１４ｌ、１１４ｒ 開口、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 撮像素子、１２１ スクリーンフィルタ、１２２ カラーフィルタ部、１２３ 開口マスク、１５０ ハーフミラー、１５２ 撮像素子、１５４ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０４ｌ、２０４ｒ 開口部、２０５ メモリカード、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ 画像処理部、２２２ 視差画像取得部、２２４ 視差画像生成部、２３０ｌ、２３０ｒ、２３２ｌ、２３２ｒ、２３４ｌ、２３４ｒ、２３６ｌ、２３６ｒ、２４０ｌ、２４０ｒ、２５０ｌ、２５０ｒ、２５２ｌ、２５２ｒ、２６０ｌ、２６０ｒ 合成開口、３００Ａ、３００Ｂ、３１０Ａ、３１０Ｂ、３２０Ａ、３２０Ｂ、３３０Ａ、３３０Ｂ、３４０Ａ、３４０Ｂ、３５０Ａ、３５０Ｂ、３６０Ａ、３６０Ｂ、３７０Ａ、３７０Ｂ、３８０Ａ、３８０Ｂ 開口群、３０１、３０２、３０３、３０４、３０５、３０６、３０７、３０８、３２１、３２８ 開口、３３２Ａ、３３２Ｂ 合成開口群

Claims (14)

1. 入射光を電気信号に光電変換する、二次元的に配列された複数の光電変換素子と、
   複数の視差に対応した、前記入射光の断面領域内の部分領域からの光を、対応する前記複数の光電変換素子にそれぞれ入射させる開口部と
   を備え、
   前記複数の視差は、互いの差異により奥行き情報を得られる視差対を複数有し、
   前記開口部は、前記複数の視差対ごとに前記部分領域の面積または位置の少なくとも一方が異なる撮像素子。
2. 前記開口部は、さらに、前記入射光の前記断面領域内の中央領域からの光を、前記複数の光電変換素子のうち前記複数の視差対に対応する前記複数の光電変換素子とは異なる他の前記複数の光電変換素子に入射させる請求項１に記載の撮像素子。
3. 前記開口部において、前記中央領域は、前記複数の視差対のうちの少なくとも一つの視差対に対応する一対の部分領域の和と光学的に等価である請求項２に記載の撮像素子。
4. 前記複数の光電変換素子のそれぞれに一対一に対応して設けられるカラーフィルタをさらに備え、
   前記複数の視差対に対応する前記複数の光電変換素子にはカラー画像を構成するいずれかの色のカラーフィルタが配されるとともに、前記中央領域に対応する前記複数の光電変換素子には前記カラー画像を構成する他の色のカラーフィルタが配される請求項２または３に記載の撮像素子。
5. 前記開口部は、前記複数の光電変換素子のそれぞれに一対一に対応して設けられ、前記視差に対応して開口が位置づけられるとともに前記視差対ごとに前記開口の面積が異なる開口マスクを有する請求項１から４のいずれか１項に記載の撮像素子。
6. 請求項１から５のいずれか１項に記載の撮像素子と、
   前記撮像素子により撮像された、前記複数の視差対に対応する複数の第１視差画像対を含む第１視差画像群を取得する視差画像取得部と、
   前記複数の第１視差画像対に基づいて、新たな視差対に対応する第２視差画像対を生成する視差画像生成部と
   を備える撮像装置。
7. 前記視差画像取得部は、前記複数の視差対ごとに前記部分領域の面積または位置の少なくとも一方が異なる前記複数の第１視差画像対を取得する請求項６に記載の撮像装置。
8. 前記視差画像取得部は、カラー画像を構成するいずれかの色における前記複数の第１視差画像対、および、前記撮像素子において前記入射光の前記断面領域内の中央領域からの光を撮像した、前記カラー画像を構成する他の色における視差無画像を含む前記第１視差画像群を取得し、
   前記視差画像生成部は、前記複数の第１視差画像対および前記視差無画像に基づいて、前記他の色における前記第２視差画像対を生成する請求項６または７に記載の撮像装置。
9. 入射光を電気信号に光電変換する、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した、前記入射光の断面領域内の部分領域からの光がそれぞれ入射する撮像素子により撮像された、前記複数の視差に対応する第１視差画像群を取得する視差画像取得部と、
   前記視差画像取得部により取得された前記第１視差画像群を用いた演算により、前記複数の視差とは異なる新たな視差に対応する第２視差画像を生成する視差画像生成部と
   を備える画像処理装置。
10. 前記視差画像取得部は、互いの差異により奥行き情報を得られる視差対に対応する第１視差画像対を、複数の前記視差対に対して複数含む、前記第１視差画像群を取得し、
    前記視差画像生成部は、前記複数の第１視差画像対に基づいて、前記第２視差画像として新たな視差対に対応する第２視差画像対を生成する請求項９に記載の画像処理装置。
11. 前記視差画像取得部は、前記複数の視差対ごとに前記部分領域の面積または面積の少なくとも一方が異なる前記複数の第１視差画像対を取得する請求項１０に記載の画像処理装置。
12. 前記視差画像取得部は、カラー画像を構成するいずれかの色における前記第１視差画像対、および、前記撮像素子において前記入射光の前記断面領域内の中央領域からの光を撮像した、前記カラー画像を構成する他の色における視差無画像を含む前記第１視差画像群を取得し、
    前記視差画像生成部は、前記第１視差画像対および前記視差無画像に基づいて、前記他の色における前記第２視差画像対を生成する請求項１０または１１に記載の画像処理装置。
13. 入射光を電気信号に光電変換する、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した、前記入射光の断面領域内の部分領域からの光がそれぞれ入射する撮像素子により撮像された、前記複数の視差に対応する第１視差画像群を取得する視差画像取得手順と、
    前記視差画像取得手順で取得された前記第１視差画像群を用いた演算により、前記複数の視差とは異なる新たな視差に対応する第２視差画像を生成する視差画像生成手順と
    を備える画像処理方法。
14. 入射光を電気信号に光電変換する、二次元的に配された複数の光電変換素子に対して、複数の視差に対応した、前記入射光の断面領域内の部分領域からの光がそれぞれ入射する撮像素子により撮像された、前記複数の視差に対応する第１視差画像群を取得する視差画像取得手順、および、
    前記視差画像取得手順で取得された前記第１視差画像群を用いた演算により、前記複数の視差とは異なる新たな視差に対応する第２視差画像を生成する視差画像生成手順
    をコンピュータに実行させるプログラム。

Images