JP2014022759A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】被写体光束の一部のみを受ける画素と、全部を受ける画素とを混在させると、両者の間に、感度差が発生してしまう。すなわち、被写体光束の一部のみを受ける画素は、被写体光束が制限された分だけ、その出力値が小さくなる。
【解決手段】一画素が占める単位画素領域に第１フォトダイオード領域が設けられた第１画素と、単位画素領域に第１フォトダイオード領域よりも小さい第２フォトダイオード領域が設けられた第２画素とを含み、第２画素には、少なくとも一部が第２画素の単位画素領域に含まれるように、第１画素には設けられない増幅器が設けられた撮像素子を提供する。
【選択図】図６

Description

本発明は、撮像素子および撮像装置に関する。

撮影レンズを透過して入射する被写体光束の一部のみを各画素が受けられるように、マイクロレンズの一部を遮光したり、偏位した開口を有する遮光マスクを各画素に設けたりした、３次元画像取得用の撮像素子が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−７９９４号公報

被写体光束の一部のみを受ける画素と、全部を受ける画素とを混在させると、両者の間に、感度差が発生してしまう。すなわち、被写体光束の一部のみを受ける画素は、被写体光束が制限された分だけ、その出力値が小さくなる。

本発明の第１の態様における撮像素子は、一画素が占める単位画素領域に第１フォトダイオード領域が設けられた第１画素と、単位画素領域に第１フォトダイオード領域よりも小さい第２フォトダイオード領域が設けられた第２画素とを含み、第２画素には、少なくとも一部が第２画素の単位画素領域に含まれるように、第１画素には設けられない増幅器が設けられている。

本発明の第２の態様における撮像装置は、上記の撮像素子と、撮像素子を制御する撮像制御部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係るデジタルカメラの構成を説明する図である。 撮像素子の一部を拡大した様子を概念的に表す概念図である。 視差なし画素の回路構成を示す図である。 視差画素の回路構成を示す図である。 視差なし画素と視差画素の感度差とその調整を説明する図である。 基本格子のレイアウトを概念的に示す図である。 他のレイアウトの例を示す図である。 さらに他のレイアウトの例を示す図である。 他の基本格子の例を説明する図である。 視差画素の他の回路構成を示す図である。 ２Ｄ画像データと視差画像データの生成処理の例を説明する図である。 各プレーンの解像度の関係を示す概念図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。本実施形態においては、特に、右目と左目に対応する２つの視点による右視差画像と左視差画像を生成する場合について説明する。本実施形態におけるデジタルカメラは、中央視点による視差のない視差なし画像も、視差画像と共に生成できる。

図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をＺ軸プラス方向と定め、Ｚ軸と直交する平面において紙面奥へ向かう方向をＸ軸プラス方向、紙面上方向をＹ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

図２は、撮像素子１００の一部を拡大した様子を概念的に表す概念図である。画素領域には２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、隣接する２画素×２画素の４画素が一つの基本格子１１０を形成する。基本格子１１０は、４画素のうち左上画素と右下画素に緑フィルタ（Ｇフィルタ）、左下画素に青フィルタ（Ｂフィルタ）、右上画素に赤フィルタ（Ｒフィルタ）が配されたベイヤー配列を採用する。このうち、左下画素と右上画素は、視差なし画素であり、左上画素と右下画素は、視差画素である。

視差画素は、撮影レンズ２０を透過する入射光束のうち、光軸から偏位した部分光束を受光する画素である。視差画素には、当該部分光束のみを透過させるように、画素中心から偏位した偏位開口を有する開口マスクが設けられている。開口マスクは、例えば、カラーフィルタに重ねて設けられる。本実施形態においては、開口マスクにより、部分光束が画素中心に対して左側に到達するように規定された視差Ｌｔ画素と、部分光束が画素中心に対して右側に到達するように規定された視差Ｒｔ画素の２種類が存在する。基本格子１１０においては、左上画素が視差Ｒｔ画素であり、右下画素が視差Ｌｔ画素である。本実施形態においては、視差画素は、後述するように、部分光束の入射範囲に合わせてフォトダイオード領域が偏位して形成されている。一方、視差なし画素は、開口マスクが設けられていない画素であり、撮影レンズ２０を透過する入射光束の全体を受光する画素である。

まず、視差なし画素の回路構成について説明する。図３は、視差なし画素３００の回路構成を示す図である。本実施形態における視差なし画素３００は、いわゆる４トランジスタ型画素構造をなす。

フォトダイオード３０１は、転送トランジスタ３０２に接続され、転送トランジスタ３０２のゲートは、転送パルスが供給されるＴＸ配線３０７に接続される。転送トランジスタ３０２のドレインは、リセットトランジスタ３０３のソースに接続される。転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間にはフローティングディフュージョン３１１が形成される。フローティングディフュージョン３１１は、増幅トランジスタ３０４のゲートに接続される。

リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶｄｄ配線３０９に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３０９に接続される。また、増幅トランジスタ３０４のソースは、選択トランジスタ３０５のドレインに接続される。選択トランジスタのゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。そして、選択トランジスタ３０５のソースは、出力配線３１０に接続される。

負荷電流源３１２は、出力配線３１０に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３１０は、ソースフォロアにより形成される。なお、負荷電流源３１２は、出力配線３１０を共有する複数の画素に対して共通の要素として設けられる。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、フォトダイオード３０１およびフローティングディフュージョン３１１の電位はリセットされる。

フォトダイオード３０１は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョン３１１へ転送され、フローティングディフュージョン３１１の電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョン３１１の信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３１０に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３１０に出力される。

次に、視差画素の回路構成について説明する。図４は、視差画素４００の回路構成を示す図である。本実施形態における視差画素４００は、上述の視差なし画素における４トランジスタ型画素構造に、さらに増幅器４０４を加えた画素構造をなす。視差なし画素の回路構成と同様の要素については、図４においても同符号を付し、その説明を省略する。

視差画素４００におけるフォトダイオード４０１は、部分光束の入射範囲に合わせて受光領域が形成されている。したがって、視差画素におけるフォトダイオード４０１は、視差なし画素３００におけるフォトダイオード３０１に比べて受光領域が小さく、同一シーンに対する出力信号は、視差なし画素の出力信号に比べて小さくなる。そこで、視差画素４００に対しては、視差なし画素３００には設けない増幅器４０４を加えて、出力信号の増幅率を高くする。

増幅器４０４は、増幅トランジスタ３０４の後段に設けられる。具体的には、入力端が増幅トランジスタ３０４のソースに接続され、出力端が選択トランジスタ３０５のドレインに接続される。増幅器４０４は、入力端に入力された出力信号の電圧値を増幅して出力端に出力する。

増幅器４０４の機能についてさらに説明する。図５（ａ）は、視差なし画素３００と視差画素の感度差を示す図である。横軸は、撮影レンズ２０を透過する被写体光束全体に対応する単位時間当たりの光入力量を表し、縦軸は、その光入力量に対する信号出力を表す。

視差画素出力ライン９０１は、視差画素４００に増幅器４０４が設けられていない場合の出力信号の挙動を示し、視差なし画素出力ライン９０２は、視差なし画素３００からの出力信号の挙動を示す。撮影レンズ２０を通過する同一被写体からの光束を受光する場合、視差画素４００は、制限された一部分の光束を受光するようにフォトダイオード４０１の受光領域が小さく形成されているので、その信号出力は、視差なし画素３００の信号出力に比べて小さい。つまり、増幅器４０４が設けられていない視差画素４００は、視差なし画素３００よりも感度が低いと言える。

そこで、本実施形態においては、視差画素４００に増幅器４０４を設ける。増幅器４０４は、フォトダイオード３０１の受光領域とフォトダイオード４０１の受光領域の大きさの差に起因する感度差を低減するように、信号出力を増幅する。増幅器４０４の増幅率は、例えば、視差画素出力ライン９０１と視差なし画素出力ライン９０２とが一致するように設定される。

また、視差なし画素３００は、設けられているカラーフィルタの種類によっても、感度特性が若干異なる。そこで、例えば図２で説明したように視差画素４００に設けられたカラーフィルタがＧフィルタであれば、Ｇフィルタが設けられた視差なし画素の出力特性に合わせて増幅器４０４の増幅率を設定しても良い。すなわち、設けられたカラーフィルタの種類によって増幅器４０４の増幅率を設定しても良い。

図５（ｂ）は、カラーフィルタの種類に合わせた増幅率を説明する図である。単位時間当たりの光入力量がｑであるときの、Ｒフィルタが配された視差なし画素の出力をｒ_ｎ（ｑ）、視差Ｌｔ画素の出力をｒ_ｌ（ｑ）、視差Ｒｔ画素の出力をｒ_ｒ（ｑ）とすると、Ｒフィルタが配された視差Ｌｔ画素と視差Ｒｔ画素の増幅器４０４の増幅率α_Ｒとの間に以下の式が成立する。
ｒ_ｎ（ｑ）＝ｒ_ｌ（ｑ）×α_Ｒ＝ｒ_ｒ（ｑ）×α_Ｒ
同様に、単位時間当たりの光入力量がｑであるときの、Ｇフィルタが配された視差なし画素の出力をｇ_ｎ（ｑ）、視差Ｌｔ画素の出力をｇ_ｌ（ｑ）、視差Ｒｔ画素の出力をｇ_ｒ（ｑ）とすると、Ｇフィルタが配された視差Ｌｔ画素と視差Ｒｔ画素の増幅器４０４の増幅率α_Ｇとの間に以下の式が成立する。
ｇ_ｎ（ｑ）＝ｇ_ｌ（ｑ）×α_Ｇ＝ｇ_ｒ（ｑ）×α_Ｇ
同様に、単位時間当たりの光入力量がｑであるときの、Ｂフィルタが配された視差なし画素の出力をｂ_ｎ（ｑ）、視差Ｌｔ画素の出力をｂ_ｌ（ｑ）、視差Ｒｔ画素の出力をｂ_ｒ（ｑ）とすると、Ｂフィルタが配された視差Ｌｔ画素と視差Ｒｔ画素の増幅器４０４の増幅率α_Ｂとの間に以下の式が成立する。
ｂ_ｎ（ｑ）＝ｂ_ｌ（ｑ）×α_Ｂ＝ｂ_ｒ（ｑ）×α_Ｂ

以上のように各カラーフィルタの種類に合わせて増幅率αを設定すれば、後段の画像処理において、視差画素と視差なし画素の間で同一色としての取扱いが容易になる。詳しくは後述する。

次に、増幅器４０４とフォトダイオード４０１の受光領域との相対的な位置関係について説明する。図６は、基本格子１１０のレイアウトを概念的に示す図である。

基本格子１１０において視差なし画素３００は、上述の通り、Ｒフィルタが配された右上画素と、Ｂフィルタが配された左下画素である。視差なし画素３００は、撮像素子１００の受光面において一画素が占める単位画素領域の中央部に、フォトダイオード３０１の受光領域が設けられている。図においては、実線で示す正方形が受光領域としてのフォトダイオード領域を表す。転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５は、視差なし画素３００の単位画素領域内において、フォトダイオード領域の周辺部に設けられる。なお、フォトダイオード領域の周辺部は遮光膜で覆われており、被写体光束がこれらのトランジスタに直接入射することはない。

基本格子１１０において視差画素４００は、上述の通り、Ｇフィルタが配された左上画素と右下画素である。左上画素は、視差Ｒｔ画素５００であり、右下画素は、視差Ｌｔ画素６００である。

視差Ｒｔ画素５００は、単位画素領域の中央に対して右側に偏位した位置に、フォトダイオード５０１の受光領域が設けられている。図においては、実線で示す長方形が受光領域としてのフォトダイオード領域を表す。例えば、単位画素領域に対して、フォトダイオード３０１のフォトダイオード領域の右半分に相当する領域に、フォトダイオード５０１のフォトダイオード領域が設けられている。なお、フォトダイオード５０１の機能は、上述のフォトダイオード４０１の機能と同様である。

このようにフォトダイオード領域が設けられると、左半分の領域に余剰スペースが生じる。そこで、増幅器５０４を、この余剰スペースに配置する。なお、増幅器５０４の機能は、増幅器４０４の機能と同様である。

転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５は、視差Ｒｔ画素５００の単位画素領域内において、フォトダイオード領域と増幅器５０４の周辺部に設けられる。なお、フォトダイオード領域の周辺部は遮光膜で覆われており、被写体光束がこれらのトランジスタに直接入射することはない。

視差Ｌｔ画素６００は、単位画素領域の中央に対して左側に偏位した位置に、フォトダイオード６０１の受光領域が設けられている。図においては、実線で示す長方形が受光領域としてのフォトダイオード領域を表す。例えば、単位画素領域に対して、フォトダイオード３０１のフォトダイオード領域の左半分に相当する領域に、フォトダイオード６０１のフォトダイオード領域が設けられている。なお、フォトダイオード６０１の機能は、上述のフォトダイオード４０１の機能と同様である。

このようにフォトダイオード領域が設けられると、右半分の領域に余剰スペースが生じる。そこで、増幅器６０４を、この余剰スペースに配置する。なお、増幅器６０４の機能は、増幅器４０４の機能と同様である。

転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５は、視差Ｌｔ画素６００の単位画素領域内において、フォトダイオード領域と増幅器６０４の周辺部に設けられる。なお、フォトダイオード領域の周辺部は遮光膜で覆われており、被写体光束がこれらのトランジスタに直接入射することはない。

このように、余剰スペースを活用することにより、視差画素の出力信号を増幅するための増幅器を、視差画素みずからの単位画素領域内に設けることができる。

図７は、他のレイアウトの例を示す図である。図６を用いて説明したレイアウト例では、視差Ｒｔ画素５００、視差Ｌｔ画素６００のフォトダイオード５０１、６０１の受光領域であるフォトダイオード領域の大きさを、それぞれが受光する部分光束の入射範囲に合わせて形成した。そして、視差なし画素３００に対する感度差を、増幅器５０４、６０４により低減した。しかし、視差Ｒｔ画素５００、視差Ｌｔ画素６００のフォトダイオード領域は、視差なし画素３００のフォトダイオード領域よりも小さいので、その分少ない電荷により飽和してしまう。フォトダイオード５０１、６０１が飽和してしまうと、出力信号を増幅器５０４、６０４で増幅しても、光入力量に比例した正しい出力を得ることができない。そこで、フォトダイオード５０１、６０１のフォトダイオード領域を、受光する部分光束の入射範囲よりも大きくする。

視差Ｒｔ画素５００は、直上に設けられた開口マスクにより制限された部分光束を、受光領域５５１の範囲で受光する。受光領域５５１の範囲は、単位画素領域に対して、フォトダイオード３０１のフォトダイオード領域の右半分に相当する領域である。フォトダイオード５０１の受光領域であるフォトダイオード領域は、この受光領域５５１に対して広く設定されている。視差Ｌｔ画素６００は、直上に設けられた開口マスクにより制限された部分光束を、受光領域６５１の範囲で受光する。受光領域６５１の範囲は、単位画素領域に対して、フォトダイオード３０１のフォトダイオード領域の左半分に相当する領域である。フォトダイオード６０１の受光領域であるフォトダイオード領域は、この受光領域６５１に対して広く設定されている。このように、フォトダイオード領域を広く設定することにより、蓄積できる電荷量を増やすことができるので、より多くの光入力量に対して比例した増幅信号を得ることができる。すなわち、図５の視差画素出力ライン９０１との関係からいえば、より大きな光入力量まで比例関係が保たれることになる。なお、図７の例においては、フォトダイオード５０１、６０１のフォトダイオード領域以外のレイアウトは図６の例と同様である。

図８は、さらに他のレイアウトの例を示す図である。図６および図７のレイアウト例では、視差Ｒｔ画素５００の増幅器５０４は、同じ単位画素領域内に含まれるフォトダイオード５０１の出力信号を増幅する。同様に、視差Ｌｔ画素６００の増幅器６０４は、同じ単位画素領域内に含まれるフォトダイオード６０１の出力信号を増幅する。しかし、増幅率のより大きな増幅器、あるいはより精度の高い増幅器を形成したい場合には、同じ単位領域内に生じた余剰スペースでは、増幅器を形成する領域として不足することがある。

そこで、２画素×２画素の基本格子１１０において、視差Ｌｔ画素６００と視差Ｒｔ画素５００を隣り合わせて配置し、それぞれの単位領域で生じた余剰スペースを併合して利用する。すなわち、図示するように、左上画素を視差Ｌｔ画素６００、右上画素を視差Ｒｔ画素５００、左下画素をＲフィルタが配された視差なし画素３００、右下画素をＢフィルタが配された視差なし画素３００とする。左上画素の視差Ｌｔ画素６００では、フォトダイオード６０１のフォトダイオード領域は、単位領域において左側に偏位して配置されており、右上画素の視差Ｒｔ画素５００では、フォトダイオード５０１のフォトダイオード領域は、単位領域において右側に偏位して配置されている。したがって、２つのフォトダイオード領域に挟まれて、２つの単位領域に跨がる余剰領域が生じる。ここに、視差Ｌｔ画素６００と視差Ｒｔ画素５００に共通の増幅器７０４を配置する。

このように、比較的広い領域を利用できるので、増幅率のより大きな増幅器、あるいはより精度の高い増幅器を増幅器７０４として採用することができる。増幅器７０４は、シーケンシャルに、フォトダイオード５０１とフォトダイオード６０１の出力信号を増幅する。なお、図８の例においては、基本格子１１０における相対的な画素配列、増幅器７０４の配置以外のレイアウトは図７の例と同様である。

上述の例では、基本格子１１０として２画素×２画素を採用し、Ｇフィルタが配された画素を視差画素、ＲフィルタおよびＢフィルタが配された画素を視差なし画素とした。しかし、基本格子１１０の例は、これに限らない。図９は、他の基本格子１２０の例を説明する図である。

基本格子１２０は、４画素を基本単位とするベイヤー配列を、Ｙ軸方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。基本格子１２０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。図に示すように、視差画素は以下のように配列されている。
Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））

他の画素は視差なし画素であり、視差無し画素＋Ｒフィルタ、視差なし画素＋Ｇフィルタ、視差無し画素＋Ｂフィルタのいずれかである。撮像素子１００の全体でみた場合に、視差画素は、Ｇフィルタを有する第１群と、Ｒフィルタを有する第２群と、Ｂフィルタを有する第３群のいずれかに区分され、基本格子１２０には、それぞれの群に属する視差Ｌｔ画素および視差Ｒｔ画素が少なくとも１つは含まれる。図の例のように、これらの視差画素および視差なし画素が、基本格子１２０内においてランダム性を有して配置されると良い。ランダム性を有して配置されることにより、色成分ごとの空間分解能に偏りを生じさせることなく、視差画素の出力としてＲＧＢのカラー情報を取得することができるので、より高品質な視差画像データが得られる。なお、各画素の単位画素領域におけるレイアウトは、図６および図７の例が適用される。また、さらに他の例としての基本格子において、視差画素が左右に隣接する場合には、図８のレイアウトを適用することもできる。

上述の例においては、いわゆる４トランジスタ型画素構造を基本として、視差画素に増幅器４０４を追加した。しかし、ベースとする画素構造は、４トランジスタ型画素構造に限らず、例えば、いわゆる３トランジスタ型画素構造を採用することもできる。

図１０は、３トランジスタ型画素構造を基本とする、視差画素４００の回路構成を示す図である。３トランジスタ型画素構造は、４トランジスタ型画素構造に比べて主にＴＸ配線と転送トランジスタが省略された構造をなす。この場合においても、増幅器４０４は、増幅トランジスタ３０４の後段に設けられる。

次に、以上に説明した撮像素子１００から出力される画素信号を用いて２Ｄ画像データと視差画像データを生成する処理の概念を説明する。図１１は、２Ｄ画像データと視差画像データの生成処理の例を説明する図である。ここでは、図９を用いて説明した基本格子１２０を採用する撮像素子１００の出力信号を例に説明する。

基本格子１２０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、左右の視差画素をそれぞれ寄せ集めると、互いに視差を有する左右の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。図の左列は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を示す。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、同種のカラーフィルタを有する周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_４３、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_７４、Ｐ_５６、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。すなわち、公知のベイヤー補間を行って、各画素にＲＧＢデータの揃ったカラー画像データを生成する。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って画像処理を行う。

図の右列は、視差画素得データとしての２つのＧプレーンデータ、２つのＲプレーンデータおよび２つのＢプレーンデータの生成処理の例を示す。２つのＧプレーンデータは、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータであり、２つのＲプレーンデータは、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータであり、２つのＢプレーンデータは、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１２０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、基本格子１２０を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１２０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、基本格子１２０を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１２０には、Ｐ_２７の画素値が残る。この画素値を基本格子１２０の６４画素分の代表値とする。同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１２０には、Ｐ_６３の画素値が残る。この画素値を基本格子１２０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータが生成される。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１２０には、Ｐ_３２の画素値が残る。この画素値を基本格子１２０の６４画素分の代表値とする。同様に、ＢＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、基本格子１２０には、Ｐ_７６の画素値が残る。この画素値を基本格子１２０の６４画素分の代表値とする。このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータが生成される。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度と同等である。

ここで、仮に視差画素４００の出力信号を増幅する増幅器４０４が設けられていないとすれば、視差画素４００の出力信号レベルは、図５を用いて説明したように、視差なし画素３００の出力信号レベルに対して大幅に低下する。視差なし画素３００のフォトダイオード３０１の受光領域に対して、視差画素４００のフォトダイオード４０１の受光領域が半分であれば、その出力信号レベルも約半分になる。そこで、２Ｄ−ＲＧＢプレーンデータと、ＧＬｔプレーンデータ等の３Ｄプレーンデータの信号レベルを揃えるべく、デジタル空間において３Ｄプレーンデータの信号レベルを増幅する。

しかし、ＡＤ変換前の視差画素４００の出力信号レベルは小さいのでＡＤ変換時の量子化誤差の影響が大きく、ＡＤ変換後にデジタル空間で増幅を行うと、その量子化誤差分まで増幅されてしまう。一方、本実施形態のように視差画素４００の出力信号を増幅する増幅器４０４を設ければ、視差画素４００の出力信号レベルは、視差なし画素３００の出力信号レベルと同等であるので、デジタル空間での信号レベル調整が必要無い。しかも、視差なし画素３００の出力信号と同様にＡＤ変換器の入力レンジを広く利用することができるので、増幅器４０４を設けることは、量子化誤差の影響が低減できるだけで無く、総合的なＳＮ比向上にも寄与する。

図１２は、各プレーンの解像度の関係を示す概念図である。２Ｄ−ＲＧＢプレーンデータは、補間処理が施されることにより、実質的に撮像素子１００の有効画素と同じ画素数分の画素値を有する。ＧＬｔプレーンデータおよびＧＲｔプレーンデータは、補間処理が施されることにより、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／１６（＝１／４×１／４）の画素数分の画素値を有する。ＲＬｔプレーンデータ、ＲＲｔプレーンデータ、ＢＬｔプレーンデータおよびＢＲｔプレーンデータは、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／６４（＝１／８×１／８）の画素数分の出力値を有する。

このような各プレーンデータ間における解像度のバランスによれば、まず、解像度の高い２Ｄ画像を出力させることができる。そして、２Ｄ画像の情報を利用しつつ、視差画像データを用いて合成処理を施せば、３Ｄ画像についても解像感のある画像として出力させることができる。特に、増幅器４０４を設けることにより、３ＤプレーンデータのＳＮ比を２Ｄ−ＲＧＢプレーンデータのＳＮ比と同等にできるので、両者を共に用いる合成処理に有利である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、１１０ 基本格子、１２０ 基本格子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、３００ 視差なし画素、３０１ フォトダイオード、３０２ 転送トランジスタ、３０３ リセットトランジスタ、３０４ 増幅トランジスタ、３０５ 選択トランジスタ、３０６ リセット配線、３０７ ＴＸ配線、３０８ デコーダ配線、３０９ Ｖｄｄ配線、３１０ 出力配線、３１１ フローティングディフュージョン、３１２ 負荷電流源、４００ 視差画素、４０１ フォトダイオード、４０４ 増幅器、５００ 視差Ｒｔ画素、５０１ フォトダイオード、５０４ 増幅器、５５１ 受光領域、６００ 視差Ｌｔ画素、６０１ フォトダイオード、６０４ 増幅器、６５１ 受光領域、７０４ 増幅器、９０１ 視差画素出力ライン、９０２ 視差なし画素出力ライン

Claims (10)

1. 一画素が占める単位画素領域に第１フォトダイオード領域が設けられた第１画素と、前記単位画素領域に前記第１フォトダイオード領域よりも小さい第２フォトダイオード領域が設けられた第２画素とを含み、
   前記第２画素には、少なくとも一部が前記第２画素の前記単位画素領域に含まれるように、前記第１画素には設けられない増幅器が設けられた撮像素子。
2. 前記増幅器は、前記第１フォトダイオード領域と前記第２フォトダイオード領域の大きさの差に起因する感度差を低減するように動作する請求項１に記載の撮像素子。
3. 前記増幅器は、同一の前記単位画素領域に含まれる前記第２フォトダイオード領域の出力信号を増幅する請求項１または２に記載の撮像素子。
4. 前記第２画素として、画素中心に対して第１方向に偏位した前記第２フォトダイオード領域を有する第１偏位画素と、前記第１方向とは反対の第２方向に偏位した前記第２フォトダイオード領域を有する第２偏位画素とを含む請求項１から３のいずれか１項に記載の撮像素子。
5. 前記増幅器は、隣接する前記第１偏位画素の前記単位画素領域と前記第２偏位画素の前記単位画素領域に跨いで設けられた請求項４に記載の撮像素子。
6. 複数の前記第２画素は、それぞれ同一色のカラーフィルタを有する請求項１から５のいずれか１項に記載の撮像素子。
7. 前記第１画素と前記第２画素は、互いに異なるカラーフィルタを有する請求項１から６のいずれか１項に記載の撮像素子。
8. 前記第２画素は、第１カラーフィルタを有する第１群と、前記第１カラーフィルタと異色の第２カラーフィルタを有する第２群と、前記第１カラーフィルタおよび前記第２カラーフィルタと異色の第３カラーフィルタを有する第３群の少なくとも３群のいずれかに区分される請求項１から５のいずれか１項に記載の撮像素子。
9. 前記第２画素は、前記第２フォトダイオード領域よりも狭い範囲に入射光束を制限する開口マスクを有する請求項１から８のいずれか１項に記載の撮像素子。
10. 請求項１から９のいずれか１項に記載の撮像素子と、
    前記撮像素子を制御する撮像制御部と
    を備える撮像装置。

Images