JP2023089131A - 撮像素子、および撮像装置 - Google Patents

Abstract

【課題】使い勝手を向上させる裏面照射型撮像チップと信号処理チップとが積層された撮像素子及びそれを備えた撮像装置を提供する。【解決手段】撮像素子は、撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。撮像チップ、信号処理チップおよびメモリチップは積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。前記撮像チップは、４画素×４画素の１６画素が一つとなった複数の単位領域を形成し、一方の単位領域に１回の電荷蓄積を行わせている間に、他方の単位領域に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位領域間で異なるフレームレートで動画用の各フレームを出力する。【選択図】図１

Description

本発明は、撮像素子、および撮像装置に関する。

裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、積層型撮像素子という）を備えた電子機器が提案されている（特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。

日本国特開２００６－４９３６１号公報

しかしながら、従来の積層型撮像素子を備えた電子機器において、１または２以上の上記領域を有するブロックに画像を分けて、該ブロックごとに撮像画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分とはいえなかった。

発明の第１の態様による撮像素子は、光学系からの光が入射される半導体基板であって、光を電荷に変換する第１光電変換部と、光を電荷に変換する第２光電変換部とが行方向に沿って配置される第１半導体基板と、前記第１光電変換部で変換された電荷に基づく信号であって前記光学系の焦点調節に用いられる第１信号をデジタル信号に変換する第１変換部と、前記第２光電変換部で変換された電荷に基づく信号であって画像生成に用いられる第２信号をデジタル信号に変換する第２変換部とが配置される第２半導体基板とを備え、前記第１光電変換部で変換された電荷を蓄積する蓄積時間は、前記第２光電変換部で変換された電荷を蓄積する蓄積時間と異なる蓄積時間になるように制御される。
発明の２の態様による撮像装置は、上記に記載の撮像素子を備える。

本発明によれば、複数の本撮像前処理を精度よく行なえ、使い勝手のよい撮像装置を実現できる。

積層型撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 撮像チップの単位領域に対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 撮像装置の構成を例示するブロック図である。 撮像素子におけるAF領域およびAE領域の配置を例示する図である。 撮像素子におけるAF領域およびAE領域の配置を例示する図である。 撮像素子におけるAF領域およびAE領域の配置を例示する図である。 第一の実施形態の制御部が実行する撮影動作の流れを説明するフローチャートである。 第二の実施形態におけるAF領域およびAE領域と、ライブビュー画像との関係を説明する図である。 撮像素子に対する３つの設定を説明する図である。 第二の実施形態の制御部が実行する撮影動作の流れを説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
＜積層型撮像素子の説明＞
始めに、本発明の第一の実施形態による電子機器（例えば撮像装置１）に搭載する積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。図１は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図２は、撮像チップ１１３の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する４画素×４画素の１６画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下（例えば１画素）でもよい。

画素領域の部分拡大図に示すように、単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

図３は、撮像チップ１１３の単位領域１３１に対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述のように、単位領域１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々のトランジスタ３０５のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図３に示すように、本実施形態においては、単位領域１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素全てに対して同時に印加される。したがって、単位領域１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位領域１３１毎に別個に設けられる。

このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方の単位領域１３１に１回の電荷蓄積を行わせている間に、他方の単位領域１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位領域１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。

図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位領域１３１を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、単位領域１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜撮像装置の説明＞
図５は、上述した撮像素子１００を有する撮像装置１の構成を例示するブロック図である。図５において、撮像装置１は、撮像光学系１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、記録部６０、および制御部７０を有する。

撮像光学系１０は、複数のレンズから構成され、被写界からの光束を撮像部２０へ導く。撮像光学系１０は、撮像装置１と一体に構成されていても、撮像装置１に対して交換可能に構成されていてもよい。また、撮像光学系１０には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。

撮像部２０は、上述した撮像素子１００と、撮像素子１００を駆動する駆動部２１とを有する。撮像素子１００は、駆動部２１から出力される制御信号によって駆動制御されることにより、上述したブロック単位で独立した蓄積制御が可能である。駆動部２１に対する上記ブロックの位置や形状、その範囲などの指示は、制御部７０が行う。

画像処理部３０は、ワークメモリ４０と協働して、撮像部２０で撮像された画像データに対する画像処理を行う。本実施形態において、画像処理部３０は、通常の画像処理（色信号処理、ガンマ補正など）に加えて、画像に含まれる主要被写体の検出処理も行う。画像処理部３０による主要被写体の検出は、公知の顔検出機能を用いて行うことができる。また、顔検出に加えて、例えば日本国特開2010-16621号公報（US2010/0002940号）に記載されているように、画像に含まれる人体を主要被写体として検出するようにしてもよい。

ワークメモリ４０は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する。表示部５０は、例えば液晶表示パネル５１によって構成され、撮像部２０で撮像された画像（静止画や動画）や各種情報を表示したり、操作入力用画面を表示したりする。表示部５０は、液晶表示パネル５１の表示面にタッチパネル５２が積層された構成を有する。タッチパネル５２は、液晶表示パネル５１にユーザが触れた位置を示す信号を出力する。

記録部６０は、メモリカードなどの記憶媒体に画像データなどの各種データを記憶させる。制御部７０はＣＰＵを有し、撮像装置１による全体の動作を制御する。本実施形態において制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面を複数のブロックに分け、ブロック間において異なるフレームレート、ゲインで画像を取得させる。このために制御部７０は、ブロックの位置、形状、範囲、および各ブロック用の制御パラメータを駆動部２１へ指示する。

また、制御部７０は、撮像光学系１０による焦点調節状態をＡＦ演算部７１により算出する。制御部７０はさらに、適正露出が得られるようにＡＥ、ＡＷＢ演算部７２で露出演算を行う。

＜ＡＦ領域とＡＥ領域＞
第一の実施形態では、画面内にＡＦ領域とＡＥ領域という概念を導入し、上記複数のブロックに対応させる。図６は、撮像素子１００（撮像チップ１１３）におけるＡＦ領域およびＡＥ領域の配置を例示する図である。図６において、斜線を付した部分がＡＥ領域を表し、白い部分がＡＦ領域を表す。第一の実施形態では、ＡＦ領域およびＡＥ領域を市松模様状に配置するようにあらかじめ定めておく。制御部７０は、例えばライブビュー画像取得時において、撮像素子１００のＡＦ領域から出力される信号を用いて、ＡＦ演算部７１で焦点検出処理を行う。

ここで、ライブビュー画像は、本撮像が行われる前のプレビュー画像とも呼ばれ、撮像素子１００によって所定のフレームレート（例えば３０ｆｐｓ）で取得されるモニタ用の画像をいう。焦点検出処理は、例えばコントラスト検出方式により行う。具体的には、撮像光学系１０のフォーカスレンズの位置を移動させながら、AF領域から出力される信号で構成される画像のコントラストを高めるように撮像光学系１０のフォーカスレンズの位置を調節する。

なお、焦点検出処理を、位相差検出方式によって行う構成にしてもよい。この場合には、撮像素子１００（撮像チップ１１３）におけるＡＦ領域内において、焦点検出用の画素を設けておく。そして、焦点検出用の画素からの出力信号を用いて位相差検出演算を行うことにより、撮像光学系１０による焦点調節状態（具体的にはデフォーカス量）を検出する。焦点検出用の画素および位相差検出演算は、例えば日本国特開２００９－９４８８１号公報に記載されるように公知であるため、詳細な説明を省略する。

また、制御部７０は、上記ライブビュー画像取得時においてAE領域から出力される信号を用いて、ＡＥ、ＡＷＢ演算部７２で露出演算処理を行う。ＡＥ、ＡＷＢ演算部７２は、例えばAE領域から出力される信号の平均的なレベルを所定のレベルへ近づけるように、露出（フレームレート、ゲイン等）を決定する。制御部７０はさらに、AE領域から出力される信号に基づいてホワイトバランス調整値も決定する。さらにまた、制御部７０は、AE領域から出力される信号に基づいてモニタ用の画像を生成し、上記ライブビュー画像として表示部５０に表示させる。

制御部７０は、ライブビュー画像を取得する際、撮像素子１００（撮像チップ１１３）をAF領域とAE領域とに分けて蓄積制御するように、駆動部２１へ指示を送る。なお、第一の実施形態においてAF領域およびAE領域に分けて蓄積制御するのは、不図示のレリーズスイッチによる本撮像（静止画記録や動画記録）指示が行われる前とする。

すなわち、本撮像指示が行われるまでは、AF領域とAE領域とで異なる制御パラメータを適用することによって異なる画像を得る。そして、AF領域から取得された画像に基づいて焦点検出処理を行い、AE領域から取得された画像に基づいて露出演算、ホワイトバランス演算、およびライブビュー画像の表示を行う。

AF領域に対する本撮像前処理である制御パラメータは、例えばフレームレートを１２０ｆｐｓとし、ゲインをAE領域のゲインを高くする。AE領域に対する本撮像前処理である制御パラメータは、例えばフレームレートをAF領域より低速の３０ｆｐｓとし、ゲインをAF領域のゲインより低くする。このように、AF領域においてAE領域に比べて高いフレームレートを適用して焦点検出処理に用いる画像を取得することで、焦点検出処理の応答性をよくすることができる。また、AE領域のゲインをAF領域のゲインより低くして露出演算処理、ホワイトバランス調整値の決定に用いる画像を取得することで、ノイズの影響を避けて精度のよい演算を行える。

なお、撮像素子１００（撮像チップ１１３）におけるAF領域およびAE領域の配置は、図６に例示した配置に限らず、AF領域およびAE領域の個々の大きさを適宜変更してもよい。図７に例示するように、図６の場合に比べて小さく変更してもよいし、図６の場合に比べて大きく変更してもよい。

また、AF領域およびAE領域の大きさを変更するだけでなく、図８に例示するように、AF領域とAE領域との面積比率を適宜変更してもよい。図８は、AF領域の面積に比べてAE領域の面積を広くとり、両者の面積比率を変更した場合を例示する図である。前述したライブビュー画像は、撮像素子１００の画素の一部を間引いて生成されるため、例えば、間引かれた画素分に対応してＡＦ領域を設定し、ライブビュー画像の画素分に対応してＡＥ領域を設定すればライブビュー画像の画質が劣化することがない。なお、AF領域を画面の中央部など所定位置のみに配置したい場合には、AF領域を所定の大きさで、画面の所定位置のみに配置させても構わない。

＜フローチャートの説明＞
図９は、第一の実施形態において、撮像装置１の制御部７０が実行する撮影動作の流れを説明するフローチャートである。制御部７０は、不図示のON-OFFスイッチがオン操作され、撮像装置１の各部に対して通電が行われている場合に、図９による処理を繰り返し起動させる。図９のステップＳ１０１において、制御部７０は、AF領域およびAE領域用のフレームレート、ゲインなどの制御パラメータをそれぞれ決定してステップＳ１０２へ進む。例えば、後述するステップＳ１０２、Ｓ１０４、Ｓ１０５において適用する値を、プログラムデータから読み出して用意しておく。

ステップＳ１０２において、制御部７０は駆動部２１へ指示を送り、撮像部２０による撮像を開始させる。ステップＳ１０２で開始する画像の取得は、例えば撮像素子１００の撮像面の略全域をAE領域として、AE領域用の制御パラメータを設定して行う。制御部７０は、撮像部２０から出力される信号に基づくライブビュー画像データを画像処理部３０により画像処理させた後、表示部５０に表示させる。

ステップＳ１０３において、制御部７０は、レリーズ半押し操作されたか否かを判定する。レリーズ半押し操作は、撮像装置１に対して本撮像前処理（撮影準備）を開始させる指示として用いられる。制御部７０は、不図示のレリーズボタンが半押し操作された場合に、ステップＳ１０３を肯定判定してステップＳ１０４へ進み、半押し操作が行われない場合には、ステップＳ１０３を否定判定して当該判定処理を繰り返す。判定処理を繰り返す場合は、レリーズ半押し操作が行われるのを待つ。

なお、撮像装置１にレリーズボタンを設けずに、液晶表示パネル５１に表示させたレリーズアイコンに対するタップ操作を検出して本撮像指示を判断する場合には、ステップＳ１０３の処理を省略してもよい。この場合の制御部７０は、電源オンして図９による処理を起動後、ステップＳ１０２の撮像開始時から後述するステップＳ１０４およびＳ１０５の処理を行い、図６に例示したように、あらかじめ定めておいたAF領域とAE領域とで異なる制御パラメータ（フレームレート、ゲイン）を適用する。また、動画撮像の開始と終了とを指示する動画スイッチを電子機器１に設けた場合にも、制御部７０は、レリーズアイコンに対するタップ操作と同じような処理をしてもよく、また、動画スイッチがオンされた後の数秒の間に本撮像前処理（撮影準備）を行うようにしてもよい。

ステップＳ１０４において、制御部７０は駆動部２１へ指示を送り、撮像素子１００のAF領域にAF領域用のフレームレート、ゲインなどの制御パラメータを適用させる。ステップＳ１０５において、制御部７０は駆動部２１へ指示を送り、撮像素子１００のAE領域にAE領域用のフレームレート、ゲインなどの制御パラメータを適用させる。これにより、制御部７０は、AE領域から上記フレームレートで出力される信号に基づいて、制御パラメータの微調整と、ホワイトバランス調整値の決定と、ライブビュー画像の表示とを行う。

ステップＳ１０６において、制御部７０はＡＦ処理を開始させる。具体的には、ＡＦ演算部７１により、AF領域から出力される信号に基づいて焦点検出処理を開始させてステップＳ１０７へ進む。これにより、AF領域から上記フレームレートで出力される信号に基づいて撮像光学系１０の焦点調節を行える。

ステップＳ１０７において、制御部７０はＡＦ処理が終了か否かを判定する。制御部７０は、例えばAF領域から得られる画像のコントラストが所定値以上の場合にステップＳ１０７を肯定判定し、AF領域から得られる画像のコントラストが所定値に満たない場合にはステップＳ１０７を否定判定する。否定判定する場合は、焦点検出処理を継続しながら当該判定処理を繰り返す。

ステップＳ１０８において、制御部７０は、焦点調節後にAE領域から出力される信号に基づいて、撮影時に適用する露出条件、ホワイトバランス調整値をＡＥ、ＡＷＢ演算部７２で算出させてステップＳ１０９へ進む。

ステップＳ１０９において、制御部７０は、レリーズ全押し操作されたか否かを判定する。レリーズ全押し操作は、撮像装置１に対する本撮像指示として用いられる。制御部７０は、不図示のレリーズボタンが全押し操作された場合に、ステップＳ１０９を肯定判定してステップＳ１１０へ進み、全押し操作が行われない場合には、ステップＳ１０９を否定判定してステップＳ１０８へ戻る。ステップＳ１０８へ戻る場合は、上述した処理を繰り返す。なお、制御部７０は、不図示のレリーズボタンが全押し操作された場合にＡＦ領域の制御パラメータおよびＡＥ領域の制御パラメータによる撮像部２０の撮像を解除する。

なお、上述したように、液晶表示パネル５１に表示させたレリーズアイコンに対するタップ操作を検出して本撮像指示を判断する場合には、表示中のレリーズアイコンがタップ操作された場合にステップＳ１０９を肯定判定すればよい。

ステップＳ１１０において、制御部７０は駆動部２１へ指示を送り、ステップＳ１０８において算出した撮影用（本撮像）の露出条件に必要な制御パラメータ（露光時間、ゲインなど）を設定してステップＳ１１１へ進む。

ステップＳ１１１において、制御部７０は撮影処理を実行し、取得された画像のデータを記録部６０によってメモリカードなどに記憶させて図９による処理を終了させる。撮影処理では、撮像素子１００の全領域で共通（同じ）に設定した撮影用の制御パラメータを適用して、１コマの静止画像を取得（本撮像）、記録するとともに、静止画像を取得した後も複数フレームの画像を取得する。なお、制御部７０は、被写界の一部に高輝度被写体がある場合に、高輝度被写体に対応した画素の撮像条件を変えるようにしても構わない。そして、レリーズ全押し操作の前後所定時間の間に取得した複数フレームの画像に基づいて、スロー再生動画データを生成、記録する。スロー再生動画データは、撮像素子１００で取得した際のフレームレート（例えば３０ｆｐｓ）より遅いフレームレート（例えば１５ｆｐｓ）で再生する動画像のデータをいう。

制御部７０は、以下のようにスロー再生動画データを生成する。すなわち、レリーズ全押し操作時刻（ｔ１とする）より第１所定時間前（例えば０．６秒前）から時刻ｔ１までに、上述したライブビュー画像の表示のためにワークメモリ４０に一時的に記憶されたAE領域に基づく複数のフレーム画像（フレームレートはAE領域に設定されていたフレームレートとする。例えば３０ｆｐｓで取得された場合の０．６秒分は１８フレームである）、および時刻ｔ１から時刻ｔ１より第２所定時間後（例えば０．４秒後）までにワークメモリ４０に記憶された複数のフレーム画像（フレームレートは本撮像指示前にAE領域に設定されていたフレームレートと同じとする。例えば３０ｆｐｓで取得された場合の０．４秒分は１２フレームである）に基づいて、スロー再生動画データを生成する。これにより、時刻ｔ１を挟む１秒間（時刻ｔ１の０．６秒前から時刻ｔ１の０．４秒後）にワークメモリ４０に記憶された複数のフレーム画像（計３０枚）に基づいて、再生時間が約２秒間のスロー再生動画データを生成する。このように、レリーズ全押し操作前後に取得したフレーム画像に基づくスロー再生動画データが得られる。なお、スロー再生動画データは、画像処理部３０によりMPEGデータまたはJPEGデータとして生成される。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）撮像装置１は、露出演算処理に用いる信号と焦点調節状態の検出に用いる信号とをそれぞれ適切なレベルで得られるから、露出演算や焦点調節をすみやかに精度よく行ない得る。この結果、使い勝手のよい電子機器を実現できる。

（２）制御部７０は、不図示のレリーズスイッチの全押しに応じて、ＡＦ領域の制御パラメータおよびＡＥ領域の制御パラメータによる撮像部２０の撮像を解除し、本撮像に適した撮像条件で撮像部２０を駆動するので、より良い静止画・動画を得ることができる。

（３）制御部７０は、第２領域において第１領域に比べて高いフレームレートを適用して焦点検出処理に用いる信号を取得することで、焦点検出処理の応答性をよくすることができる。

（４）制御部７０は、第１領域のゲイン設定を第２領域に比べて低いゲイン設定にして露出演算処理を行うので、ノイズの影響を抑えた精度よい演算を行うことができる。

（５）制御部７０が、第１領域および第２領域をあらかじめ決めた場合には、画面内の決まった位置を基準に露出を決めたり、画面内の決まった位置を基準に焦点調節を行ったりすることができる。

（第二の実施形態）
上述した第一の実施形態では、撮像素子１００（撮像チップ１１３）におけるAF領域とAE領域の配置をあらかじめ定めておく例を説明したが、第二の実施形態では、撮像素子１００（撮像チップ１１３）におけるAF領域とAE領域の配置を、ライブビュー画像に基づくシーン認識を経て決定する。なお、撮像装置１の構成は第一の実施形態において説明した図５の構成と同様であるので、構成についての説明は省略する。

図１０は、第二の実施形態におけるAF領域およびAE領域と、ライブビュー画像との関係を説明する図である。図１０において、ライブビュー画像の画面中央手前に人物が含まれ、ライブビュー画像の画面左上部に樹木が含まれ、ライブビュー画像の画面右上部に太陽が含まれている。制御部７０は画像処理部３０へ指示を送り、ライブビュー画像データに対して公知のシーン認識処理を行わせる。画像処理部３０は、シーン認識処理を行うことにより、ライブビュー画像から高輝度領域Ａ、主要被写体領域Ｂ、および背景領域Ｃを抽出する。

画像処理部３０は、例えば、ライブビュー画像データの信号レベルがあらかじめ定めた高輝度閾値を超えている範囲を高輝度領域Ａとする。また、画像処理部３０は、上述したように検出した人体を含む範囲を主要被写体領域Ｂとする。なお、人物に限らずペットなどの動物を検出し、この動物を含む範囲を主要被写体領域Ｂとしてもよい。画像処理部３０はさらに、高輝度領域Ａおよび主要被写体領域Ｂを除外した位置においてエッジ検出を行い、検出されたエッジの密度が所定値を超える範囲を背景領域Ｃとする。なお、ライブビュー画像のデータに高輝度閾値を超えるデータが存在しない場合は、高輝度領域Ａはないものとする。

制御部７０は、上記主要被写体領域Ｂにおいて、例えばAF領域およびAE領域を市松模様状に配置する。図１０において、主要被写体領域Ｂ内で斜線を付した部分がAE領域を表し、白い部分がAF領域を表す。ここで、主要被写体領域Ｂ内におけるAF領域およびAE領域の配置は、図１０に例示した配置に限らず、AF領域およびAE領域の個々の大きさを適宜変更してもよい。また、AF領域およびAE領域の大きさを変更するだけでなく、ＡＥ領域の面積がＡＦ領域の面積よりも大きくなるように面積比率を適宜変更してもよい。さらにまた、AF領域を主要被写体領域Ｂ内の中央部など所定位置のみに配置したい場合には、AF領域を所定の大きさで、所定位置のみに配置させても構わない。また、制御部７０は、AF領域およびAE領域の一部が主要被写体領域Ｂからはみ出るようにAF領域およびAE領域を配置しても構わない。

また、制御部７０は、上記背景領域Ｃ内をAE領域とする。図１０において、背景領域Ｃ内で斜線を付した部分はAE領域を表す。さらにまた、制御部７０は、高輝度閾値を超えている部分（図１０の例では高輝度領域Ａ）についてはAF領域およびAE領域を定めない。図１０において、高輝度領域Ａ内で縦線を付した部分はAF領域でもAE領域でもないことを表す。

第二の実施形態における制御部７０は、ライブビュー画像の画面において高輝度領域Ａと、主要被写体領域Ｂと、背景領域Ｃのいずれにも属さない部分（図１０において白地部分）とを、それぞれAE領域とする。

第二の実施形態では、ライブビュー画像を取得する際に、撮像素子１００（撮像チップ１１３）に対して３つの設定を行う。図１１は、３つの設定を説明する図である。設定１は、高輝度領域Ａ（すなわちAF領域でもAE領域でもない）に対し、例えばフレームレートを高めてゲインを下げるなどして、出力信号が飽和しないように高輝度に適した制御パラメータ（フレームレート、ゲインなど）を設定することを示す。

設定２は、主要被写体領域ＢにおけるAF領域に対し、第一の実施形態と同様に、焦点検出処理に適した制御パラメータ（フレームレート、ゲインなど）を設定すること、および主要被写体領域ＢにおけるAE領域に対し、第一の実施形態と同様に、露出演算処理に適した制御パラメータ（フレームレート、ゲインなど）を設定することを示す。

設定３は、背景領域Ｃと、高輝度領域Ａにも主要被写体領域Ｂにも属さない部分（図１０において白地部分）とに対して、上記主要被写体領域ＢにおけるAE領域と同じく、露出演算処理に適した制御パラメータ（フレームレート、ゲインなど）を設定することを示す。

制御部７０は、駆動部２１へ指示を送り、撮像素子１００（撮像チップ１１３）に対して上記３つの設定を行わせる。これにより、撮像素子１００（撮像チップ１１３）は、ライブビュー画像を取得する際、AF領域と、AE領域と、AF領域でもAE領域でもない領域とにおいて、それぞれ異なる制御パラメータ（フレームレート、ゲインなど）で蓄積制御される。このように蓄積制御されるのは、例えば、画像処理部３０によるシーン認識後から、本撮像指示が行われるまでとする。

すなわち、本撮像指示が行われる前は、AF領域と、AE領域と、AF領域でもAE領域でもない領域とで異なる制御パラメータを適用することによって異なる画像を得る。そして、AF領域から取得された画像に基づいて焦点検出処理を行い、AE領域から取得された画像に基づいて露出演算、およびホワイトバランス演算を行い、AE領域で取得された画像と、AF領域でもAE領域でもない領域とで取得された画像に基づいてライブビュー画像の表示を行う。

AF領域に対する制御パラメータは、例えばフレームレートを１２０ｆｐｓとし、ゲインをAE領域のゲインを高くする。AE領域に対する制御パラメータは、例えばフレームレートをAF領域より低速の３０ｆｐｓとし、ゲインをAF領域のゲインより低くする。AF領域においてAE領域に比べて高いフレームレートを適用して焦点検出処理に用いる画像を取得するのは、焦点検出処理の応答性をよくするためである。また、AE領域のゲインをAF領域のゲインより低くして露出演算処理、ホワイトバランス調整値の決定に用いる画像を取得するのは、ノイズの影響を避けて精度のよい演算を行うためである。

AF領域でもAE領域でもない領域に対する制御パラメータは、例えばフレームレートを６０ｆｐｓとし、ゲインをAE領域より低くする。これにより、いわゆる白飛びが生じるような高輝度な被写体像も、白飛びさせず取得できる。

＜フローチャートの説明＞
図１２は、第二の実施形態において、撮像装置１の制御部７０が実行する撮影動作の流れを説明するフローチャートである。図９に例示した第一の実施形態におけるフローチャートと比べて、ステップＳ１０４Ｂおよび１０５Ｂの処理が異なるので、これらの相違点を中心に説明する。

図１２のステップＳ１０２で開始された画像の取得は、図９の場合と同様に、撮像素子１００の撮像面の略全域をAE領域として、AE領域用の制御パラメータを設定して行われる。制御部７０は、上記設定により撮像部２０から出力される信号に基づくライブビュー画像データをシーン認識対象とする。ステップＳ１０４Ｂにおいて、制御部７０は画像処理部３０に指示を送り、上記ライブビュー画像データに対して公知のシーン認識処理を行わせる。画像処理部３０は、シーン認識処理を行うことにより、上述したように高輝度領域Ａ、主要被写体領域Ｂ、および背景領域Ｃに分割する。

ステップＳ１０５Ｂにおいて、制御部７０は駆動部２１へ指示を送り、分割領域別に上述した３つの設定を行わせる。これにより、AF領域と、AE領域と、AF領域でもAE領域でもない領域とで異なる制御パラメータを適用することによって異なる画像を得る。制御部７０は、AE領域から取得された画像に基づいて、制御パラメータの微調整と、ホワイトバランス調整値の決定とを行える。また、AE領域で取得された画像と、AF領域でもAE領域でもない領域とで取得された画像とに基づいてライブビュー画像の表示を行える。

以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）撮像装置１は、画面の中で露出演算の対象とする位置、および焦点調節の対象とする位置を、シーン解析結果に基づいて可変することができる。

（２）制御部７０は、上記画像のうち画像処理部３０によって主要被写体を含むと判断された範囲内に第１領域および第２領域をそれぞれ定めるようにしたので、画面内で主要被写体を対象に露出を決め、主要被写体を対象に焦点調節を行い得る。

（３）制御部７０は、上記画像のうち画像処理部３０によって判断された上記範囲の外に第１領域を定めるようにしたので、主要被写体以外の背景についても露出演算の対象に含め得る。

（４）制御部７０は、上記画像のうち、所定輝度を超える領域とは別の領域に範囲に１領域および第２領域を設定したので、例えば撮像部２０からの信号が飽和した場合には、これらを露出演算の対象や焦点調節の対象から除くことができる。

（変形例１）
上述した第一の実施形態および第二の実施形態に係る撮像装置１を、高機能携帯電話機、またはタブレット端末によって構成してもよい。この場合、高機能携帯電話機（またはタブレット端末）に搭載されるカメラユニットを、上記積層型撮像素子１００を用いて構成する。

（変形例２）
上述した説明では、AE領域から取得された画像に基づいて、制御パラメータの微調整と、ホワイトバランス調整値の決定とを行う例を説明した。この代わりに、AF領域およびAE領域と別にＡＷＢ領域を新たに設けてもよい。そして、撮像素子１００（撮像チップ１１３）を、ライブビュー画像を取得する際、AF領域と、AE領域と、ＡＷＢ領域とにおいてそれぞれ異なる制御パラメータ（フレームレート、ゲインなど）で蓄積制御する。

変形例２において制御部７０は、AF領域から取得された画像に基づいて焦点検出処理を行う。制御部７０は、ホワイトバランス調整値の決定を、ＡＷＢ領域から取得された画像に基づいて行う。制御パラメータの微調整については、AE領域から取得された画像に基づいて行う。また、ライブビュー画像の表示については、AE領域で取得された画像と、AF領域でもAE領域でもない領域とで取得された画像とに基づいて行う。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。各実施形態および各変形例の構成は、適宜組み合わせても構わない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。各フローチャートの処理順番を適宜入れ替えることも可能である。

１…撮像装置
１０…撮像光学系
２０…撮像部
３０…画像処理部
４０…ワークメモリ
５０…表示部
５１…液晶表示パネル
５２…タッチパネル
６０…記録部
７０…制御部
７１…ＡＦ演算部
７２…ＡＥ、ＡＷＢ演算部
１００…撮像素子
１０９…バンプ
１１１…信号処理チップ
１１２…メモリチップ
１１３…撮像チップ
１３１…単位領域

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１３年第０３７６１７号（２０１３年２月２７日出願）

Claims (34)

1. 光学系からの光が入射される半導体基板であって、光を電荷に変換する第１光電変換部と、光を電荷に変換する第２光電変換部とが行方向に沿って配置される第１半導体基板と、
   前記第１光電変換部で変換された電荷に基づく信号であって前記光学系の焦点調節に用いられる第１信号をデジタル信号に変換する第１変換部と、前記第２光電変換部で変換された電荷に基づく信号であって画像生成に用いられる第２信号をデジタル信号に変換する第２変換部とが配置される第２半導体基板と
   を備え、
   前記第１光電変換部で変換された電荷を蓄積する蓄積時間は、前記第２光電変換部で変換された電荷を蓄積する蓄積時間と異なる蓄積時間になるように制御される撮像素子。
2. 請求項１に記載の撮像素子において、
   前記第１光電変換部で変換された電荷を蓄積する蓄積時間は、前記第２光電変換部で変換された電荷を蓄積する蓄積時間よりも短くなるように制御される撮像素子。
3. 請求項１または請求項２に記載の撮像素子において、
   前記第２半導体基板に接続される半導体基板であって、前記第１変換部でデジタル信号に変換された前記第１信号を記憶するための第１記憶部と、前記第２変換部でデジタル信号に変換された前記第２信号を記憶するための第２記憶部とが配置される第３半導体基板を備える撮像素子。
4. 請求項１から請求項３のいずれか一項に記載の撮像素子において、
   前記第１信号を前記第１変換部に出力するための第１信号線と、
   前記第２信号を前記第２変換部に出力するための第２信号線と
   を備える撮像素子。
5. 請求項１から請求項４のいずれか一項に記載の撮像素子において、
   前記第１光電変換部で変換された電荷を蓄積する蓄積時間を制御するための制御信号が出力される第１制御線と、
   前記第２光電変換部で変換された電荷を蓄積する蓄積時間を制御するための制御信号が出力される第２制御線と
   を備える撮像素子。
6. 請求項５に記載の撮像素子において、
   前記第１光電変換部で変換された電荷を転送するための第１転送部と、
   前記第２光電変換部で変換された電荷を転送するための第２転送部と
   を備え、
   前記第１転送部は、前記第１制御線に接続され、
   前記第２転送部は、前記第２制御線に接続される撮像素子。
7. 請求項６に記載の撮像素子において、
   前記第１転送部と前記第２転送部とは、前記第１半導体基板に配置される撮像素子。
8. 請求項１に記載の撮像素子において、
   前記第１半導体基板は、
   光を電荷に変換する第３光電変換部と、
   光を電荷に変換する第４光電変換部と
   が配置され、
   前記第３光電変換部は、前記行方向において前記第１光電変換部の隣に配置され、
   前記第４光電変換部は、前記行方向において前記第２光電変換部の隣に配置され、
   前記第３光電変換部で変換された電荷を蓄積する蓄積時間は、前記第４光電変換部で変換された電荷を蓄積する蓄積時間と異なる蓄積時間になるように制御される撮像素子。
9. 請求項８に記載の撮像素子において、
   前記第１光電変換部で変換された電荷を蓄積する蓄積時間は、前記第２光電変換部で変換された電荷を蓄積する蓄積時間よりも短くなるように制御され、
   前記第３光電変換部で変換された電荷を蓄積する蓄積時間は、前記第４光電変換部で変換された電荷を蓄積する蓄積時間よりも短くなるように制御される撮像素子。
10. 請求項８または請求項９に記載の撮像素子において、
    前記第１変換部は、前記第３光電変換部で変換された電荷に基づく第３信号をデジタル信号に変換し、
    前記第２変換部は、前記第４光電変換部で変換された電荷に基づく第４信号をデジタル信号に変換する撮像素子。
11. 請求項１０に記載の撮像素子において、
    前記第２半導体基板に接続される半導体基板であって、前記第１変換部でデジタル信号に変換された前記第１信号を記憶するための第１記憶部と、前記第２変換部でデジタル信号に変換された前記第２信号を記憶するための第２記憶部と、前記第１変換部でデジタル信号に変換された前記第３信号を記憶するための第３記憶部と、前記第２変換部でデジタル信号に変換された前記第４信号を記憶するための第４記憶部とが配置される第３半導体基板を備える撮像素子。
12. 請求項１０または請求項１１に記載の撮像素子において、
    前記第１信号と前記第３信号とを前記第１変換部に出力するための第１信号線と、
    前記第２信号と前記第４信号とを前記第２変換部に出力するための第２信号線と
    を備える撮像素子。
13. 請求項８から請求項１２のいずれか一項に記載の撮像素子において、
    前記第１光電変換部で変換された電荷を蓄積する蓄積時間と、前記第３光電変換部で変換された電荷を蓄積する蓄積時間とを制御するための制御信号が出力される第１制御線と、
    前記第２光電変換部で変換された電荷を蓄積する蓄積時間と、前記第４光電変換部で変換された電荷を蓄積する蓄積時間とを制御するための制御信号が出力される第２制御線と
    を備える撮像素子。
14. 請求項１３に記載の撮像素子において、
    前記第１光電変換部で変換された電荷を転送するための第１転送部と、
    前記第２光電変換部で変換された電荷を転送するための第２転送部と、
    前記第３光電変換部で変換された電荷を転送するための第３転送部と、
    前記第４光電変換部で変換された電荷を転送するための第４転送部と
    を備え、
    前記第１転送部と前記第３転送部とは、前記第１制御線に接続され、
    前記第２転送部と前記第４転送部とは、前記第２制御線に接続される撮像素子。
15. 請求項１４に記載の撮像素子において、
    前記第１転送部、前記第２転送部、前記第３転送部および前記第４転送部は、前記第１半導体基板に配置される撮像素子。
16. 請求項８に記載の撮像素子において、
    前記第１半導体基板は、
    光を電荷に変換する第５光電変換部と、
    光を電荷に変換する第６光電変換部と
    が配置され、
    前記第５光電変換部は、列方向において前記第１光電変換部の隣に配置され、
    前記第６光電変換部は、前記列方向において前記第２光電変換部の隣に配置され、
    前記第５光電変換部で変換された電荷を蓄積する蓄積時間は、前記第６光電変換部で変換された電荷を蓄積する蓄積時間と異なる蓄積時間になるように制御される撮像素子。
17. 請求項１６に記載の撮像素子において、
    前記第１光電変換部で変換された電荷を蓄積する蓄積時間は、前記第２光電変換部で変換された電荷を蓄積する蓄積時間よりも短くなるように制御され、
    前記第３光電変換部で変換された電荷を蓄積する蓄積時間は、前記第４光電変換部で変換された電荷を蓄積する蓄積時間よりも短くなるように制御され、
    前記第５光電変換部で変換された電荷を蓄積する蓄積時間は、前記第６光電変換部で変換された電荷を蓄積する蓄積時間よりも短くなるように制御される撮像素子。
18. 請求項１６または請求項１７に記載の撮像素子において、
    前記第１変換部は、前記第３光電変換部で変換された電荷に基づく第３信号と、前記第５光電変換部で変換された電荷に基づく第５信号とをデジタル信号に変換し、
    前記第２変換部は、前記第４光電変換部で変換された電荷に基づく第４信号と、前記第６光電変換部で変換された電荷に基づく第６信号とをデジタル信号に変換する撮像素子。
19. 請求項１８に記載の撮像素子において、
    前記第２半導体基板に接続される半導体基板であって、前記第１変換部でデジタル信号に変換された前記第１信号を記憶するための第１記憶部と、前記第２変換部でデジタル信号に変換された前記第２信号を記憶するための第２記憶部と、前記第１変換部でデジタル信号に変換された前記第３信号を記憶するための第３記憶部と、前記第２変換部でデジタル信号に変換された前記第４信号を記憶するための第４記憶部と、前記第１変換部でデジタル信号に変換された前記第５信号を記憶するための第５記憶部と、前記第２変換部でデジタル信号に変換された前記第６信号を記憶するための第６記憶部とが配置される第３半導体基板を備える撮像素子。
20. 請求項１８または請求項１９に記載の撮像素子において、
    前記第１信号、前記第３信号および前記第５信号を前記第１変換部に出力するための第１信号線と、
    前記第２信号、前記第４信号および前記第６信号を前記第２変換部に出力するための第２信号線と
    を備える撮像素子。
21. 請求項１６から請求項２０のいずれか一項に記載の撮像素子において、
    前記第１光電変換部で変換された電荷を蓄積する蓄積時間と、前記第３光電変換部で変換された電荷を蓄積する蓄積時間と、前記第５光電変換部で変換された電荷を蓄積する蓄積時間とを制御するための制御信号が出力される第１制御線と、
    前記第２光電変換部で変換された電荷を蓄積する蓄積時間と、前記第４光電変換部で変換された電荷を蓄積する蓄積時間と、前記第６光電変換部で変換された電荷を蓄積する蓄積時間とを制御するための制御信号が出力される第２制御線と
    を備える撮像素子。
22. 請求項２１に記載の撮像素子において、
    前記第１光電変換部で変換された電荷を転送するための第１転送部と、
    前記第２光電変換部で変換された電荷を転送するための第２転送部と、
    前記第３光電変換部で変換された電荷を転送するための第３転送部と、
    前記第４光電変換部で変換された電荷を転送するための第４転送部と、
    前記第５光電変換部で変換された電荷を転送するための第５転送部と、
    前記第６光電変換部で変換された電荷を転送するための第６転送部と
    を備え、
    前記第１転送部、前記第３転送部および前記第５転送部は、前記第１制御線に接続され、
    前記第２転送部、前記第４転送部および前記第６転送部は、前記第２制御線に接続される撮像素子。
23. 請求項２２に記載の撮像素子において、
    前記第１転送部、前記第２転送部、前記第３転送部、前記第４転送部、前記第５転送部および前記第６転送部は、前記第１半導体基板に配置される撮像素子。
24. 請求項１に記載の撮像素子において、
    前記第１半導体基板は、
    光を電荷に変換する第３光電変換部と、
    光を電荷に変換する第４光電変換部と
    が配置され、
    前記第３光電変換部は、列方向において前記第１光電変換部の隣に配置され、
    前記第４光電変換部は、前記列方向において前記第２光電変換部の隣に配置され、
    前記第３光電変換部で変換された電荷を蓄積する蓄積時間は、前記第４光電変換部で変換された電荷を蓄積する蓄積時間と異なる蓄積時間になるように制御される撮像素子。
25. 請求項２４に記載の撮像素子において、
    前記第１光電変換部で変換された電荷を蓄積する蓄積時間は、前記第２光電変換部で変換された電荷を蓄積する蓄積時間よりも短くなるように制御され、
    前記第３光電変換部で変換された電荷を蓄積する蓄積時間は、前記第４光電変換部で変換された電荷を蓄積する蓄積時間よりも短くなるように制御される撮像素子。
26. 請求項２４または請求項２５に記載の撮像素子において、
    前記第１変換部は、前記第３光電変換部で変換された電荷に基づく第３信号をデジタル信号に変換し、
    前記第２変換部は、前記第４光電変換部で変換された電荷に基づく第４信号をデジタル信号に変換する撮像素子。
27. 請求項２６に記載の撮像素子において、
    前記第２半導体基板に接続される半導体基板であって、前記第１変換部でデジタル信号に変換された前記第１信号を記憶するための第１記憶部と、前記第２変換部でデジタル信号に変換された前記第２信号を記憶するための第２記憶部と、前記第１変換部でデジタル信号に変換された前記第３信号を記憶するための第３記憶部と、前記第２変換部でデジタル信号に変換された前記第４信号を記憶するための第４記憶部とが配置される第３半導体基板を備える撮像素子。
28. 請求項２６または請求項２７に記載の撮像素子において、
    前記第１信号と前記第３信号とを前記第１変換部に出力するための第１信号線と、
    前記第２信号と前記第４信号とを前記第２変換部に出力するための第２信号線と
    を備える撮像素子。
29. 請求項２４から請求項２８のいずれか一項に記載の撮像素子において、
    前記第１光電変換部で変換された電荷を蓄積する蓄積時間と、前記第３光電変換部で変換された電荷を蓄積する蓄積時間とを制御するための制御信号が出力される第１制御線と、
    前記第２光電変換部で変換された電荷を蓄積する蓄積時間と、前記第４光電変換部で変換された電荷を蓄積する蓄積時間とを制御するための制御信号が出力される第２制御線と
    を備える撮像素子。
30. 請求項２９に記載の撮像素子において、
    前記第１光電変換部で変換された電荷を転送するための第１転送部と、
    前記第２光電変換部で変換された電荷を転送するための第２転送部と、
    前記第３光電変換部で変換された電荷を転送するための第３転送部と、
    前記第４光電変換部で変換された電荷を転送するための第４転送部と
    を備え、
    前記第１転送部と前記第３転送部とは、前記第１制御線に接続され、
    前記第２転送部と前記第４転送部とは、前記第２制御線に接続される撮像素子。
31. 請求項３０に記載の撮像素子において、
    前記第１転送部、前記第２転送部、前記第３転送部および前記第４転送部は、前記第１半導体基板に配置される撮像素子。
32. 請求項１から請求項３１のいずれか一項に記載の撮像素子を備える撮像装置。
33. 請求項３２に記載の撮像装置において、
    前記撮像素子に接続される制御部を備え、
    前記制御部は、前記第１変換部でデジタル信号に変換された前記第１信号を用いて前記光学系の焦点調節を行う撮像装置。
34. 請求項３３に記載の撮像装置において、
    前記制御部は、前記第２変換部でデジタル信号に変換された前記第２信号を用いて画像データを生成する撮像装置。

Images