JP2020136965A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】よりシンプルな画素構造の撮像素子を用いて、位相差方式の焦点検出を行いグローバル電子シャッタ撮影で広いダイナミックレンジの画像を取得可能な撮像装置を提供する。【解決手段】撮像素子は、多数の画素部を２次元アレイ状に配置した構成であり、各画素部は第１及び第２の光電変換部５００＿Ａ、５００＿Ｂと、第１及び第２の信号保持部５０７＿１、５０７＿２と、信号読み出し部５０８、５０５、５０６とを有する。転送部５０１＿Ａ１、５０１＿Ａ２、５０１＿Ｂ１、５０１＿Ｂ２は、第１及び第２の光電変換部の各信号を、第１及び第２の信号保持部にそれぞれ転送する。読み出し行に属する画素部が有する第１の信号保持部の信号は、画素部が有する信号読み出し部によって読み出され、画素部が有する第２の信号保持部の信号は、読み出し行に隣接する行に属する画素部が有する信号読み出し部によって読み出される。【選択図】図３

Description

本発明は、グローバル電子シャッタ撮影が可能な撮像装置およびその制御方法に関する。

ＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサを使用する撮像装置では、行ごとに信号蓄積および読み出しを行う、いわゆるローリングシャッタ撮影が一般的であった。そのため、動きの速い被写体に対して画面の上下で信号蓄積の時間差に伴う像の歪みが発生する可能性があった。

これに対してグローバル電子シャッタ撮影では、撮像素子の１画素内に信号保持部を設けることによって全画素の信号蓄積を同時に行い、動きの速い被写体に対して歪みのない撮像画像を取得できる。特許文献１に開示された撮像装置は、グローバル電子シャッタ撮影が可能であって、さらにライブビュー画像を表示しつつ、位相差方式の焦点検出を行うことができる。撮像素子を構成する各画素部は、２つの光電変換部および該光電変換部にそれぞれ接続された２つの信号保持部と、１つの信号読み出し部とを備える。

一方で、短い蓄積時間で撮像された第１の画像と長い蓄積時間で撮像された第２の画像を取得して、広いダイナミックレンジの画像を生成する技術がある。特許文献２には、撮像素子の１画素内に１つの光電変換部と２つの信号保持部を設けることによって、蓄積時間の異なる第１および第２の画像を取得可能な撮像装置が開示されている。

特開２０１７−５５３５９号公報 特開２０１７−２２０９１１号公報 特開２０１３−１７２２１０号公報 特開２００２−１６５１２６号公報

従来の撮像装置では、ライブビュー画像を表示しつつ位相差方式の焦点検出を行うとともに、グローバル電子シャッタ撮影で広いダイナミックレンジの画像を取得するためには、画素部の構成が複雑になるという問題があった。撮像素子の各画素部が２つの光電変換部を有する場合、それぞれの光電変換部に接続される２つの信号保持部、つまり合計で４つの信号保持部を設ける必要があるので、画素部の構成要素が増加する。

本発明は、よりシンプルな画素構造の撮像素子を用いて、位相差方式の焦点検出を行いグローバル電子シャッタ撮影で広いダイナミックレンジの画像を取得可能な撮像装置を提供することを目的とする。

本発明の実施形態の装置は、複数の画素部を備え、前記画素部がそれぞれ複数の光電変換部および複数の信号保持部を有する撮像素子と、前記撮像素子を制御する制御手段とを備える撮像装置であって、前記複数の画素部のうちの第１の画素部は、前記複数の光電変換部のうちの第１の光電変換部の信号を第１および第２の信号保持部にそれぞれ転送する複数の第１の転送手段と、前記複数の光電変換部のうちの第２の光電変換部の信号を第１および第２の信号保持部にそれぞれ転送する複数の第２の転送手段と、前記第１の信号保持部に保持された信号を出力する信号読み出し手段と、前記第２の信号保持部に保持された信号を、前記複数の画素部のうちの第２の画素部へ転送する第３の転送手段と、を有する。前記制御手段は前記第３の転送手段を制御し、前記第１の画素部が有する前記第２の信号保持部の信号を、前記第２の画素部が有する前記信号読み出し手段により出力する制御を行う。

本発明によれば、よりシンプルな画素構造の撮像素子を用いて、位相差方式の焦点検出を行いグローバル電子シャッタ撮影で広いダイナミックレンジの画像を取得可能な撮像装置を提供することができる。

撮像装置の正面図（Ａ）および背面図（Ｂ）である。 撮像装置の概略構成を示すブロック図である。 撮像素子の２画素の構成例を示す回路図である。 動画撮影時の撮像素子の駆動シーケンスを示すタイミングチャートである。 静止画撮影時の処理を説明するフローチャートである。 焦点検出用画像を取得する場合の撮像素子の駆動シーケンスを示すタイミングチャートである。 連写撮影時の撮像素子の駆動シーケンスを示すタイミングチャートである。 単写撮影時の撮像素子の駆動シーケンスを示すタイミングチャートである。

以下に、本発明の好適な実施形態として、位相差方式の焦点検出を行い、グローバル電子シャッタ撮影で広いダイナミックレンジの画像を取得可能な撮像装置を詳細に説明する。撮像装置としてデジタルスチルモーションカメラの例を示すが、本発明は、ドローン、自動車等の移動装置に搭載される撮像装置や、撮像機能を有する各種の電子機器に適用可能である。

図１は、本実施形態に係る撮像装置を例示する外観図である。図１（Ａ）は撮像装置の正面図、図１（Ｂ）は撮像装置の背面図である。撮像装置本体部１５１は、その内部に撮像素子やシャッタ装置等を備える。

レンズ部は撮像光学系１５２を構成するレンズや絞りを備え、被写体の光学像を撮像素子に結像させる。可動式の表示部１５３は、撮像装置本体部１５１の背面部に設けられており、撮影情報や映像を画面に表示する。表示部１５３は広いダイナミックレンジの映像であっても、その輝度範囲を抑制することなく表示可能な表示輝度範囲を有する。

操作スイッチ（以下、スイッチSTと記す）１５４は、主に静止画の撮影を行うためにユーザが使用する。スイッチST１５４は撮像装置本体部１５１の上面部に配置されている。操作スイッチ（以下、スイッチMVと記す）１５５は、ユーザが動画撮影の開始および停止を指示するために使用する。スイッチMV１５５は撮像装置本体部１５１の背面の右上部に配置されている。スイッチMV１５５の下側には、撮影モード選択レバー１５６、撮像装置の機能設定モードへの移行用のメニュー釦１５７、記録映像を表示部１５３の画面上で再生する再生ボタン１６１が配置されている。撮像装置の背面の右下部には、各種設定値の変更に用いるアップダウンスイッチ１５８および１５９、ダイアル１６０が配置されている。

図２は撮像装置の概略構成を示すブロック図である。撮像光学系１５２の光軸１８０を１点鎖線で示している。絞り１８１は、撮像光学系１５２を通過する光の量を調節する部材であり、レンズ・絞り制御部１８２により制御される。レンズ・絞り制御部１８２は絞り制御の他に、撮像光学系１５２を構成する可動レンズ（ズームレンズ、フォーカスレンズ、像ブレ補正レンズ等）の駆動制御を行う。光学フィルタ１８３は撮像素子１８４に入射する光の波長、および、撮像素子１８４に伝達する空間周波数を制限する部材である。撮像素子１８４は、撮像光学系１５２を介して結像された被写体の光学像を電気的な映像信号に光電変換する。撮像素子１８４は所定の規格（Ultra High Definition Television規格等）を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。

デジタル信号処理部１８７は、撮像素子１８４より出力されたデジタル映像データを取得して各種の補正を行った後に、映像データの圧縮処理を実行する。タイミング発生部１８９は撮像素子１８４、デジタル信号処理部１８７に各種タイミング信号を出力する。

システム制御ＣＰＵ（中央演算処理装置）１７８はプログラムを実行して撮像システム全体を制御する。システム制御ＣＰＵ（以下、単にＣＰＵという）１７８は操作入力部１７９からの操作指示信号にしたがって、撮像装置の各部を制御する。例えばＣＰＵ１７８はタイミング発生部１８９を介して撮像素子１８４、デジタル信号処理部１８７の制御を行い、レンズ・絞り制御部１８２により可動レンズや絞り１８１の制御を行う。操作入力部１７９は、図１に示すスイッチST１５４やスイッチMV１５５、各種のスイッチ部材やタッチパネル等の入力デバイスを備える。映像メモリ１９０は、映像データを一時的に記憶する記憶部である。

表示インターフェース部１９１は、ＣＰＵ１７８と表示部１５３とを繋ぐインターフェース（以下、Ｉ／Ｆと略記する）部である。表示部１５３は液晶ディスプレイ等を備え、撮影された映像のデータや撮影情報を画面に表示する。

記録Ｉ／Ｆ部１９２は記録媒体１９３と接続され、記録媒体１９３へのデータの記録または読み出しを行うことが可能である。記録媒体１９３は映像データや付加データ等を記録するための半導体メモリ等であり、撮像装置への着脱が可能である。

外部Ｉ／Ｆ部１９６は、ＣＰＵ１７８がコンピュータ等の外部機器１９７と通信を行う回路部を備える。プリントＩ／Ｆ部１９４はＣＰＵ１７８の制御指令にしたがって、撮影された映像のデータをプリンタ１９５に出力して印刷するための回路部を備える。プリンタ１９５は小型インクジェットプリンタ等である。無線Ｉ／Ｆ部１９８はＣＰＵ１７８がインターネット等のコンピュータネットワーク１９９を介して通信するための回路部を備える。

図３は撮像素子１８４の一部を示す回路図である。図３において、撮像素子１８４が備える多数の画素要素のうち、１行１列目（１，１）の画素要素と、その隣接行である２行１列目（２，１）の画素要素を示している。１行１列目（１，１）と２行１列目（２，１）とで画素要素の構成は同じであり、各構成要素には同じ符号を付して説明する。その他の画素要素についても同様の構成を有する。

撮像素子１８４における１つの画素要素は、第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂと、第１の信号保持部５０７＿１および第２の信号保持部５０７＿２と、信号読み出し部を備える。各画素要素は、２つの光電変換部に対して２つの信号保持部を備えているので、光電変換部の飽和容量を確保することが可能となり、その結果広いダイナミックレンジの画像を取得できる。信号保持部を有する撮像素子１８４の基本構造については、特許文献３にて開示されているので説明を省略する。

第１の光電変換部５００＿Ａはフォトダイオード（以下、ＰＤとも記す）により構成される。ＰＤの受光により発生する信号は、第１の転送トランジスタ５０１＿Ａ１によって第１の信号保持部５０７＿１に転送可能であり、第２の転送トランジスタ５０１＿Ａ２によって第２の信号保持部５０７＿２に転送可能である。また、第３の転送トランジスタ５０３＿Ａは電源線５２１とＰＤのカソードに接続され、第１の光電変換部５００＿Ａをリセットするためのオーバーフローゲートの機能をもつ。

同様に、第２の光電変換部５００＿ＢはＰＤにより構成される。ＰＤの受光により発生する信号は、第４の転送トランジスタ５０１＿Ｂ１によって第１の信号保持部５０７＿１に転送可能であり、第５の転送トランジスタ５０１＿Ｂ２によって第２の信号保持部５０７＿２に転送可能である。また、第６の転送トランジスタ５０３＿Ｂは電源線５２１とＰＤのカソードに接続され、第２の光電変換部５００＿Ｂをリセットするためのオーバーフローゲートの機能をもつ。

第１の転送トランジスタ５０１＿Ａ１、第２の転送トランジスタ５０１＿Ａ２、第４の転送トランジスタ５０１＿Ｂ１、第５の転送トランジスタ５０１＿Ｂ２によって電荷信号の転送部が構成される。

第１の信号保持部５０７＿１に蓄積された電荷に対応する信号は、第７の転送トランジスタ５０２＿１を介してフローティングディフュージョン（以下、ＦＤと略記する）領域５０８に転送される。この信号は増幅トランジスタ５０５、選択トランジスタ５０６、信号出力線５２３を介して、撮像素子１８４の外部に読み出される。ＦＤ領域５０８、増幅トランジスタ５０５、および選択トランジスタ５０６によって、第１の信号読み出し部が構成される。つまり増幅トランジスタ５０５のゲートがＦＤ領域５０８と接続されており、増幅トランジスタ５０５に接続された選択トランジスタ５０６が信号出力線５２３に接続されている。

また、第２の信号保持部５０７＿２に蓄積された電荷に対応する信号は、第８の転送トランジスタ５０２＿２を介して隣接行の２行１列目（２，１）の画素要素が備えるＦＤ領域５０８に転送される。この信号は２行１列目（２，１）の画素要素における増幅トランジスタ５０５、選択トランジスタ５０６、信号出力線５２３を介して、撮像素子１８４の外部に読み出される。

リセットトランジスタ５０４は電源線５２０とＦＤ領域５０８に接続されており、ＦＤ領域５０８のリセットを行う。各トランジスタのゲートへの制御信号は以下のとおりである。なお図３では１行目の制御信号に（１）を付記し、２行目の制御信号に（２）を付記することで区別している。

第１の転送トランジスタ５０１＿Ａ１は転送パルスφGS_A1により制御され、第２の転送トランジスタ５０１＿Ａ２は転送パルスφGS_A2により制御される。第４の転送トランジスタ５０１＿Ｂ１は転送パルスφGS_B1により制御され、第５の転送トランジスタ５０１＿Ｂ２は転送パルスφGS_B2により制御される。

また、第３の転送トランジスタ５０３＿Ａおよび第６の転送トランジスタ５０３＿Ｂは転送パルスφOFGにより制御される。第７の転送トランジスタ５０２＿１は転送パルスφTX1により制御され、第８の転送トランジスタ５０２＿２は転送パルスφTX2により制御される。さらに、リセットトランジスタ５０４はリセットパルスφRESにより制御され、選択トランジスタ５０６は選択パルスφSELにより制御される。各制御パルスは、タイミング発生部１８９の制御信号に基づき不図示の垂直走査回路から各トランジスタに送出される。

次にグローバル電子シャッタ撮影で広いダイナミックレンジの動画像を取得する方法を説明する。撮像素子１８４にて蓄積時間の長い第１の画像信号は第１の信号保持部５０７＿１に蓄積される電荷に対応する信号であり、蓄積時間の短い第２の画像信号は第２の信号保持部５０７＿２に蓄積される電荷に対応する信号である。第１および第２の画像信号を合成することによって広いダイナミックレンジの動画像を取得できる。このとき、第１の画像信号における時間方向の重心と第２の画像信号における時間方向の重心とのずれが小さくなるように、第１の画像信号と第２の画像信号を交互に取得する制御が行われる。また本実施形態では、動画像を取得する際に行ごとの間引き読み出しが行われ、さらにフレームごとに異なる行の画像信号を取得する処理が行われる。例えば自然数を表す変数ｎを導入し、撮像素子１８４がベイヤー配列の画素構成である場合に奇数フレームでは４ｎ−３行と４ｎ−２行での画像の蓄積が行われる。偶数フレームでは４ｎ−１行と４ｎ行での画像の蓄積が行われる。これにより、蓄積および読み出しの高速化を実現できる。

図４は撮像素子１８４の駆動シーケンスを示すタイミングチャートである。図４では、奇数フレームで蓄積を行い偶数フレームで読み出しを行う第１行のタイミングと、偶数フレームで蓄積を行い奇数フレームで読み出しを行う第３行のタイミングを示している。グローバル電子シャッタ撮影が行われるので、４ｎ−３行と４ｎ−２行での蓄積は第１行と同じタイミングで制御される。同様に、４ｎ−１行と４ｎ行での蓄積は第３行と同じタイミングで制御される。

図４に示すφＶは垂直同期信号を表し、φＨは水平同期信号を表す。その下側の各制御信号（図３参照）には行を表す数字を括弧内に示す。時間経過の方向は左から右への方向であり、時刻t1からt26を示す。

まず時刻t1で垂直同期信号φＶがハイレベルになり、動画の第１フレームが開始する。時刻t1において、ｎ＝１での４ｎ−３行、つまり第１行の転送パルスφTX1(1)およびφTX2(1)がハイレベルとなり、第７の転送トランジスタ５０２＿１および第８の転送トランジスタ５０２＿２がＯＮとなる。このとき、リセットパルスφRES(1)、φRES(2)はハイレベルである。よって、電源線５２０に接続された各リセットトランジスタ５０４はＯＮ状態であるので、ＦＤ領域５０８とともに信号保持部５０７＿１、５０７＿２がリセットされる。

また時刻t1において、第１行の転送パルスφOFG(1)がハイレベルからローレベルに変化し、第３の転送トランジスタ５０３＿Ａと第６の転送トランジスタ５０３＿ＢがＯＦＦとなる。第１の光電変換部５００＿Ａと第２の光電変換部５００＿Ｂのリセット状態が解除され、信号電荷の蓄積が開始される。

次の時刻t2になると、第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂで蓄積された、蓄積時間の短い画像の１回目の信号電荷が、第２の信号保持部５０７＿２に転送される。このとき転送パルスφGS_A2(1)およびφGS_B2(1)がハイレベルとなり、第２の転送トランジスタ５０１＿Ａ２および第５の転送トランジスタ５０１＿Ｂ２がＯＮとなる。第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの信号電荷が第２の信号保持部５０７＿２に転送される。その後に転送パルスφGS_A2(1)およびφGS_B2(1)がローレベルとなると、第２の転送トランジスタ５０１＿Ａ２および第５の転送トランジスタ５０１＿Ｂ２がＯＦＦとなる。第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの信号電荷の蓄積が再開される。

時刻t3になると、第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂで蓄積された、蓄積時間の長い画像の１回目の信号電荷が、第１の信号保持部５０７＿１に転送される。このとき転送パルスφGS_A1(1)およびφGS_B1(1)がハイレベルとなり、第１の転送トランジスタ５０１＿Ａ１および第４の転送トランジスタ５０１＿Ｂ１がＯＮとなる。第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの信号電荷が第１の信号保持部５０７＿１に転送される。その後に転送パルスφGS_A1(1)およびφGS_B1(1)がローレベルとなると、第１の転送トランジスタ５０１＿Ａ１および第４の転送トランジスタ５０１＿Ｂ１がＯＦＦとなる。第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの信号電荷の蓄積が再開される。

これ以降には以下の信号転送が行われる。蓄積時間が相対的に長い画像を第１の画像とし、蓄積時間が相対的に短い画像を第２の画像とする。
・各時刻t4，t6，t8，t12での第２の画像に係る２回目、３回目、４回目、５回目の転送。
・各時刻t5，t7，t9での第１の画像に係る２回目、３回目、４回目の転送。
“t4＜t5＜t6＜t7＜t8＜t9＜t12”の関係であり、第２の画像信号と第１の画像信号はそれぞれに対応した信号保持部に転送される。

以上のように、蓄積時間の短い第２の画像信号と蓄積時間の長い第１の画像信号とが交互に蓄積および転送されることにより、第２の画像信号と第１の画像信号との間で時間方向の重心ずれを抑制することができる。

第１フレームで蓄積された、４ｎ−３行と４ｎ−２行の信号電荷は、第２フレームで読み出される。本実施形態の撮像装置では、クロストークの影響を受けやすい蓄積時間の短い第２の画像信号から先に読み出すように制御される。また撮像素子１８４では、第２の信号保持部５０７＿２に蓄積された第２の画像の信号電荷が、隣接行に属する画素部の信号読み出し部から読み出される構成である。ここで、撮像素子１８４は図３に示した構成要素の他に、最終行の画素部外には第２の信号読み出し部を有している。

図４に示す時刻t13は第２フレームの開始時刻であり、時刻t13より前の時刻t10において、ｎ＝１での４ｎ−２行、つまり第２行のリセットパルスφRES(2)がローレベルになる。図３の撮像素子１８４の一部回路図に示す第２行のリセットトランジスタ５０４がＯＦＦとなり、第２行のＦＤ領域５０８のリセット状態が解除される。次の時刻t11にて第２行の選択パルスφSEL(2)がハイレベルになり、第２行の増幅トランジスタ５０５を介して第２行のＦＤ領域５０８のノイズ成分が読み出される。さらに時刻t13では、第１行の転送パルスφTX2(1)および第２行の選択パルスφSEL(2)がハイレベルになる。第１行の第２の信号保持部５０７＿２に蓄積された、蓄積時間の短い第２の画像の信号電荷が第２行の信号読み出し部を介して読み出される。この第２の画像の信号電荷の読み出し時に含まれるＦＤ領域５０８でのノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

第１行での第２の画像の信号電荷が読み出されると、時刻t15にてリセットパルスφRES(2)がハイレベルになり、第２行のＦＤ領域５０８がリセット状態になる。引き続き、第２行における第２の信号保持部５０７＿２に蓄積された第２の画像の信号電荷が以下のように読み出される。まず、時刻t14において、ｎ＝１での４ｎ−１行、つまり第３行のリセットパルスφRES(3)がローレベルになる。図３では３行目の構成素子の図示を省略するが、第３行のリセットトランジスタ５０４がＯＦＦとなり、第３行のＦＤ領域５０８のリセット状態が解除される。時刻t15にて第３行の選択パルスφSEL(3)がハイレベルになり、第３行の増幅トランジスタ５０５を介して第３行のＦＤ領域５０８のノイズ成分が読み出される。さらに時刻t16にて、不図示の第２行の転送パルスφTX2(2)および第３行の選択パルスφSEL(3)がハイレベルになる。第２行の第２の信号保持部５０７＿２に蓄積された、蓄積時間の短い第２の画像の信号電荷が第３行の信号読み出し部を介して読み出される。

以降、n≧２として４ｎ−３行、４ｎ−２行の第２の信号保持部５０７＿２に蓄積された、蓄積時間の短い第２の画像の信号電荷が、隣接行の信号読み出し部を介して順次読み出される。

蓄積時間の短い第２の画像の信号電荷の読み出しが終了すると、４ｎ−３行、４ｎ−２行（ｎ≧１）での蓄積時間の長い第１の画像の信号電荷の読み出しが開始する。第２フレームにおける時刻t19において、第１（４ｎ−３；ｎ≧１）行のリセットパルスφRES(1)がローレベルになる。図３の撮像素子１８４の一部回路図に示す第１行のリセットトランジスタ５０４がＯＦＦとなり、第１行のＦＤ領域５０８のリセット状態が解除される。時刻t20にて第１行の選択パルスφSEL(1)がハイレベルになり、第１行のＦＤ領域５０８のノイズ成分が読み出される。時刻t21にて第１行の転送パルスφTX1(1)および第１行の選択パルスφSEL(1)がハイレベルになり、第１行の第１の信号保持部５０７＿１に蓄積された第１の画像の信号電荷が第１行の信号読み出し部を介して読み出される。また、第１の画像の信号電荷の読み出し時に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

第１行での第１の画像の信号電荷が読み出されると、時刻t23にてリセットパルスφRES(1)がハイレベルになり、第１行のＦＤ領域５０８がリセット状態になる。引き続き、第２行での第１の信号保持部５０７＿１に蓄積された第１の画像の信号電荷が以下のように読み出される。

時刻t22において、第２（４ｎ−２；ｎ≧１）行のリセットパルスφRES(2)がローレベルになる。第２行のリセットトランジスタ５０４がＯＦＦとなり、第２行のＦＤ領域５０８のリセット状態が解除される。時刻t23にて第２行の選択パルスφSEL(2)がハイレベルになり、第２行の増幅トランジスタ５０５を介して第２行のＦＤ領域５０８のノイズ成分が読み出される。時刻t24にて不図示の第２行の転送パルスφTX1(2)および第２行の選択パルスφSEL(2)がハイレベルになる。第２行の第１の信号保持部５０７＿１に蓄積された第１の画像の信号電荷が第２行の信号読み出し部を介して読み出される。

以降、４ｎ−３行、４ｎ−２行（ｎ≧２）の第１の信号保持部５０７＿１に蓄積された蓄積時間の長い第１の画像の信号電荷が、該当する行の信号読み出し部を介して順次読み出される。

一方、４ｎ−３行、４ｎ−２行（ｎ≧１）の画像の信号電荷が読み出し中である時刻t13から始まる第２フレームでは、４ｎ−１行、４ｎ行（ｎ≧１）での蓄積が行われる。４ｎ−１行、４ｎ行（ｎ≧１）の画素構成については、図３に示した４ｎ−３行、４ｎ−２行（ｎ≧１）での回路図の画素構成と同様であるので、同一の名称、符号を用いて説明する。

時刻t13では第３（４ｎ−１；ｎ≧１）行の転送パルスφTX1(3)およびφTX2(3)がハイレベルとなり、第７の転送トランジスタ５０２＿１および第８の転送トランジスタ５０２＿２がＯＮとなる。このとき、リセットパルスφRES(3)、φRES(4)はハイレベルであり、電源線５２０に接続された各リセットトランジスタ５０４はＯＮ状態であるため、ＦＤ領域５０８とともに信号保持部５０７＿１、５０７＿２がリセットされる。

また時刻t13において、第３行の転送パルスφOFG(3)がハイレベルからローレベルに変化する。第３の転送トランジスタ５０３＿Ａと第６の転送トランジスタ５０３＿ＢがＯＦＦとなり、第１の光電変換部５００＿Ａと第２の光電変換部５００＿Ｂのリセット状態が解除され、信号電荷の蓄積が開始される。

時刻t15にて、第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂで蓄積された、蓄積時間の短い第２の画像の１回目の信号電荷が、第２の信号保持部５０７＿２に転送される。このとき転送パルスφGS_A2(3)およびφGS_B2(3)がハイレベルとなり、第２の転送トランジスタ５０１＿Ａ２および第５の転送トランジスタ５０１＿Ｂ２がＯＮとなる。第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの信号電荷が第２の信号保持部５０７＿２に転送される。その後に転送パルスφGS_A2(3)およびφGS_B2(3)がローレベルとなると、第２の転送トランジスタ５０１＿Ａ２および第５の転送トランジスタ５０１＿Ｂ２がＯＦＦとなる。第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの信号電荷の蓄積が再開される。

時刻t17にて、第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂで蓄積された、蓄積時間の長い第１の画像の１回目の信号電荷が、第１の信号保持部５０７＿１に転送される。このとき転送パルスφGS_A1(3)およびφGS_B1(3)がハイレベルとなり、第１の転送トランジスタ５０１＿Ａ１および第４の転送トランジスタ５０１＿Ｂ１がＯＮとなる。第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの信号電荷が第１の信号保持部５０７＿１に転送される。その後に転送パルスφGS_A1(3)およびφGS_B1(3)がローレベルとなると、第１の転送トランジスタ５０１＿Ａ１および第４の転送トランジスタ５０１＿Ｂ１がＯＦＦとなる。第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの信号電荷の蓄積が再開される。

以降、第２の画像に係る２回目の信号転送、第１の画像に係る２回目の信号転送、第２の画像に係る３回目の信号転送、第１の画像に係る３回目の信号転送が行われる。さらには第２の画像に係る４回目の信号転送、第１の画像に係る４回目の信号転送、第２の画像に係る５回目の信号転送と続く。第２の画像と第１の画像の信号電荷がそれぞれに対応した信号保持部に転送される。

以上のように、蓄積時間の短い第２の画像と蓄積時間の長い第１の画像とが交互に蓄積および転送されることにより、第２の画像信号と第１の画像信号との間で時間方向の重心ずれを抑制することができる。

第２フレームで蓄積された、４ｎ−１行、４ｎ行（ｎ≧１）の信号電荷は、４ｎ−３行、４ｎ−２行（ｎ≧１）と同様に第３フレームで読み出される。さらに、４ｎ−１行、４ｎ行（ｎ≧１）行における画像の読み出し中の時刻t26から始まる第３フレームでは、４ｎ−３行、４ｎ−２行（ｎ≧１）の蓄積が行われる。

以上のように撮像素子１８４は、１つの画素部が２つの光電変換部と２つの信号保持部と１つの信号読み出し部とから構成される。これにより、回路構成の複雑化を回避しつつ、蓄積時間の短い画像と蓄積時間の長い画像を高いフレームレートにて取得でき、グローバル電子シャッタ撮影で広いダイナミックレンジの動画像を生成することが可能である。

次に図５のフローチャートを参照して、撮像素子１８４での静止画撮影時の制御について説明する。本実施形態の撮像装置は、ライブビュー画像を表示しつつ位相差方式の焦点検出を行うことが可能であるが、図５ではライブビュー画像の取得および表示の処理を省略する。ライブビュー画像の信号は、図４に示した動画撮影のタイミングチャートとほぼ同様の撮像素子１８４の駆動シーケンスで取得される。

ユーザが撮影モード選択レバー１５６を操作して静止画撮影モードに設定するとＳ１００で撮影処理が開始する。次のＳ１０１でＣＰＵ１７８は、スイッチST１５４の入力状態を判定する。ユーザはスイッチST１５４を操作し、その第１段階のスイッチ（ST1と記す）のＯＮ操作によって静止画の撮影準備指示を行うことができる。ＣＰＵ１７８は、第１段階のスイッチST1がＯＮとなったことを検出した場合、Ｓ１０２に処理を進め、第１段階のスイッチST1がＯＦＦである場合にはＳ１０１の判定処理を継続する。

Ｓ１０２でＣＰＵ１７８は、撮像光学系１５２の焦点状態の検出を行うために、タイミング発生部１８９を制御して撮像素子１８４から焦点検出用の画像信号を取得する。撮像素子１８４を構成する１つの画素要素は、第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂを有する。第１および第２の光電変換部は、撮像素子１８４を構成するマイクロレンズを介して撮像光学系１５２の異なる瞳部分領域をそれぞれ通過した光を受光する。つまり、第１の光電変換部５００＿Ａは、瞳領域における第１の瞳部分領域を通過した被写体からの光を受光して光電変換を行い、第２の光電変換部５００＿Ｂは、瞳領域における第２の瞳部分領域を通過した被写体からの光を受光して光電変換を行う。第１および第２の光電変換部によりそれぞれ取得された焦点検出用画像信号に基づく位相差検出が行われる。ＣＰＵ１７８は相関演算に基づいてデフォーカス量を算出して撮像光学系１５２の焦点調節制御を行う。撮像光学系１５２の焦点状態検出方法は特許文献４に開示されているので説明を省略する。

撮像素子１８４では全行にて、第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂの蓄積が同時に行われる。さらに、各行の第１の信号保持部の信号電荷を読み出した後に同一行の第２の信号保持部の信号電荷を読み出す制御により、各信号保持部に流入する信号電荷によるクロストークに伴う焦点検出誤差を小さくすることができる。撮像光学系１５２の焦点検出における撮像素子１８４の駆動シーケンスについては、図６を用いて後述する。

Ｓ１０２において、取得された焦点検出用画像信号から撮像光学系１５２の焦点状態が検出されると、ＣＰＵ１７８はレンズ・絞り制御部１８２により不図示の駆動機構を介して撮像光学系１５２の焦点調節制御を行う。フォーカスレンズによる焦点調節動作が終了すると、Ｓ１０３にてＣＰＵ１７８は再度、スイッチST１５４の入力状態を判定する。ユーザはスイッチST１５４をさらに操作し、その第２段階のスイッチ（ST2と記す）のＯＮ操作によって静止画の撮影指示（画像記録指示）を行うことができる。ＣＰＵ１７８はST2がＯＮとなったことを検出した場合、Ｓ１０４に処理を進め、ST2がＯＦＦである場合にはＳ１０１の処理に戻す。

Ｓ１０４にてＣＰＵ１７８は静止画撮影モードの確認を行い、Ｓ１０５にて静止画撮影モードとして連写撮影モードに設定されているか否かを判定する。連写撮影モードは所定の時間間隔で被写体を連続して撮影するモードである。連写撮影モードに設定されている場合、Ｓ１０６の処理に進み、連写撮影モードではなく単写撮影モードに設定されている場合にはＳ１０８の処理に進む。

Ｓ１０６でＣＰＵ１７８は、連写撮影モードで撮像素子１８４の制御を行う。グローバル電子シャッタ撮影で静止画の連写撮影を行う場合の駆動シーケンスについては、図７を用いて後述する。一方、Ｓ１０８でＣＰＵ１７８は、単写撮影モードで撮像素子１８４の制御を行う。グローバル電子シャッタ撮影で静止画の単写撮影を行う場合の駆動シーケンスについては、図８を用いて後述する。

Ｓ１０６の次にＳ１０７に進み、ＣＰＵ１７８は、ユーザによるスイッチST１５４の操作が継続して行われており、第２段階のスイッチST2がＯＮになっているか否かを判定する。ST2がＯＮであると判定された場合、Ｓ１０６に戻って連写撮影を続行し、ST2がＯＦＦであると判定された場合にはＳ１０９へ進む。またＳ１０８に示す静止画の単写撮影の制御が終了すると、Ｓ１０９へ進む。Ｓ１０９にて、図５に示す一連の処理を終了する。

次に図６を参照して、図５のＳ１０２（焦点調節）における撮像光学系１５２の焦点検出について説明する。図６は撮像光学系１５２の焦点検出が行われる場合の撮像素子１８４の駆動シーケンスを示すタイミングチャートである。撮像素子１８４における焦点検出用画像の取得方法に関し、主に撮像素子１８４の第１行および第２行のタイミングを例示して説明する。各制御パルスについては図４の表記法を踏襲する。このことは図７、図８でも同じである。

時刻t71において、全行の転送パルスφOFGがハイレベルからローレベルになり、第１の光電変換部５００＿Ａと第２の光電変換部５００＿Ｂのリセット状態が解除され、焦点検出用の信号電荷の蓄積が開始される。このとき全行のリセットパルスφRESおよび転送パルスTX1、TX2はハイレベルであり、電源線５２０に接続されたリセットトランジスタ５０４、第７の転送トランジスタ５０２＿１、第８の転送トランジスタ５０２＿２はＯＮ状態である。そのため、全画素のＦＤ領域５０８と第１の信号保持部５０７＿１および第２の信号保持部５０７＿２がリセットされている。

時刻t72において、第１行の信号を読み出すために、第１行のリセットパルスφRES(1)はローレベルとなり、第１行のＦＤ領域５０８のリセット状態が解除される。同時に、全行の転送パルスTX1およびTX2もローレベルとなり、全画素の第１の信号保持部５０７＿１および第２の信号保持部５０７＿２のリセット状態が解除される。

時刻t73にて第１行の選択パルスφSEL(1)がハイレベルになり、第１行の増幅トランジスタ５０５を介して第１行のＦＤ領域５０８のノイズ成分が読み出される。また時刻t73では全行の転送パルスφGS_A1およびφGS_B2がハイレベルとなり、全画素の第１の転送トランジスタ５０１＿Ａ１および第５の転送トランジスタ５０１＿Ｂ２がＯＮとなる。その結果、第１の光電変換部５００＿Ａの信号電荷は第１の信号保持部５０７＿１に転送され、第２の光電変換部５００＿Ｂの信号電荷は第２の信号保持部５０７＿２に転送される。つまり蓄積期間が同じ焦点検出用画像信号が蓄積される。

焦点検出用画像信号が蓄積されると焦点検出画像信号の読み出しが行われるが、第１の信号保持部５０７＿１と第２の信号保持部５０７＿２からの信号電荷の読み出しの時差が大きいと、信号保持部に流入するクロストーク量に差が生じる可能性がある。第１の信号保持部５０７＿１で生成された焦点検出用画像と、第２の信号保持部５０７＿２で生成された焦点検出用画像との間に光量差が生じた場合には焦点検出精度の低下が問題となる。そこで本実施形態の撮像装置では、第１の信号保持部５０７＿１の信号電荷を読み出した後に同一行の第２の信号保持部５０７＿２の信号電荷を読み出す制御が行われる。すなわち、同一行の第１および第２の信号保持部の信号電荷を読み出した後に、隣接行の第１および第２の信号保持部の信号電荷を読み出すように制御が行われるので、第１および第２の信号保持部に流入するクロストーク量の差を抑制することができる。

時刻t74にて第１行の転送パルスφTX1(1)および第１行の選択パルスφSEL(1)がハイレベルになり、第１行の第１の信号保持部５０７＿１に蓄積された焦点検出用画像の信号電荷が第１行の信号読み出し部を介して読み出される。このとき、焦点検出用画像の信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

焦点検出用画像の蓄積が終了して、時刻t74では全行の転送パルスφOFGがハイレベルになり、全画素の第１の光電変換部５００＿Ａと第２の光電変換部５００＿Ｂはリセット状態になる。

第１行の第１の信号保持部５０７＿１に蓄積された焦点検出用画像の信号電荷が読み出されると、第１行の第２の信号保持部５０７＿２に蓄積された焦点検出用画像の信号電荷が、隣接行である第２行の信号読み出し部を介して読み出される。時刻t75において、第２行のリセットパルスφRES(2)はローレベルとなり、第２行のＦＤ領域５０８のリセット状態が解除される。

時刻t76において、第１行のリセットパルスφRES(1)および転送パルスφTX1(1)がハイレベルとなり、電源線５２０に接続されたリセットトランジスタ５０４と、第７の転送トランジスタ５０２＿１がＯＮ状態になる。よって、第１行のＦＤ領域５０８とともに第１の信号保持部５０７＿１がリセットされる。また時刻t76では第２行の選択パルスφSEL(2)がハイレベルになり、第２行の増幅トランジスタ５０５を介して第２行のＦＤ領域５０８のノイズ成分が読み出される。

時刻t77において、第１行の転送パルスφTX2(1)および第２行の選択パルスφSEL(2)がハイレベルになり、第１行の第２の信号保持部５０７＿２に蓄積された焦点検出用画像の信号電荷が第２行の信号読み出し部を介して読み出される。このとき、焦点検出用画像の信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

本実施形態において、第１行の第１の信号保持部５０７＿１に蓄積された焦点検出用画像の信号電荷の読み出しと、第１行の第２の信号保持部５０７＿２に蓄積された焦点検出用画像の信号電荷の読み出しの時間差はほとんどない。よって、クロストークの影響を受けずに良好な焦点検出が可能である。

第１行の第１および第２の光電変換部に蓄積された信号電荷が読み出されると、次に、隣接する第２行の第１および第２の光電変換部に蓄積された信号電荷が読み出される。第１行の信号電荷が読み出された後、時刻t78において第２行のリセットパルスφRES(2)がハイレベルとなり、第２行のＦＤ領域５０８がリセットされる。その後に第２行のＦＤ領域５０８のリセット状態が解除されると、時刻t79にて第２行の選択パルスφSEL(2)がハイレベルになり、第２行の増幅トランジスタ５０５を介して第２行のＦＤ領域５０８のノイズ成分が読み出される。

時刻t80にて第２行の転送パルスφTX1(2)および第２行の選択パルスφSEL(2)がハイレベルになり、第２行の第１の信号保持部５０７＿１に蓄積された焦点検出用画像の信号電荷が第２行の信号読み出し部を介して読み出される。このとき、焦点検出用画像の信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

第２行の第１の信号保持部５０７＿１に蓄積された焦点検出用画像の信号電荷が読み出されると、第２行の第２の信号保持部５０７＿２に蓄積された焦点検出用画像の信号電荷が、隣接行である第３行の信号読み出し部を介して読み出される。

時刻t81にて第３行のリセットパルスφRES(3)はローレベルとなり、第３行のＦＤ領域５０８のリセット状態が解除される。また時刻t81にて第２行のリセットパルスφRES(2)および転送パルスφTX1(2)がハイレベルとなり、電源線５２０に接続されたリセットトランジスタ５０４と、第７の転送トランジスタ５０２＿１がＯＮ状態になる。よって第２行のＦＤ領域５０８とともに第１の信号保持部５０７＿１がリセットされる。時刻t82にて第３行の選択パルスφSEL(3)がハイレベルになり、第３行の増幅トランジスタ５０５を介して第３行のＦＤ領域５０８のノイズ成分が読み出される。

時刻t83にて第２行の転送パルスφTX2(2)および第３行の選択パルスφSEL(3)がハイレベルになり、第２行の第２の信号保持部５０７＿２に蓄積された焦点検出用画像の信号電荷が第３行の信号読み出し部を介して読み出される。このとき、焦点検出用画像の信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。
以降の行の第１および第２の信号保持部の信号電荷についても同様に読み出される。

以上のように、各行における複数の信号保持部（５０７＿１，５０７＿２）にそれぞれ蓄積された焦点検出用画像の信号電荷の読み出しの際に時間差はほとんどないので、クロストークの影響を受けずに良好な焦点検出が可能である。

ＣＰＵ１７８は取得された焦点検出用画像信号を用いて撮像光学系１５２の焦点状態の検出処理を実行し、算出したデフォーカス量に基づいてレンズ・絞り制御部１８２を介して撮像光学系１５２の焦点調節制御を行う。

次に、図７を参照して、図５のＳ１０６（連写撮影制御）における撮像素子１８４の駆動シーケンスについて説明する。図７は、グローバル電子シャッタ撮影で静止画を連続して撮影する場合の制御方法を説明するタイミングチャートである。

静止画の連写撮影において、連写速度を速くするために本実施形態では、撮像素子１８４の１画素を構成する第１の光電変換部５００＿Ａおよび第２の光電変換部５００＿Ｂに蓄積された画像信号が第１の信号保持部５０７＿１に同時に転送される。第１の信号保持部５０７＿１から第１の信号読み出し部を介して撮像素子外に信号出力を行うことにより、読み出し速度の高速化を実現できる。

時刻t31において、全行の転送パルスφOFGがハイレベルからローレベルになり、第３の転送トランジスタ５０３＿Ａと第６の転送トランジスタ５０３＿ＢがＯＦＦとなる。第１の光電変換部５００＿Ａと第２の光電変換部５００＿Ｂのリセット状態が解除され、信号電荷の蓄積が開始される。このとき全行のリセットパルスφRESおよび転送パルスTX1、TX2はハイレベルであり、電源線５２０に接続されたリセットトランジスタ５０４、第７の転送トランジスタ５０２＿１、第８の転送トランジスタ５０２＿２はＯＮ状態である。よって全画素のＦＤ領域５０８と第１および第２の信号保持部５０７＿１、５０７＿２がリセット状態になっている。

時刻t32にて第１行のリセットパルスφRES(1)がローレベルになり、第１行のリセットトランジスタ５０４がＯＦＦとなり、第１行のＦＤ領域５０８のリセット状態が解除される。さらに、時刻t33では第１行の選択パルスφSEL(1)がハイレベルになり、第１行の増幅トランジスタ５０５を介して第１行のＦＤ領域５０８のノイズ成分が読み出される。また時刻t33では全行の第１の転送パルスφGS_A1(1)および第４の転送パルスφGS_B1(1)がハイレベルになる。全画素の第１の光電変換部５００＿Ａおよび第１行の第２の光電変換部５００＿Ｂに蓄積された信号電荷は、各画素の第１の信号保持部５０７＿１に転送される。

時刻t35にて第１行の転送パルスφTX1(1)および第１行の選択パルスφSEL(1)がハイレベルになり、第１行の第１の信号保持部５０７＿１に蓄積された静止画の信号電荷が第１行の信号読み出し部を介して読み出される。読み出された静止画の信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。また時刻t35では、全行の転送パルスφOFGがハイレベルになり、全画素の第１の光電変換部５００＿Ａと第２の光電変換部５００＿Ｂがリセット状態になる。

第１行の静止画の信号電荷が読み出された後に、第２行の静止画の信号電荷が読み出される。時刻t36にて第２行のリセットパルスφRES(2)がローレベルになり、第２行のリセットトランジスタ５０４がＯＦＦとなり、第２行のＦＤ領域５０８のリセット状態が解除される。

時刻t37にて第１行のリセットパルスφRES(1)および転送パルスφTX1(1)がハイレベルとなる。電源線５２０に接続されたリセットトランジスタ５０４と、第７の転送トランジスタ５０２＿１がＯＮ状態になるため、第１行のＦＤ領域５０８とともに第１の信号保持部５０７＿１がリセットされる。また時刻t37では、第２行の選択パルスφSEL(2)がハイレベルになり、第２行の増幅トランジスタ５０５を介して第２行のＦＤ領域５０８のノイズ成分が読み出される。

時刻t38にて第２行の転送パルスφTX1(2)および選択パルスφSEL(2)がハイレベルになり、第２行の第１の信号保持部５０７＿１に蓄積された静止画の信号電荷が第２行の信号読み出し部を介して読み出される。読み出された静止画の信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

時刻t39にて第２行のリセットパルスφRES(2)および転送パルスφTX1(2)がハイレベルとなり、電源線５２０に接続されたリセットトランジスタ５０４と、第７の転送トランジスタ５０２＿１はＯＮ状態になる。よって第２行のＦＤ領域５０８とともに第１の信号保持部５０７＿１がリセットされる。

以降、各行の第１の信号保持部５０７＿１に蓄積された静止画の信号電荷は、各行の信号読み出し部を介して時刻t40までに順次読み出される。１枚目の静止画の信号電荷が読み出されると、時刻t40から２枚目の静止画の取得が開始され、時刻t41から３枚目の静止画の取得が開始される。２枚目以降の撮像素子１８４の駆動シーケンスについては説明を省略する。

静止画の連写撮影中にＣＰＵ１７８は、スイッチST１５４の入力状態を判定し、第２段階のスイッチST2のＯＮ状態が継続している間、静止画の連写撮影を続行する。本実施形態では、静止画の連写撮影中に焦点検出が行われない処理例を説明したが、本発明に係る別の実施形態では連写駒間に焦点検出が行われる。

撮像素子１８４の１画素を構成する複数の信号保持部（５０７＿１，５０７＿２）は、動画撮影や静止画連写撮影のモードにおいて、複数の光電変換部（５００＿Ａ、５００＿Ｂ）で蓄積された信号電荷を加算して蓄積できる構成である。そのため、各信号保持部の飽和容量は各光電変換部の飽和容量の２倍以上になっている。すなわち、信号保持部の飽和容量は、第１の光電変換部５００＿Ａの飽和容量と第２の光電変換部５００＿Ｂの飽和容量との和以上に設定されている。

そこで静止画の単写撮影のモードが設定されている場合、撮像装置ではさらに広いダイナミックレンジの画像を取得することができる。そのために、撮像素子１８４の１画素を構成する第１の光電変換部５００＿Ａに蓄積された画像の信号電荷が、第１の信号保持部５０７＿１に転送されるように制御される。同様に、第２の光電変換部５００＿Ｂに蓄積された画像の信号電荷は第２の信号保持部５０７＿２に転送されるように制御される。このとき、光電変換部から信号保持部への転送トランジスタを所定の時間に亘ってＯＮ状態に制御することにより、信号電荷量の増大を図ることができる。

また、最初に第１の信号保持部５０７＿１に蓄積された信号電荷を同一行の信号読み出し部より読み出す制御が行われる。全行の第１の信号保持部５０７＿１の蓄積された信号電荷が読み出された後に、第２の信号保持部５０７＿２の蓄積された信号電荷を隣接行の信号読み出し部より読み出す制御が行われる。第１および第２の信号保持部からそれぞれ読み出された画像信号はデジタル信号処理部１８７により合成されて、広いダイナミックレンジの静止画信号が生成される。

また本実施形態の撮像装置では、第１の信号保持部５０７＿１に係る読み出し行とは逆の行から第２の信号保持部５０７＿２の信号電荷を読み出す制御が行われる。それによって、デジタル信号処理部１８７で加算して得られる静止画について、第１の信号保持部５０７＿１および第２の信号保持部５０７＿２からの信号電荷の読み出し時間により生じるクロストークの影響を低減可能である。

図８を参照して、図５のＳ１０８（単写撮影制御）における撮像素子１８４の駆動シーケンスについて説明する。図８は、グローバル電子シャッタ撮影で静止画撮影（単写撮影）を行う場合の制御方法を説明するタイミングチャートである。

時刻t51において、全行の転送パルスφOFGがハイレベルからローレベルになり、第３の転送トランジスタ５０３＿Ａと第６の転送トランジスタ５０３＿ＢがＯＦＦとなる。第１および第２の光電変換部５００＿Ａ、５００＿Ｂのリセット状態が解除され、信号電荷の蓄積が開始される。このとき全行のリセットパルスφRESおよび転送パルスTX1、TX2はハイレベルであり、電源線５２０に接続されたリセットトランジスタ５０４、第７の転送トランジスタ５０２＿１、第８の転送トランジスタ５０２＿２はＯＮ状態である。よって全画素のＦＤ領域５０８と第１および第２の信号保持部５０７＿１、５０７＿２がリセット状態になっている。

時刻t52にて全行の転送パルスTX1およびTX2もローレベルとなる。全画素の第１の信号保持部５０７＿１および第２の信号保持部５０７＿２のリセット状態が解除され、各信号保持部（５０７＿１、５０７＿２）への信号電荷の転送が可能な状態になる。

第１および第２の光電変換部５００＿Ａ、５００＿Ｂで信号電荷が飽和する前の時刻t53にて、全行の転送パルスφGS_A1およびφGS_B2がハイレベルとなる。全画素の第１の転送トランジスタ５０１＿Ａ１および第５の転送トランジスタ５０１＿Ｂ２がＯＮとなる。その結果、全画素の第１の光電変換部５００＿Ａの信号電荷は第１の信号保持部５０７＿１に転送され、全画素の第２の光電変換部５００＿Ｂの信号電荷は第２の信号保持部５０７＿２に転送される。このとき全行の転送パルスφGS_A1およびφGS_B2は、時刻t53から所定時間後の時刻t56までハイレベルの状態が保持される。そのため、第１および第２の光電変換部の飽和容量を超えた信号電荷が第１および第２の信号保持部５０７＿１、５０７＿２にそれぞれ転送される。

時刻t54にて第１行のリセットパルスφRES(1)がローレベルになり、第１行のリセットトランジスタ５０４がＯＦＦとなって第１行のＦＤ領域５０８のリセット状態が解除される。時刻t55にて第１行の選択パルスφSEL(1)がハイレベルになり、第１行の増幅トランジスタ５０５を介して第１行のＦＤ領域５０８のノイズ成分が読み出される。

時刻t57にて第１行の転送パルスφTX1(1)および第１行の選択パルスφSEL(1)がハイレベルになり、第１行の第１の信号保持部５０７＿１に蓄積された信号電荷が第１行の信号読み出し部を介して読み出される。このとき、読み出された信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

全画素の第１および第２の光電変換部５００＿Ａ、５００＿Ｂの信号電荷が、第１および第２の信号保持部５０７＿１、５０７＿２にそれぞれ転送されると、時刻t57には全行の転送パルスφOFGがハイレベルになる。全画素の第１の光電変換部５００＿Ａと第２の光電変換部５００＿Ｂはリセット状態になる。

第１行の第１の信号保持部５０７＿１に蓄積された信号電荷が読み出された後、同様に第２行の第１の信号保持部５０７＿１に蓄積された信号電荷が読み出される。時刻t58にて第２行のリセットパルスφRES(2)はローレベルとなり、第２行のＦＤ領域５０８のリセット状態が解除される。また時刻t58にて第２行の選択パルスφSEL(2)がハイレベルになり、第２行の増幅トランジスタ５０５を介して第２行のＦＤ領域５０８のノイズ成分が読み出される。また時刻t58では第１行のリセットパルスφRES(1)および転送パルスφTX1(1)がハイレベルとなり、電源線５２０に接続されたリセットトランジスタ５０４と、第７の転送トランジスタ５０２＿１はＯＮ状態になる。そのため、第２行のＦＤ領域５０８と第１の信号保持部５０７＿１がリセットされる。

時刻t59にて第２行の転送パルスφTX1(2)および選択パルスφSEL(2)がハイレベルになり、第２行の第１の信号保持部５０７＿１に蓄積された信号電荷が信号読み出し部を介して読み出される。このとき、読み出された信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

時刻t60にて第２行のリセットパルスφRES(2)および転送パルスφTX1(2)がハイレベルとなり、電源線５２０に接続されたリセットトランジスタ５０４と、第７の転送トランジスタ５０２＿１はＯＮ状態になる。よって第２行のＦＤ領域５０８と第１の信号保持部５０７＿１がリセットされる。

以降の行の第１の信号保持部５０７＿１の信号電荷についても同様に読み出される。時刻t61では全行の第１の信号保持部５０７＿１の信号電荷の読み出しが終了する。この時刻t61以降、第１の信号保持部５０７＿１の信号電荷の読み出し行とは順番が逆の行から第２の信号保持部５０７＿２に蓄積された信号電荷が読み出される。図８のタイミングチャートでは、第２の信号保持部５０７＿２の信号電荷の読み出しが終了する時刻t68よりも前の、第２行と第１行の信号電荷の読み出しタイミングを示している。

時刻t61から、最終行より順番に第２の信号保持部５０７＿２の信号電荷の読み出しが開始する（以下、最終行を基準とする）。時刻t62において第２行の第２の信号保持部５０７＿２の信号電荷の読み出しが行われる。時刻t62にて第３行のリセットパルスφRES(3)がローレベルとなり、第３行のＦＤ領域５０８のリセット状態が解除されると、時刻t63では第３行の選択パルスφSEL(3)がハイレベルになる。第３行の増幅トランジスタ５０５を介して第３行のＦＤ領域５０８のノイズ成分が読み出される。

時刻t64にて第２行の転送パルスφTX2(2)および第３行の選択パルスφSEL(3)がハイレベルになり、第２行の第２の信号保持部５０７＿２に蓄積された信号電荷が第３行の信号読み出し部を介して読み出される。このとき、読み出された信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。そして最後に、第１行の第２の信号保持部５０７＿２の信号電荷の読み出しが行われる。時刻t65において、第２行のリセットパルスφRES(2)がローレベルとなる。電源線５２０に接続されたリセットトランジスタ５０４はＯＦＦ状態になるため、第２行のＦＤ領域５０８のリセット状態が解除される。また時刻t65では、第２行の転送パルスφTX1(2)がローレベルとなり、第２行のＦＤ領域５０８と第２行の第１の信号保持部５０７＿１との接続が遮断される。

時刻t66にて第３行のリセットパルスφRES(3)および第２行の転送パルスφTX2(2)がハイレベルとなり、電源線５２０に接続されたリセットトランジスタ５０４と、第８の転送トランジスタ５０２＿２はＯＮ状態になる。そのため、第２行のＦＤ領域５０８と第２の信号保持部５０７＿２がリセットされる。また時刻t66では第２行の選択パルスφSEL(2)がハイレベルになり、第２行の増幅トランジスタ５０５を介して第２行のＦＤ領域５０８のノイズ成分が読み出される。

時刻t67において、第１行の転送パルスφTX2(1)および第２行の選択パルスφSEL(2)がハイレベルになり、第１行の第２の信号保持部５０７＿２に蓄積された信号電荷が第２行の信号読み出し部を介して読み出される。このとき、読み出された信号電荷に含まれるＦＤ領域５０８のノイズ成分は、不図示の回路により信号電荷から差し引かれて信号成分が撮像素子１８４外に出力される。

以上のように、第１および第２の信号保持部５０７＿１、５０７＿２の信号電荷が全て読み出される。デジタル信号処理部１８７は各画素の第１および第２の信号保持部５０７＿１、５０７＿２からそれぞれ読み出された画像信号を加算して静止画の画像信号を生成する。このとき、第１の信号保持部５０７＿１の信号電荷に含まれるクロストーク量については、第１行から最終行へと読み出す第１の方向にしたがって、相対的に第１行で少なく最終行で最大になる。これとは逆に第２の信号保持部５０７＿２の信号電荷に含まれるクロストーク量については、第１の方向とは逆方向である第２の方向にしたがって、相対的に最終行で少なく第１行で最大となる。その結果、第１および第２の信号保持部５０７＿１、５０７＿２から読み出された信号を加算して生成された静止画像信号においては各行で発生したクロストーク量が平均化される。したがって、クロストークによるむらのない画像を取得することができる。

本実施形態によれば、よりシンプルな画素構造を有する撮像素子を用いて、位相差方式の焦点検出と、グローバル電子シャッタ撮影での広いダイナミックレンジの静止画像の取得を可能とする撮像装置を提供することができる。

前記実施形態では、複数の画素部のうちの第１の画素部が有する第２の信号保持部の信号を、第１の画素部とは異なる第２の画素部（隣接画素）が有する信号読み出し部により出力する制御を説明した。本発明の適用上、第１の画素部に対する第２の画素部の位置関係は任意である。また各画素部が瞳分割方向にて２分割された光電変換部を有する例を説明した。これに限らず、本発明は３分割以上の光電変換部（例えば、水平方向および垂直方向にそれぞれ２分割された光電変換部）を画素部が有する構成の撮像装置への適用が可能である。また、画素部内に１つの容量部（ＦＤ部）を備える例を示したが、例えばＦＤ部に接続可能な付加容量部を備え、ＦＤ部に付加容量部を接続することで、撮像感度に応じて容量の切り替えが可能な構成等に適用可能である。

１５６ 撮影モード選択レバー
１７８ システム制御ＣＰＵ
１８４ 撮像素子
１８９ タイミング発生部
５００＿ＡおよびＢ 光電変換部
５０１＿Ａ１およびＡ２，５０１＿Ｂ１およびＢ２，５０２＿１，５０２＿２ 転送部
５０７＿１，５０７＿２ 信号保持部
５０８，５０５，５０６ 信号読み出し部

Claims (10)

1. 複数の画素部を備え、前記画素部がそれぞれ複数の光電変換部および複数の信号保持部を有する撮像素子と、前記撮像素子を制御する制御手段とを備える撮像装置であって、
   前記複数の画素部のうちの第１の画素部は、前記複数の光電変換部のうちの第１の光電変換部の信号を第１および第２の信号保持部にそれぞれ転送する複数の第１の転送手段と、前記複数の光電変換部のうちの第２の光電変換部の信号を第１および第２の信号保持部にそれぞれ転送する複数の第２の転送手段と、前記第１の信号保持部に保持された信号を出力する信号読み出し手段と、前記第２の信号保持部に保持された信号を、前記複数の画素部のうちの第２の画素部へ転送する第３の転送手段と、を有し、
   前記制御手段は前記第３の転送手段を制御し、前記第１の画素部が有する前記第２の信号保持部の信号を、前記第２の画素部が有する前記信号読み出し手段により出力する制御を行う
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記第１の画素部にて、
   前記第１の光電変換部の信号を前記第１の信号保持部に転送する前記第１の転送手段および前記第２の光電変換部の信号を前記第１の信号保持部に転送する前記第２の転送手段を制御して、前記第１の信号保持部の信号を前記信号読み出し手段により出力する第１の制御と、
   前記第１の光電変換部の信号を前記第２の信号保持部に転送する前記第１の転送手段および前記第２の光電変換部の信号を前記第２の信号保持部に転送する前記第２の転送手段と、前記第３の転送手段を制御して、前記第１の画素部が有する前記第２の信号保持部の信号を、前記第１の画素部が属する行に隣接する行の前記第２の画素部が有する前記信号読み出し手段により出力する第２の制御と、を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、動画像を取得する場合、前記第１の信号保持部に蓄積される電荷に対応する、蓄積時間の長い第１の画像信号と、前記第２の信号保持部に蓄積される電荷に対応する、蓄積時間の短い第２の画像信号とを交互に出力する制御を行う
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記第１および第２の画像信号を交互に出力する制御にて前記第２の画像信号に係る信号電荷の蓄積および転送を先に行う
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、単写撮影を行う場合、前記第１の光電変換部の信号電荷および前記第２の光電変換部の信号電荷をそれぞれ前記第１の信号保持部および第２の信号保持部に転送して蓄積し、前記第１の画素部における前記第１の信号保持部の信号を前記信号読み出し手段により出力した後に、前記第１の画素部における前記第２の信号保持部の信号を、前記第１の画素部が属する行の隣接行に属する前記第２の画素部が有する前記信号読み出し手段により出力する制御を行う
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記制御手段は、前記単写撮影において、前記第２の信号保持部の信号を読み出す行の方向を、前記第１の信号保持部の信号を読み出す行の方向とは逆の方向に設定して前記信号読み出し手段により信号を出力する制御を行う
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、連写撮影を行う場合、前記第１の画素部における前記第１の光電変換部の信号電荷および第２の光電変換部の信号電荷を前記第１の信号保持部に転送して蓄積し、当該第１の信号保持部の信号を前記第１の画素部が有する前記信号読み出し手段により出力する制御を行う
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
8. 前記制御手段は、撮像光学系の焦点検出用の画像信号を取得する場合、
   前記第１の画素部が有する前記第１の光電変換部の信号電荷および第２の光電変換部の信号電荷をそれぞれ前記第１の信号保持部および第２の信号保持部に転送して蓄積し、前記第１の信号保持部の信号を前記第１の画素部が有する前記信号読み出し手段により出力した後に、前記第１の画素部が有する前記第２の信号保持部の信号を前記第１の画素部が属する行に隣接する行に属する前記第２の画素部が有する前記信号読み出し手段により出力する制御を行う
   ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記信号保持部の飽和容量は、前記第１の光電変換部の飽和容量と前記第２の光電変換部の飽和容量との和以上である
   ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 複数の画素部を備え、前記画素部がそれぞれ複数の光電変換部および複数の信号保持部を有する撮像素子と、前記撮像素子を制御する制御手段とを備える撮像装置にて実行される制御方法であって、
    前記複数の画素部のうちの第１の画素部は、前記複数の光電変換部のうちの第１の光電変換部の信号を第１および第２の信号保持部にそれぞれ転送する複数の第１の転送手段と、前記複数の光電変換部のうちの第２の光電変換部の信号を第１および第２の信号保持部にそれぞれ転送する複数の第２の転送手段と、前記第１の信号保持部に保持された信号を出力する信号読み出し手段と、前記第２の信号保持部に保持された信号を、前記複数の画素部のうちの第２の画素部へ転送する第３の転送手段と、を有し、
    前記制御方法は、
    前記第１の画素部が有する前記第１の信号保持部に保持された信号を前記第１の画素部が有する前記信号読み出し手段により出力する制御を前記制御手段が行う工程と、
    前記制御手段が前記第３の転送手段を制御し、前記第１の画素部が有する前記第２の信号保持部の信号を、前記第２の画素部が有する前記信号読み出し手段により出力する制御を行う工程と、を有する
    ことを特徴とする制御方法。

Images