JP2018006991A - 撮像素子およびカメラ - Google Patents

Abstract

【課題】１フレーム内において、ローリング電子シャッタ方式による撮像信号とグローバル電子シャッタ方式による撮像信号とを得ること。【解決手段】撮像素子は、光を電荷に変換する第１光電変換部と、前記第１光電変換部で光電変換された電荷により生成された第１信号を読み出す第１読出部と、を含む第１画素と、光を電荷に変換する第２光電変換部と、前記第２光電変換部で光電変換された電荷により生成された第２信号を読み出す第２読出部と、を含む第２画素と、を有する撮像素子と、前記第１信号を第１電子シャッタ方式で読み出し、前記第２信号を前記第１電子シャッタ方式とは異なる第２電子シャッタ方式で読み出すように前記第１読出部及び前記第２読出部を制御する制御部と、を備える。【選択図】図１１

Description

本発明は、撮像素子およびカメラに関する。

従来、ローリング電子シャッタ方式とグローバル電子シャッタ方式とを切り替え可能な撮像素子が知られている（特許文献１参照）。
従来の撮像素子では、１フレームの読出期間においてローリング電子シャッタ方式とグローバル電子シャッタ方式による信号読出を行うことはできなかった。

特開２０１２−１６５１０４号公報

請求項１に記載の撮像素子は、光を電荷に変換する第１光電変換部と、前記第１光電変換部で光電変換された電荷により生成された第１信号を読み出す第１読出部と、を含む第１画素と、光を電荷に変換する第２光電変換部と、前記第２光電変換部で光電変換された電荷により生成された第２信号を読み出す第２読出部と、を含む第２画素と、を有する撮像素子と、前記第１信号を第１電子シャッタ方式で読み出し、前記第２信号を前記第１電子シャッタ方式とは異なる第２電子シャッタ方式で読み出すように前記第１読出部及び前記第２読出部を制御する制御部と、を備える。
請求項１０に記載のカメラは、請求項４〜９のいずれか一項に記載の撮像素子と、前記撮像素子から前記第１電子シャッタ方式で読み出された撮像信号を用いて、焦点調節処理、露出演算処理、ホワイトバランス調整処理、被写体認識処理、動体予測処理および被写体追尾処理の少なくとも１つを実行する処理実行部と、を備える。
請求項１２に記載のカメラは、請求項６〜９のいずれか一項に記載の撮像素子と、前記一部の画素においては、前記第１電子シャッタ方式で読み出された撮像信号と前記第２電子シャッタ方式で読み出された撮像信号とを用いて画像信号を取得し、残りの画素においては前記第２電子シャッタ方式で読み出された撮像信号を用いて画像信号を取得する画像取得部と、を備える。

本発明の一実施の形態におけるデジタルカメラの構成例を示す図である。 撮像素子の概略的な全体構成を説明する図である。 従来の撮像システムの構成例を示す図である。 ローリング電子シャッタ方式のＣＭＯＳ撮像素子における単位画素および垂直駆動回路の一部の構成を示す図である。 ローリング電子シャッタの駆動タイミングを示す図である。 ローリング電子シャッタの駆動タイミングの全体イメージを示す図である。 グローバル電子シャッタ方式のＣＭＯＳ撮像素子における単位画素および垂直駆動回路の一部の構成を示す図である。 グローバル電子シャッタの駆動タイミングを示す図である。 グローバル電子シャッタの駆動タイミングの全体イメージを示す図である。 第１の実施の形態における撮像システムの構成例を示す図である。 第１実施例における撮像素子の単位画素および垂直駆動回路の一部の構成を示す図である。 第１実施例におけるローリング電子シャッタおよびグローバル電子シャッタの駆動タイミングを示す図である。 第１実施例におけるローリング電子シャッタおよびグローバル電子シャッタ駆動タイミングの全体イメージを示す図である。 グローバル電子シャッタ駆動させる行の設定例を示す図である。 第２実施例における撮像素子の単位画素および垂直駆動回路の一部の構成を示す図である。 第２実施例におけるローリング電子シャッタおよびグローバル電子シャッタの駆動タイミングを示す図である。 第２実施例におけるローリング電子シャッタおよびグローバル電子シャッタ駆動タイミングの全体イメージを示す図である。 第３実施例における撮像素子の単位画素および垂直駆動回路の一部の構成を示す図である。 グローバル電子シャッタ駆動させるブロックエリアの第１設定例を示す図である。 第３実施例におけるローリング電子シャッタおよびグローバル電子シャッタの駆動タイミングを示す図である。 グローバル電子シャッタ駆動させるブロックエリアの第２設定例を示す図である。 グローバル電子シャッタ駆動させるブロックエリアの第３設定例を示す図である。 グローバル電子シャッタ駆動させるブロックエリアの第４設定例を示す図である。 第４実施例におけるブロックエリアの配置と垂直エリアおよび水平エリアの設定との関係を説明する図である。 グローバル電子シャッタ駆動させるエリアの設定例を示す図である。 第２の実施の形態における撮像システムの構成例を示す図である。 第２の実施の形態における単位画素の構成例を示す図である。 第２の実施の形態におけるローリング電子シャッタおよびグローバル電子シャッタの駆動タイミングを示す図である。 動体検出を説明する図である。 ローリング電子シャッタおよびグローバル電子シャッタで得られる画像の例を示す図である。

−第１の実施の形態−
図面を参照しながら、本発明の第１の実施の形態について説明する。図１は、本実施の形態におけるデジタルカメラの構成を示すブロック図である。図１のデジタルカメラは、レンズ交換式のデジタルカメラであり、交換レンズ１１０とカメラボディ１００とから構成され、交換レンズ１１０がレンズ取り付け部１０５を介してカメラボディ１００に装着される。

交換レンズ１１０は、レンズ制御装置１１１、ズームレンズ１１２、フォーカスレンズ１１３、防振レンズ１１４、絞り１１５、レンズ操作部１１６などを備えている。レンズ制御装置１１１は、ＣＰＵとメモリなどの周辺部品とを含み、フォーカスレンズ１１３および絞り１１５の駆動制御、ズームレンズ１１２やフォーカスレンズ１１３の位置検出、カメラボディ１００へのレンズ情報の送信およびカメラボディ１００からのカメラ情報の受信などを行う。

カメラボディ１００は、撮像素子１０１、ボディ制御装置１０２、ボディ操作部１０３、および表示部１０４などを有している。撮像素子１０１は、交換レンズ１１０の予定結像面（予定焦点面）に配置され、交換レンズ１１０により結像された被写体像を光電変換する。ボディ操作部１０３は、シャッターボタンや、焦点検出エリアの設定部材などを含む。表示部１０４は、カメラボディ１００の背面に搭載された液晶モニタ（背面モニタ）である。

ボディ制御装置１０２は、ＣＰＵとメモリなどの周辺部品とを含む。ボディ制御装置１０２は、撮像素子１０１の駆動制御、画像信号の読み出し、焦点検出演算および交換レンズ１１０の焦点調節、画像信号の処理および記録、デジタルカメラの動作制御などを行う。ボディ制御装置１０２は、レンズ取り付け部１０５に設けられた電気接点１０６を介してレンズ制御装置１１１と通信を行い、レンズ情報の受信およびカメラ情報（デフォーカス量や絞り値など）の送信を行う。

交換レンズ１１０を通過した光束により、撮像素子１０１の受光面上に被写体像が形成される。この被写体像は撮像素子１０１により光電変換され、画像信号がボディ制御装置１０２へ送られる。

ボディ制御装置１０２は、撮像素子１０１からの画像信号に基づいて焦点検出演算を行うことにより、交換レンズ１１０の焦点調節状態（デフォーカス量）を検出し、このデフォーカス量をレンズ制御装置１１１へ送る。レンズ制御装置１１１は、受信したデフォーカス量に基づいてフォーカスレンズ１１３の駆動量を算出し、この駆動量に基づいてフォーカスレンズ１１３を不図示のモーター等で駆動して合焦位置へ移動させる。

また、ボディ制御装置１０２は、撮像素子１０１からの画像信号を処理して画像データを生成し、不図示のメモリカードに格納する。それとともに、ボディ制御装置１０２は、撮像素子１０１からのスルー画像信号に基づくスルー画像を表示部１０４に表示させる。

（撮像素子の全体構成）
図２は、撮像素子１０１の全体構成を簡略化して説明する図である。なお、図２では、電源部や詳細回路は省略している。撮像素子１０１は、ＣＭＯＳイメージセンサで構成される。撮像素子１０１は、画素エリア２０１と、垂直駆動回路２０２と、カラム回路２０３と、水平転送回路２０４と、出力回路２０５と、制御部２０６と、を有する。画素エリア２０１は、水平方向（行方向）および垂直方向（列方向）に二次元状に配列された複数の画素を有する。各画素は、入射光量に応じた電荷を蓄積するフォトダイオード（光電変換部）を有する。画素エリア２０１内にある各画素は垂直駆動回路２０２により制御され、光電変換によりフォトダイオードに蓄積された蓄積電荷に応じた撮像信号が順次カラム回路２０３に出力される。カラム回路２０３では、各画素からの撮像信号に対して相関二重サンプリング（ＣＤＳ）を行ったりゲインをかけたりすることで、画像信号として後段回路（不図示）で扱いやすいように処理する。カラム回路２０３で処理された撮像信号は、水平転送回路２０４を通り出力回路２０５に送られ、撮像素子１０１の出力として後段回路に受け渡される。ここでは、アナログ出力のセンサの例で記載したが、デジタル出力のセンサを用いても基本的な考え方は変わらない。制御部２０６は、以上の各部を制御する。以下に説明する画素エリア２０１、垂直駆動回路２０２、カラム回路２０３、水平転送回路２０４、および出力回路２０５の動作は、全て制御部２０６の制御によるものである。

（従来の撮像システム）
ここで、本実施形態による撮像システムの説明の前に、従来の撮像システムの構成例について説明する。図３は、従来の撮像システムの構成例を示す図である。従来の撮像システム５００では、撮像素子５０１により得られた画像信号に基づいて被写体検出部５０２により被写体検出を行う。そして、処理実行部５０３は、被写体検出部５０２による検出結果に基づいて、被写体認識処理を行い、その認識結果を基に、動体の動きを予測する動体予測処理や被写体を追尾する被写体追尾処理、ＡＦ（ＡｕｔｏＦｏｃｕｓ）エリアの選択処理などを行ってきた。このような撮像システム５００の用途に応じて、ローリング電子シャッタ方式で駆動する撮像素子やグローバル電子シャッタ方式で駆動するＣＭＯＳ撮像素子が用いられている。

（ローリング電子シャッタ方式）
図４は、ローリング電子シャッタ方式のＣＭＯＳ撮像素子６００における単位画素６２０の構成を示す図である。図４では、単位画素（１画素）６２０あたり、フォトダイオードＰＤ１個とトランジスタ４個（転送トランジスタＴＸ−Ｔｒ、リセットトランジスタＲＳＴ−Ｔｒ、増幅トランジスタＳＦ−Ｔｒ、セレクトトランジスタＳＥＬ−Ｔｒ）を有する。これらの各部は、図４に示すように接続されている。転送トランジスタＴＸは、フォトダイオードＰＤに蓄積された電荷を転送する。フローティングディフュージョン（浮遊容量）ＦＤは、フォトダイオードＰＤから転送される電荷を保持する電荷保持部として機能する。増幅トランジスタＳＦ-Ｔｒは、ソースフォロワ回路を形成し、フローティングディフュージョンＦＤの電位に応じた信号を出力する。リセットトランジスタＲＳＴ-Ｔｒは、フローティングディフュージョンＦＤの電位やフォトダイオードＰＤの電荷をリセットする。セレクトトランジスタＳＥＬ−Ｔｒは、画素が選択されるとオンし、フローティングディフュージョンＦＤから垂直信号線６４０までを接続する。図４においてＶＤＤは電源電圧を示す。

また、図４では、垂直駆動回路６３０の一部を記載しており、垂直駆動回路６３０内におけるドライバＤｒの接続までを示す。図４において、ＶｓｅｌはセレクトトランジスタＳＥＬ−Ｔｒの制御パルスを示す。選択行のみ制御パルスＶｓｅｌがＨｉｇｈになり、セレクトトランジスタＳＥＬ−Ｔｒがオンすると、フローティングディフュージョンＦＤから垂直信号線６４０までが接続される。また、ＶｒｓｔはリセットトランジスタＲＳＴ−Ｔｒの制御パルスを示す。フォトダイオードＰＤのリセットやフローティングディフュージョンＦＤのリセットの際、制御パルスＶｒｓｔがＨｉｇｈになり、リセットトランジスタＲＳＴ−Ｔｒがオンする。また、Ｖｔｘは転送トランジスタＴＸ−Ｔｒの制御パルスを示す。フォトダイオードＰＤの蓄積電荷を転送する際、制御パルスＶｔｘがＨｉｇｈになり、転送トランジスタＴＸ−Ｔｒがオンする。

図５は、ローリング電子シャッタの駆動タイミングを示す図であり、例として、１行目と２行目の画素の動作について示したものである。なお、図５において、１行目のセレクトトランジスタＳＥＬ−Ｔｒの制御パルスをＶｓｅｌ_１、２行目のセレクトトランジスタＳＥＬ−Ｔｒの制御パルスをＶｓｅｌ_２と表記する。その他のトランジスタの制御パルスも同様である。また、１行目の水平転送を水平転送１、２行目の水平転送を水平転送２と表記する。また、１水平期間（１Ｈ）は、１行分の読み出しにかかる時間の長さを表す。以上の表記は、以下に説明する他の図でも同様である。

図５に示すように、１行目と２行目では、フォトダイオードＰＤのリセット（ＰＤ＿ｒｓｔ）とフォトダイオードＰＤの読み出し（ＰＤ＿ｒｅａｄ）のタイミングが、１水平期間（１Ｈ）分ずれている。これがローリング電子シャッタの特徴であり、フォトダイオードＰＤのリセットからフォトダイオードＰＤの読み出しまでの期間が蓄積時間（シャッター時間）となる。各行では、蓄積時間の最初にフォトダイオードＰＤのリセットが行われる。フォトダイオードＰＤのリセットでは、それまでにフォトダイオードＰＤに蓄積されていた不要電荷をリセットトランジスタＲＳＴ−Ｔｒを通して排出する。蓄積時間経過後にフォトダイオードＰＤの読み出しが行われる。フォトダイオードＰＤの読み出しでは、蓄積時間中にフォトダイオードＰＤに蓄積された電荷をフローティングディフュージョンＦＤに転送し、増幅トランジスタＳＦ−Ｔｒ、セレクトトランジスタＳＥＬ−Ｔｒを通して蓄積電荷に応じた信号を垂直信号線６４０に読み出す。なお、フォトダイオードＰＤのリセット、フォトダイオードＰＤの読み出しは、図示したタイミングに限られない。垂直信号線６４０上に読み出された撮像信号は、カラム回路を通り、行毎に順次水平転送され出力される。

図６は、ローリング電子シャッタの駆動タイミングの全体イメージを示す図であり、縦軸を行数、横軸を時間として示している。図５でも説明した通り、フォトダイオードＰＤのリセット（ＰＤ＿ｒｓｔ）とフォトダイオードＰＤの読み出し（ＰＤ＿ｒｅａｄ）の間が蓄積時間である。フォトダイオードＰＤからの読み出し後すぐに水平転送が行われる。図６に示すように、ローリング電子シャッタでは、蓄積時間の間隔は同じでも、行毎の蓄積同時性がないことが分かる。

（グローバル電子シャッタ方式）
図７は、グローバル電子シャッタ方式のＣＭＯＳ撮像素子７００における単位画素７２０の構成を示す図である。図７では、単位画素（１画素）７２０あたり、フォトダイオードＰＤ１個と保持容量ＳＣ１個とトランジスタ５個（転送トランジスタＴＸ−Ｔｒ、リセットトランジスタＲＳＴ−Ｔｒ、増幅トランジスタＳＦ−Ｔｒ、セレクトトランジスタＳＥＬ−Ｔｒ、保持容量転送トランジスタＳＧ−Ｔｒ）とを有する。これらの各部は、図７に示すように接続されている。また、図７では、垂直駆動回路７３０の一部を記載しており、垂直駆動回路７３０内におけるドライバＤｒの接続までを示す。

図７に示すように、グローバル電子シャッタ方式のＣＭＯＳ撮像素子７００の単位画素７２０の構成には、図４に示したローリング電子シャッタ方式のＣＭＯＳ撮像素子６００の単位画素６２０と同様の構成に加えて、保持容量ＳＣと保持容量転送トランジスタＳＧ−Ｔｒとが追加されている。保持容量ＳＣは、転送トランジスタＴＸ−ＴｒによりフォトダイオードＰＤから転送される蓄積電荷を保持する電荷保持部として機能する。保持容量転送トランジスタＳＧ−Ｔｒは、保持容量ＳＣに保持された蓄積電荷をフローティングディフュージョンＦＤに転送する転送部として機能する。また、制御パルスとして、保持容量転送トランジスタＳＧ−Ｔｒを制御する制御パルスＶｓｇが追加されている。保持容量ＳＧに保持された蓄積電荷を転送する際に、制御パルスＶｓｇがＨｉｇｈになり、保持容量転送トランジスタＳＧ−Ｔｒがオンする。

図８は、グローバル電子シャッタの駆動タイミングを示す図であり、例として、１行目と２行目の画素の動作について示したものである。図８に示すように、１行目と２行目で、フォトダイオードＰＤおよび保持容量ＳＣのリセット（ＰＤＳＣ＿ｒｓｔ）とフォトダイオードＰＤの読み出し（ＰＤ＿ｒｅａｄ）のタイミングが同じとなっている。これがグローバル電子シャッタの特徴であり、フォトダイオードＰＤおよび保持容量ＳＣのリセットからフォトダイオードＰＤの読み出しまでの期間が蓄積時間（シャッター時間）となる。各行では、蓄積時間の最初にフォトダイオードＰＤおよび保持容量ＳＣのリセットが行われる。フォトダイオードＰＤおよび保持容量ＳＣのリセットでは、それまでにフォトダイオードＰＤや保持容量ＳＣにたまっていた不要電荷を全画素同時にリセットトランジスタＲＳＴ−Ｔｒを通して排出する。蓄積時間経過後にフォトダイオードＰＤの読み出しが行われる。フォトダイオードＰＤの読み出しでは、蓄積時間中にフォトダイオードＰＤに蓄積された電荷を全画素同時に保持容量ＳＣに転送する。その後、保持容量ＳＣの読み出し（ＳＣ＿ｒｅａｄ）を行毎に順次行う。保持容量ＳＣの読み出しでは、保持容量ＳＣに保持されている電荷をフローティングディフュージョンＦＤに転送し、ソースフォロアＳＦ−Ｔｒ、セレクトトランジスタＳＥＬ−Ｔｒを通して垂直信号線７４０に読み出す。なお、フォトダイオードＰＤおよび保持容量ＳＣのリセット、フォトダイオードＰＤの読み出し、保持容量ＳＣの読み出しは、図示したタイミングに限られない。垂直信号線７４０上に読み出された撮像信号は、カラム回路を通り、行毎に順次水平転送され出力される。

図９は、グローバル電子シャッタ駆動タイミングの全体イメージを示す図であり、縦軸を行数、横軸を時間として示している。図８でも説明した通り、フォトダイオードＰＤおよび保持容量ＳＣのリセット（ＰＤＳＣ＿ｒｓｔ）とフォトダイオードＰＤの読み出し（ＰＤ＿ｒｅａｄ）の間が蓄積時間である。フォトダイオードＰＤの読み出し後は、行毎に保持容量ＳＣの読み出し（ＳＣ＿ｒｅａｄ）と水平転送が行われる。図９に示すように、グローバル電子シャッタ駆動では、全画素に蓄積同時性があるが、保持容量ＳＣからの読み出しには行毎に時間差が生じることが分かる。

（ローリング電子シャッタおよびグローバル電子シャッタの問題点）
ローリング電子シャッタは、行毎の蓄積同時性がないことから動体が歪んで画像に写るため、被写体認識やその認識結果を基に被写体追尾する用途には不向きである。たとえ高速にローリング電子シャッタ駆動を行える撮像素子を用いたとしても、原理的に画像の歪みは解消しないし、高速動作させることで消費電力が増大するという問題も生じてしまう。また、ローリング電子シャッタをＡＦ（像面位相差ＡＦやコントラストＡＦなど）に用いた場合も、縦方向（同列画素）の蓄積同時性がないため、動体のピント合わせには不利である。横方向（同行画素）の蓄積同時性だけを頼りにＡＦを行うことになるので精度が劣る。

一方、グローバル電子シャッタを用いた場合、フォトダイオードＰＤの電荷を同時転送することで全画素の蓄積同時性が確保できるので画像の歪みは起こらない。しかしながら、保持容量ＳＣからの読み出しには時間差が生じ、それが暗電流バラツキとなって画像に現れ画質を低下させる。保持容量ＳＣからの読み出し順が最後の方の画素ほど暗電流の影響を受けることになる。たとえば監視カメラのような用途では撮像素子が常時動作しており、発熱による暗電流の影響が画像に現れやすい。そのため、放熱対策も十分行う必要があり、暗電流の影響が大きい場合は補正手段も考慮する必要が出てくる。

また、グローバル電子シャッタの場合、フォトダイオードＰＤのリセットやフォトダイオードＰＤの電荷転送を全画素同時に行うので、ローリング電子シャッタと比較して何倍も大きな瞬時電流が流れる。この瞬時電流と電源配線のインピーダンスにより電圧降下が起こるので、一般的に、撮像素子のチップサイズが大きく、撮像素子の中央部ほど電圧降下の影響を受けやすい。具体的には、電圧降下により出力信号のダイナミックレンジが不足したり、搭載されている回路の正常動作範囲を外れたりする可能性がある。これらは画質低下の原因になり得るので、瞬時電流が収まり電源電圧が定常状態に落ち着くまでの待ち時間を設けなければならず、フレームレート低下の要因となる。

（本実施形態の撮像素子の概要）
そこで、本実施形態の撮像素子１０１では、１フレーム分の撮像信号の読み出しにおいて、一部のエリアをグローバル電子シャッタで駆動させ、それ以外のエリアをローリング電子シャッタで駆動させることで問題解決を図る。グローバル電子シャッタで駆動させる一部のエリアとしては、例えば、被写体認識エリアやＡＦエリアなどが挙げられる。このように画素の蓄積同時性を有していた方が機能的に精度が高い場合にグローバル電子シャッタを用いるとよい。

グローバル電子シャッタで駆動させるエリアの設定は、連続行による行エリア設定や、ＸＹアドレス指定によるブロックエリア設定のどちらでも設定でき、複数の離散したエリアを選択することも可能である。ブロックエリア設定の場合、ＸＹアドレスで対象画素領域を指定することになるが、その分、エリア設定のための回路が複雑になる。行エリア設定の場合、対象画素領域以外も選択されることが多いが、ブロックエリア設定のようにＸアドレス（水平方向）の設定は必要ないので回路が複雑にならずに済む。

（本実施形態の撮像システム）
図１０は、本実施形態の撮像システム３００の構成例を示す図である。本実施形態の撮像システム３００は、撮像素子１０１により得られた画像信号に基づいて被写体検出部３０２により被写体検出を行う。そして、処理実行部３０３は、被写体検出部３０２による検出結果に基づいて、被写体認識処理を行い、その認識結果を基に、動体予測処理や、被写体追尾処理、ＡＦエリア選択処理を行う。なお、カメラボディ１００のボディ制御装置１０２が被写体検出部３０２および処理実行部３０３を機能的に備えている。また、本実施形態の撮像システム３００は、従来の撮像システム５００と異なり、処理実行部３０３で得られた動体予測結果や被写体追尾結果、ＡＦエリア選択結果を撮像素子１０１にフィードバックする構成となっている。撮像素子１０１側に、このようにフィードバックされた情報を保持できる回路を搭載しておくことで、フレーム毎に当該フィードバックされた情報に基づいてグローバル電子シャッタで動作させるエリアを設定することができる。

なお、ボディ制御装置１０２は、ユーザが撮影画面において注目したいエリアやＡＦエリアなどをボディ操作部１０３により設定し、ユーザにより設定されたエリアをグローバル電子シャッタで動作させるエリアとして設定するようにしてもよい。また、ＡＦ処理（自動焦点調節処理）で用いるＡＦエリアや、被写体認識処理、動体予測処理および被写体追尾処理で用いる被写体認識エリアの他、ＡＦ処理（自動露出演算処理）やＡＷＢ処理（自動ホワイトバランス調整処理）で用いるエリアについても、グローバル電子シャッタで動作させるエリアとして設定するようにしてもよい。

以上のように、撮像素子１０１において、被写体認識エリアやＡＦエリアなどのエリアをグローバル電子シャッタで動作させ、それ以外のエリアをローリング電子シャッタで動作させることにより、ボディ制御装置１０２は、グローバル電子シャッタで動作させたエリアの出力信号に基づいて被写体認識処理やＡＦ処理を行うことができる。また、ボディ制御装置１０２は、グローバル電子シャッタで動作させたエリアの出力信号とローリング電子シャッタで動作させたエリアの出力信号とを組み合わせて、１枚（１フレーム）の画像信号を読み出すことができる。

また、ボディ制御装置１０２は、撮像素子１０１において対象エリア以外のエリアのローリング電子シャッタ駆動は行わず、対象エリアのみをグローバル電子シャッタで動作させることで、対象エリアのみをクロップして（撮影時に切り出して）読み出すことも可能である。この場合、周辺回路の制御ロジックを変更することで可能になる。例えば、垂直駆動回路２０２において対象エリアの設定行以外をスキップ（読み飛ばし）させたり、水平エリア設定回路の情報を基に水平転送するエリアを絞り込んだりすることで実現可能である。このように、対象エリアのみをクロップして読み出すことで、対象エリア（蓄積同時性を有するエリア）のみの高速読み出しが可能になる。

また、撮像素子１０１の全画素読み出しと対象エリアのみの高速読み出しとを組み合わせるようにしてもよい。ボディ制御装置１０２は、たとえば、前フレームにおいて全画素読み出しを行い、現フレームにおいて対象エリアのみの読み出しを行う。そして、ボディ制御装置１０２は、前フレームにおいて全画素読み出しされた前フレーム画像と、現フレームにおいて対象エリアのみクロップ読み出しされた対象エリア画像とを合成して、撮影画面全体の画像を作成する。このときボディ制御装置１０２は、前フレーム画像における対象エリア以外の領域の画像に、現フレームにおける対象エリア画像を嵌め込むことで１枚の画像を作成する。このようにすることで、対象エリアのみを高速読み出しした現フレームにおいても、撮影画面全体の画像を取得することができる。なお、このようにして合成した画像を取得する場合、対象エリア以外の領域は現フレームと前フレームとでほぼ変化がないことが好ましい。そのため、ボディ制御装置１０２は、被写体が動体である場合は、動体の動きを予測して対象エリアを広めに取ることで、対象エリア以外の領域においてはほぼ変化がないようにすることができ、合成した画像の違和感を軽減できる。

このように全画素読み出し画像とクロップ読み出しされた対象エリア画像を合成する手法は、被写体が高速で動作している場合に有効である。対象エリアのみをクロップで高速読み出しすることで、高速動体に対し高速追尾が可能になると共に、全画素読み出し画像と合成させることで、１枚の画像としても扱うことができる。

次に、本実施形態におけるローリング電子シャッタ駆動およびグローバル電子シャッタ駆動を実現する実施例について説明する。

（第１実施例）
まず、本実施形態に係る第１実施例について説明する。第１実施例は、グローバル電子シャッタ駆動を行うエリアを連続行で設定する一例である。図１１は、第１実施例における撮像素子１０１の単位画素２２０の構成を示す図である。図１１では、垂直駆動回路２０２の一部を記載しており、垂直駆動回路２０２内におけるドライバＤｒの接続までを示す。単位画素２２０は、フォトダイオードＰＤとフォトダイオードＰＤから蓄積電荷に応じた撮像信号を読み出す読出部２５０とを有する。読出部２５０は、転送トランジスタＴＸ−Ｔｒ、保持容量ＳＣ、保持容量転送トランジスタＳＧ−Ｔｒ、フローティングディフュージョンＦＤ、リセットトランジスタＲＳＴ−Ｔｒ、増幅トランジスタＳＦ−Ｔｒ、およびセレクトトランジスタＳＥＬ−Ｔｒを有する。なお、このような単位画素２２０の構成は、図７のグローバル電子シャッタ方式のＣＭＯＳ撮像素子の単位画素７２０と同じ構成であるため、説明を省略する。

第１実施例では、垂直駆動回路２０２内に、保持容量転送トランジスタＳＧ−Ｔｒを制御する制御パルスＶｓｇについて、グローバル電子シャッタ用の制御パルスＶｓｇ_ｇｓとローリング電子シャッタ用の制御パルスＶｓｇ_ｒｓとを切り替える第１垂直切替スイッチＳＷ１が設けられている。さらに、垂直駆動回路２０２内に、転送トランジスタＴＸ−Ｔｒを制御する制御パルスＶｔｘについて、グローバル電子シャッタ用の制御パルスＶｔｘ_ｇｓとローリング電子シャッタ用の制御パルスＶｔｘ_ｒｓとを切り替える第２垂直切替スイッチＳＷ２が設けられている。第１垂直切替スイッチＳＷ１および第２垂直切替スイッチＳＷ２の切り替えは、垂直駆動回路２０２内の垂直エリア設定回路２１０から入力される垂直エリア設定パルスで制御される。垂直エリア設定回路２１０は、グローバル電子シャッタ駆動を行う行（垂直エリア）を選択するための回路であり、グローバル電子シャッタ駆動を行う行にはグローバル電子シャッタ用の垂直エリア設定パルスを出力し、ローリング電子シャッタ駆動を行う行にはローリング電子シャッタ用の垂直エリア設定パルスを出力する。

グローバル電子シャッタ駆動を行うエリアとして設定された行では、垂直エリア設定パルスに応じて第１垂直切替スイッチＳＷ１が［１］側に切り替えられ、保持容量転送トランジスタＳＧ−Ｔｒが制御パルスＶｓｇ＿ｇｓによって制御される。また、垂直エリア設定パルスに応じて第２垂直切替スイッチＳＷ２が［１］側に切り替えられ、転送トランジスタＴＸ−Ｔｒが制御パルスＶｔｘ＿ｇｓによって制御される。

一方、ローリング電子シャッタ駆動を行うエリアとして設定された行では、垂直エリア設定パルスに応じて第１垂直切替スイッチＳＷ１が［２］側に切り替えられ、保持容量転送トランジスタＳＧ−Ｔｒが制御パルスＶｓｇ＿ｒｓによって制御される。また、垂直エリア設定パルスに応じて第２垂直切替スイッチＳＷ２が［２］側に切り替えられ、転送トランジスタＴＸ−Ｔｒが制御パルスＶｔｘ＿ｒｓによって制御される。

図１２は、第１実施例におけるグローバル電子シャッタ駆動（ＧＳ駆動）およびローリング電子シャッタ駆動（ＲＳ駆動）のタイミングを示す図である。図１２では、例として、６行分の画素の１フレーム分の撮像信号の読み出し動作を示している。また、蓄積時間は４Ｈ分、１〜３行目と６行目をローリング電子シャッタ駆動させ、４、５行目をグローバル電子シャッタ駆動させるようにした。３〜５行目が蓄積時間に同時性があることになる。

まず、１行目を例にローリング電子シャッタ駆動の説明を行う。１Ｈ目の制御パルスＶｒｓｔ_１、Ｖｔｘ_１、Ｖｓｇ_１のＨｉｇｈ期間において、リセットトランジスタＲＳＴ−Ｔｒ、転送トランジスタＴＸ−Ｔｒ、および保持容量転送トランジスタＳＧ−Ｔｒがオンになり、フォトダイオードＰＤのリセットと保持容量ＳＣのリセットとが同時に行われる（ＰＤＳＣ_ｒｓｔ）。蓄積時間４Ｈが経過した後の５Ｈ目において、制御パルスＶｓｅｌ_１がＨｉｇｈになって、セレクトトランジスタＳＥＬ−Ｔｒがオンになり、１行目が選択される。そして、制御パルスＶｒｓｔ＿１がＬｏｗになり、リセットトランジスタＲＳＴ−Ｔがオフされた後、制御パルスＶｔｘ_１、Ｖｓｇ_１が同時にＨｉｇｈになり、転送トランジスタＴＸ−Ｔｒおよび保持容量転送トランジスタＳＧ−Ｔｒが同時にオンされる。これにより、蓄積時間中に蓄積されたフォトダイオードＰＤの電荷が保持容量ＳＣおよびフローティングディフュージョンＦＤに転送され、増幅トランジスタＳＦ−ＴｒおよびセレクトトランジスタＳＥＬ−Ｔｒを通して蓄積電荷に応じた撮像信号が垂直信号線２４０に読み出され（ＰＤ_ｒｅａｄ）、水平転送により出力される。他のローリング電子シャッタ駆動の２、３、６行目も同様の動作となり、行が進むごとに駆動タイミングが１Ｈずつずれていく。

次に、４行目を例にグローバル電子シャッタ駆動の説明を行う。３Ｈ目の動作は、３行目と同様に、フォトダイオードＰＤのリセットと保持容量ＳＣのリセットとが同時に行われる（ＰＤＳＣ_ｒｓｔ）。すなわち、フォトダイオードＰＤのリセットタイミングは、３行目と同じタイミングとなっている。

蓄積時間４Ｈ経過した後の７Ｈ目において、制御パルスＶｔｘ＿４がＨｉｇｈになって、転送トランジスタＴＸ−Ｔｒがオンされ、蓄積時間中に蓄積された蓄積電荷がフォトダイオードＰＤから保持容量ＳＣへ転送される（ＰＤ_ｒｅａｄ）。このフォトダイオードＰＤから保持容量ＳＣへの転送タイミングは、３行目と同じタイミングであり、３行目と蓄積時間の同時性が保たれていることが分かる。読み出し動作はローリング電子シャッタ駆動に合わせるため、時間をおいて保持容量ＳＣからの読み出し動作に入る。４行目の例では、保持容量ＳＣへの電荷転送後１Ｈ経過した後の８Ｈ目において、制御パルスＶｓｅｌ_４がＨｉｇｈになって、セレクトトランジスタＳＥＬ−Ｔｒがオンになり、４行目が選択される。そして、制御パルスＶｒｓｔ＿４がＬｏｗになり、リセットトランジスタＲＳＴ−Ｔがオフされた後、制御パルスＶｓｇ_４がＨｉｇｈになり、保持容量転送トランジスタＳＧ−Ｔｒがオンされる。これにより、保持容量ＳＣに保持された蓄積電荷がフローティングディフュージョンＦＤに転送され、増幅トランジスタＳＦ−ＴｒおよびセレクトトランジスタＳＥＬ−Ｔｒを通して蓄積電荷に応じた信号が垂直信号線２４０に読み出され（ＳＣ_ｒｅａｄ）、水平転送により出力される。他のグローバル電子シャッタ駆動の５行目も同様の動作となり、３、４行目と蓄積時間の同時性を保った動作タイミングとなる。

図１３は、第１実施例におけるローリング電子シャッタおよびグローバル電子シャッタ駆動タイミングの全体イメージを示す図であり、縦軸を行数、横軸を時間として示している。フォトダイオードＰＤおよび保持容量ＳＣのリセット（ＰＤＳＣ_ｒｓｔ）とフォトダイオードＰＤ読み出し（ＰＤ_ｒｅａｄ）の間が蓄積時間である。グローバル電子シャッタ駆動時のみ保持容量ＳＣの読み出し（ＳＣ_ｒｅａｄ）がフォトダイオードＰＤの読み出し（ＰＤ_ｒｅａｄ）後に行われ、水平転送が行われる。図１３に示すように、３〜５行目では画素の蓄積同時性があり、その他の行では画素の蓄積時間がずれていることが分かる。

なお、第１実施例において、グローバル電子シャッタ駆動させる行エリアは、画素エリア２０１内において複数設定することができる。たとえば、図１４は、グローバル電子シャッタ駆動させる行エリアとして、行エリアＬＡ１、ＬＡ２、ＬＡ３の３箇所を設定した例である。なお、各行エリアＬＡ１、ＬＡ２、ＬＡ３は、互いに離れた領域であり、それぞれの行エリアには連続した複数の行が含まれる。このように第１実施例では、グローバル電子シャッタ駆動させる行エリア、すなわち蓄積同時性のある領域を複数設定することができる。

（第２実施例）
次に、本実施形態に係る第２実施例について説明する。第２実施例も、第１実施例と同様に、グローバル電子シャッタ駆動を行うエリアを連続行で設定する一例である。第２実施例も、第１実施例と同様に、グローバル電子シャッタ駆動させる行エリアを複数設定することができる。図１５は、第２実施例における撮像素子１０１の単位画素２２０の構成を示す図である。図１５では、垂直駆動回路２０２の一部を記載しており、垂直駆動回路２０２内におけるドライバＤｒの接続までを示す。単位画素２２０の構成は、第１実施例と同様（すなわち図７のグローバル電子シャッタ方式のＣＭＯＳ撮像素子の単位画素７２０と同様）の構成であるため、説明を省略する。

第２実施例では、垂直駆動回路２０２内に、転送トランジスタＴＸ−Ｔｒを制御する制御パルスＶｔｘについて、グローバル電子シャッタ用の制御パルスＶｔｘ_ｇｓとローリング電子シャッタ用の制御パルスＶｔｘ_ｒｓとを切り替える垂直切替スイッチＳＷが設けられている。垂直切替スイッチＳＷの切り替えは、垂直駆動回路２０２内の垂直エリア設定回路２１０から入力される垂直エリア設定パルスで制御される。なお、第１実施例とは異なり、第２実施例では、保持容量転送トランジスタＳＧ−Ｔｒを制御する制御パルスＶｓｇを切り替える垂直切替スイッチは設けられていないため、第１実施例よりも簡易な構成となっている。

グローバル電子シャッタ駆動を行うエリアとして設定された行では、垂直エリア設定パルスに応じて垂直切替スイッチＳＷが［１］側に切り替えられ、転送トランジスタＴＸ−Ｔｒが制御パルスＶｔｘ＿ｇｓによって制御される。一方、ローリング電子シャッタ駆動を行うエリアとして設定された行では、垂直エリア設定パルスに応じて垂直切替スイッチＳＷが［２］側に切り替えられ、転送トランジスタＴＸ−Ｔｒが制御パルスＶｔｘ＿ｒｓによって制御される。

図１６は、第２実施例におけるグローバル電子シャッタ駆動およびローリング電子シャッタ駆動のタイミングを示す図である。図１６では、例として、６行分の画素における１フレーム分の撮像信号の読み出し動作を示している。また、蓄積時間は４Ｈ分、１〜３行目と６行目をローリング電子シャッタ駆動させ、４、５行目をグローバル電子シャッタ駆動させるようにした。３〜５行目が蓄積時間に同時性があることになる。なお、１〜３行目と６行目に用いられるローリング電子シャッタ駆動タイミングの説明については、第１実施例（図１２）と同様であるため、ここでは割愛する。

次に、４行目を例にグローバル電子シャッタ駆動の説明を行う。３Ｈ目において、制御パルスＶｔｘ_３がＨｉｇｈになり、転送トランジスタＴＸ−Ｔｒがオンされ、フォトダイオードＰＤに蓄積された電荷を一旦保持容量ＳＣに転送し、フォトダイオードＰＤ内を空にする。これは、フォトダイオードＰＤのリセット（ＰＤ_ｒｓｔ）に相当する。このようにフォトダイオードＰＤのリセットタイミングは、３行目と同じタイミングとなっている。

その後、４Ｈ目において、制御パルスＶｒｓｔ_４、Ｖｓｇ_４のＨｉｇｈ期間において、リセットトランジスタＲＳＴ−Ｔｒおよび保持容量転送トランジスタＳＧ−Ｔｒがオンされ、保持容量ＳＣに一旦転送されていたフォトダイオードＰＤの電荷が保持容量ＳＣを通してリセットされる（ＳＣ_ｒｓｔ）。この保持容量ＳＣのリセットは、ローリング電子シャッタ駆動に合わせている。第２実施例では、保持容量転送トランジスタＳＧ−Ｔｒの制御パルスは、ローリング電子シャッタおよびグローバル電子シャッタの両方で共通としているためである。

そして、３Ｈ目から蓄積時間４Ｈが経過した後の７Ｈ目において、制御パルスＶｔｘ_４がＨｉｇｈになり、転送トランジスタＴＸ−Ｔｒがオンされ、蓄積時間中に蓄積された電荷がフォトダイオードＰＤから保持容量ＳＣへ転送される。このフォトダイオードＰＤから保持容量ＳＣへの転送タイミングは、３行目と同じタイミングであり、３行目と蓄積時間の同時性が保たれていることが分かる。以降の動作は第１実施例と同じとなる。すなわち、読み出し動作はローリング電子シャッタ駆動に合わせるため、時間をおいて保持容量ＳＣからの読み出し動作に入る。４行目の例では、保持容量ＳＣへの電荷転送後１Ｈ経過した後の８Ｈ目において、制御パルスＶｓｅｌ_４がＨｉｇｈになって、セレクトトランジスタＳＥＬ−Ｔｒがオンになり、４行目が選択される。そして、制御パルスＶｒｓｔ＿４がＬｏｗになり、リセットトランジスタＲＳＴ−Ｔがオフされた後、制御パルスＶｓｇ_４がＨｉｇｈになり、保持容量転送トランジスタＳＧ−Ｔｒがオンされる。これにより、保持容量ＳＣに保持された電荷がフローティングディフュージョンＦＤに転送され、増幅トランジスタＳＦ−ＴｒおよびセレクトトランジスタＳＥＬ−Ｔｒを通して蓄積電荷に応じた信号が垂直信号線２４０に読み出され（ＳＣ_ｒｅａｄ）、水平転送により出力される。他のグローバル電子シャッタ駆動の５行目も同様の動作となり、３、４行目と蓄積時間の同時性を保った駆動タイミングとなる。

図１７は、第２実施例のローリング電子シャッタおよびグローバル電子シャッタの駆動タイミングの全体イメージを示す図であり、縦軸を行数、横軸を時間として示している。図１７（Ａ）は、図１６で例示した駆動タイミングの全体イメージを示しており、第１実施例と比較して、グローバル電子シャッタ駆動時に保持容量ＳＣのリセット（ＳＣ＿ｒｓｔ）がフォトダイオードＰＤのリセット（ＰＤ＿ｒｓｔ）後に行われているのが分かる。このこと以外は、図１３の第１実施例の場合と同じである。

しかしながら、第２実施例の場合、第１実施例とは異なり、グローバル電子シャッタ駆動させるエリアの大きさに制約が生じる。図１７（Ｂ）は、この制約を説明する図である。図１７（Ｂ）では、４〜７行目をグローバル電子シャッタ駆動する例を示している。図１７（Ｂ）に示すように、グローバル電子シャッタ駆動させる行を増やすと、７行目において保持容量ＳＣのリセット（ＳＣ＿ｒｓｔ）とフォトダイオードＰＤの読み出し（ＰＤ＿ｒｅａｄ）のタイミングが同時となる。これにより、フォトダイオードＰＤに蓄積した電荷を読み出して保持容量ＳＣに転送しても保持容量ＳＣがリセットされるので、フォトダイオードＰＤに蓄積した電荷がリセットされてしまう。更には、図示していないが、８行目以降もグローバル電子シャッタ駆動を行うとすると、保持容量ＳＣのリセット（ＳＣ＿ｒｓｔ）とフォトダイオードＰＤの読み出し（ＰＤ＿ｒｅａｄ）の動作順が逆転し、７行目同様、フォトダイオードＰＤに蓄積した電荷は保持容量ＳＣのリセット（ＳＣ＿ｒｓｔ）によりリセットされてしまう。

したがって、第２実施例では、蓄積時間４Ｈの場合、グローバル電子シャッタ駆動は連続３行まで（同時蓄積は連続４行まで）可能ということが分かる。従って、第２実施例の駆動方式での限界は、蓄積時間を決める水平期間数αと、同時蓄積する連続行数βが一致するところまでであり、α≧βという制約が生じる。ただ、第２実施例では、このような制約があるものの、転送トランジスタＴＸ−Ｔｒの制御パルスＶｔｘのみをローリング電子シャッタとグローバル電子シャッタとで切り替えるだけで実施できるというメリットはある。高速シャッタを必要としない（すなわち、蓄積時間が長くてもよい）用途では有効である。

（第３実施例）
第３実施例は、グローバル電子シャッタ駆動を行うエリアをＸＹアドレス指定によりブロックエリアで設定する一例である。図１８（Ａ）は、第３実施例における撮像素子１０１の単位画素２２０の構成を示す図である。図１８では、垂直駆動回路２０２の一部を記載しており、垂直駆動回路２０２内におけるドライバＤｒの接続までを示す。第３実施例における単位画素２２０の構成は、第１実施例と同様（すなわち図７のグローバル電子シャッタ方式のＣＭＯＳ撮像素子の単位画素７２０と同様）の構成に加え、保持容量転送トランジスタＳＧ−Ｔｒを制御する第１ブロックエリア切替スイッチＢＳ１と転送トランジスタＴＸ−Ｔｒを制御する第２ブロックエリア切替スイッチＢＳ２とが設けられる。第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２は、Ｘ方向（水平方向）のエリア設定に用いる。第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２の切り替えは、水平エリア設定回路２６０から入力される水平エリア設定パルスで制御される。なお、第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２は、図１８（Ｂ）に示すようにトランジスタで構成されているが、図１８（Ａ）では簡略化した記載としている。

水平エリア設定回路２６０は、グローバル電子シャッタ駆動を行う列（水平エリア）を選択するための回路であり、グローバル電子シャッタ駆動を行うブロックエリアが含まれる列にはグローバル電子シャッタ用の水平エリア設定パルスを出力し、ブロックエリアが含まれない列にはローリング電子シャッタ用の水平エリア設定パルスを出力する。

また、第３実施例では、第１実施例と同様に、垂直駆動回路２０２内に、保持容量転送トランジスタＳＧ−Ｔｒを制御する制御パルスＶｓｇについて、グローバル電子シャッタ用の制御パルスＶｓｇ_ｇｓとローリング電子シャッタ用の制御パルスＶｓｇ_ｒｓとを切り替える第１垂直切替スイッチＳＷ１が設けられている。さらに、垂直駆動回路２０２内に、転送トランジスタＴＸ−Ｔｒを制御する制御パルスＶｔｘについて、グローバル電子シャッタ用の制御パルスＶｔｘ_ｇｓとローリング電子シャッタ用の制御パルスＶｔｘ_ｒｓとを切り替える第２垂直切替スイッチＳＷ２が設けられている。第１垂直切替スイッチＳＷ１および第２垂直切替スイッチＳＷ２の切り替えは、垂直駆動回路２０２内の垂直エリア設定回路２１０から入力される垂直エリア設定パルスで制御される。

垂直エリア設定回路２１０は、グローバル電子シャッタ駆動を行うブロックエリアが含まれる行にはグローバル電子シャッタ用の垂直エリア設定パルスを出力し、ブロックエリアが含まれない行にはローリング電子シャッタ用の垂直エリア設定パルスを出力する。

さらに、第３実施例では、第１実施例と同様の構成に加えて、ローリング電子シャッタ用の制御パルスＶｓｇ＿ｒｓ、Ｖｔｘ_ｒｓが入力されるローリング電子シャッタ専用駆動ラインｓｇ＿ｒｓ、ｔｘ＿ｒｓを設け、それぞれにドライバＤｒを追加した構成となっている。ローリング電子シャッタ専用駆動ラインｓｇ＿ｒｓ、ｔｘ＿ｒｓは、それぞれ第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２の［１］側に接続される。

グローバル電子シャッタ駆動を行うブロックエリアを含む行では、垂直エリア設定パルスに応じて第１垂直切替スイッチＳＷ１および第２垂直切替スイッチＳＷ２がそれぞれ［１］側に切り替えられる。これにより、第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２の［２］側には、それぞれグローバル電子シャッタ用の制御パルスＶｓｇ_ｇｓ、Ｖｔｘ_ｇｓが入力される。

一方、グローバル電子シャッタ駆動を行うブロックエリアを含まない行では、垂直エリア設定パルスに応じて第１垂直切替スイッチＳＷ１および第２垂直切替スイッチＳＷ２がそれぞれ［２］側に切り替えられる。これにより、第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２の［２］側には、それぞれローリング電子シャッタ用の制御パルスＶｓｇ_ｒｓ、Ｖｔｘ_ｒｓが入力される。

また、グローバル電子シャッタ駆動を行うブロックエリアを含む列では、水平エリア設定パルスに応じて第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２がそれぞれ［２］側に切り替えられる。

一方、グローバル電子シャッタ駆動を行うブロックエリアを含まない列では、水平エリア設定パルスに応じて第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２がそれぞれ［１］側に切り替えられる。

このような構成により、指定されたブロックエリアをグローバル電子シャッタ駆動させ、それ以外のエリアをローリング電子シャッタ駆動させることができる。グローバル電子シャッタ駆動させるブロックエリアの設定を撮像素子１０１の外部から行うことも可能で、レジスタ設定によりブロックエリアを設定できるように作り込んでおけばよい。そうすることで、動体予測結果やＡＦエリア選択結果を撮像素子１０１側にフィードバックした場合にでも、グローバル電子シャッタ駆動させるブロックエリアをフレームごとに移動させたり、サイズ変更させたりすることが可能になる。なお、ブロックエリアの設定は、１画素単位、１行単位の設定でなくとも、数画素単位、数行単位の設定でもよく、その方がロジック回路の簡略化が可能である。

次に、第３実施例のブロックエリア設定における前提条件を示す。
＜ブロックエリア設定の前提条件＞
（１）１フレーム毎に１回ブロックエリアを設定可能である。
（２）水平エリア設定回路２６０および垂直エリア設定回路２１０が１つずつであっても、１回の設定で複数のブロックエリアを設定可能である。
（３）複数のブロックエリアにおいて読み出し行または読み出し列が重なる場合、重なった範囲が１つのブロックエリアとして設定される。

（ブロックエリアの第１設定例）
図１９は、グローバル電子シャッタ駆動させるブロックエリアの第１設定例を示す図である。これは、撮像素子１０１において、水平エリア設定回路２６０および垂直エリア設定回路２１０を１つずつ有し、ブロックエリアを１つ設定する場合の例である。図１９（Ａ）に示すように、ｍ行ｎ列の画素エリア２０１に、ブロックエリアＡを設定する。読み出される信号は、ブロックエリアＡが位置する最初の行（ａ行目）全てとブロックエリアＡ内が、蓄積同時性を持つことになる。ブロックエリアＡが位置する最初の行（ａ行目）はローリング電子シャッタで駆動し、ブロックエリアＡの最初の行以外はグローバル電子シャッタで駆動する。図１９（Ｂ）に示すように、ａ行目全てとブロックエリアＡが蓄積同時性を持つ。

図１９（Ｃ）は、画素エリア２０１における各領域の駆動状況を示す図である。駆動Ａはローリング電子シャッタ駆動を示す。駆動Ａの領域は、ブロックエリアを含まない列にある領域である。駆動Ａの領域では、画素内において、第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２が［１］側に切り替えられることで、転送トランジスタＴＸ−Ｔｒおよび保持容量転送トランジスタＳＧ−Ｔｒがローリング電子シャッタ用の制御パルスＶｓｇ_ｒｓ、Ｖｔｘ_ｒｓにより制御される。

駆動Ｂもローリング電子シャッタ駆動を示す。駆動Ｂの領域は、ブロックエリアを含む列にある領域であるが、ブロックエリアではない領域である。駆動Ｂの領域では、画素内において、第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２が［２］側に切り替えられる。更に、垂直駆動回路２０２内の第１垂直切替スイッチＳＷ１および第２垂直切替スイッチＳＷ２が［２］側に切り替えられることにより、画素内の転送トランジスタＴＸ−Ｔｒおよび保持容量転送トランジスタＳＧ−Ｔｒがローリング電子シャッタ用の制御パルスＶｓｇ_ｒｓ、Ｖｔｘ_ｒｓにより制御される。

駆動Ｃはグローバル電子シャッタ駆動を示す。駆動Ｃの領域はブロックエリアの領域である。駆動Ｃの領域では、画素内において、第１ブロックエリア切替スイッチＢＳ１および第２ブロックエリア切替スイッチＢＳ２が［２］側に切り替えられる。更に、垂直駆動回路２０２内の第１垂直切替スイッチＳＷ１および第２垂直切替スイッチＳＷ２が［１］側に切り替えられることにより、画素内の転送トランジスタＴＸ−Ｔｒおよび保持容量転送トランジスタＳＧ−Ｔｒがグローバル電子シャッタ用の制御パルスＶｓｇ_ｒｓ、Ｖｔｘ_ｒｓにより制御される。

図２０は、第３実施例におけるグローバル電子シャッタおよびローリング電子シャッタの駆動タイミングを示す図である。このタイミング図は、図１９のブロックエリアＡの読み出し開始先頭行（ａ行目）の前後の様子を示したものである。ブロックエリアＡの先頭行（ａ行目）まではローリング電子シャッタで駆動しており、図２０の「ａ−１行目とａ行目」がそのタイミングを示している。次にａ＋１行目以降になると、ブロックエリアＡの内と外で制御パルスＶｔｘと制御パルスＶｓｇとのタイミングが異なるようになる。図２０に示すように、ブロックエリアＡ内では、ａ行目と同じ蓄積タイミングで動作される。

ブロックエリアＡ内の画素は、グローバル電子シャッタ駆動を行うため、制御パルスＶｔｘ＿ｇｓ、Ｖｓｇ＿ｇｓにより制御され、ブロックエリアＡ外の画素は、ローリング電子シャッタ駆動を行うため、制御パルスＶｔｘ＿ｒｓ、Ｖｓｇ＿ｒｓにより制御される。制御パルスＶｓｅｌ、Ｖｒｓｔ、水平転送は、ブロックエリアＡの内外ともに同じタイミングである。図示しないが、ブロックエリアＡの読み出し最終行をぬけるまで、ブロックエリアＡ内におけるグローバル電子シャッタ駆動による読み出しと、ブロックエリアＡ外におけるローリング電子シャッタ駆動による読み出しとが続けられる。

次に、水平エリア設定回路２６０および垂直エリア設定回路２１０を１つずつ有した撮像素子１０１において、ブロックエリアを２つ設定する場合の例について示す。２つのブロックエリアの位置関係により、グローバル電子シャッタ駆動での読み出され方が異なるので、以下ブロックエリアの第２設定例〜第４設定例の３パターンに分けて説明する。この３パターンで、２つのブロックエリアの位置関係を全て網羅できる。

（ブロックエリアの第２設定例）
図２１は、グローバル電子シャッタ駆動させるブロックエリアの第２設定例を示す図である。この例は、２つあるブロックエリアの読み出し行と読み出し列が重ならない場合を示している。図２１（Ａ）に示すように、ｍ行ｎ列の画素エリア２０１に、ブロックエリアＡ、Ｂが設定されているとする。図２１（Ｂ）は、蓄積同時性を有する領域を示しており、前述したブロックエリア設定の前提条件により、ブロックエリアＡ、Ｂ以外の領域も一部グローバル電子シャッタ駆動により読み出されることになる。ブロックエリアＡと同行でブロックエリアＢと同列にあるエリアＣと、ブロックエリアＢと同行でブロックエリアＡと同列にあるエリアＤが、ブロックエリア設定されていないがグローバル電子シャッタ駆動により読み出される領域である。したがって、ａ行目全てとブロックエリアＡおよびエリアＣが蓄積同時性を持ち、ｂ行目全てとブロックエリアＢおよびエリアＤが蓄積同時性を持つ。

ブロックエリアとして設定された以外の領域も一部グローバル電子シャッタ駆動されるが、本発明で重要となる同一ブロックエリア内の蓄積同時性は保たれている。このように、水平エリア設定回路２６０および垂直エリア設定回路２１０を１つずつしか持たない撮像素子１０１であっても、複数のブロックエリアの蓄積同時性を確保できることが分かる。

図２１（Ｃ）は、画素エリア２０１における各領域の駆動状況を示す。駆動Ａ、Ｂ、Ｃのそれぞれの領域の説明は、ブロックエリアの第１設定例と同様であるため、説明を省略する。

（ブロックエリアの第３設定例）
図２２は、グローバル電子シャッタ駆動させるブロックエリアの第３設定例を示す図である。この例は、２つあるブロックエリアの読み出し列が重なっている場合を示している。図２２（Ａ）に示すように、ｍ行ｎ列の画素エリア２０１に、ブロックエリアＡ、Ｂが設定されているとする。図２２（Ｂ）は、蓄積同時性を有する領域を示しており、前述したブロックエリア設定の前提条件により、ブロックエリアＡ、Ｂ以外の箇所も一部グローバル電子シャッタ駆動により読み出されることになる。ブロックエリア設定の前提条件（３）により、水平エリア設定回路２６０は、グローバル電子シャッタで駆動させる列（水平エリア）としてブロックエリアＡ、Ｂ個々の領域より広い範囲Ｋ（ブロックエリアＡの左端からブロックエリアＢの右端までの範囲）を設定する。ブロックエリアＡの右側の隣接エリアＣと、ブロックエリアＢ左側の隣接エリアＤとが、ブロックエリアとして設定されていないが、グローバル電子シャッタ駆動で読み出される領域となる。したがって、ａ行目全てとブロックエリアＡおよびエリアＣが蓄積同時性を持ち、ｂ行目全てとブロックエリアＢおよびエリアＤが蓄積同時性を持つ。

図２１の場合と同様、ブロックエリア以外のエリアも一部グローバル電子シャッタ駆動されるが、本発明で重要となる同一ブロックエリア内の蓄積同時性は保たれている。このように、水平エリア設定回路２６０および垂直エリア設定回路２１０を１つずつしか持たない撮像素子１０１であっても、複数のブロックエリアの蓄積同時性を確保できることが分かる。

図２２（Ｃ）は、画素エリア２０１における各領域の駆動状況を示す。駆動Ａ、Ｂ、Ｃのそれぞれの領域の説明は、ブロックエリアの第１設定例と同様であるため、説明を省略する。

（ブロックエリアの第４設定例）
図２３は、グローバル電子シャッタ駆動させるブロックエリアの第４設定例を示す図である。この例は、２つあるブロックエリアの読み出し行が重なっている場合を示している。図２３（Ａ）に示すように、ｍ行ｎ列の画素エリア２０１に、ブロックエリアＡ、Ｂが設定されているとする。図２３（Ｂ）は、蓄積同時性を有する領域を示しており、前述したブロックエリア設定の前提条件により、ブロックエリアＡ、Ｂ以外の箇所も一部グローバル電子シャッタ駆動で読み出されてしまう。ブロックエリア設定の前提条件（３）により、垂直エリア設定回路２１０は、グローバル電子シャッタで駆動させる行（垂直エリア）としてブロックエリアＡ、Ｂ個々の領域より広い範囲（ブロックエリアＡの下端からブロックエリアＢの上端までの範囲）Ｊを設定する。ブロックエリアＡの上側の隣接エリアＣと、ブロックエリアＢの下側の隣接エリアＤとが、ブロックエリア設定されていないがグローバル電子シャッタ駆動で読み出される領域となる。したがって、ａ行目全てとブロックエリアＡ、ＢおよびエリアＣ、Ｄが蓄積同時性を持つ。

図２１、２２の場合と同様、ブロックエリア以外のエリアも一部グローバル電子シャッタされるが、本発明で重要となる同一ブロックエリア内の蓄積同時性は保たれている。このように、水平エリア設定回路２６０および垂直エリア設定回路２１０を１つずつしか持たない撮像素子１０１であっても、複数のブロックエリアの蓄積同時性を確保できることが分かる。

図２３（Ｃ）は、画素エリア２０１における各領域の駆動状況を示す。駆動Ａ、Ｂ、Ｃのそれぞれの領域の説明は、ブロックエリアの第１設定例と同様であるため、説明を省略する。

上述したブロックエリアの第２設定例〜第４設定例では、ブロックエリアが２つ設定された場合について説明したが、ブロックエリアが３つ以上設定された場合であっても、複数ブロックエリアの蓄積同時性が確保されることは容易に分かる。しかしながら、上述のように水平エリア設定回路２６０および垂直エリア設定回路２１０を１つずつしか持たない場合、ブロックエリアの数が増えることで、ブロックエリアの設定箇所以外でグローバル電子シャッタ駆動される領域が増え、暗電流バラツキや瞬時電流といったグローバル電子シャッタ特有の問題点が現れ始める。

このグローバル電子シャッタの問題点を抑えるためには、ブロックエリアの設定箇所以外でグローバル電子シャッタ駆動される領域を増やさないようにすればよい。この問題点を解決する実施例を第４実施例として以下説明する。

（第４実施例）
第４実施例に係る撮像素子１０１は、水平エリア設定回路および垂直エリア設定回路をそれぞれ２つずつ有する。図示しないが、水平エリア設定回路および垂直エリア設定回路をそれぞれ２つずつ持つことで、図１８で示した構成に対し、単位画素２２０内にある水平切替スイッチを３入力に変更することや、垂直駆動回路２０２において、保持容量転送トランジスタＳＧ−Ｔｒの制御パルスＶｓｇと転送トランジスタＴＸ−Ｔｒの制御パルスＶｔｘの出力ラインをもう１セット設けることなどが必要になる。

図２４は、第４実施例におけるブロックエリアの配置と垂直エリアおよび水平エリアの設定との関係を説明する図である。図２４（Ａ）、（Ｂ）、（Ｃ）は、それぞれ図２１（Ａ）、図２２（Ａ）、図２３（Ａ）のブロックエリアの配置に対応している。第４実施例の撮像素子１０１は、２つの水平エリア設定回路（第１水平エリア設定回路および第２水平エリア設定回路）と、２つの垂直エリア設定回路（第１垂直エリア設定回路および第２垂直エリア設定回路）とを有する。図２４（Ａ）、（Ｂ）、（Ｃ）において、それぞれ、ブロックエリアＡに対しては、第１水平エリア設定回路により水平エリアＡを設定し、第１垂直エリア設定回路により垂直エリアＡを設定する。また、ブロックエリアＢに対しては、第２水平エリア設定回路により水平エリアＢを設定し、第２垂直エリア設定回路により垂直エリアＢを設定する。図２４（Ａ）に示す場合では、ａ行目とブロックエリアＡとが蓄積同時性を有し、ｂ行目とブロックエリアＢとが蓄積同時性を有する。また、図２４（Ｂ）に示す場合でも、ａ行目とブロックエリアＡとが蓄積同時性を有し、ｂ行目とブロックエリアＢとが蓄積同時性を有する。図２４（Ｃ）に示す場合では、ａ行目とブロックエリアＡとが蓄積同時性を有し、ｂ行目のブロックエリアＡ以外の箇所とブロックエリアＢとが蓄積同時性を有する。

このように、水平エリア設定回路および垂直エリア設定回路をそれぞれ２つずつ持つことで、２つのブロックエリアと水平エリア設定回路および垂直エリア設定回路とを一対一で対応させることができ、ブロックエリアの設定箇所だけをグローバル電子シャッタ駆動で読み出すことができる。水平エリア設定回路および垂直エリア設定回路をそれぞれブロックエリア数以上持っていれば、ブロックエリアの設定箇所以外でグローバル電子シャッタ駆動される領域がなくなり、グローバル電子シャッタ駆動の問題点も低減される。すなわち、水平エリア設定回路および垂直エリア設定回路を複数持つことで、グローバル電子シャッタ駆動の問題点を抑えつつ、複数のブロックエリアに対応させることができる。

ただ、撮像素子１０１において、平面（二次元面）上に、複数の水平エリア設定回路および垂直エリア設定回路を設けた場合、それと同時に、画素内のブロックエリア切替スイッチの多入力化や、垂直駆動回路２０２の制御パルスＶｓｇ、Ｖｔｘの出力ラインの増設なども実施する必要がある。数回路程度であればよいのだが、回路数が多くなると画素内や画素エリア２０１周辺の回路構成が複雑になり、更には、画素を駆動するための制御線の数も増えるので、駆動のためにフォトダイオードＰＤの面積を縮小せざるを得なくなり基本性能の劣化へとつながってしまう。

このようなことで起こる性能劣化を避けるためには、複数の回路を平面上に配置するのではなく、画素エリア２０１に対し周辺回路や画素内スイッチなどを積層し三次元実装するのが効果的である。

上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像素子１０１は、光を電荷に変換するフォトダイオードＰＤと、フォトダイオードＰＤで光電変換された電荷により生成された撮像信号を読み出す読出部２５０と、を含む画素２２０を有する。撮像素子１０１の制御部２０６は、一部の画素２２０の撮像信号を第１電子シャッタ方式で読み出し、他の画素２２０の撮像信号を第１電子シャッタ方式とは異なる第２電子シャッタ方式で読み出すように読出部２５０を制御する。このような構成により、１フレーム内において、複数の電子シャッタ方式による撮像信号を得ることができる。

（２）上述した第１電子シャッタ方式はグローバル電子シャッタ方式であり、上述した第２電子シャッタ方式はローリング電子シャッタ方式である。画素の蓄積同時性を有していた方がよいエリアにはグローバル電子シャッタ方式を用い、それ以外のエリアにはローリング電子シャッタ方式を用いることで、上述したグローバル電子シャッタ方式およびローリング電子シャッタ方式のそれぞれの短所を補うことができる。

（３）撮像素子１０１は、行方向および列方向に二次元状に配列された複数の画素２２０を備える。各画素２２０は、入射光量に応じた電荷を蓄積するフォトダイオードＰＤと、フォトダイオードＰＤに蓄積された蓄積電荷に応じた撮像信号を読み出す読出部２５０と、を有する。読出部２５０は、グローバル電子シャッタ方式およびローリング電子シャッタ方式の両方が可能に構成される。１フレーム分の撮像信号の読み出しにおいて、複数の画素２２０のうち一部の画素はグローバル電子シャッタ方式で撮像信号が読み出され、複数の画素２２０のうち残りの画素はローリング電子シャッタ方式で撮像信号が読み出される。このような構成により、１フレーム内において、ローリング電子シャッタ方式による撮像信号とグローバル電子シャッタ方式による撮像信号とを得ることができる。画素の蓄積同時性を有していた方がよいエリアにはグローバル電子シャッタ方式を用い、それ以外のエリアにはローリング電子シャッタ方式を用いることで、上述したグローバル電子シャッタ方式およびローリング電子シャッタ方式のそれぞれの短所を補うことができる。

（４）撮像素子１０１は、グローバル電子シャッタ方式で読み出す画素の行を選択する垂直エリア設定回路２１０とグローバル電子シャッタ方式で読み出す画素の列を選択する水平エリア設定回路２６０とを１つずつ備える。これにより、簡易な構成で、グローバル電子シャッタ方式で読み出す画素のブロックエリアを設定することができる。

（５）カメラボディ１００において、ボディ制御装置１０２は、撮像素子１０１からグローバル電子シャッタ方式で読み出された撮像信号を用いて、焦点調節処理、露出演算処理、ホワイトバランス調整処理、被写体認識処理、動体予測処理および被写体追尾処理の少なくとも１つを実行する。このような構成により、画素の蓄積同時性を有するエリアの撮像信号を用いて上述した処理を行うことができる。またボディ制御装置１０２は、上述した処理の結果に基づいて、撮像素子１０１においてグローバル電子シャッタ方式により撮像信号を読み出す画素を決定する。このような構成により、上述した処理の結果を、グローバル電子シャッタ方式で読み出すエリアの設定にフィードバックすることができる。

（４）撮像素子１０１は、行方向および列方向に二次元状に配列された複数の画素２２０を備える。各画素２２０は、入射光量に応じた電荷を蓄積するフォトダイオードＰＤと、フォトダイオードＰＤに蓄積された蓄積電荷に応じた撮像信号を読み出す読出部２５０と、を有する。読出部２５０は、グローバル電子シャッタ方式およびローリング電子シャッタ方式の両方が可能に構成される。１フレーム分の撮像信号の読み出しにおいて、複数の画素２２０のうち一部の画素はグローバル電子シャッタ方式で撮像信号が読み出され、複数の画素２２０のうち残りの画素はローリング電子シャッタ方式で撮像信号が読み出される。このような構成により、１フレーム内において、ローリング電子シャッタ方式による撮像信号とグローバル電子シャッタ方式による撮像信号とを得ることができる。画素の蓄積同時性を有していた方がよいエリアにはグローバル電子シャッタ方式を用い、それ以外のエリアにはローリング電子シャッタ方式を用いることで、上述したグローバル電子シャッタ方式およびローリング電子シャッタ方式のそれぞれの短所を補うことができる。

（５）撮像素子１０１は、グローバル電子シャッタ方式で読み出す画素の行を選択する垂直エリア設定回路２１０とグローバル電子シャッタ方式で読み出す画素の列を選択する水平エリア設定回路２６０とを１つずつ備える。これにより、簡易な構成で、グローバル電子シャッタ方式で読み出す画素のブロックエリアを設定することができる。

−第２の実施の形態−
次に、図面を参照しながら、本発明の第２の実施の形態について説明する。第２の実施の形態におけるデジタルカメラの構成および撮像素子の全体構成は、第１の実施の形態におけるデジタルカメラの構成（図１）および撮像素子１０１の全体構成（図２）と同様であるため、説明を省略する。第２の実施の形態の撮像素子１０１は、１フレーム分の撮像信号の読み出しにおいて、画素エリア２０１の全ての画素からローリング電子シャッタ方式で撮像信号を読み出すのに並行して、設定した一部の領域の画素についてはグローバル電子シャッタ方式で撮像信号を読み出すことができるように構成されている。なお、ここで、上記全ての画素とは、欠陥画素などの一部の画素を除いた場合も含み、撮影画面全体の画像を生成するための画素という意味である。

図２５は、画素エリア２０１内で、グローバル電子シャッタ駆動させるように設定されたエリア（ＧＳエリア）Ａｇの例を示す図である。ボディ制御装置１０２は、撮像素子１０１に対して、ＧＳエリアＡｇを設定する。図２５に示すように、ＧＳエリアＡｇは画素エリア２０１内に複数設定することができる。ＧＳエリアＡｇの形状も、横長の長方形、縦長の長方形、十字型などに設定することができる。また、第１の実施の形態と同様に、ＧＳエリアＡｇとしては、ＡＦ処理で用いるＡＦエリアや、被写体認識処理、動体予測処理および被写体追尾処理で用いる被写体認識エリアの他、ＡＦ処理やＡＷＢ処理で用いるエリアなど、蓄積同時性を有していた方がよいエリアが設定される。

図２６は、第２の実施の形態の撮像システム３００の構成例を示す図である。撮像素子１０１からは、ＧＳエリアからグローバル電子シャッタ駆動で読み出された画像信号（ＧＳ信号）と全画素からローリング電子シャッタ駆動で読み出された画像信号（ＲＳ信号）とがそれぞれ出力され、信号処理部３０５に送られる。なお、信号処理部３０５は、カメラボディ１００のボディ制御装置１０２に含まれる。

信号処理部３０５に送られたＧＳ信号は、オフセット回路３１０で所定のオフセットが行われ、ゲイン回路３１１で所定のゲインがかけられた後、ＡＦ／ＡＥ／ＡＷＢ部３１２と加算部３１３と画像処理部３１７とに送られる。ＡＦ／ＡＥ／ＡＷＢ部３１２では、ＧＳ信号に基づいて、ＡＦ処理やＡＥ処理、ＡＷＢ処理が行われる。信号処理部３０５に送られたＲＳ信号は、オフセット回路３１４で所定のオフセットが行われ、ゲイン回路３１５で所定のゲインがかけられた後、加算部３１３に送られる。加算部３１３では、ＧＳ信号とＲＳ信号とが加算され１フレームの画像信号が生成される。なお、加算部３１３での加算処理について詳しくは後述する。加算部３１３で生成された画像信号は、メモリ３１６に記録されたり、画像処理部３１７で所定の画像処理が行われたりする。また、画像処理部３１７は、ＧＳ信号およびＲＳ信号を用いて被写体認識処理を行い、その認識結果に基づいて動体予測処理や被写体追尾処理、ＡＦエリア選択処理などを行う。画像処理部３１７で得られた動体予測結果や被写体追尾結果、ＡＦエリア選択結果はＧＳエリアの設定にフィードバックされ、これらの結果に基づいてＧＳエリアが設定される。

図２７は、第２の実施形態における撮像素子１０１の単位画素２２０の構成を示す図である。単位画素（１画素）２２０は、１つのフォトダイオードＰＤとフォトダイオードＰＤから蓄積電荷に応じた撮像信号を読み出す読出部２５０とを有する。読出部２５０は、フォトダイオードＰＤにそれぞれ接続されたローリング電子シャッタ用のＲＳ読出回路およびグローバル電子シャッタ用のＧＳ読出回路を有する。

ＲＳ読出回路は、転送トランジスタＴＸ１と、フローティングディフュージョンＦＤ１と、増幅トランジスタＳＦ１と、セレクトトランジスタＳ１とを有する。転送トランジスタＴＸ１はフォトダイオードＰＤに蓄積された電荷を転送する。フローティングディフュージョンＦＤは、フォトダイオードＰＤから転送された蓄積電荷を保持する電荷保持部として機能する。増幅トランジスタＳＦ１は、ソースフォロワ回路を形成し、フローティングディフュージョンＦＤの電位に応じた信号を出力する。セレクトトランジスタＳ１は、画素が選択されるとオンし、フローティングディフュージョンＦＤ１から出力線Ｏｕｔ１までを接続する。これらの各部は、図２７に示すように接続されている。ＲＳ読出回路は、フォトダイオードＰＤの蓄積電荷をローリング電子シャッタ駆動で読み出し、蓄積電荷に応じた撮像信号を出力線Ｏｕｔ１に出力する。

ＧＳ読出回路は、保持容量ＳＧと、転送トランジスタＴＸ２と、フローティングディフュージョンＦＤ２と、増幅トランジスタＳＦ２と、セレクトトランジスタＳ２とを有する。保持容量ＳＧは、フォトダイオードＰＤに蓄積された電荷を保持する電荷保持部として機能する。保持容量ＳＧのゲートが開かれると、フォトダイオードＰＤの蓄積電荷が保持容量ＳＧに転送される。転送トランジスタＴＸ２は保持容量ＳＧに保持された電荷を転送する。フローティングディフュージョンＦＤ１は、転送トランジスタＴＸ２により転送された蓄積電荷を保持する電荷保持部として機能する。増幅トランジスタＳＦ２は、ソースフォロワ回路を形成し、フローティングディフュージョンＦＤの電位に応じた信号を出力する。セレクトトランジスタＳ２は、画素が選択されるとオンし、フローティングディフュージョンＦＤ２から出力線Ｏｕｔ２までを接続する。これらの各部は、図２７に示すように接続されている。ＧＳ読出回路は、フォトダイオードＰＤの蓄積電荷をグローバル電子シャッタ駆動で読み出し、蓄積電荷に応じた撮像信号を出力線Ｏｕｔ２に出力する。

リセットトランジスタＲｅｓｅｔは、ＲＳ読出回路とＧＳ読出回路とで共通に設けられている。リセットトランジスタＲｅｓｅｔは、フォトダイオードＰＤ、保持容量ＳＧ、フローティングディフュージョンＦＤ１、ＦＤ２をリセットする。

図２８は、第２の実施の形態におけるローリング電子シャッタおよびグローバル電子シャッタの駆動タイミングを示す図である。図２８では、１フレーム分の読み出しにおけるＲＳ読出回路の転送トランジスタＴＸ１とＧＳ読出回路の保持容量ＳＧおよび転送トランジスタＴＸ２の制御パルスを示している。画素エリア２０１はｎ行の画素を有するとし、図２８において（１）〜（ｎ）は画素の１行目〜ｎ行目を表す。また、ここでは、ｉ行目〜ｊ行目の画素がグローバル電子シャッタで駆動されるＧＳエリアとして設定されているとする。

まず、時刻ｒ１〜ｒ２で、１行目〜ｎ行目においてリセットトランジスタＲｅｓｅｔがオンされ且つ転送トランジスタＴＸ１が順次オンされてフォトダイオードＰＤがリセットされ、ローリング電子シャッタにおける電荷蓄積が開始される。

そして、時刻ｇ１で、ＧＳエリアとして設定されている行（ｉ行目〜ｊ行目）において、転送トランジスタＴＸ１が同時にオンされ、フォトダイオードＰＤにそれまで蓄積されていた電荷がフローティングディフュージョンＦＤ１に転送され、フォトダイオードＰＤがリセットされる。これにより、ローリング電子シャッタの電荷蓄積が一旦中断され、それまでの蓄積電荷がフローティングディフュージョンＦＤ１に保持されると共に、グローバル電子シャッタの電荷蓄積が開始される。なお、ＧＳエリアとして設定されていない行（ｉ行目〜ｊ行目以外）では、ローリング電子シャッタの電荷蓄積が継続されている。

そして、所定の蓄積時間（ＧＳ蓄積時間）経過後の時刻ｇ２で、ＧＳエリアとして設定されている行（ｉ行目〜ｊ行目）において、保持容量ＳＧのゲートが同時に開かれ、フォトダイオードＰＤの蓄積電荷が保持容量ＳＧに転送され、フォトダイオードＰＤがリセットされる。これにより、グローバル電子シャッタの電荷蓄積が終了され、それまでの蓄積電荷が保持容量ＳＧに保持されると共に、ローリング電子シャッタの電荷蓄積が再開される。

そして、時刻ｇ３〜ｇ４で、ＧＳエリアとして設定されている行（ｉ行目〜ｊ行目）において、転送トランジスタＴＸ２が順次オンされ、保持容量ＳＧに保持されていた蓄積電荷がフローティングディフュージョンＦＤ２に転送され、蓄積電荷に応じた撮像信号（ＧＳ信号）が出力線Ｏｕｔ２から読み出される。

また、１行目〜ｎ行目の各行においてローリング電子シャッタの蓄積開始から所定の蓄積時間（ＲＳ蓄積時間）経過後の時刻ｒ３〜ｒ４で、各行において、転送トランジスタＴＸ１が順次オンされ、フォトダイオードＰＤの蓄積電荷がフローティングディフュージョンＦＤ１に転送され、蓄積電荷に応じた撮像信号（ＲＳ信号）が出力線Ｏｕｔ１から読み出される。なお、ＧＳエリアとして設定されている行（ｉ行目〜ｊ行目）においては、時刻ｇ２以降の蓄積電荷が、時刻ｇ１でフローティングディフュージョンＦＤ１に転送され保持されていた時刻ｇ１よりも前の蓄積電荷と加算されて、ＲＳ信号として出力線Ｏｕｔ１から読み出される。

なお、ＧＳエリアとして設定されている行（ｉ行目〜ｊ行目）では、上述したように、ローリング電子シャッタにおける電荷蓄積時間の一部を、グローバル電子シャッタにおける電荷蓄積時間とするため、ローリング電子シャッタでの電荷蓄積時間がグローバル電子シャッタの電荷蓄積時間の分少ないことになる。そのため、ＧＳエリアとして設定されている行については、上述した信号処理部３０５の加算部３１３において、ＧＳ信号とＲＳ信号とを加算することで、適切な画像信号を得ることができる。すなわち、加算部３１３は、ＧＳエリアの画素においてはＧＳ信号とＲＳ信号とを用いて画像信号を取得し、ＧＳエリア以外の画素においてはＲＳ信号を用いて画像信号を取得する。

また、図２８では、ローリング電子シャッタにおける電荷蓄積の間に、グローバル電子シャッタにおける電荷蓄積を行う例について説明した。しかしながら、グローバル電子シャッタにおける電荷蓄積のタイミングは、前フレームのローリング電子シャッタにおける蓄積電荷の読み出し後から、現フレームのローリング電子シャッタにおける蓄積電荷の読み出し前までの任意のタイミングでよい。

たとえば、図２８において、ＧＳエリアとして設定されている行（ｉ行目〜ｊ行目）で、ローリング電子シャッタにおける電荷蓄積の開始がグローバル電子シャッタにおける電荷蓄積終了（時刻ｇ２）よりも後であってもよい。この場合は、ローリング電子シャッタにおける電荷蓄積がグローバル電子シャッタにおける電荷蓄積で中断されないので、加算部３１３においてＧＳ信号とＲＳ信号とを加算せず、ＲＳ信号のみで画像信号とすればよい。

また、図２８において、ＧＳエリアとして設定されている行（ｉ行目〜ｊ行目）で、ローリング電子シャッタにおける電荷蓄積の開始のタイミングがグローバル電子シャッタにおける電荷蓄積開始（時刻ｇ１）〜電荷蓄積終了（時刻ｇ２）の間となる場合も考えられる。この場合、グローバル電子シャッタにおける電荷蓄積開始後に、ローリング電子シャッタにおける電荷蓄積の開始のタイミングで転送トランジスタＴＸ１がオンされてフォトダイオードＰＤがリセットされる。そのため、このリセットタイミングからグローバル電子シャッタにおける電荷蓄積終了（時刻ｇ２）までに蓄積された電荷がＧＳ信号として読み出されることになり、ＧＳ信号の蓄積時間が減ってしまう。したがって、この場合、撮像素子１０１内または信号処理部３０５において、所定の蓄積時間のＧＳ信号となるように、所定の蓄積時間に対して減った分の蓄積時間の比率に基づいてＧＳ信号を補正する。

また、図２８では、１フレーム分の読み出しにおいて、グローバル電子シャッタを１回行う例について説明したが、複数回行うようにしてもよい。

（動体検出）
画像処理部３１７は、１フレーム分の読み出しで得られた上記ＧＳ信号およびＲＳ信号を用いて、動体検出を行うことができる。図２９は、このような動体検出について説明する図である。図２９（Ａ）〜（Ｃ）は、被写体である動体Ｐについて時刻ｔ０〜ｔ２における動きを示す。時刻ｔ０〜ｔ２において、動体Ｐが右から左に移動している。グローバル電子シャッタ駆動させるＧＳエリアＡｇは、動体Ｐを含むように設定されている。図２９（Ｄ）は、時刻ｔ１のグローバル電子シャッタにより得られた画像（ＧＳ画像）を示す。ＧＳ画像では、図２９（Ｄ）に示すように、ＧＳエリアＡｇにおいて動体Ｐが歪まずに写っている。図２９（Ｅ）は、時刻ｔ０〜ｔ２のローリング電子シャッタにより得られた画像（ＲＳ画像）を示す。時刻ｔ０〜ｔ２にかけて動体Ｐが移動しているため、ＲＳ画像では、図２９（Ｅ）に示すように動体Ｐが歪んで写っている。

このように、被写体が動体の場合には、ＧＳ画像では歪まずに写り、ＲＳ画像では歪んで写るため、ＧＳ画像とＲＳ画像とで異なる画像となる。一方、被写体が動体ではない（静止している）場合には、ＧＳ画像およびＲＳ画像の両方とも歪まずに写るため、ＧＳ画像とＲＳ画像とで略同じ画像となる。このことをふまえ、画像処理部３１７は、ＧＳ信号とＧＳエリアにおけるＲＳ信号とで被写体の特徴点検出（エッジ検出など）をそれぞれ行い、ＧＳ信号とＧＳエリアにおけるＲＳ信号とで特徴点検出の結果を比較し、所定以上の差分がある場合には、ＧＳエリアに含まれる被写体が動体であると判断する。さらに画像処理部３１７は、ＧＳエリアにおけるＲＳ信号の歪量を検出し、歪量に基づいて動体の移動速度を検出するようにしてもよい。

（ＧＳ信号およびＲＳ信号の加算）
上述したようにＧＳエリアにおけるＲＳ信号は、グローバル電子シャッタの蓄積時間の分蓄積時間が少ないため、加算部３１３においてＧＳエリアにおけるＲＳ信号とＧＳ信号とを加算する。このとき、ＲＳ信号に歪のない場合には、加算部３１３においてＧＳエリアにおけるＲＳ信号とＧＳ信号とを単純加算すればよい。しかしながら、ＲＳ信号に歪がある場合には、ＧＳエリアにおけるＲＳ信号とＧＳ信号とを単純加算すると、歪がある画像と歪がない画像とが加算されてブレたような画像となってしまう。そこで、ＲＳ信号に歪がある場合には、ＧＳエリアにおけるＲＳ信号とＧＳ信号とを単純加算するのではなく、以下の方法により画像信号を生成する。

（１）ＲＳ信号における歪がＧＳエリア内である場合
図３０（Ａ）および（Ｂ）は、ＲＳ信号における歪がＧＳエリアＡｇ内である場合のＧＳ画像およびＲＳ画像の例を示す図である。図３０（Ａ）および（Ｂ）では、ＧＳエリアＡｇ内に動体Ｐが収まっており、図３０（Ｂ）のＲＳ画像の歪はＧＳエリアＡｇ内に収まっている。この場合、画像処理部３１７は、ＧＳエリアにおいてＧＳ信号のみを採用し、当該ＧＳ信号とＧＳエリア以外のＲＳ信号とを合成して、１フレームの画像信号を生成する。なお、ＧＳ信号とＲＳ信号とは蓄積時間が異なっているため、画像処理部３１７は、ＧＳ信号に対してゲインをかけたりオフセット補正を行ったりしてＲＳ信号と対応するように補正して、１フレームの画像信号を生成する。

（２）ＲＳ信号における歪がＧＳエリア外である場合
図３０（Ｃ）および（Ｄ）は、ＲＳ信号における歪がＧＳエリアＡｇ外である場合のＧＳ画像およびＲＳ画像の例を示す図である。図３０（Ｃ）および（Ｄ）では、ＧＳエリアＡｇから動体Ｐがはみ出しており、図３０（Ｂ）のＲＳ画像の歪はＧＳエリアＡｇ外にはみ出している。この場合、画像処理部３１７は、ＧＳエリアＡｇにおいてＲＳ信号のみを採用し、ＲＳ信号のみを用いて１フレームの画像信号を生成する。なお、ＧＳエリアＡｇにおけるＲＳ信号は、ＧＳエリア外のＲＳ信号と蓄積時間が異なっているため、画像処理部３１７は、ＧＳエリアＡｇにおけるＲＳ信号に対してゲインをかけたりオフセット補正を行ったりしてＧＳエリア外のＲＳ信号と対応するように補正して、１フレームの画像信号を生成する。

なお、画像処理部３１７では、撮像素子１０１から得られた画像信号から被写体を認識する際、被写体の大きさの判定も行い、判定結果に基づいてＧＳエリアに被写体が含まれるようにＧＳエリアの大きさを設定する。そのため、通常は、上述した（１）のようにＲＳ信号における歪はＧＳエリア内となるが、最初のフレームや、被写体が急激に動いた場合、構図を変えた場合などには、上述した（２）のようにＲＳ信号における歪がＧＳエリア外となる場合もある。この場合、次のフレームでは、画像処理部３１７による被写体の大きさの判定結果をＧＳエリアの設定にフィードバックすることで、上述した（１）のようにＲＳ信号における歪はＧＳエリア内となる。

上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像素子１０１は、光を電荷に変換するフォトダイオードＰＤと、フォトダイオードＰＤで光電変換された電荷により生成された撮像信号を読み出す読出部２５０と、を含む画素２２０を有する。撮像素子１０１の制御部２０６は、一部の画素２２０の撮像信号を第１電子シャッタ方式で読み出し、他の画素２２０の撮像信号を第１電子シャッタ方式とは異なる第２電子シャッタ方式で読み出すように読出部２５０を制御する。このような構成により、１フレーム内において、複数の電子シャッタ方式による撮像信号を得ることができる。

（２）撮像素子１０１は、行方向および列方向に二次元状に配列された複数の画素２２０を備える。各画素２２０は、入射光量に応じた電荷を蓄積するフォトダイオードＰＤと、フォトダイオードＰＤに蓄積された蓄積電荷に応じた撮像信号を読み出す読出部２５０と、を有する。読出部２５０は、グローバル電子シャッタ方式およびローリング電子シャッタ方式の両方が可能に構成される。１フレーム分の撮像信号の読み出しにおいて、複数の画素２２０のうち全ての画素はローリング電子シャッタ方式で撮像信号が読み出され、複数の画素２２０のうち一部の画素はグローバル電子シャッタ方式で撮像信号が読み出される。このような構成により、従来技術のようにフレーム間でローリング電子シャッタ方式とグローバル電子シャッタ方式とを切り替えることなく、１フレーム内において、ローリング電子シャッタ方式による撮像信号とグローバル電子シャッタ方式による撮像信号とを得ることができる。１フレーム分の読み出しにおいて、ローリング電子シャッタ方式によって１フレーム分の画像を得ることができると共に、グローバル電子シャッタ方式によってＡＦやＡＥ用の信号を得ることができる。

（３）撮像素子１０１において、各画素２２０の読出部２５０は、フォトダイオードＰＤにそれぞれ接続されたＲＳ読出回路およびＧＳ読出回路を有し、１フレーム分の撮像信号の読み出しにおいて、全ての画素はＲＳ読出回路によりローリング電子シャッタ方式で撮像信号が読み出され、一部の画素はＧＳ読出回路によりグローバル電子シャッタ方式で撮像信号が読み出される。これにより、全ての画素からローリング電子シャッタ方式で撮像信号を読み出すのに並行して、一部の画素からグローバル電子シャッタ方式で撮像信号を読み出すことができる。

（４）カメラボディ１００において、ボディ制御装置１０２は、撮像素子１０１からグローバル電子シャッタ方式で読み出された撮像信号を用いて、焦点調節処理、露出演算処理、ホワイトバランス調整処理、被写体認識処理、動体予測処理および被写体追尾処理の少なくとも１つを実行する。このような構成により、画素の蓄積同時性を有するエリアの撮像信号を用いて上述した処理を行うことができる。またボディ制御装置１０２は、上述した処理の結果に基づいて、撮像素子１０１においてグローバル電子シャッタ方式により撮像信号を読み出す画素を決定する。このような構成により、上述した処理の結果を、グローバル電子シャッタ方式で読み出すエリアの設定にフィードバックすることができる。

（５）カメラボディ１００において、ボディ制御装置１０２は、グローバル電子シャッタ方式とローリング電子シャッタ方式の両方で読み出した画素については、グローバル電子シャッタ方式で読み出された撮像信号とローリング電子シャッタ方式で読み出された撮像信号とを用いて画像信号を取得する。それ以外の画素については、ローリング電子シャッタ方式で読み出された撮像信号とを用いて画像信号を取得する。このような構成により、１フレーム分の画像信号を適切に取得することができる。

（６）カメラボディ１００において、ボディ制御装置１０２は、グローバル電子シャッタ方式とローリング電子シャッタ方式の両方で読み出した画素については、グローバル電子シャッタ方式で読み出された撮像信号とローリング電子シャッタ方式で読み出された撮像信号との差分を用いて、撮像される動体を検出する。このような構成により、１フレームのみで動体検出を行うことができ、複数フレームを用いて動体検出を行う場合と比較して動体検出の時間を短縮することができる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１００…カメラボディ、１０１…撮像素子、１０２…ボディ制御装置、１１０…交換レンズ、２０１…画素エリア、２０２…垂直駆動回路、２１０…垂直エリア設定回路、２２０…画素、２５０…読出部、２６０…水平エリア設定回路、ＦＤ、ＦＤ１、ＦＤ２…フローティングディフュージョン、ＰＤ…フォトダイオード、ＲＳＴ−Ｔｒ、Ｒｅｓｅｔ…リセットトランジスタ、ＳＣ、ＳＧ…保持容量、ＴＸ−Ｔｒ、ＴＸ１、ＴＸ２…転送トランジスタ

Claims (13)

1. 光を電荷に変換する第１光電変換部と、前記第１光電変換部で光電変換された電荷により生成された第１信号を読み出す第１読出部と、を含む第１画素と、光を電荷に変換する第２光電変換部と、前記第２光電変換部で光電変換された電荷により生成された第２信号を読み出す第２読出部と、を含む第２画素と、を有する撮像素子と、
   前記第１信号を第１電子シャッタ方式で読み出し、前記第２信号を前記第１電子シャッタ方式とは異なる第２電子シャッタ方式で読み出すように前記第１読出部及び前記第２読出部を制御する制御部と、
   を備える撮像素子。
2. 請求項１に記載の撮像素子において、
   前記第１電子シャッタ方式はグローバル電子シャッタ方式であり、前記第２電子シャッタ方式はローリング電子シャッタ方式である撮像素子。
3. 請求項１または２に記載の撮像素子において、
   前記第１および第２読出部は、前記第１および第２光電変換部から転送される蓄積電荷を保持する第１電荷保持部と、前記第１電荷保持部から転送される蓄積電荷を保持する第２電荷保持部と、をそれぞれ有し、
   １フレーム分の撮像信号の読み出しにおいて、前記第１画素では、前記第１光電変換部の蓄積電荷が前記第１電荷保持部に同時に転送され、前記第１電荷保持部に保持された蓄積電荷が前記第２電荷保持部に行単位で転送されて読み出され、前記第２画素では、前記第２光電変換部の蓄積電荷が前記第１電荷保持部および前記第２電荷保持部に行単位で転送されて読み出される、撮像素子。
4. 請求項１から３までのいずれか一項に記載の撮像素子において、
   各々が前記第１画素であり且つ前記第２画素である複数の画素と、
   前記複数の画素の行のうち一部の行を選択する選択部とをさらに備え、
   前記選択部により選択された行の画素は前記第１電子シャッタ方式で撮像信号が読み出され、残りの行の画素は前記第２電子シャッタ方式で撮像信号が読み出される、撮像素子。
5. 請求項４に記載の撮像素子において、
   前記複数の画素の行のうち一部の行を選択する第１選択部と、
   前記複数の画素の列のうち一部の列を選択する第２選択部と、
   をさらに備え、
   前記第１選択部により選択された行であり且つ前記第２選択部により選択された列である画素は前記第１電子シャッタ方式で撮像信号が読み出され、残りの画素は前記第２電子シャッタ方式で撮像信号が読み出される、撮像素子。
6. 請求項１または２に記載の撮像素子において、
   各々が前記第１画素であり且つ前記第２画素である複数の画素をさらに備え、
   １フレーム分の撮像信号の読み出しにおいて、前記複数の画素のうち全ての画素は前記第２電子シャッタ方式で撮像信号が読み出され、前記複数の画素のうち一部の画素は前記第１電子シャッタ方式で撮像信号が読み出される、撮像素子。
7. 請求項６に記載の撮像素子において、
   前記第１および第２読出部は、前記第１および第２光電変換部に接続された第１および第２読出回路をそれぞれ有し、
   前記第１読出回路は、前記第１電子シャッタ方式が可能に構成され、
   前記第２読出回路は、前記第２電子シャッタ方式が可能に構成され、
   １フレーム分の撮像信号の読み出しにおいて、前記全ての画素は前記第２読出回路により前記第２電子シャッタ方式で撮像信号が読み出され、前記一部の画素は前記第１読出回路により前記第１電子シャッタ方式で撮像信号が読み出される、撮像素子。
8. 請求項７に記載の撮像素子において、
   前記第１読出回路は、前記第１および第２光電変換部から転送される蓄積電荷を保持する第１電荷保持部を有し、前記第１電荷保持部に保持された蓄積電荷に応じた撮像信号を読み出し、
   前記第２読出回路は、前記第１および第２光電変換部から転送される蓄積電荷を保持する第２電荷保持部と、前記第２電荷保持部から転送される蓄積電荷を保持する第３電荷保持部と、を有し、前記第３電荷保持部に保持された蓄積電荷に応じた撮像信号を読み出す、撮像素子。
9. 請求項６〜８のいずれか一項に記載の撮像素子において、
   前記一部の画素では、前記第２電子シャッタ方式における前記第２光電変換部の電荷蓄積時間の一部を前記第１電子シャッタ方式における前記第１光電変換部の電荷蓄積時間とする、撮像素子。
10. 請求項４〜９のいずれか一項に記載の撮像素子と、
    前記撮像素子から前記第１電子シャッタ方式で読み出された撮像信号を用いて、焦点調節処理、露出演算処理、ホワイトバランス調整処理、被写体認識処理、動体予測処理および被写体追尾処理の少なくとも１つを実行する処理実行部と、
    を備えるカメラ。
11. 請求項１０に記載のカメラにおいて、
    前記処理実行部による処理の結果に基づいて、前記複数の画素のうち前記第１電子シャッタ方式により撮像信号を読み出す画素を決定する決定部をさらに備えるカメラ。
12. 請求項６〜９のいずれか一項に記載の撮像素子と、
    前記一部の画素においては、前記第１電子シャッタ方式で読み出された撮像信号と前記第２電子シャッタ方式で読み出された撮像信号とを用いて画像信号を取得し、残りの画素においては前記第２電子シャッタ方式で読み出された撮像信号を用いて画像信号を取得する画像取得部と、
    を備えるカメラ。
13. 請求項１２に記載のカメラにおいて、
    前記一部の画素における、前記第１電子シャッタ方式で読み出された撮像信号と前記第２電子シャッタ方式で読み出された撮像信号との差分を用いて、前記一部の画素によって撮像される動体を検出する動体検出部をさらに備えるカメラ。

Images