JP2018067965A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】グローバルシャッタ(一括蓄積)時の画質維持とローリングシャッタ(順次蓄積)時の歪み抑制とを両立させる。【解決手段】撮像素子であって、行方向および列方向に配された複数の画素を各々が含み、行方向および列方向に配列された複数の単位ブロックを有する光電変換部と、複数の単位ブロックのそれぞれに対して、複数の画素の全行の画素信号を一括して蓄積する一括蓄積制御と、複数の画素から行毎に画素信号を順次蓄積する順次蓄積制御とのいずれかを実行する蓄積制御部と、複数の単位ブロックの各々について、一括蓄積制御および順次蓄積制御のいずれかを選択して蓄積制御部に実行させる制御選択部とを備える。【選択図】図１２

Description

本発明は、撮像素子および撮像装置に関する。

ＣＭＯＳセンサの撮像素子を用いてローリングシャッタにより撮像した場合、撮像画像にローリングシャッタ歪みが生じる場合がある（例えば、特許文献１参照）。
特許文献１ 特開２０１２−１９９８０２号公報

グローバルシャッタにより撮影した場合は、ローリングシャッタ歪みは生じないが、撮像素子における暗電流および読出ノイズ等の影響が撮影画像に顕れる場合がある。

本発明の第一態様によると、行方向および列方向に配された複数の画素を各々が含み、行方向および列方向に配列された複数の単位ブロックを有する光電変換部と、複数の単位ブロックのそれぞれに対して、複数の画素の全行の画素信号を一括して蓄積する一括蓄積制御と、複数の画素から行毎に画素信号を順次蓄積する順次蓄積制御とのいずれかを実行する蓄積制御部と、複数の単位ブロックの各々について、一括蓄積制御および順次蓄積制御のいずれかを選択して蓄積制御部に実行させる制御選択部とを備え、制御選択部は、蓄積制御部が、複数の単位ブロックのいずれかに対して、予め定められた回数および期間のいずれかを超えて一括蓄積制御を継続した場合に、当該単位ブロックに対して順次蓄積制御を実行させて、当該単位ブロックにおける以降の蓄積制御を選択する撮像素子が提供される。また、本発明の第二態様によると、行方向および列方向に配された複数の画素を各々が含み、行方向および列方向に配列された複数の単位ブロックを有する光電変換部と、複数の単位ブロックのそれぞれに対して、複数の画素の全行の画素信号を一括して蓄積する一括蓄積制御と、複数の画素から行毎に画素信号を順次蓄積する順次蓄積制御とのいずれかを実行する蓄積制御部と、複数の単位ブロックの各々について、一括蓄積制御および順次蓄積制御のいずれかを選択して蓄積制御部に実行させる制御選択部と、行方向および列方向に配された複数の画素と、複数の画素の一部に代えて配され、入射光の一部を選択的に受光する特殊画素とを含み、複数の単位ブロックの一部に代えて配された特殊単位ブロックと、特殊単位ブロックに対して一括蓄積制御をする特殊蓄積制御部と、特殊画素から読み出した画素信号に基づいて、被写体に関する輝度以外の特殊情報を取得する特殊情報取得部とを備える撮像素子が提供される。

本発明の第三態様によると、上記撮像素子を備える撮像装置が提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置５００のブロック図である。 撮像素子１００の断面図である。 受光基板１１３のレイアウトを説明する模式図である。 単位ブロック１３１と関連回路のブロック図である。 画素１５０単独の回路図である。 画素１５０の動作を示すタイミングチャートである。 駆動部５０２のブロック図である。 ローリングシャッタモードの動作を示す模式図である。 被写体３００の模式図である。 撮像画像３１１の形状を示す模式図である。 グローバルシャッタモードの動作を示す模式図である。 制御選択部４７４の動作を示す流れ図である。 被写体３００の模式図である。 撮像画像３１２、３１３、３１４の形状を示す模式図である。 撮像画像３２２、３２３、３２４の形状を示す模式図である。 被写体３００の模式図である。 補正前の撮像画像３１５、３１６、３１７の形状を示す模式図である。 画像補正部４７６の動作を示す流れ図である。 補正画像３２５、３２７の形状を示す模式図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置５００のブロック図である。撮像装置５００は、撮像レンズ５２０を含む光学系と、撮像素子１００、システム制御部５０１、駆動部５０２、測光部５０３、ワークメモリ５０４、記録部５０５および表示部５０６を含む電子回路とを備える。

撮像レンズ５２０を含む光学系は、光軸ＯＡに沿って伝播する入射光束を撮像素子１００に導く。図中では、瞳近傍に配置された仮想的な１枚の撮像レンズ５２０により代表して示すが、光学系は、複数の光学レンズを含み、入射光束を撮像素子１００の撮像面に結像させる。撮像レンズ５２０は、撮像装置５００に対して着脱できる交換式であってもよい。

駆動部５０２は、撮像素子１００に対して、画素信号の蓄積制御および読出制御を実行する。これにより、駆動部５０２は、システム制御部５０１の制御の下に、撮像素子１００に対して、画素信号の蓄積制御および読み出し制御等を実行する。

測光部５０３は、撮像レンズ５２０への入射光束の一部を受光して輝度を検出する受光素子を有する。これにより、測光部５０３は、撮像シーンの輝度分布等を検出する。測光部５０３は、撮像素子１００の一部を受光素子として利用してもよい。

ワークメモリ５０４は、システム制御部５０１が処理を実行する場合の作業領域として用いられる。また、ワークメモリ５０４は、記録部５０５に記録する情報、表示部５０６が表示する情報等のバッファとしても機能する。

システム制御部５０１は、画像処理部５１１、演算部５１２等を含む。画像処理部５１１は、ワークメモリ５０４を作業領域として画像処理を実行して画像データを生成する。例えば、生成する画像データがＪＰＥＧ形式の画像データである場合は、ホワイトバランス処理、ガンマ処理、圧縮処理等を実行する。

画像処理部５１１が生成した画像データは、記録部５０５に記録される。また、生成された画像データは、表示部５０６に表示される場合もある。更に、通信回線を通じて、外部の格納部、例えばクラウドサーバに転送される場合もある。演算部５１２は、例えば、システム制御部５０１が測光部５０３から取得した輝度情報に基づいて、撮像装置５００の撮像動作におけるシャッタ速度、絞り値、ＩＳＯ感度等を決定する。

撮像素子１００は、撮像レンズ５２０への入射光束に対応した画素信号を発生する。撮像素子１００が発生した画素信号は、システム制御部５０１の画像処理部５１１において画像データとなる。

図２は、撮像素子１００の断面図である。撮像素子１００は、互いに積層された受光基板１１３、信号処理基板１１１およびメモリ基板１１２を備える。受光基板１１３、信号処理基板１１１およびメモリ基板１１２は、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図中に白抜き矢印で示すように、被写体光束は、撮像素子１００に対して、Ｚ軸プラス方向に入射する。本実施形態において、受光基板１１３に対して被写体光束が入射する面を、以降の説明において裏面と記載する。また、図中の座標軸により示す通り、Ｚ軸に直交する図中右方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交して紙面を手前に向かって交差する方向をＹ軸プラス方向と記載する。

受光基板１１３は、電気的要素として光電変換素子層１０６および配線層１０８を有する。光電変換素子層１０６は、配線層１０８の裏面側に配される。光電変換素子層１０６は、二次元的に配された複数のフォトダイオード１０４および複数のトランジスタ１０５を有する。複数のトランジスタ１０５の各々は、複数のフォトダイオード１０４のいずれかに対応して設けられる。

光電変換素子層１０６は、入射光に対応した画素信号を出力する光電変換素子を含む。受光基板１１３の一例は裏面照射型のＣＭＯＳイメージセンサであり、光電変換素子層１０６には、光電変換素子としてのフォトダイオード１０４が配される。

受光基板１１３において、配線層１０８は、光電変換素子層１０６からの画素信号を信号処理基板１１１に伝送する配線１０７を有する。配線１０７は多層に配されてもよく、更に、受動素子および能動素子を含んでもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理基板１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、受光基板１１３と信号処理基板１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

また、受光基板１１３は、光学的要素として、カラーフィルタ１０２およびマイクロレンズ１０１を有する。受光基板１１３において、カラーフィルタ１０２は、光電変換素子層１０６における入射光の入射側に、パシベーション膜１０３を介して配される。よって、複数のフォトダイオード１０４の各々には、カラーフィルタ１０２を通じて入射光が入射する。

また、カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類が含まれる。種類の異なるカラーフィルタ１０２は、フォトダイオード１０４のそれぞれに対応して特定の配列を有する。これらカラーフィルタ１０２、フォトダイオード１０４およびトランジスタ１０５の組が一つの画素を形成する。

マイクロレンズ１０１は、カラーフィルタ１０２に対する入射光の入射側に、それぞれの画素に対応して配される。マイクロレンズ１０１の各々は、対応するフォトダイオード１０４へ向けて入射光を集光する。

信号処理基板１１１は、受光基板１１３から取得した画素信号を処理する。また、メモリ基板１１２は、画素信号を記憶する。信号処理基板１１１およびメモリ基板１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理基板１１１とメモリ基板１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ１０９は、例えば後述する一つの出力配線に対して一つ程度設ければ良い。したがって、バンプ１０９の大きさは、フォトダイオード１０４のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けても良い。

信号処理基板１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、受光基板１１３の周辺領域、メモリ基板１１２にも設けられて良い。

図３は、撮像素子１００の光電変換素子層１０６における画素１５０および単位ブロック１３１のレイアウトを示す模式図である。図中のレイアウトは、受光基板１１３を裏面側から見た様子を示す。

光電変換素子層１０６には、行方向および列方向に配列された複数の単位ブロック１３１が配される。更に、単位ブロック１３１の各々は、単位ブロック１３１と同じ行方向および列方向に配列された複数の画素１５０を含む。よって、撮像素子１００には、２０００万個以上の画素１５０が行列状に配置される。

図示の例では、単位ブロック１３１の各々は、互いに隣接する４画素×４画素の１６個の画素１５０により形成される。なお、図中に示す部分拡大図に記入したように、単位ブロック１３１を形成する１６個の画素１５０は、例えばベイヤー配列に従って、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素のいずれかを割当られる。

緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有し、青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有し、赤色波長帯の光を受光する。

なお、単位ブロック１３１を形成する画素１５０の数が上記に限られないことはもちろんである。また、複数の画素１５０により形成された単位ブロック１３１の形状も、正方形に限られない。よって、受光基板１１３全体の画素数が２０００万画素程度ある場合に単位ブロック１３１の配列数が、例えば６４行３２列、４８行１１４列等になるレイアウトにしてもよい。

図４は、撮像素子１００に形成された単位ブロック１３１のひとつに対する接続関係の概略を示す。図示の単位ブロック１３１は、Ｌ行およびＰ列の画素１５０を含み、行制御部２００および周辺回路１３３が接続される。

撮像素子１００において、行制御部２００は、配線Ｒｓｔ＿ｌ（ただし、ｌは１からＬの整数）、配線Ｔｘ＿ｌ、配線Ｓｅｌ＿ｌを通じて単位ブロック１３１に結合される。配線Ｒｓｔ＿ｌ、配線Ｔｘ＿ｌ、配線Ｓｅｌ＿ｌの各々は、単位ブロック１３１内における１行目のＰ個の画素１５０に共通に接続される。同様に、配線Ｔｘ＿ｌ、配線Ｓｅｌ＿ｌも、単位ブロック１３１内におけるｌ行目のＰ個の画素１５０に共通に接続される。

行制御部２００は、行選択部、垂直走査回路等と呼ばれる場合もある。行制御部２００は、単位ブロック１３１ごとに設けられる。撮像素子１００において、行制御部２００は信号処理基板１１１側に設けられてもよい。

撮像素子１００において、周辺回路１３３は、列伝送路１７０＿ｐ（ただし、ｐは１からＰの整数）を通じて単位ブロック１３１に結合される。列伝送路１７０＿ｐは、同一列の画素１５０毎に設けられる。

また、列伝送路１７０＿ｐは、単位ブロック１３１におけるｐ列目のＬ個の画素１５０に共通に接続される。これにより、列伝送路１７０は単位ブロック１３１内の同一列の画素１５０で共有され、当該列に含まれる画素１５０からの画素信号を伝送する。

撮像素子１００において、列伝送路１７０＿ｐは受光基板１１３側から、バンプ１０９を通じて、信号処理基板１１１に実装された周辺回路１３３に接続される。信号処理基板１１１における周辺回路１３３は、受光基板１１３における単位ブロック１３１に対応する位置に、単位ブロック１３１毎に配される。

周辺回路１３３の各々は、列伝送路１７０＿ｐ毎に直列に接続されたアナログ／デジタル変換回路２０２およびＣＤＳ回路２０４を有する。アナログ／デジタル変換回路２０２とＣＤＳ回路２０４との組は、単位ブロック１３１あたり、列数と同じＰ個設けられる。

周辺回路１３３はさらに、ＣＤＳ回路２０４の出力側に配されたシフトレジスタ２０６を有する。図示の例において、シフトレジスタ２０６は、単位ブロック１３１毎に配される。シフトレジスタ２０６の出力は、列バスライン１７２を通じて画素メモリ４１４に接続される。シフトレジスタ２０６は、水平走査回路、マルチプレクサ等と呼ばれる場合もある。

図５は、単位ブロック１３１を形成する画素１５０の構造を示す回路図である。ただし、図示の回路は二つのフォトダイオード１０４−１、１０４−２を含み、二つ分の画素１５０に相当する。これら２つの画素は、単位ブロック１３１において同一の列に含まれる。

フォトダイオード１０４−１、１０４−２は、各々に対応して配された選択トランジスタ６１−１、６１−２の一端にカソードを個別に結合される。フォトダイオード１０４−１、１０４−２は、各々受光量に応じた電荷を蓄積する。

選択トランジスタ６１−１、６１−２は、フォトダイオード１０４−１、１０４−２が蓄積した電荷量に応じた電圧を出力するか否かを切り替える。選択トランジスタ６１は、例えば、行制御部２００から与えられる配線Ｔｘ＿ｌを通じて与えられる画素選択信号により導通状態を制御される。

更に、画素１５０は、フォトダイオード１０４−１、１０４−２共通に設けられたリセットトランジスタ５９、増幅トランジスタ６０、接地側トランジスタ６５、第１トランジスタ７８、第２トランジスタ６３、増幅トランジスタ６６、転送トランジスタ６４、および、コンデンサ１０を有する。これら共通に設けられるトランジスタは、コンデンサ１０の状態（両極にどのような電圧が印加されるかを示す状態）を制御するスイッチ部として機能する。

図示の例において、画素１５０は、フォトダイオード１０４−１、１０４−２のそれぞれの出力におけるフィードスルー電圧および信号電圧を、一つのコンデンサ１０により順番に保持する。これにより、画素１５０の各々にＣＤＳ用の回路を設けつつ、各画素１５０のＣＤＳ用回路の面積を低減することができる。また、共通のコンデンサ１０でフィードスルー電圧および信号電圧を保持するので、画素値を精度よく検出できる。

リセットトランジスタ５９は、それぞれの選択トランジスタ６１を介してフォトダイオード１０４に接続される。リセットトランジスタ５９は、フォトダイオード１０４−１、１０４−２のカソードを、基準電圧ＶＣＣに接続するか否かを切り替える。リセットトランジスタ５９は、行制御部２００の配線Ｒｓｔ＿ｌを通じて印可されるリセット信号により制御される。

増幅トランジスタ６０のゲートは、選択トランジスタ６１−１、６１−２をそれぞれ介してフォトダイオード１０４−１、１０４−２に接続される。増幅トランジスタ６０は、選択トランジスタ６１がオン状態になることにより選択されたフォトダイオード１０４−１、１０４−２のいずれかが出力する電圧を増幅する。増幅トランジスタ６０は、基準電圧ＶＣＣおよび接地電位の間に配される。

また、増幅トランジスタ６０と接地電位との間には、接地側トランジスタ６５が配される。接地側トランジスタ６５のゲートには、Ｐコントロール電圧が印可される。

コンデンサ１０は、３つの電極を有し、第１電極および第２電極が対向して配置され、第２電極および第３電極が対向して配置される。これにより、コンデンサ１０は３端子コンデンサを形成し、フォトダイオード１０４−１、１０４−２に蓄積された電荷量に応じた電圧で充放電される。

コンデンサ１０の第１電極は、第１トランジスタ７８を介して、増幅トランジスタ６０の出力端に接続される。第１トランジスタ７８は、増幅トランジスタ６０により増幅されたフォトダイオード１０４−１、１０４−２の出力を、第１電極に接続するか否かを切り替える第１スイッチとして機能する。第１トランジスタ７８は、ゲートに印可される第１制御信号ＳＨ１により制御される。

コンデンサ１０の第２電極は、第２トランジスタ６３を介して、増幅トランジスタ６０の出力端に接続される。第２トランジスタ６３は、増幅トランジスタ６０により増幅されたフォトダイオード１０４の出力を、第２電極に接続するか否かを切り替える第２スイッチとして機能する。第２トランジスタ６３は、ゲートに印可される第２制御信号ＳＨ２により制御される。

コンデンサ１０の第３電極は、基準電位に接続される。第２電極と第３電極との間の容量により、基準電位に対する第２電極の電位が維持される。なお、コンデンサ１０は、同一の領域に重ねて形成された第１電極、第２電極および第３電極を有する。よって、複数の２端子のコンデンサを用いる場合に比較して実装面積を縮小できる。しかしながら、コンデンサ１０は、ノードＢおよびノードＣの間に設けられた２端子コンデンサと、ノードＢおよび基準電位間に設けられた２端子コンデンサとの２素子を用いて形成してもよい。

増幅トランジスタ６６は、コンデンサ１０の第１電極における電圧を増幅して出力する。転送トランジスタ６４は、増幅トランジスタ６６が出力する電圧を、読み出し線１７０−ｐに転送するか否かを切り替える転送部として機能する。転送トランジスタ６４は、行制御部２００から配線Ｓｅｌ＿ｌを通じて与えられる行選択信号により制御される。

コンデンサ１０は、行制御部２００から与えられる各制御信号により、第２電極にフィードスルー電圧が印加される第１状態と、第２電極に信号電圧が印加される第２状態とを順番に遷移させる。周辺回路１３３は、少なくとも第２状態において転送トランジスタ６４をオンにして、コンデンサ１０の第１電極の電圧レベルを転送させる。これにより、周辺回路１３３は、転送された電圧レベルに基づいて画素信号の画素値を算出できる。

図６は、画素１５０の動作を示すタイミングチャートであり、図５に示したノードＡ、Ｂ、Ｃにおける信号波形を示す。ノードＡは増幅トランジスタ６０の出力端に、ノードＢはコンデンサ１０の第２電極に、ノードＣはコンデンサ１０の第１電極に、それぞれ対応する。

フォトダイオード１０４−１の出力を読み出す場合について説明する。まず、リセット信号ＲＳＴがＨレベルになり、リセットトランジスタ５９がオン状態になる。また、選択トランジスタ６１−１がオン状態に制御される。これにより、フォトダイオード１０４−１のカソード電圧がリセットされ、ノードＡにおける電圧は基準電圧ＶＣＣとなる。なお、増幅トランジスタ６０および６６の増幅率は１とする。

リセットしてから時間が経過すると、ノードＡにおける電圧はフィードスルー電圧Ｖｆｔとなる。行制御部２００は、リセット信号ＲＳＴを入力して所定の時間が経過してから、第１制御信号ＳＨ１および第２制御信号ＳＨ２をＨレベルにする。これにより、第１トランジスタ７８および第２トランジスタ６３は共にオン状態となる。このとき、コンデンサ１０の第１電極（ノードＣ）には基準電圧ＶＣＣが印加され、第２電極（ノードＢ）にはフィードスルー電圧Ｖｆｔが印加される（第１状態）。

次に、第１制御信号ＳＨ１および第２制御信号ＳＨ２をＬレベルにする。これにより、コンデンサ１０の第１電極はフローティング状態となり、コンデンサ１０の電極間電圧が維持される。

続いて、フォトダイオード１０４−１における当該フレームの受光が終了するタイミングで、ノードＡにおける電圧は、フォトダイオード１０４−１における蓄積電荷量に応じた電圧ｓｉｇ１に応じた電圧となる。具体的には、フィードスルー電圧Ｖｆｔから電圧ｓｉｇ１だけ下がった電圧となる。

更に、第１制御信号ＳＨ１をＬレベルに維持しつつ、第２制御信号ＳＨ２をＨレベルにする。これにより、第２トランジスタ６３はオン状態となる（第２状態）。

第１制御信号ＳＨ１がＬレベルに維持されているので、コンデンサ１０が第２状態に遷移すると、第１電極はフローティング状態となる。これにより、第１状態におけるコンデンサ１０の電極間電圧を維持しつつ、フォトダイオード１０４−１が出力する信号電圧が第２電極に印加される。第２電極の電圧は、第１状態に比べて電圧ｓｉｇ１だけ低下するので、第１電極の電圧も第１状態に比べて電圧ｓｉｇ１だけ低下する。

周辺回路１３３は、少なくとも第２状態において、第１電極（ノードＣ）の電圧を読み出す。なお、第１状態における第１電極の電圧は、基準電圧ＶＣＣであるので、当該基準電圧が既知である場合、周辺回路１３３は、第１状態における第１電極の電圧を読み出さなくともよい。この場合、周辺回路１３３は、既知の基準電圧ＶＣＣから、第２状態における第１電極の電圧を減算することで、電圧ｓｉｇ１を検出する。

周辺回路１３３は、当該既知の基準電圧ＶＣＣの値を、撮像素子１００の温度等に応じて補正してもよい。なお、周辺回路１３３は、第１状態および第２状態のそれぞれにおいて、第１電極（ノードＣ）の電圧を読み出して、差分を算出してもよい。これにより、フォトダイオード１０４−１における蓄積電荷量に応じた電圧ｓｉｇ１、すなわち画素値を算出する。

次に、フォトダイオード１０４−２の出力を読み出す。このとき、リセット信号ＲＳＴがＨレベルとなり、リセットトランジスタ５９がオン状態となる。また、選択トランジスタ６１−２はオン状態に制御される。これにより、フォトダイオード１０４−２のカソード電圧がリセットされ、ノードＡにおける電圧は基準電圧ＶＣＣとなる。以降の動作は、フォトダイオード１０４−１の場合と同様である。周辺回路１３３は、第２状態において読み出した電圧により、フォトダイオード１０４−２における蓄積電荷量に応じた電圧ｓｉｇ２を算出する。

このような構成および動作により、一つのコンデンサ１０を用いて、フォトダイオード１０４−１、１０４−２の出力を相関二重サンプリングできる。このため、回路面積を低減することができ、また、コンデンサのバラツキによる誤差を無くすことができる。また、本実施例においては、２つのフォトダイオード１０４で一つのコンデンサ１０および周辺のスイッチ部を共有するので、更に回路面積を低減することができる。

なお、コンデンサ１０およびスイッチ部は、それぞれのフォトダイオード１０４に対応して設けられるが、図示のように、複数のフォトダイオード１０４−１、１０４−２に対して一組のコンデンサ１０およびスイッチ部を共通に設けてもよい。また、一つのフォトダイオード１０４に対して一組のコンデンサ１０およびスイッチ部を設けてもよい。

スイッチ部は、コンデンサ１０毎に設けられる。コンデンサ１０が２以上のフォトダイオード１０４に共有される場合、コンデンサ１０は、それぞれのフォトダイオード１０４−１、１０４−２の出力値を順番に保持する。また、複数のコンデンサ１０は、対応するフォトダイオード１０４−１、１０４−２の出力値を同時に保持してもよい。

図７は、撮像素子１００を駆動する駆動部５０２のブロック図である。駆動部５０２は、駆動制御部４２０、センサ制御部４４１、ブロック制御部４４２、同期制御部４４３、信号制御部４４４および画素メモリ４１４を有する。

駆動部５０２において、センサ制御部４４１は、撮像素子１００の画素１５０における各画素の電荷蓄積、電荷読み出しに関わる制御信号を、受光基板１１３へ送信する。より具体的には、センサ制御部４４１は、単位ブロック１３１の各々に対応する行制御部２００へ、リセット信号および画素選択信号を送信して、制御対象となる画素１５０の電荷蓄積の開始と終了とを制御する。また、読み出し画素に対して列選択信号等を送信することにより、画素信号を列伝送路１７０へ出力させる。

駆動部５０２において、ブロック制御部４４２は、単位ブロック１３１を特定する制御信号を受光基板１１３へ送信する。より具体的には、ブロック制御部４４２は、制御対象となる単位ブロック１３１を特定する特定信号を送信する。

単位ブロック特定信号は、画素１５０の各々が配線Ｔｘ＿ｊ等を介して受ける転送パルス等は、センサ制御部４４１が送出する選択信号と、ブロック制御部４４２が送出する特定信号との論理積となる。これにより、受光基板１１３に略均等に配列された画素１５０を、領域毎に相互に独立したブロックとして制御できる。

なお、ブロック制御部４４２は、複数の単位ブロック１３１に対して、同時に測定信号を送信できる。これにより、撮像素子１００は、複数の単位ブロック１３１を同期して動作させ、あるいは、複数の単位ブロック１３１にまたがって動作を実行させることができる。

駆動部５０２において、同期制御部４４３は、同期信号を受光基板１１３に供給する。これにより、受光基板１１３に実装された複数の要素を、同期してアクティブにすることができる。よって、例えば、同期信号を調整することにより、同一の単位ブロック１３１に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実行できる。

駆動部５０２において、信号制御部４４４は、アナログ／デジタル変換回路２０２、ＣＤＳ回路２０４およびシフトレジスタ２０６に対するタイミング制御を担う。これにより、画像処理部５１１は、複数の単位ブロック１３１から読み出された画素信号から、高速且つ高品質にひとつの画像データを生成できる。

駆動部５０２において、画素メモリ４１４は、画素１５０から読み出されてデジタル化された画素信号を格納するメモリ空間を有する。画素メモリ４１４は、各単位ブロック１３１に対応して設けてもよい。Ｉ／Ｆ回路４１８は、駆動制御部４２０とシステム制御部５０１と間の通信を担う。

なお、画素メモリ４１４は、引渡要求に従って画素信号を画像処理部５１１に転送するデータ転送インタフェースを更に備えてもよい。データ転送インタフェースは、画像処理部５１１と繋がるデータ転送ラインと接続される。このようなデータ転送ラインは、例えば、データバスの一部により形成され、アドレスバスを利用したアドレス指定により、システム制御部５０１から駆動制御部４２０への引渡要求が実行される。

データ転送インタフェースによる画素信号の伝送は、アドレス指定方式の他にも、例えば、データ転送を行う場合に、各回路の同期に用いられるクロック信号の立ち上がりと立ち下がりとの両方を利用してダブルデータレート方式にすることもできる。また、アドレス指定などの手順を一部省略することにより、データを一気に転送して高速化を図るバースト転送方式を採用し得る。

更に、データ転送インタフェースによる画素信号の伝送は、また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを１ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。

上記のようなデータ転送インタフェースを用いることにより、画像処理部５１１は、要求する画素信号に限って受け取ることができる。これにより、例えば、低解像度の画像を形成する場合には、画像処理を高速に完了できる。なお、駆動部５０２、図５の行制御部２００および周辺回路１３３が、複数の単位ブロック１３１にまたがって、画素１５０から画素信号を順次読み出す読出部として機能する。

駆動部５０２において、駆動制御部４２０は、タイミングメモリ４３０を参照して、駆動部５０２がシステム制御部５０１から受けた指示を、上記の各制御部が実行可能な制御信号に変換して引き渡す。タイミングメモリ４３０は、フラッシュＲＡＭ等により形成される。こうして、駆動制御部４２０は、上記のセンサ制御部４４１、ブロック制御部４４２、同期制御部４４３および信号制御部４４４を統括制御する。

更に、図示の駆動部５０２は、相関算出部４７２、制御選択部４７４および画像補正部４７６を有する。相関算出部４７２は、画素メモリ４１４から読み出した画素信号に基づいて、画素信号に含まれるローリングシャッタ歪みを検出する。制御選択部４７４は、相関算出部４７２が算出した相関値に基づいて、単位ブロック１３１の各々の動作モードを選択する。画像補正部は、単位ブロック１３１から取得した画素信号に含まれるローリングシャッタ歪みを補正する。これら、相関算出部４７２、制御選択部４７４および画像補正部４７６の動作については、他の図を参照して後述する。

図８は、撮像素子１００における単位ブロック１３１のひとつの動作モードであるローリングシャッタモードを説明するタイミングチャートである。ローリングシャッタモードにおいては、単位ブロック１３１の各々において、画素１５０が選択されて画素信号が蓄積される動作と、蓄積された画素信号が読み出される動作が、行毎に順次実行される。

図示の例では、駆動部５０２は、まず、行制御部２００を介して１行目の画素１５０に対する配線Ｒｓｔ＿１およびＴｘ＿１に駆動信号を与える。これにより、単位ブロック１３１の各々の１行目の画素１５０の電荷蓄積を開始する。

次に、駆動部５０２は、蓄積期間の終わりに、行制御部２００を介して１行目の画素１５０に対する配線Ｓｅｌ＿１に駆動信号を与える。これにより、１行目の画素１５０の画素信号の読み出しを開始する。読み出し期間は、１行目の各画素１５０から画素信号が読み出されて、アナログ／デジタル変換回路２０２およびＣＤＳ回路２０４で処理されてシフトレジスタ２０６から順次、画素メモリ４１４に書き込まれるまでの時間を含む。

以下同様に、２行目の画素１５０に対する配線Ｒｓｔ＿２、Ｔｘ＿２およびＳｅｌ＿２に駆動信号が与えられて、蓄積および読出が行われる。２行目の画素１５０に対する蓄積期間の長さは１行目の画素１５０と同じであるが、時間的には、ほぼ読出期間分だけ遅れている。３行目以降、Ｌ行目まで、配線Ｒｓｔ＿ｌ、Ｔｘ＿ｌおよびＳｅｌ＿ｌに駆動信号が与えられて、順次、蓄積および読出が行われる。

複数の単位ブロック１３１のいずれに対しても、選択される行の順序は同じであり、図示の例では、いずれに対しても、−Ｙ側の行から＋Ｙ側の行に向けて一行ずつ選択される。さらに、複数の単位ブロック１３１の間で、同一行の蓄積および読出のタイミングは同期している。ただし、 複数の単位ブロック１３１の間で、同一行の蓄積および読出の少なくとも一方のタイミングが同期していなくてもよい。

図９は、撮像素子１００を用いてローリングシャッタモードで撮像する被写体３００を示す模式図である。被写体３００は、撮像素子１００に入射する直前の像光を＋Ｚ側から見た場合に、図中垂直な直線像３０１を含む。また、図中の矢印により示すように、この直線像３０１は、速度Ｖ_０で、図中水平に、−Ｘ方向に移動している。

図１０は、上記の移動する直線像３０１を含む被写体３００を、ローリングシャッタモードで撮像した場合に得られる画像を示す模式である。説明のため撮像画像として、出力、表示等される場合の向きで被写体３００を描く。また、被写体３００が縦横４個の単位ブロック１３１により撮像されたものとして説明する。

図８を参照して説明したように、ローリングシャッタモードにおいては、ひとつの単位ブロック１３１内において、画素信号が蓄積されるタイミングが行毎に順次ずれていく。このため、被写体３００において移動している直線像３０１は、画素信号を蓄積するタイミングに応じて、異なる位置で撮像される。

単位ブロック１３１の各々において、図中上側の行と、図中下側の行では、画素信号を蓄積するタイミングが異なる。このため、移動する直線像３０１を撮像した場合、直線像３０１が垂直であるにもかかわらず、得られる撮像画像３１１は傾斜する。即ち、撮像画像３１１においては、画素信号の蓄積期間が時間的に遅い行ほど、移動方向である＋Ｘ方向にずれて撮像され、単位ブロック１３１毎にローリングシャッタ歪みが生じる。

なお、上記のずれとは、４個の単位ブロック１３１の各々において、最初に画素信号を蓄積した行を初期位置とした変位を意味する。換言すれば、各単位ブロック１３１において最初に画素信号を蓄積した行にはずれがないと考える。よって、撮像素子１００全体では、図中に点線Ｂで示すように、互いに隣接する単位ブロック１３１の境界で隣り合う画素１５０の行において、撮像画像３１１に不連続なずれが生じる。このようなローリングシャッタ歪みは、直線像３０１の移動速度Ｖ_０の水平成分が大きい程顕著に顕れる。

図１１は、撮像素子１００における単位ブロック１３１のひとつの動作モードであるグローバルシャッタモードを説明するタイミングチャートである。グローバルシャッタモードにおいては、単位ブロック１３１に含まれる全ての画素１５０が同時にリセットされた後に選択されて画素信号が蓄積される。グローバルシャッタモードにおいて、蓄積された画素信号は、ローリングシャッタモードと同様に行単位で順次読み出されてもよい。

グローバルシャッタモードでは、単位ブロック１３１内で画素信号を蓄積するタイミングが同じなので、撮像画像３１１にローリングシャッタ歪みは生じない。ただし、全ての画素１５０を一斉にリセットするので大きな電流が流れること、隣接する行で相互に電荷の漏れが生じやすいこと等から、ローリングシャッタモードに比較すると、撮像した画像にノイズが乗りやすいことが知られている。

図１２は、駆動部５０２における制御選択部４７４の動作を説明する流れ図である。制御選択部４７４は、撮像素子１００を、当初はローリングシャッタモードで動作させる（ステップＳ１０１）。これにより、駆動部５０２においては、画素メモリ４１４が画素信号を取得する（ステップＳ１０２）。

被写体３００に移動するものが含まれていた場合、撮像素子１００の画素信号から得られた撮像画像３１１にはローリングシャッタ歪みが生じる。このため、単位ブロック１３１の境界においては、隣接する画素１５０の行において撮像画像３１１が連続しなくなる。そこで、駆動部５０２において、相関算出部４７２は、単位ブロック１３１の境界において隣接する画素１５０の行から得られた撮像画像３１１の相関を、単位ブロック１３１毎に算出する（ステップＳ１０３）。

ここで、制御選択部４７４は、相関算出部４７２が算出した相関値を予め定めた閾値と比較して、相関値が閾値よりも大きいか否かを調べる（ステップＳ１０４）。いずれかの単位ブロック１３１において相関値が閾値よりも大きいことが判った場合（ステップＳ１０４：：ＹＥＳ）、即ち、当該単位ブロック１３１と隣接する単位ブロック１３１との境界において隣接する画素の行から得られた撮像画像が連続または略連続していた場合、制御選択部４７４は、制御をステップＳ１０１に戻して、ローリングシャッタモードによる撮像を継続する。こうして、ローリングシャッタモードによる撮像を実行する単位ブロック１３１においては、ノイズの影響が少ない高品質な画素信号が撮像素子１００から出力される。

一方、ステップＳ１０４において、算出された相関値が閾値よりも大きくはなかった場合（ステップＳ１０４：ＮＯ）、制御選択部４７４は、撮像素子１００の動作をグローバルシャッタモードに切り替える（ステップＳ１０５）。こうしてグローバルシャッタモードによる撮影を実行する単位ブロック１３１においては、ローリングシャッタ歪みのない撮像画像３１１を形成する画素信号が撮像素子から出力される。

なお、上記のような一連の手順により、制御選択部４７４がローリングシャッタモードで動作することを選択した単位ブロック１３１は、撮像画像３１１にローリングシャッタ歪みが生じた場合に、グローバルシャッタモードに切り換えられる。しかしながら、一旦グローバルシャッタモードで動作し始めた単位ブロック１３１においては、被写体３００に移動するものが含まれるか否かを検出することができない。

そこで、制御選択部４７４は、グローバルシャッタモードで動作することを選択した単位ブロック１３１に対して、グローバルシャッタモードの継続期間を監視する（ステップＳ１０６）。これにより、グローバルシャッタモードの継続期間が、予め定められた閾値に達するまでは、当該単位ブロック１３１はグローバルシャッタモードを継続する（ステップＳ１０６：ＮＯ）。

一方、グローバルシャッタモードの継続期間が閾値に達した場合（ステップＳ１０６：ＹＥＳ）、制御選択部４７４は、制御をステップＳ１０１に戻し、当該単位ブロック１３１の動作を再びローリングシャッタモードに戻す。これにより、制御選択部４７４は、当該単位ブロック１３１の動作を、その時点のＸ知りたい３００の状態に応じて判断し直すことができる。

なお、ステップＳ１０４において判断の材料となる相関値は、単位ブロック１３１の境界において隣接する画素１５０の行の差分であってもよい。また、残差２乗和等の統計学的処理により算出した相関値であってもよい。

また、グローバルシャッタモードの継続期間は、当該モードの継続時間であってもよいし、撮像フレーム数等であってもよい。また、例えば、検出されたローリングシャッタ歪みの大きさに応じて、グローバルシャッタモード継続時間の閾値を変化させてもよい。

図１３は、移動する直線像３０２、３０３と、静止した直線像３０４とが混在する被写体３００を示す模式図である。被写体３００には、速度Ｖ_１で高速に移動する直線像３０２と、速度Ｖ_２で低速に移動する直線像３０３と、静止した直線像３０４とが混在する。なお、直線像３０２、３０３、３０４は、撮像素子１００に入射する直前の像光を＋Ｚ側から見た場合に、それぞれ垂直な直線をなす。

図１４は、上記のような直線像３０２、３０３、３０４を含む被写体３００を、全ての単位ブロック１３１においてローリングシャッタモードで撮影した場合の、補正前の撮像画像が示される。図１２に示した制御手順においては、ステップＳ１０１に相当する。なお、撮像画像３１２、３１３、３１４は、出力または表示される場合の向きで描かれる。また、撮像素子１００は、それぞれが縦横４個の画素１５０を含む１２個の単位ブロック１３１により撮像されたものとする。

高速に移動する直線像３０２を含む撮像画像３１２には顕著なローリングシャッタ歪みが生じる。このため、列方向に並んだ単位ブロック１３１の境界において、隣接する画素１５０の行の相関値は低くなる。よって、直線像３０２を含む撮像画像３１２を撮像する単位ブロックに対して、制御選択部４７４はグローバルシャッタモードでの撮像を選択する。

一方、低速に移動する直線像３０３を含む撮像画像３１３には軽微なローリングシャッタ歪みが生じる。このため、列方向に並んだ単位ブロック１３１の境界において、隣接する画素１５０の行の相関値は低下しない。よって、直線像３０３を含む撮像画像３１３を撮像する単位ブロックに対して、制御選択部４７４はローリングシャッタモードでの撮像を選択する。これにより、撮像画像３１３には軽微なローリングシャッタ歪みが残るが、ノイズの影響は少ない。

更に、静止した直線像３０４を含む撮像画像３１４にはローリングシャッタ歪みは生じない。このため、列方向に並んだ単位ブロック１３１の境界において、隣接する画素１５０の行の相関値は全く低下しない。よって、直線像３０４を含む撮像画像３１４を撮像する単位ブロックに対して、制御選択部４７４はローリングシャッタモードでの撮像を選択する。これにより、撮像画像３１４は、ノイズの影響は少ない撮像画像となる。

図１５は、制御選択部４７４により、一部の単位ブロック１３１がローリングシャッタモードで撮像し、他の単位ブロックがグローバルシャッタモードで撮像して得られた被写体３００の撮像画像３２２、３２３、３２４の模式図である。図示のように、高速で移動する直線像３０２の撮像画像３２２において、ローリングシャッタ歪の発生が防止されている。また、他の撮像画像３２３、３２４においては、ローリングシャッタモードにより、ノイズの影響が少ない高品質な画像が得られる。

このように、撮像素子１００は、単位ブロック１３１毎に、ローリングシャッタモードで動作するか、グローバルシャッタモードで動作するかを判断して切り替えることにより、ローリングシャッタ歪みの抑制と、画質の維持とを両立できる。なお、単位ブロック１３１が、オートフォーカス用の位相差センサ等の特殊画素を含む場合は、当該単位ブロック１３１を制御切換部４７４の制御対象から外して、常時グローバルシャッタモードで動作させることが好ましい。

なお、図１５に示した例では、撮像画像３２２に軽微なローリングシャッタ歪みが残っている。撮像素子１００においては、単位ブロック１３１の画像に生じたローリングシャッタ歪みを、撮像素子１００の段階で取り除くこともできる。

図１６は、撮像素子１００により撮像する被写体３００の他の状態を示す。図示の被写体３００は、撮像素子１００に入射する直前の像光を、＋Ｚ側から見た様子を示す。

図示の被写体３００は、それぞれがＹ方向に延在し、Ｘ方向に移動する直線像３０５、３０７と、静止した直線像３０６とを含む。また、直線像３０５は、直線像３０７よりも高速に移動している。ただし、図示の例では、移動する直線像３０５、３０７は、いずれも、ローリングシャッタモードで撮像される範囲の速度で移動しているものとする。

図１７は、図１６に示した被写体３００を、撮像素子１００によりローリングシャッタモードで撮像した場合であって、ローリングシャッタ歪みを補正する前の撮像画像を示す。図中には、４つの単位ブロック１３１Ａ、１３１Ｂ、１３１Ｃ、１３１Ｄにより撮像された被写体３００が、撮像画像として出力、表示等される向きで示される。

単位ブロック１３１Ａ、１３１Ｂに撮像された領域において、直線像３０５に対応する撮像画像３１５にはローリングシャッタ歪みが生じている。このため、撮像画像３１５は、斜めに傾斜している。即ち、蓄積期間が時間的に遅い行ほど、撮像画像３１５においては、移動方向である＋Ｘ方向へのずれが大きくなる。

同様に、単位ブロック１３１Ｄにおいても、直線像３０７が＋Ｘ方向に歪んでいる。ただし、直線像３０７の速度が直線像３０５の速度よりも小さいことに対応して、撮像画像３１７の歪みの量は小さい。なお、単位ブロック１３１Ｃ、１３１Ｄにおいて、静止した直線像３０６に対応する撮像画像３１６には、ローリングシャッタ歪みは生じていない。

ここで、同一列で隣接する単位ブロック１３１Ａ、１３１Ｂの境界において隣接する画素１５０の行について注目する。図示の例では、点線Ｂで囲って示す、単位ブロック１３１Ａの１０行目および単位ブロック１３１Ｂの１行目に注目する。これらの２つの行は蓄積期間のタイミングが最も離れているので、連続した直線をなす直線像３０５を撮像したにもかかわらず、単位ブロック１３１Ａ、１３１Ｃの境界においてずれが生じている。

図１８は、図１７に示したように、ローリングシャッタモードで撮影した撮像画像３１５、３１７に生じたローリングシャッタ歪みを補正する場合の制御手順を示す流れ図である。図１９は、図１８に示した手順で補正された撮像画像を示す模式図である。図１８のフローチャートは、図１７に示した補正前の撮像画像３１５、３１６、３１７に対応する画素信号が画素メモリ４１４に格納された時点で開始される。

ローリングシャッタ歪みを補正する場合、駆動部５０２は、まず、相関算出部４７２において、同一列で隣接する単位ブロック１３１Ａ、１３１Ｂ等における境界の行の画素信号を画素メモリ４１４から読み出す（ステップＳ２０１）。例えば単位ブロック１３１Ａ、１３１Ｂの組であれば、単位ブロック１３１Ａの１０行目の画素信号と単位ブロック１３１Ｂの１行目と画素信号が読み出される。

次に、相関算出部４７２は、単位ブロック１３１の境界において隣接する画素１５０の行の相関値を算出する（ステップＳ２０２）。相関値の大きさは、一列の画素信号の一致度であるともいえ、相関値が高いほど、隣接する行の画像が一致する。

相関値の一例として、相関算出部４７２は、単位ブロック１３１Ａの１０行目および単位ブロック１３１Ｂの１行目における、同一列の画素の画素信号の差分を２乗してそれらの和をとった残差２乗和を算出する。なお、残差２乗和が小さいほど相関が大きいという関係にある。以下、相関値として残差２乗和を用いる例で説明する。

相関算出部４７２は、残差２乗和が閾値より大きいか否かを判断する（ステップＳ２０３）。残差２乗和の大きさが閾値以下である場合に（ステップＳ２０３：ＮＯ）、同一列で隣接する当該単位ブロック１３１Ａ、１３１Ｂ等における当該フローチャートを終了する。

残差２乗和の大きさが閾値より小さい場合には、例えば、図１７に示した例では、単位ブロック１３１Ｃ側の１０行目は、単位ブロック１３１Ｄの１行目よりも時間的に後から蓄積および読出が行われたにも関わらず、列位置のずれが小さいと推測される。よって、同一列で隣接する単位ブロック１３１Ｃ、１３１Ｄにおける、時間的に後から蓄積および読出が行われた１０行目を有している単位ブロック１３１Ｃには、ローリングシャッタ歪みがない、または、あっても小さいと推測される。

従って、単位ブロック１３１Ｃに対しては一旦、図１２の補正の対象から除外される。ただし単位ブロックＣの撮像画像３１６に対しても、同一列で隣接した単位ブロック１３１Ａの影響が及び、補正ブロック１３２Ｃとなる場合がある。

ステップＳ２０３の判断において残差２乗和の大きさが閾値より大きい場合に（ステップＳ２０３：ＹＥＳ）、相関算出部４７２は、単位ブロック１３１Ａの１０行目および単位ブロック１３１Ｂの１行目において、一方を他方に対して行方向に１画素分ずらして（ステップＳ２０４）、すなわち１列ずれた画素同士について、残差２乗和を算出する（ステップＳ２０５）。相関算出部４７２は、列の画素数ｐになるまで、さらに一画素分ずらして残差２乗和を算出する上記ステップＳ２０４およびＳ２０５を繰り返す（ステップＳ２０６：ＮＯ）。この場合に＋Ｘ方向と−Ｘ方向のそれぞれに画素をずらす。

相関算出部４７２は、ｐ画素分ずらした後に（ステップＳ２０６：ＹＥＳ）、補正に用いる画素数を特定する（ステップＳ２０７）。この場合に、相関算出部４７２は、上記ステップＳ２０４からＳ２０６を繰り返して算出された複数の残差２乗和のうち、最も小さい残差２乗和となったときの画素ずれ数を補正に用いる画素数とする。最も小さい残差２乗和が複数ある場合には、画素ずれ数のより小さい画素数とすることが好ましい。

図１９に示す例では、単位ブロック１３１Ａの１０行目を単位ブロック１３１Ｂの１行目に対して、４画素分だけ−Ｘ方向にずらすと、残差２乗和が最も小さくなる。よって、相関算出部４７２は、補正に用いる画素数として「４」を特定する。

画像補正部４７６は、上記ステップＳ１１２で特定された画素数を用いて、単位ブロック１３１Ａの画素信号を補正する（ステップＳ２０８）。ここで、同一列で隣接する単位ブロック１３１Ａ、１３１Ｂのうち、時間的に後から蓄積および読出が行われた１０行目を有している単位ブロック１３１Ａの画素信号が補正される。

この場合に、画像補正部４７６は、単位ブロック１３１Ａ内において、１行目に対して１０行目が４画素分ずれるように、すなわち４列ずれるように、ずれ分を各行に均等に割り振る。図１１の例において、隣接する２行を一組として、隣接する組同士に対して１画素のずれが割り振られる。

図１９に示すように、画像補正部４７６は、単位ブロック１３１Ａの中央にある５、６行目を他の単位ブロック１３１Ｂ等に対して固定して、他の行の画素の画素信号を、列位置をずらした画素の画素信号に置き換えて補正ブロック１３２Ａを生成する。同様に、単位ブロック１３１Ａ、１３２Ｄの各行の列位置をずらして補正ブロック１３２Ｂ、１３２Ｄを生成する。

画像補正部４７６はさらに、同一行で隣接する単位ブロック１３１Ａ、１３１Ｃの境界の画素信号を補正する。図１３に示すように、同一行で隣接する単位ブロック１３１Ａ、１３１Ｃを補正して補正ブロック１３２Ａ、１３２Ｃを生成すると、それらの境界に、空白画素１４０の領域および互いの画素が重複する重複画素１４２の領域が生じる。画像補正部４７６は、空白画素１４０の領域に対してその周辺からの画素信号を割り付ける。さらに、画像補正部４７６は、重複画素１４２に対してそれぞれの画素の画素信号の平均値を割り付ける。

以上により、補正ブロック１３２Ａ等が生成される。ここで、補正ブロック１３２Ｃは、単位ブロック１３１Ｃに対するステップＳ１０４の相関の判定により画素の置き換えはされないが、隣接する補正ブロック１３２Ａからの補正の影響を受けて、その境界が補正されている。画像補正部４７６は、補正ブロック１３２Ａ等の画素信号を画素メモリ４１４に出力して（ステップＳ２０９）、本フローチャートを終了する。以上により、簡便な構成でローリングシャッタ歪みを低減することができる。

なお、上記ステップＳ２０２においては、同一列で隣接する単位ブロック１３１Ａ、１３１Ｂ等における境界の行の相関を算出する。これに代えて、同一単位ブロック１３１Ａ内における最初の行と最後の行の相関を算出してもよい。

また、ステップＳ１０２、１０８のそれぞれにおいて、画素信号が輝度及び色の信号を有している場合に、輝度信号を用いて相関を算出してもよい。更に、これに代えて、同一色の画素、例えば緑色の画素について相関を算出してもよい。

また更に、相関の評価値として、残差２乗和に代えて、差の絶対値の和を用いてもよい。また、上記ステップＳ１１０でｐ画素分の繰り返しをすることに代えて、残差２乗和を算出することに比較して、極小値が現れたら繰り返しを停止する、いわゆる山登り方式を用いてもよい。

なお、単位ブロック１３１がベイヤー配列等のカラーフィルタを有している場合は、補間処理をする前に上記の動作を実行することが好ましい。また、アナログ／デジタル変換された画素信号がＪＰＥＧ等の予め定められたフォーマット形式に変換された撮像画像として出力される場合に、上記図１２の動作はアナログ／デジタル変換後であって、当該フォーマット形式に変換する前に実行されることが好ましい。また、少なくとも上記相関算出部４７２および画像補正部４７６は、信号処理基板１１１内に設けられることが好ましい。

このように、撮像素子１００においては、ローリングシャッタモードにより撮影した単位ブロック１３１について、発生したローリングシャッタ歪みを補正してもよい。ただし、撮像素子１００においては、高速で移動する直線像３０２を撮像した単位ブロック１３１は、ローリングシャッタ歪みが生じないグローバルシャッタモードで撮像することができる。よって、ローリングシャッタ歪みの補正により生じる処理の負荷は小さい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ コンデンサ、６０ 増幅トランジスタ、６１−１、６１−２ 選択トランジスタ、５９ リセットトランジスタ、６５ 接地側トランジスタ、７８ 第１トランジスタ、６３ 第２トランジスタ、６６ 増幅トランジスタ、６４ 転送トランジスタ、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ パシベーション膜、１０４、１０４−１、１０４−２ フォトダイオード、１０５ トランジスタ、１０６ 光電変換素子層、１０７ 配線、１０８ 配線層、１０９ バンプ、１１０ ＴＳＶ、１１１ 信号処理基板、１１２ メモリ基板、１１３ 受光基板、１３１ 単位ブロック、１３２ 補正ブロック、１３３ 周辺回路、１４０ 空白画素、１４２ 重複画素、１５０ 画素、１７０ 列伝送路、１７２ 列バスライン、２００ 行制御部、２０２ アナログ／デジタル変換回路、２０４ ＣＤＳ回路、２０６ シフトレジスタ、３００ 被写体、３０１、３０２、３０３、３０４、３０５、３０６、３０７ 直線像、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１１、３２２、３２３、３２４ 撮像画像、３２５、３２７ 補正画像、４１４ 画素メモリ、４１８ Ｉ／Ｆ回路、４２０ 駆動制御部、４３０ タイミングメモリ、４４１ センサ制御部、４４２ ブロック制御部、４４３ 同期制御部、４４４ 信号制御部、４７２ 相関算出部、４７４ 制御選択部、４７６ 画像補正部、５００ 撮像装置、５０１ システム制御部、５０２ 駆動部、５０３ 測光部、５０４ ワークメモリ、５０５ 記録部、５０６ 表示部、５１１ 画像処理部、５１２ 演算部、５２０ 撮像レンズ

Claims (9)

1. 行方向および列方向に配された複数の画素を各々が含み、前記行方向および前記列方向に配列された複数の単位ブロックを有する光電変換部と、
   前記複数の単位ブロックのそれぞれに対して、前記複数の画素の全行の画素信号を一括して蓄積する一括蓄積制御と、前記複数の画素から行毎に画素信号を順次蓄積する順次蓄積制御とのいずれかを実行する蓄積制御部と、
   前記複数の単位ブロックの各々について、前記一括蓄積制御および前記順次蓄積制御のいずれかを選択して前記蓄積制御部に実行させる制御選択部と
   を備え、前記制御選択部は、前記蓄積制御部が、前記複数の単位ブロックのいずれかに対して、予め定められた回数および期間のいずれかを超えて前記一括蓄積制御を継続した場合に、当該単位ブロックに対して前記順次蓄積制御を実行させて、当該単位ブロックにおける以降の蓄積制御を選択する撮像素子。
2. 前記蓄積制御部が前記複数の単位ブロックのいずれかにおいて前記順次蓄積制御を実行した場合に、当該順次蓄積制御を実行した単位ブロックにおいて最も後に画素信号を蓄積された画素の行における画素信号の、当該画素の行に隣接する他の単位ブロックに含まれる画素の行における画素信号に対する相関値を算出する相関算出部を更に備え、
   前記制御選択部は、前記相関算出部が算出した相関値が予め定めた閾値よりも低くなった場合に、当該単位ブロックに対して前記一括蓄積制御を選択する請求項１に記載の撮像素子。
3. 前記相関算出部が算出した相関値に基づいて、当該相関値を算出した単位ブロックから前記蓄積制御部が取得した画素信号に対して、前記複数の画素の行が画素信号を蓄積するタイミングの相互のずれに起因する歪みを補正する画素信号画像補正部を更に備える請求項２に記載の撮像素子。
4. 行方向および列方向に配された複数の画素と、前記複数の画素の一部に代えて配され、入射光の一部を選択的に受光する特殊画素とを含み、前記複数の単位ブロックの一部に代えて配された特殊単位ブロックと、
   前記特殊単位ブロックに対して前記一括蓄積制御をする特殊蓄積制御部と、
   前記特殊画素から読み出した画素信号に基づいて、被写体に関する輝度以外の特殊情報を取得する特殊情報取得部と
   を更に備える請求項１から３までのいずれか一項に記載の撮像素子。
5. 前記制御選択部は、前記光電変換部が形成された基板に対して積層された他の基板に形成される請求項１から４までのいずれか１項に記載の撮像素子。
6. 前記光電変換部は、基板を通じて入射光を受光する裏面照射型ＣＭＯＳセンサを含む請求項１から５までのいずれか１項に記載の撮像素子。
7. 請求項１から請求項６のいずれか一項に記載の撮像素子を備える撮像装置。
8. 光電変換された電荷を蓄積する複数の光電変換部を含む撮像領域が第１方向と前記第１方向と交差する第２方向とに複数配置された撮像素子と、
   前記撮像領域に含まれる複数の前記光電変換部に対して、電荷の蓄積を一括して行う一括制御と、電荷の蓄積を順次に行う順次制御と、のうち、いずれか一方を実行させる制御部と、を備え、
   前記制御部は、複数の前記撮像領域のうち、前記一括制御を実行させている撮像領域が予め定められた回数および期間のいずれかを超えた場合、当該撮像領域に含まれる複数の前記光電変換部に対して前記順次制御を実行させるように制御する撮像装置。
9. 複数の画素を有する撮像領域が第１方向と前記第１方向と交差する第２方向とに複数配置された撮像素子と、
   前記撮像領域に対して、グローバル電子シャッタ動作とローリング電子シャッタ動作とのうち、いずれか一方を実行させる制御部と、を備え、
   前記制御部は、複数の前記撮像領域のうち、前記グローバル電子シャッタ動作を実行させている撮像領域が予め定められた回数および期間のいずれかを超えた場合、当該撮像領域に対して前記ローリング電子シャッタ動作を実行させるように制御する撮像装置。

Images