JP2015076852A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】撮像素子の高速読み出し動作及びローリングシャッタ動作時の画質の向上をともに実現できるようにする。【解決手段】行列状に配列された複数の画素と、画素の信号を列毎に出力する垂直信号線と、画素行を選択する垂直走査部と、垂直信号線に接続し画素の信号を処理する複数の列信号処理部と、列信号処理部からの信号に同期信号を付加して出力する出力部とを有する撮像素子と、撮像素子を制御する同期制御部とを有し、先に読み出した画素の信号の出力部からの出力が完了する前に、その出力部に対応する列信号処理部とは異なる列信号処理部への次の行の画素の信号の読み出しを開始して、１水平同期期間にＮ行（Ｎは２以上の整数）の信号を読み出すとともに、１水平同期期間をＮ分割した間隔で信号を読み出す画素行を順に切り換えるように撮像素子を制御する。【選択図】図２

Description

本発明は、撮像装置及びその制御方法に関する。

デジタルスチルカメラやデジタルビデオカメラなど、撮像素子を用いて撮像し、撮像画像をデジタルデータとして保存する撮像装置が普及している。このような撮像装置に用いる撮像素子は、ＣＣＤ（Charge Coupled Device）型イメージセンサ（以下、ＣＣＤセンサ）が一般的であった。近年では、撮像素子の多画素化が進むにつれ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下、ＣＭＯＳセンサ）が注目されている。

ＣＭＯＳセンサの特徴の一つに、ローリングシャッタ動作（フォーカルプレーンシャッタ動作とも呼ばれる）がある。ローリングシャッタ動作は、２次元配列された複数の画素を画素行毎に順次走査して信号の読み出しと出力を行うため、画素行毎に信号の読み出しと出力のための時間差を持った動作となっている（例えば、特許文献１の図９参照）。

さらに、ＣＭＯＳセンサは、画素信号のランダムアクセスが可能である点や、ＣＣＤセンサと比較して画素信号の読み出しが高速で、高感度、低消費電力といった特徴がある。ＣＭＯＳセンサを高速に動作させて高いフレームレートを実現する方法として、画素信号の読み出しから外部へ出力するまでの手段を複数持つ方法が提案されている（例えば、特許文献２の図５参照）。この方法によれば、例えば１行目の画素の信号と２行目の画素の信号を異なる読み出し手段及び異なる出力手段を用いて、２行の信号を同時に出力することが可能となり、２倍のフレームレートを実現することが可能となる。

ＣＭＯＳセンサの高画素化・高精細化に伴い、画素サイズの縮小が強く求められており、特に画素において飽和・感度といった特性を維持したまま複数の読み出し手段を持つことは非常に困難になっている。これに対して、画素の信号を列方向に読み出す信号線は共通にして、出力手段は複数持つ方法が提案されている（例えば、特許文献２の図１参照）。

この方法では、まず、１行目の画素の信号を列方向に共通の信号線を通して、画素領域外にある第１の回路部に読み出す。読み出された１行目の画素の信号は、第１の回路部で所定の処理を施された後に、第１の出力手段からデジタル信号として出力される。また、１行目の画素の信号を第１の回路部に読み出した後に、２行目の画素の信号を列方向に共通の信号線を通して、画素領域外にある第２の回路部に読み出す。読み出された２行目の画素の信号は、第２の回路部で所定の処理を施された後に、第２の出力手段からデジタル信号として出力される。この方法によれば、１行目の画素の信号と２行目の画素の信号を共通の読み出し手段と異なる出力手段を用いて、２行の信号を別々に出力することが可能となり、２倍のフレームレートを実現することが可能となる。この方法は、２行の信号を完全同時に出力しているわけではないので、２行の信号を並列的に出力すると表現する。

この方法は、１行目の画素の信号を第１の回路部に読み出した後に、２行目の画素の信号を第２の回路部に読み出す。そのため、１行目の画素の出力信号の出力タイミングと２行目の画素の出力信号の出力タイミングとの間には、１行目の画素の信号を第１の回路部に読み出す時間分の時間差が生じる。また、１行目の画素の信号を第１の出力手段から出力させた後に、３行目の画素の信号を第１の回路部に読み出すことになる。そのため、第１の出力手段から出力される１行目の画素の信号の出力タイミングと３行目の画素の信号の出力タイミングとの間には、水平同期期間分の時間差が生じていることになる。これにより、２行目の画素の出力信号の出力タイミングと３行目の画素の出力信号の出力タイミングとの間には、１行目の画素の信号を第１の回路部に読み出す時間を、水平同期期間から差し引いた時間分の時間差が生じることになる。したがって、１行目の画素と２行目の画素の読み出しタイミングのずれと、２行目の画素と３行目の画素の信号の読み出しタイミングのずれが異なることになる。

特開２００６−１９１２３６号公報 特開２００５−３４７９３２号公報

ＣＭＯＳセンサにおいて、高速読み出し動作を実現させるために、前述した２行の信号を並列的に出力する方法を用いた場合には、１行目の画素と２行目の画素の読み出しタイミングのずれと、２行目の画素と３行目の画素の読み出しタイミングのずれが異なる。その結果、移動している被写体を撮像した画像等において、読み出しタイミングのずれが異なることにより、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりする。本発明の目的は、撮像素子の高速読み出し動作及びローリングシャッタ動作時の画質の向上をともに実現できる撮像装置及び撮像装置の制御方法を提供することである。

本発明に係る撮像装置は、光電変換手段をそれぞれ有する行列状に配列された複数の画素と、前記複数の画素からの信号を列毎に出力する垂直信号線と、前記複数の画素を１行ずつ選択する垂直走査手段と、前記垂直信号線に接続し画素から読み出した信号をそれぞれ処理する複数の列信号処理手段と、前記複数の列信号処理手段にそれぞれ対応し前記列信号処理手段からの信号に同期信号を付加して出力する出力手段とを有する撮像素子と、先に読み出した画素の信号の前記出力手段からの出力が完了する前に、当該出力手段に対応する前記列信号処理手段とは異なる前記列信号処理手段への次の行の画素の信号の読み出しを開始して、１水平同期期間にＮ行（Ｎは２以上の整数）の画素の信号を読み出すように前記撮像素子を制御するとともに、１水平同期期間をＮ分割した間隔で信号を読み出す画素の行を順に切り換えるように前記撮像素子を制御する制御手段とを備えることを特徴とする。

本発明によれば、撮像素子において複数行の画素の信号を並列的に出力することが可能になり、撮像装置における高速読み出し動作を実現することができる。また、並列的に出力される複数行について行毎の読み出しタイミングを等間隔にすることができ、なめらかなローリングシャッタ動作を実現し撮影した画像の品質を向上させることが可能になる。

本発明の実施形態に係る撮像装置の構成例を示す図である。 第１の実施形態に係る撮像素子の構成例を示す図である。 第１の実施形態に係る出力部の構成例を示す図である。 第１の実施形態に係る撮像素子の動作例を示すタイミングチャートである。 第１の実施形態に係る信号処理部の入力部分の構成例を示す図である。 第２の実施形態に係る撮像素子の構成例を示す図である。 第２の実施形態に係る出力部の構成例を示す図である。 第２の実施形態に係る撮像素子の動作例を示すタイミングチャートである。 第２の実施形態に係る信号処理部の入力部分の構成例を示す図である。 第３の実施形態に係る撮像素子の動作例を示すタイミングチャートである。 第３の実施形態に係る撮像素子の動作例を示すタイミングチャートである。 第４の実施形態に係る撮像素子の動作例を示すタイミングチャートである。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

（第１の実施形態）
図１から図５を参照して、本発明の第１の実施形態について説明する。図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに応用可能である。本実施形態の撮像装置は、図１に示すように、光学系１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７、及び画像記録部１８を有する。

光学系１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらのうちの可動部は、同期制御部１５からの制御信号に基づいて駆動される。

撮像素子１２は、ＣＭＯＳ型イメージセンサ（ＣＭＯＳセンサ）、ＣＤＳ（Correlated Double Sampling）回路、ＡＧＣ（Auto Gain Control）回路、ＡＤ（Analog Digital）変換器などからなる。撮像素子１２は、同期制御部１５からの制御信号により制御される。ここで、ＣＭＯＳセンサは、ＸＹアドレス方式で画像信号を読み出す。また、ＣＭＯＳセンサは、同期制御部１５からの制御信号に応じて、露光や信号読み出し、リセットなどの動作タイミングが制御されて撮像動作を実施する。そして、ＣＤＳ回路によるノイズ除去、ＡＧＣ回路による利得制御、及び、ＡＤ変換器によるアナログデジタル変換を経て、デジタル化された画像信号が出力される。

信号処理部１３は、同期制御部１５の制御の下で、撮像素子１２から入力されるデジタル化された画像信号に対して、ホワイトバランス調整処理や色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。圧縮伸張部１４は、同期制御部１５の制御の下で動作し、信号処理部１３からの画像信号に対して、所定の静止画像データフォーマットで圧縮符号化処理を行う。所定の静止画像データフォーマットは、例えばＪＰＥＧ（Joint Photographic Coding Experts Group）方式などである。また、圧縮伸張部１４は、同期制御部１５から供給された静止画像の符号化データを伸張復号化処理する。さらに、ＭＰＥＧ（Moving Picture Experts Group）方式などにより動画像の圧縮符号化／伸張復号化処理を実行可能なようにしても良い。

同期制御部１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成されるマイクロコントローラである。同期制御部１５は、ＲＯＭなどに記憶されたプログラムをＣＰＵが実行することにより、撮像装置の各部を統括的に制御する。操作部１６は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。

画像表示部１７は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスや、これに対するインタフェース回路などからなる。画像表示部１７は、同期制御部１５から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。画像記録部１８は、例えば、可搬型の半導体メモリや、光ディスク、ＨＤＤ（Hard Disk Drive）、磁気テープなどとして実現され、圧縮伸張部１４により符号化された画像データファイルを同期制御部１５から受け取って記憶する。また、画像記録部１８は、同期制御部１５からの制御信号により指定されたデータを読み出し、同期制御部１５に出力する。

ここで、本実施形態の撮像装置における基本的な動作について説明する。
静止画像の撮像前には、撮像素子１２から出力された画像信号が信号処理部１３に順次供給される。信号処理部１３は、撮像素子１２からのデジタル画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部１５を通じて画像表示部１７に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。

この状態で、操作部１６のシャッタレリーズボタンが押下されると、同期制御部１５の制御により、撮像素子１２からの１フレーム分の画像信号が信号処理部１３に取り込まれる。信号処理部１３は、取り込んだ１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部１５を通じて画像記録部１８に供給する。これにより、撮像された静止画像のデータファイルが画像記録部１８に記録される。

画像記録部１８に記録された静止画像のデータファイルを再生する場合には、同期制御部１５は、操作部１６からの操作入力に応じて、選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。復号化された画像信号は、同期制御部１５を介して画像表示部１７に供給され、これにより静止画像が再生表示される。

また、動画像を記録する場合には、信号処理部１３で順次処理された画像信号に圧縮伸張部１４で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部１８に転送して記録する。画像記録部１８から動画像のデータファイルを読み出して圧縮伸張部１４に供給し、伸張復号化処理させて、画像表示部１７に供給することで、動画像が表示される。

図２は、本実施形態に係る撮像素子（ＣＭＯＳセンサ）１２の概略構成を示す図である。撮像素子１２は、複数の画素１００が配された画素領域１０１、垂直走査部１０２、第１信号選択部１０５ａ及び第２信号選択部１０５ｂ、第１列信号処理部１０６ａ及び第２列信号処理部１０６ｂ、第１列ＡＤ部１０７ａ及び第２列ＡＤ部１０７ｂを有する。また、撮像素子１２は、第１水平メモリ部１０８ａ及び第２水平メモリ部１０８ｂ、第１水平走査部１０９ａ及び第２水平走査部１０９ｂ、第１出力部１１０ａ及び第２出力部１１０ｂ、信号生成部（ＴＧ：Timing Generator）１１２を有する。

画素領域１０１は、図２にＰ１１〜Ｐ８４で示すように複数の画素１００が行方向（水平方向）・列方向（垂直方向）に行列状（マトリクス状）に配列されている。各画素１００は、不図示の光電変換部とトランジスタとを有する。ここで、例えば、Ｐ１１〜Ｐ１４は１行目となる４画素を示し、Ｐ８１〜Ｐ８４は８行目となる４画素を示す。本実施形態においては、４×８配列（４列８行）の画素領域１０１を例として説明するが、画像領域１０１における画素配列は、この数に限定されるものではない。

垂直走査部１０２は、画素領域１０１に配列されている画素を１行ずつ選択し、選択した画素行のリセット動作や読み出し動作を駆動制御する。画素制御線１０３は、画素行毎に配置されて同一行の画素に共通して接続され、垂直走査部１０２による行単位の駆動制御信号を伝達する。

垂直信号線１０４は、画素列毎に配置されて同一列の画素に共通して接続され、画素制御線１０３により選択された行の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される。垂直信号線１０４は、第１信号選択部１０５ａを介して第１列信号処理部１０６ａに接続可能であるとともに、第２信号選択部１０５ｂを介して第２列信号処理部１０６ｂに接続可能である。すなわち、信号選択部１０５ａ、１０５ｂは、垂直信号線１０４を第１列信号処理部１０６ａ或いは第２列信号処理部１０６ｂのどちらか一方に選択的に接続するスイッチとして機能する。

列信号処理部１０６ａ、１０６ｂは、それぞれ垂直信号線１０４毎に設けられる不図示のＣＤＳ回路やＡＧＣ回路を有する。列信号処理部１０６ａ、１０６ｂは、垂直信号線１０４を通して送られてくる行単位の各列の画素の信号に対して、ＣＤＳ処理により固定パターンノイズを除去して、Ｓ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行う。固定パターンノイズは、画素回路内のトランジスタのしきい値のばらつきに起因するノイズである。また、列信号処理部１０６ａ、１０６ｂは、必要であれば、ＡＧＣ回路による利得制御を実施する。

列ＡＤ部１０７ａ、１０７ｂは、垂直信号線１０４毎に設けられるＡＤ変換器を有する。列ＡＤ部１０７ａ、１０７ｂは、それぞれ対応する列信号処理部１０６ａ、１０６ｂから送られてくる行単位の各列の画素の信号のそれぞれをアナログデジタル変換する。ここで、本実施形態の列ＡＤ部１０７ａ、１０７ｂは、すべて８ビット（ｂｉｔ）精度のＡＤ変換器を有するものとするが、ビット精度においては、１０ビット、１２ビット、１４ビット等のさらに高精度なＡＤ変換器を用いても良い。

水平メモリ部１０８ａ、１０８ｂは、それぞれ対応する列ＡＤ部１０７ａ、１０７ｂにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、本実施形態の水平メモリ部１０８ａ、１０８ｂは、対応する列ＡＤ部１０７ａ、１０７ｂにあわせて各列毎に８ビットのデジタル信号を記憶できるものとするが、ＡＤ変換器のビット精度に応じたビット数のデジタル信号が記憶できれば良い。

水平走査部１０９ａ、１０９ｂは、それぞれ対応する水平メモリ部１０８ａ、１０８ｂに記憶しているデジタル化された画素信号を、それぞれ対応する出力部１１０ａ、１１０ｂに列毎に選択して転送するように、水平メモリ部１０８ａ、１０８ｂを制御する。

出力部１１０ａ、１１０ｂは、デジタル化された行単位の画素信号の前或いは前後に同期信号を付加する。また、出力部１１０ａ、１１０ｂは、同期信号付きのデジタル画素信号を、それぞれ対応する出力端子１１１ａ、１１１ｂから信号処理部１３へ出力する。ＴＧ１１２は、制御端子１１３を介した同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号などを出力する。

本実施形態に係る出力部１１０ａ、１１０ｂについて説明する。以下では、第１出力部１１０ａについて説明するが、第２出力部１１０ｂについても同様である。図３は、本実施形態に係る出力部１１０ａの構成を示す図である。第１出力部１１０ａは、第１信号変換部２０１ａ、第１同期信号付加部２０２ａ、及び第１差動送信バッファ２０３ａを有する。

第１信号変換部２０１ａには、８ビットに対応する８本の水平信号線を介して、第１水平メモリ部１０８ａから送られてくる画素信号Ｄ０ａ、Ｄ１ａ、Ｄ２ａ、Ｄ３ａ、Ｄ４ａ、Ｄ５ａ、Ｄ６ａ及びＤ７ａが入力される。また、第１信号変換部２０１ａには、ＴＧ１１２からクロック信号として送られてくる画素クロック信号Ｓｃｋａが入力される。画素クロック信号Ｓｃｋａは、第１水平走査部１０９ａの転送と同じ周期の信号である。第１信号変換部２０１ａは、画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。

第１信号変換部２０１ａは、さらに、例えば黒レベル調整、列ばらつき補正、信号増幅、色関係処理等を実施しても良い。黒レベル調整は、画素領域１０１の周辺に配置された不図示の遮光された画素の信号レベルが、予め同期制御部１５によって設定されたレベルになるように、すべての画素信号のレベルを同じだけシフトする機能である。列ばらつき補正は、画素領域１０１の上部或いは下部に配置された不図示の遮光された画素の信号から列方向のばらつき補正データを作成し、列信号処理部１０６及び列ＡＤ部１０７で発生する画素信号における列方向のばらつきを補正する機能である。信号増幅は、画像処理において適正な信号レベルとなるように、画素信号にゲインをかける機能である。例えば、信号処理部１３が事前に撮像された画像から適切なゲイン量を算出して、同期制御部１５がゲインを設定するような制御が可能である。色関係処理は、例えばホワイトバランス（ＷＢ）処理である。画素領域１０１の各画素１００に対して、不図示のＲＧＢの色フィルタが、例えばベイヤ配列等の配列に従って設けられている。例えば、信号処理部１３が事前に撮像された画像から適切なＷＢ処理を施す色毎のゲイン量を算出して、同期制御部１５が色毎のゲインを設定するような制御が可能である。

第１同期信号付加部２０２ａは、画素クロック信号Ｓｃｋａの位相と同期した状態で、画素信号Ｄ０ａ〜Ｄ７ａのそれぞれに対して、スタート同期信号及び、必要に応じてエンド同期信号を付加する。ここで、同期信号を付加するタイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２から出力される制御信号により制御される。

第１差動送信バッファ２０３ａは、同期信号を付加した画素信号Ｄ０ａ〜Ｄ７ａ及び画素クロック信号Ｓｃｋａのそれぞれに対して設けられ、それぞれのパルス信号と同極性の正転信号と逆極性の反転信号とを同時に出力する。本実施形態においては、正転画素信号がＤ０Ｐａ〜Ｄ７Ｐａ、反転画素信号がＤ０Ｎａ〜Ｄ７Ｎａとなり、正転画素クロック信号がＳｃｋＰａ、反転画素クロック信号がＳｃｋＮａとなっている。

ここで、出力部１１０ａ、１１０ｂに入力される画素クロック信号は、同じ信号がＴＧ１１２から送られてくるものとするが、ＴＧ１１２から出力部１１０ａ、１１０ｂのそれぞれまでの距離に応じた遅延が発生する。そのため、出力部１１０ａ、１１０ｂにそれぞれ入力される画素クロック信号Ｓｃｋａ、Ｓｃｋｂは区別して用いるものとする。

また、図３に示す第１出力部１１０ａの第１差動送信バッファ２０３ａは、電流モードで差動動作をさせるＬＶＤＳ（Low Voltage Differential Signaling）を利用することができる。こうすることで、耐ノイズ性や不要輻射の問題に対して有利になる。

すなわち、正転信号に相当するパルス信号のみの単相（シングル）出力では、高速になるほどパルス波形に鈍りやリンギングなどの成分が発生し易くなり、その影響を直接に被る。これに対して、差動動作をさせるＬＶＤＳにおいては、差動出力の両方を使って波形再生することが可能となるので、耐ノイズ性が改善する。この点は、画素信号に限らず、画素クロック信号についても同様の効果が得られる。

さらに、正転信号に相当するパルス信号のみの単相出力では、パルスの変化に対応して送信側である出力回路と受信側である入力回路の間で電流が行き来するので、そのたびに不要輻射の原因となる電磁界が発生し、周辺回路や固体撮像装置の外部に影響を与える。これに対して、電流モードで差動動作をさせるＬＶＤＳにおいては、送信側出力回路と受信側入力回路の間で電流が行き来するものの、常に正転信号と反転信号における切り換わりのタイミングが同時であり、発生する電磁界の向きが互いに逆方向となる。よって、双方が発生した電磁界を打ち消し合うようになり、不要輻射の原因となる電磁界の発生が大幅に低減されることになる。なお、この効果をより高めるには、差動信号における正転信号と反転信号の２つの出力線を近接して配置するとともに、差動送信バッファと差動受信バッファの間の接続距離が極力同じになるように回路設計をする必要がある。

次に、図４を用いて、第１の実施形態での動作を説明する。図４は、第１の実施形態に係る撮像素子１２の動作例を示すタイミングチャートである。図４において、ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となり、Ｔｈｄが１つの水平同期期間となっている。また、ＨＳは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となり、Ｔｈｓが１つのサブ水平同期期間となっている。ここで、サブ水平同期信号ＨＳは、撮像素子１２がＮ個（Ｎは２以上の整数）の出力部を有する場合、１水平同期期間ＴｈｄにＮ行の画素の信号を読み出すよう、１水平同期期間ＴｈｄをＮ分割した周期（間隔毎）で立ち下がるよう作られている。本実施形態に係る撮像素子１２は、第１出力部１１０ａ及び第２出力部１１０ｂの２つの出力部を有するため、２行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを２等分した周期で立ち下がるよう作られている。このため、水平同期期間Ｔｈｄが、サブ水平同期期間Ｔｈｓの２倍の長さとなっている。

Ｏｐｒ１は、第１信号選択部１０５ａが選択されたときの第１の読み出し動作を示し、Ｏｐｒ２は、第２信号選択部１０５ｂが選択されたときの第２の読み出し動作を示す。第１の読み出し動作Ｏｐｒ１は、水平同期信号ＨＤに同期して、或いは、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの１回目に同期して動作を開始する。第２の読み出し動作Ｏｐｒ２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの２回目に同期して動作を開始する。ここで、画素領域１０１に配列されている画素のうち、奇数行目の画素の信号を第１の読み出し動作Ｏｐｒ１を用いて読み出し、偶数行目の画素の信号を第２の読み出し動作Ｏｐｒ２を用いて読み出すことにする。

まず、はじめに、第１の読み出し動作Ｏｐｒ１について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの１回目に同期して第１の読み出し動作Ｏｐｒ１を開始する（時刻ｔ００）。期間Ｒｄ１ｒにおいて、第１信号選択部１０５ａが選択された状態で、垂直走査部１０２からの駆動制御信号により、１行目の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される（時刻ｔ００〜ｔ０１）。このとき、最初に画素をリセットした状態のＮ信号が、第１列信号処理部１０６ａでサンプルホールドされ、続いて光電変換部の信号を読み出した状態のＳ信号が、第１列信号処理部１０６ａでサンプルホールドされる。

次に、期間ＣＤＳ１ｒにおいて、第１列信号処理部１０６ａが、ＣＤＳ回路でＳ信号からＮ信号を減算することによってＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する（時刻ｔ０１〜ｔ０２）。そして、期間ＡＤ１ｒにおいて、第１列ＡＤ部１０７ａが、ノイズ除去された１行目の画素の信号をアナログデジタル変換して、第１水平メモリ部１０８ａへ記憶させる（時刻ｔ０２〜ｔ０３）。ここまでの時刻ｔ００〜ｔ０３での処理が、１行目の各画素の信号に対する列毎の並列処理になる。

続いて、期間ＳＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａが画素クロック信号Ｓｃｋａの位相と同期した状態で、８ビットの画素信号が送られてくる前にスタート同期信号を付加する（時刻ｔ０３〜ｔ０４）。このとき、スタート同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。黒レベル調整後の黒レベルが０より高い値に設定されている場合には、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、スタート同期信号として“１１１１００００”を付加することで実現できる。

具体的には、期間ＳＤ１ｒとして画素クロック信号Ｓｃｋａの８クロックを割り当てる。そして、期間ＳＤ１ｒの間に、８ビットの正転画素信号であるＤ０Ｐａ〜Ｄ７Ｐａのそれぞれが、Ｄ０Ｐａ＝１１１１００００からＤ７Ｐａ＝１１１１００００を出力する。同様に、期間ＳＤ１ｒの間に、８ビットの反転画素信号であるＤ０Ｎａ〜Ｄ７Ｎａのそれぞれが、Ｄ０Ｎａ＝００００１１１１からＤ７Ｎａ＝００００１１１１を出力する。このとき、正転画素クロック信号ＳｃｋＰａ及び反転画素クロック信号ＳｃｋＮａには、スタート同期信号を付加しない。

次に、期間ＳｉｇＯｕｔ１ｒにおいて、第１水平走査部１０９ａが第１水平メモリ部１０８ａを列毎に選択し、第１水平メモリ部１０８ａに記憶しているデジタル化された８ビットの画素信号Ｄ０ａ〜Ｄ７ａを第１出力部１１０ａに転送する。そして、第１信号変換部２０１ａが、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。その後、第１差動送信バッファ２０３ａが、８ビットそれぞれの信号に対応する正転信号と反転信号に変換して、第１出力端子１１１ａから出力する（時刻ｔ０４以降）。

さらに、続けて、期間ＥＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａが画素クロック信号Ｓｃｋａの位相と同期した状態で、８ビットの画素信号が送り出された後にエンド同期信号を付加する（時刻ｔ０７まで）。このとき、エンド同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、スタート同期信号と区別するために、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、エンド同期信号として“１１００１１００”を付加することで実現できる。

具体的には、期間ＥＤ１ｒとして画素クロック信号Ｓｃｋａの８クロックを割り当てる。そして、期間ＥＤ１ｒの間に、８ビットの正転画素信号であるＤ０Ｐａ〜Ｄ７Ｐａのそれぞれが、Ｄ０Ｐａ＝１１００１１００からＤ７Ｐａ＝１１００１１００を出力する。同様に、期間ＥＤ１ｒの間に、８ビットの反転画素信号であるＤ０Ｎａ〜Ｄ７Ｎａのそれぞれが、Ｄ０Ｎａ＝００１１００１１からＤ７Ｎａ＝００１１００１１を出力する。このとき、正転画素クロック信号ＳｃｋＰａ及び反転画素クロック信号ＳｃｋＮａには、エンド同期信号を付加しない。ここまでの時刻ｔ０３〜ｔ０７の期間が、スタート同期信号及びエンド同期信号を付加した１行目の各画素の信号の出力期間になる。

第１の読み出し動作Ｏｐｒ１においては、１行目の画素の信号の出力後、続けて３行目の画素の信号を出力する。時刻ｔ０８〜ｔ１１の期間が、３行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ１１〜ｔ１５の期間が、スタート同期信号及びエンド同期信号を付加した３行目の各画素の信号の出力期間になる。さらに、第１の実施形態においては、画素領域１０１に配列されている画素１００は８行であるため、時刻ｔ１６以降で、５行目及び７行目の画素の信号を同様に読み出し、その後、再び１行目の画素の信号の読み出し動作が開始される。

次に、第２の読み出し動作Ｏｐｒ２について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの２回目に同期して第２の読み出し動作Ｏｐｒ２を開始する（時刻ｔ０４）。ここで、撮像素子１２においては、垂直信号線１０４が垂直画素列共通に配線されているため、第２の読み出し動作Ｏｐｒ２は、１行目の画素の信号を読み出す期間Ｒｄ１ｒ終了以降（時刻ｔ０１以降）に動作を開始する必要がある。本実施形態においては、水平同期期間Ｔｈｄを２分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ１ｒより長く設定されているので、２回目のサブ水平同期信号ＨＳは、期間Ｒｄ１ｒ終了後、十分に時間が経過した後に設けられている（時刻ｔ０４）。

まず、期間Ｒｄ２ｒにおいて、第２信号選択部１０５ｂが選択された状態で、垂直走査部１０２からの駆動制御信号により、２行目の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される。すなわち、２行目の画素の信号のＮ信号とＳ信号をそれぞれ対応する垂直信号線１０４を介して第２列信号処理部１０６ｂに読み出す（時刻ｔ０４〜ｔ０５）。

次に、期間ＣＤＳ２ｒにおいて、第２列信号処理部１０６ｂが、ＣＤＳ回路でＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する（時刻ｔ０５〜ｔ０６）。そして、期間ＡＤ２ｒにおいて、第２列ＡＤ部１０７ｂが、２行目の画素の信号をアナログデジタル変換して、第２水平メモリ部１０８ｂへ記憶させる（時刻ｔ０６〜ｔ０７）。ここまでの時刻ｔ０４〜ｔ０７での処理が、２行目の各画素の信号に対する列毎の並列処理になる。

続いて、期間ＳＤ２ｒにおいて、第２出力部１１０ｂ内の不図示の第２同期信号付加部が画素クロック信号Ｓｃｋｂの位相と同期した状態で、８ビットの画素信号が送られてくる前にスタート同期信号を付加する（時刻ｔ０７〜ｔ０８）。このとき、スタート同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要があり、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、スタート同期信号として“１１１１００００”を付加することで実現できる。具体的な８ビットのそれぞれの信号に対するスタート同期信号は、第１の読み出し動作Ｏｐｒ１におけるスタート同期信号と同様であるので、説明は省略する。

ここで、第２の読み出し動作Ｏｐｒ２においては、期間Ｒｄ１ｒの開始から１サブ水平同期期間Ｔｈｓ後に、期間Ｒｄ２ｒが開始している。そのため、スタート同期信号を付加する期間ＳＤ２ｒも期間ＳＤ１ｒから１サブ水平同期期間Ｔｈｓに相当する時間だけ遅れて開始する必要がある。

次に、期間ＳｉｇＯｕｔ２ｒにおいて、第２水平走査部１０９ｂが第２水平メモリ部１０８ｂを列毎に選択し、第２水平メモリ部１０８ｂに記憶しているデジタル化された８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂを第２出力部１１０ｂに転送する。そして、第２出力部１１０ｂの不図示の第２信号変換部が、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋｂの位相と同期するように、８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂの位相を調整する。その後、第２出力部１１０ｂの不図示の第２差動送信バッファが、８ビットそれぞれの信号に対応する正転信号と反転信号に変換して、第２出力端子１１１ｂから出力する（時刻ｔ０８以降）。

さらに、続けて、期間ＥＤ２ｒにおいて、第２出力部１１０ｂ内の第２同期信号付加部が画素クロック信号Ｓｃｋｂの位相と同期した状態で、８ビットの画素信号が送り出された後にエンド同期信号を付加する（時刻ｔ１１まで）。このとき、エンド同期信号は、８ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、スタート同期信号と区別するために、画素信号を構成する８ビットのそれぞれの信号に対して、例えば、エンド同期信号として“１１００１１００”を付加することで実現できる。具体的な８ビットのそれぞれの信号に対するエンド同期信号は、第１の読み出し動作Ｏｐｒ１におけるエンド同期信号と同様であるので、説明は省略する。ここまでの時刻ｔ０７〜ｔ１１の期間が、スタート同期信号及びエンド同期信号を付加した２行目の各画素の信号の出力期間になる。

第２の読み出し動作Ｏｐｒ２においては、２行目の画素の信号の出力後、続けて４行目の画素の信号を出力する。時刻ｔ１２〜ｔ１５の期間が、４行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ１５以降が、スタート同期信号及びエンド同期信号を付加した４行目の各画素の信号の出力期間になる。さらに、第１の実施形態においては、画素領域１０１に配列されている画素１００は８行であるため、４行目の各画素の信号の出力後で、６行目及び８行目の画素の信号を同様に読み出し、その後、再び２行目の画素の信号の読み出し動作が開始される。

このように、第１の実施形態においては、第１の読み出し動作Ｏｐｒ１と第２の読み出し動作Ｏｐｒ２を、１サブ水平同期期間Ｔｈｓに相当する時間だけずらせて動作させる。このため、ＴＧ１１２は、期間Ｒｄ１ｒ、期間ＣＤＳ１ｒ、期間ＡＤ１ｒの間に実施する１行目の画素の信号の読み出しから第１水平メモリ部１０８ａへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、ＴＧ１１２は、同時に、１サブ水平同期期間Ｔｈｓに相当する時間だけずらせて、２行目の画素の信号の読み出しから第２水平メモリ部１０８ｂへの記憶までの列毎の並列処理動作を制御することが可能となっている。

さらに、ＴＧ１１２は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した１行目の画素の信号及び２行目の画素の信号の出力動作をそれぞれ制御することが可能となっている。ここで、１行目の画素の信号に付加したスタート同期信号の出力動作は、１行目の画素の信号の並列処理動作の終了後で、３行目の画素に係る期間Ｒｄ３ｒの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。また、２行目の画素の信号に付加したスタート同期信号の出力動作も、２行目の画素の信号の並列処理動作の終了後で、４行目の画素に係る期間Ｒｄ４ｒの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。さらに、１行目の画素の信号に付加したスタート同期信号と２行目の画素の信号に付加したスタート同期信号の出力開始タイミングの差も、期間Ｒｄ３ｒの開始及び期間Ｒｄ４ｒの開始に影響しなければ、１サブ水平同期期間Ｔｈｓである必要はない。

これら期間Ｒｄ１ｒの開始タイミング、期間Ｒｄ２ｒの開始タイミング、期間ＳＤ１ｒの開始タイミング及び期間ＳＤ２ｒの開始タイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２が個別にかつ適宜設定できる。

以上の説明は、第１の読み出し動作Ｏｐｒ１と第２の読み出し動作Ｏｐｒ２の関係について述べたものである。読み出し動作が繰り返される場合には、２行目の画素の信号を読み出す第２の読み出し動作Ｏｐｒ２と３行目の画素の信号を読み出す第１の読み出し動作Ｏｐｒ１の関係についても同様であり、その後に読み出されるすべての画素行に適応可能である。

また、本実施形態において、スタート同期信号及びエンド同期信号は、それぞれ“１１１１００００”及び“１１００１１００”に設定したが、これに限定されるものではない。スタート同期信号及びエンド同期信号が区別でき、かつ、８ビットの画素信号が取り得ない値の組み合わせであれば良いので、例えば、スタート同期信号を“１１００１１００”及びエンド同期信号を“１１１１００００”のように逆にしても良い。また、例えば、スタート同期信号を“１１１１１１１１００００００００”及びエンド同期信号を“１１１１００００１１１１００００”のように長さを長くしても良い。さらに、撮像素子１２の出力信号の画素数は、予め決まっているので、同期制御部１５が信号処理部１３に対して、１行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号は省略可能である。

図５は、本実施形態に係る信号処理部１３の入力部分の構成を示す図であり、信号処理部１３での信号処理が可能となるように、撮像素子１２から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能な構成になっている。信号処理部１３は、第１入力部４０１ａ、第２入力部４０１ｂ、同期信号解読部４０３、及び内部メモリ４０４を有する。

第１入力部４０１ａ及び第２入力部４０１ｂには、第１出力部１１０ａ及び第２出力部１１０ｂからの画素の信号が、それぞれ第１入力端子４０２ａ及び第２入力端子４０２ｂを介して入力される。信号処理部１３に入力される信号は、図３を用いて説明した、１つの信号が正転画素信号及び反転画素信号からなる差動信号であるので、不図示の差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、同時に入力される画素クロック信号と信号処理部１３の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部１３の信号処理クロック信号の位相に同期させる処理も行う。

同期信号解読部４０３は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４に記憶させる。内部メモリ４０４は、行単位の画素信号を記憶する。１行目から８行目までの画素信号を記憶する領域を、便宜的にそれぞれｍＰ１ｒ〜ｍＰ８ｒとして示している。

ここで、図４に示した動作が実施された場合について説明する。第１入力部４０１ａから同期信号解読部４０３に１行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４の領域ｍＰ１ｒに記憶する。次に、第２入力部４０１ｂから同期信号解読部４０３に２行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ４０４の領域ｍＰ２ｒに記憶する。

このとき、内部メモリ４０４に対しては、１行目の画素の信号の記憶動作と２行目の画素の信号の記憶動作を同時に行うことになるが、内部メモリ４０４の異なる領域に対する記憶動作なので、制御可能となっている。１行目及び２行目の画素の信号の記憶動作に続いて、３行目及び４行目の画素の信号の記憶動作も同様に行う。

そして、内部メモリ４０４の領域ｍＰ１ｒ〜ｍＰ８ｒに記憶された１行目〜８行目の画素の信号は、同期制御部１５からの制御信号に基づいて、内部メモリ端子４０５から１行毎に信号処理されていくことになる。その後、続けて１行目の画素の信号が入力された場合には、また最初から領域ｍＰ１ｒに記憶すればよい。

以上のように、本実施形態においては、複数の出力手段の信号それぞれに対して、読み出し時間差に応じて個別にスタート同期信号を設定することで、出力信号の同期制御の手段を提供することができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、読み出し時間差に対応した信号処理部の入力信号の同期制御が実現可能である。これにより、複数の画素の信号を共通の読み出し手段と異なる出力手段を用いて別々に出力することが可能となるので、撮像装置における高速読み出し動作が実現できる。

さらに、本実施形態においては、サブ水平同期信号ＨＳが水平同期期間Ｔｈｄを２分割した周期で作られ、奇数行目の画素の信号をサブ水平同期信号ＨＳの１回目に同期して読み出し、偶数行目の画素の信号をサブ水平同期信号ＨＳの２回目に同期して読み出す。これにより、行毎の読み出しタイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができ、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりするのを防止することができる。

ここで、本実施形態における水平同期信号ＨＤは、一般に水平走査部１０９の転送と同じ周期の画素クロック信号Ｓｃｋと同期していることが多い。そして、水平同期信号ＨＤを２分割したサブ水平同期信号ＨＳが画素クロック信号Ｓｃｋで奇数になる場合、サブ水平同期信号ＨＳをカウントするときの１回目と２回目で奇数カウントと偶数カウントを繰り返すことになる。その場合には、カウンタはすべて偶数カウントの方が設計しやすいので、サブ水平同期信号ＨＳのクロック数を、画素クロック信号Ｓｃｋで偶数カウントすなわち２の倍数にして、水平同期信号ＨＤを、サブ水平同期信号ＨＳの２倍のクロック数にしてやればよい。

また、本実施形態においては、２回目のサブ水平同期信号ＨＳが、期間Ｒｄ１ｒの終了後、十分に時間が経過した後に設けられている。しかしながら、垂直信号線１０４が垂直画素列に共通に配線されているため、期間Ｒｄ１ｒがサブ水平同期期間Ｔｈｓより長い場合には、第２の読み出し動作Ｏｐｒ２を開始することができない。そのときには、第２信号選択部１０５ｂ以降を停止させ、第１水平メモリ部１０８ａ及び第１出力部１１０ａを用いて、１行毎に水平同期期間に同期させて読み出せば良い。

（第２の実施形態）
次に、図１に加えて、図６〜図９を参照して、本発明の第２の実施形態について説明する。なお、第２の実施形態では、撮像装置の基本的な構成及び動作は、第１の実施形態と同様であるので、図及び符号を流用して説明する。第１の実施形態における撮像素子１２は、水平メモリ部及び出力部をそれぞれ２組ずつ備えることで、２行同時出力による高速読み出し動作を実現している。以下に説明する第２の実施形態においては、水平メモリ部及び出力部をそれぞれ４組ずつ備えることで、さらなる高速読み出し動作を実現する。

図６は、本実施形態に係る撮像素子１２の概略構成を示す図である。撮像素子１２は、複数の画素１００が配された画素領域１０１、垂直走査部１０２、第１信号選択部１０５ａ及び第２信号選択部１０５ｂ、第１列信号処理部１０６ａ及び第２列信号処理部１０６ｂ、第１列ＡＤ部１０７ａ及び第２列ＡＤ部１０７ｂを有する。また、撮像素子１２は、第１メモリ選択部１１４ａ及び第２メモリ選択部１１４ｂ、第１水平メモリ部１０８ａ、第２水平メモリ部１０８ｂ、第３水平メモリ部１０８ｃ及び第４水平メモリ部１０８ｄを有する。また、撮像素子１２は、第１水平走査部１０９ａ及び第２水平走査部１０９ｂ、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄ、及びＴＧ（Timing Generator）１１２を有する。

画素領域１０１は、図６にＰ１１〜Ｐ１６４で示すように複数の画素１００が行方向（水平方向）・列方向（垂直方向）に行列状（マトリクス状）に配列されている。各画素１００は、不図示の光電変換部とトランジスタとを有する。ここで、例えば、Ｐ１１〜Ｐ１４は１行目となる４画素を示し、Ｐ１６１〜Ｐ１６４は１６行目となる４画素を示す。本実施形態においては、４×１６配列（４列１６行）の画素領域１０１を例として説明するが、画像領域１０１における画素配列は、この数に限定されるものではない。

垂直走査部１０２、画素制御線１０３、垂直信号線１０４、信号選択部１０５ａ、１０５ｂ、列信号処理部１０６ａ、１０６ｂ、及び列ＡＤ部１０７ａ、１０７ｂは、図２に示した第１の実施形態における撮像素子と同じ動作を行うため、説明は省略する。

第１メモリ選択部１１４ａは、第１列ＡＤ部１０７ａにおいてアナログデジタル変換された行単位の画素の信号を、第１水平メモリ部１０８ａ或いは第３水平メモリ部１０８ｃのどちらか一方に選択的に接続するスイッチとなっている。第２メモリ選択部１１４ｂは、第２列ＡＤ部１０７ｂにおいてアナログデジタル変換された行単位の画素の信号を、第２水平メモリ部１０８ｂ或いは第４水平メモリ部１０８ｄのどちらか一方に選択的に接続するスイッチとなっている。

第１水平メモリ部１０８ａ及び第３水平メモリ部１０８ｃは、第１列ＡＤ部１０７ａにおいてデジタル化された行単位の各列の画素信号を記憶する。第２水平メモリ部１０８ｂ及び第４水平メモリ部１０８ｄは、第２列ＡＤ部１０７ｂにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、水平メモリ部１０８ａ、１０８ｂ、１０８ｃ、１０８ｄは、対応する列ＡＤ部１０７ａ、１０７ｂにあわせて各列毎に８ビットのデジタル信号を記憶できるものとするが、ＡＤ変換器のビット精度に応じたビット数のデジタル信号が記憶できれば良い。

第１水平走査部１０９ａは、水平メモリ部１０８ａ、１０８ｃに記憶しているデジタル化された画素信号を、それぞれ対応する出力部１１０ａ、１１０ｃに列毎に選択して転送するように、水平メモリ部１０８ａ、１０８ｂを制御する。第２水平走査部１０９ｂは、水平メモリ部１０８ｂ、１０８ｄに記憶しているデジタル化された画素信号を、それぞれ対応する出力部１１０ｂ、１１０ｄに列毎に選択して転送するように、水平メモリ部１０８ｂ、１０８ｄを制御する。

出力部１１０ａ、１１０ｂ、１１０ｃ及び１１０ｄは、デジタル化された行単位の画素信号の前或いは前後に同期信号を付加する。また、出力部１１０ａ、１１０ｂ、１１０ｃ及び１１０ｄは、同期信号付きのデジタル画素信号を、それぞれ対応する出力端子１１１ａ、１１１ｂ、１１１ｃ及び１１１ｄから信号処理部１３へ出力する。ＴＧ１１２は、制御端子１１３を介した同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号などを出力する。

本実施形態に係る出力部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄについて説明する。以下では、第１出力部１１０ａについて説明するが、第２出力部１１０ｂ、第３出力部１１０ｃ、第４出力部１１０ｄについても同様である。図７は、本実施形態に係る出力部１１０ａの構成を示す図である。第１出力部１１０ａは、第１信号変換部２０１ａ、第１パラシリ変換部２０４ａ、第１同期信号付加部２０２ａ、及び第１差動送信バッファ２０３ａを有する。

第１信号変換部２０１ａには、８ビットに対応する８本の水平信号線を介して、第１水平メモリ部１０８ａから送られてくる画素信号Ｄ０ａ、Ｄ１ａ、Ｄ２ａ、Ｄ３ａ、Ｄ４ａ、Ｄ５ａ、Ｄ６ａ及びＤ７ａが入力される。また、第１信号変換部２０１ａには、ＴＧ１１２からクロック信号として送られてくる画素クロック信号Ｓｃｋａが入力される。画素クロック信号Ｓｃｋａは、第１水平走査部１０９ａの転送と同じ周期の信号である。第１信号変換部２０１ａは、画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。第１信号変換部２０１ａは、さらに、図３に示した第１の実施形態における第１信号変換部において説明した黒レベル調整、列ばらつき補正、信号増幅、色関係処理等を実施しても良い。

第１パラシリ変換部２０４ａには、画素クロック信号Ｓｃｋａの位相と同期した８ビットの画素信号Ｄ０ａ〜Ｄ７ａ、及びＴＧ１１２からクロック信号として送られてくる画素クロック信号Ｓｃｋａの２倍の周波数をもつ逓倍クロック信号Ｈ２ｃｋａが入力される。第１パラシリ変換部２０４ａは、逓倍クロック信号Ｈ２ｃｋａを用いて、８ビットがそれぞれ８本並列に入力される画素信号Ｄ０ａ〜Ｄ７ａをパラレル・シリアル変換する。例えば、画素信号Ｄ０ａ〜Ｄ７ａを、画素信号Ｄ０ａ・Ｄ１ａ、画素信号Ｄ２ａ・Ｄ３ａ、画素信号Ｄ４ａ・Ｄ５ａ及び画素信号Ｄ６ａ・Ｄ７ａのように、逓倍クロック信号Ｈ２ｃｋａに同期した２ビット直列の４本並列した画素信号に変換して出力する。ここで、逓倍クロック信号Ｈ２ｃｋａは、画素クロック信号Ｓｃｋａの２倍の周波数をもつので、画素クロック信号Ｓｃｋａ当たりのデータ転送量は変化しない。

第１同期信号付加部２０２ａは、逓倍クロック信号Ｈ２ｃｋａの位相と同期した状態で、画素信号Ｄ０ａ・Ｄ１ａ、Ｄ２ａ・Ｄ３ａ、Ｄ４ａ・Ｄ５ａ及びＤ６ａ・Ｄ７ａのそれぞれに対して、スタート同期信号及び、必要に応じてエンド同期信号を付加する。ここで、同期信号を付加するタイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２から出力される制御信号により制御される。

第１差動送信バッファ２０３ａは、同期信号を付加した画素信号Ｄ０ａ・Ｄ１ａ、Ｄ２ａ・Ｄ３ａ、Ｄ４ａ・Ｄ５ａ及びＤ６ａ・Ｄ７ａ、及び逓倍クロック信号Ｈ２ｃｋａのそれぞれに対して設けられる。第１差動送信バッファ２０３ａは、それぞれのパルス信号と同極性の正転信号と逆極性の反転信号とを同時に出力する。本実施形態においては、正転画素信号がＤ０Ｐａ〜Ｄ７Ｐａ、反転画素信号がＤ０Ｎａ〜Ｄ７Ｎａとなり、正転逓倍クロック信号がＨ２ｃｋＰａ、反転逓倍クロック信号がＨ２ｃｋＮａとなっている。

ここで、出力部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄに入力される画素クロック信号及び逓倍クロック信号は、同じ信号がＴＧ１１２から送られてくるものとする。しかし、ＴＧ１１２から出力部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄのそれぞれまでの距離に応じた遅延が発生する。そのため、出力部１１０ａ、１１０ｂ、１１０ｃ、１１０ｄにそれぞれ入力される画素クロック信号Ｓｃｋａ、Ｓｃｋｂ、Ｓｃｋｃ、Ｓｃｋｄ、及び逓倍クロック信号Ｈ２ｃｋａ、Ｈ２ｃｋｂ、Ｈ２ｃｋｃ、Ｈ２ｃｋｄは区別して用いるものとする。

次に、図８を用いて、第２の実施形態での動作を説明する。図８は、第２の実施形態に係る撮像素子１２の動作例を示すタイミングチャートである。図８において、ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となり、Ｔｈｄが１つの水平同期期間となっている。また、ＨＳは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となり、Ｔｈｓが１つのサブ水平同期期間となっている。本実施形態に係る撮像素子１２は、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄの４つの出力部を有するため、４行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを４等分した周期で立ち下がるよう作られている。このため、水平同期期間Ｔｈｄが、サブ水平同期期間Ｔｈｓの４倍の長さとなっている。

Ｏｐｒ１は、第１信号選択部１０５ａが選択され、かつ、第１メモリ選択部１１４ａにより第１水平メモリ部１０８ａに接続したときの第１の読み出し動作を示す。Ｏｐｒ２は、第２信号選択部１０５ｂが選択され、かつ、第２メモリ選択部１１４ｂにより第２水平メモリ部１０８ｂに接続したときの第２の読み出し動作を示す。Ｏｐｒ３は、第１信号選択部１０５ａが選択され、かつ、第１メモリ選択部１１４ａにより第３水平メモリ部１０８ｃに接続したときの第３の読み出し動作を示す。Ｏｐｒ４は、第２信号選択部１０５ｂが選択され、かつ、第２メモリ選択部１１４ｂにより第４水平メモリ部１０８ｄに接続したときの第４の読み出し動作を示す。

画素領域１０１に配列されている画素のうち、１行目、５行目、９行目及び１３行目の画素の信号を第１の読み出し動作Ｏｐｒ１を用いて読み出し、２行目、６行目、１０行目及び１４行目の画素の信号を第２の読み出し動作Ｏｐｒ２を用いて読み出すことにする。また、３行目、７行目、１１行目及び１５行目の画素の信号を第３の読み出し動作Ｏｐｒ３を用いて読み出し、４行目、８行目、１２行目及び１６行目の画素の信号を第４の読み出し動作Ｏｐｒ４を用いて読み出すことにする。

まず、はじめに、第１の読み出し動作Ｏｐｒ１について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの１回目に同期して第１の読み出し動作Ｏｐｒ１を開始する（時刻ｔ６０）。まず、期間Ｒｄ１ｒにおいて、第１信号選択部１０５ａが選択された状態で、垂直走査部１０２からの駆動制御信号により、１行目の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される（時刻ｔ６０〜ｔ６１）。このとき、最初に画素をリセットした状態のＮ信号が、第１列信号処理部１０６ａでサンプルホールドされ、続いて光電変換部の信号を読み出した状態のＳ信号が、第１列信号処理部１０６ａでサンプルホールドされる。

次に、期間ＣＤＳ１ｒにおいて、第１列信号処理部１０６ａが、ＣＤＳ回路でＳ信号からＮ信号を減算することによってＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する（時刻ｔ６１〜ｔ６２）。そして、期間ＡＤ１ｒにおいて、第１列ＡＤ部１０７ａが、ノイズ除去された１行目の画素の信号をアナログデジタル変換する。第１の読み出し動作Ｏｐｒ１においては、第１メモリ選択部１１４ａにより第１水平メモリ部１０８ａに接続しているので、デジタル信号に変換された１行目の画素の信号は、第１水平メモリ部１０８ａに記憶される（時刻ｔ６２〜ｔ６３）。ここまでの時刻ｔ６０〜ｔ６３での処理が、１行目の各画素の信号に対する列毎の並列処理になる。

続いて、期間ＳＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａが逓倍クロック信号Ｈ２ｃｋａの位相と同期した状態で、２ビット直列４本並列した画素信号が送られてくる前にスタート同期信号を付加する（時刻ｔ６３〜ｔ６４）。ここで付加されるスタート同期信号は、２ビット直列４本並列した画素信号それぞれに対して、第１の実施形態におけるスタート同期信号と同じものを用いることができるので、説明は省略する。このとき、正転逓倍クロック信号Ｈ２ｃｋＰａ及び反転逓倍クロック信号Ｈ２ｃｋＮａには、スタート同期信号を付加しない。

次に、期間ＳｉｇＯｕｔ１ｒにおいて、第１水平走査部１０９ａが第１水平メモリ部１０８ａを列毎に選択し、第１水平メモリ部１０８ａに記憶しているデジタル化された８ビットの画素信号Ｄ０ａ〜Ｄ７ａを第１出力部１１０ａに転送する。そして、第１信号変換部２０１ａが、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋａの位相と同期するように、８ビットの画素信号Ｄ０ａ〜Ｄ７ａの位相を調整する。また、第１パラシリ変換部２０４ａが、位相が調整された８ビット並列に入力される画素信号Ｄ０ａ〜Ｄ７ａを逓倍クロック信号Ｈ２ｃｋａに同期した２ビット直列の４本並列した画素信号に変換する。その後、第１差動送信バッファ２０３ａが、２ビット直列の４本並列したそれぞれの信号に対応する正転信号と反転信号に変換して、第１出力端子１１１ａから出力する。（時刻ｔ６４以降）。

さらに、続けて、期間ＥＤ１ｒにおいて、第１出力部１１０ａ内の第１同期信号付加部２０２ａが逓倍クロック信号Ｈ２ｃｋａの位相と同期した状態で、２ビット直列の４本並列した画素信号が送り出された後にエンド同期信号を付加する（時刻ｔ６７まで）。ここで付加されるエンド同期信号は、２ビット直列の４本並列した画素信号それぞれに対して、第１の実施形態におけるエンド同期信号と同じものを用いることができるので、説明は省略する。このとき、正転逓倍クロック信号Ｈ２ｃｋＰａ及び反転逓倍クロック信号Ｈ２ｃｋＮａには、エンド同期信号ＥＤ１ｒを付加しない。ここまでの時刻ｔ６３〜ｔ６７の期間が、スタート同期信号及びエンド同期信号を付加した１行目の各画素の信号の出力期間になる。

第１の読み出し動作Ｏｐｒ１においては、１行目の画素の信号の出力後、続けて５行目の画素の信号を出力する。時刻ｔ６８〜ｔ７１の期間が、５行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ７１〜ｔ７５の期間が、スタート同期信号及びエンド同期信号を付加した５行目の各画素の信号の出力期間になる。さらに、第２の実施形態においては、画素領域１０１に配列されている画素１００は１６行であるため、時刻ｔ７６以降で、９行目及び１３行目の画素の信号を同様に読み出し、その後、再び１行目の画素の信号の読み出し動作が開始される。

次に、第２の読み出し動作Ｏｐｒ２について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの２回目に同期して第２の読み出し動作Ｏｐｒ２を開始する（時刻ｔ６２）。ここで、撮像素子１２においては、垂直信号線１０４が垂直画素列に共通に配線されているため、第２の読み出し動作Ｏｐｒ２は、１行目の画素の信号を読み出す期間Ｒｄ１ｒの終了以降（時刻ｔ６１以降）に動作を開始する必要がある。本実施形態においては、水平同期期間Ｔｈｄを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ１ｒより長く設定されているので、２回目のサブ水平同期信号ＨＳは、期間Ｒｄ１ｒ終了後、十分に時間が経過した後に設けられている（時刻ｔ６２）。

まず、期間Ｒｄ２ｒにおいて、第２信号選択部１０５ａが選択された状態で、垂直走査部１０２からの駆動制御信号により、２行目の画素の信号がそれぞれ対応する垂直信号線１０４に読み出される。すなわち、２行目の画素の信号のＮ信号とＳ信号をそれぞれ対応する垂直信号線１０４を介して第２列信号処理部１０６ｂに読み出す（時刻ｔ６２〜ｔ６３）。

次に、期間ＣＤＳ２ｒにおいて、第２列信号処理部１０６ｂが、ＣＤＳ回路でＣＤＳ処理によるノイズ除去を実施し、必要であればＡＧＣ回路による利得制御を実施する（時刻ｔ６３〜ｔ６４）。そして、期間ＡＤ２ｒにおいて、第２列ＡＤ部１０７ｂが、２行目の画素の信号をアナログデジタル変換する。第２の読み出し動作Ｏｐｒ２においては、第２メモリ選択部１１４ｂにより第２水平メモリ部１０８ｂに接続しているので、デジタル信号に変換された２行目の画素の信号は、第２水平メモリ部１０８ｂに記憶される（時刻ｔ６４〜ｔ６５）。ここまでの時刻ｔ６２〜ｔ６５での処理が、２行目の各画素の信号に対する列毎の並列処理になる。

続いて、期間ＳＤ２ｒにおいて、第２出力部１１０ｂ内の不図示の第２同期信号付加部が逓倍クロック信号Ｈ２ｃｋｂの位相と同期した状態で、２ビット直列の４本並列した画素信号が送られてくる前にスタート同期信号を付加する（時刻ｔ６５〜ｔ６６）。ここで付加されるスタート同期信号は、第１の読み出し動作Ｏｐｒ１におけるスタート同期信号と同様であるので、説明は省略する。

ここで、第２の読み出し動作Ｏｐｒ２においては、期間Ｒｄ１ｒの開始から１サブ水平同期期間Ｔｈｓ後に、期間Ｒｄ２ｒが開始している。そのため、スタート同期信号を付加する期間ＳＤ２ｒも期間ＳＤ１ｒから１サブ水平同期期間Ｔｈｓに相当する時間だけ遅れて開始する必要がある。

次に、期間ＳｉｇＯｕｔ２ｒにおいて、第２水平走査部１０９ｂが第２水平メモリ部１０８ｂを列毎に選択し、第２水平メモリ部１０８ｂに記憶しているデジタル化された８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂを第２出力部１１０ｂに転送する。そして、第２出力部１１０ｂの不図示の第２信号変換部が、ＴＧ１１２から送られてくる画素クロック信号Ｓｃｋｂの位相と同期するように、８ビットの画素信号Ｄ０ｂ〜Ｄ７ｂの位相を調整する。また、第２出力部１１０ｂの不図示の第２パラシリ変換部が、位相が調整された８ビット並列に入力される画素信号Ｄ０ｂ〜Ｄ７ｂを逓倍クロック信号Ｈ２ｃｋｂに同期した２ビット直列の４本並列した画素信号に変換する。その後、第２出力部１１０ｂの不図示の第２差動送信バッファが、２ビット直列の４本並列したそれぞれの信号に対応する正転信号と反転信号に変換して、第２出力端子１１１ｂから出力する（時刻ｔ６６以降）。

さらに、続けて、期間ＥＤ２ｒにおいて、第２出力部１１０ｂ内の第２同期信号付加部が逓倍クロック信号Ｈ２ｃｋｂの位相と同期した状態で、２ビット直列の４本並列した画素信号が送り出された後にエンド同期信号を付加する（時刻ｔ６９まで）。ここで付加されるエンド同期信号は、第１の読み出し動作Ｏｐｒ１におけるエンド同期信号と同様であるので、説明は省略する。ここまでの時刻ｔ６５〜ｔ６９の期間が、スタート同期信号及びエンド同期信号を付加した２行目の各画素の信号の出力期間になる。

第２の読み出し動作Ｏｐｒ２においては、２行目の画素の信号の出力後、続けて６行目の画素の信号を出力する。時刻ｔ７０以降の６行目の画素の信号の出力の説明は、２行目の画素の信号の出力と同様に行えば良いので省略する。そして、第２の実施形態においては、画素領域１０１に配列されている画素１００は１６行であるため、続けて１０行目及び１４行目の画素の信号を同様に読み出し、その後、再び２行目の画素の信号の読み出し動作が開始される。

次に、第３の読み出し動作Ｏｐｒ３について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの３回目に同期して第３の読み出し動作Ｏｐｒ３を開始する（時刻ｔ６４）。本実施形態においては、水平同期期間Ｔｈｄを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ２ｒより長く設定されているので、３回目のサブ水平同期信号ＨＳは、期間Ｒｄ２ｒ終了後、十分に時間が経過した後に設けられている（時刻ｔ６４）。

ここで、第３の読み出し動作Ｏｐｒ３は、第１信号選択部１０５ａが選択され、かつ、第１メモリ選択部１１４ａにより第３水平メモリ部１０８ｃに接続したときの動作である。また、第３水平メモリ部１０８ｃ及び第３出力部１１０ｃは、それぞれ第１水平メモリ部１０８ａ及び第１出力部１１０ａと同じ構成となっているため、説明は省略する。これにより、３回目のサブ水平同期信号ＨＳに同期して第３の読み出し動作Ｏｐｒ３が開始された後は、第１の読み出し動作Ｏｐｒ１と同様な動作を行うことができる。

すなわち、時刻ｔ６４〜ｔ６７の期間が、３行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ６７〜ｔ７１の期間が、スタート同期信号及びエンド同期信号を付加した３行目の各画素の信号の出力期間になる。時刻ｔ７２以降の７行目の画素の信号の出力の説明は、３行目の画素の信号の出力と同様に行えば良いので省略する。そして、第２の実施形態においては、画素領域１０１に配列されている画素１００は１６行であるため、続けて１１行目及び１５行目の画素の信号を同様に読み出し、その後、再び３行目の画素の信号の読み出し動作が開始される。

次に、第４の読み出し動作Ｏｐｒ４について説明する。撮像素子１２は、水平同期信号ＨＤに同期するサブ水平同期信号ＨＳの４回目に同期して第４の読み出し動作Ｏｐｒ４を開始する（時刻ｔ６６）。本実施形態においては、水平同期期間Ｔｈｓを４分割したサブ水平同期期間Ｔｈｓが、期間Ｒｄ３ｒより長く設定されているので、４回目のサブ水平同期信号ＨＳは、期間Ｒｄ３ｒ終了後、十分に時間が経過した後に設けられている（時刻ｔ６６）。

ここで、第４の読み出し動作Ｏｐｒ４は、第２信号選択部１０５ｂが選択され、かつ、第２メモリ選択部１１４ｂにより第４水平メモリ部１０８ｄに接続したときの動作である。また、第４水平メモリ部１０８ｄ及び第４出力部１１０ｄは、それぞれ第２水平メモリ部１０８ｂ及び第２出力部１１０ｂと同じ構成となっているため、説明は省略する。これにより、４回目のサブ水平同期信号ＨＳに同期して第４の読み出し動作Ｏｐｒ４が開始された後は、第２の読み出し動作Ｏｐｒ２と同様な動作を行うことができる。

すなわち、時刻ｔ６６〜ｔ６９の期間が、４行目の各画素の信号について、列毎の読み出し、ＣＤＳ処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻ｔ６９〜ｔ７３の期間が、スタート同期信号及びエンド同期信号を付加した４行目の各画素の信号の出力期間になる。時刻ｔ７４以降の８行目の画素の信号の出力の説明は、４行目の画素の信号の出力と同様に行えば良いので省略する。また、第２の実施形態においては、画素領域１０１に配列されている画素１００は１６行であるため、続けて１２行目及び１６行目の画素の信号を同様に読み出し、その後、再び４行目の画素の信号の読み出し動作が開始される。

このように、第２の実施形態においては、第１の読み出し動作Ｏｐｒ１、第２の読み出し動作Ｏｐｒ２、第３の読み出し動作Ｏｐｒ３、及び第４の読み出し動作Ｏｐｒ４を、それぞれ１サブ水平同期期間Ｔｈｓに相当する時間だけずらせて動作させる。このため、ＴＧ１１２は、期間Ｒｄ１ｒ、期間ＣＤＳ１ｒ、期間ＡＤ１ｒの間に実施する１行目の画素の信号の読み出しから第１水平メモリ部１０８ａへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、ＴＧ１１２は、同時に、１サブ水平同期期間Ｔｈｓだけずらせて、２行目の画素の信号の読み出しから第２水平メモリ部１０８ｂへの記憶までの列毎の並列処理動作を制御することが可能となっている。ＴＧ１１２は、同様に、それぞれ１サブ水平同期期間Ｔｈｓだけずらせて、３行目の画素の信号の読み出しから第３水平メモリ部１０８ｃへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、ＴＧ１１２は、１サブ水平同期期間Ｔｈｓだけずらせて、４行目の画素の信号の読み出しから第４水平メモリ部１０８ｄへの記憶までの列毎の並列処理動作も制御することが可能となっている。

さらに、ＴＧ１１２は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した行単位での画素の信号の出力動作をそれぞれ制御することが可能となっている。ここで、スタート同期信号の出力動作は、それぞれの行の信号の並列処理動作の終了後で、それぞれ対応する次の行の読み出し動作の開始前にそれぞれ対応するエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。これら期間ＳＤ１ｒ、期間ＳＤ２ｒ、期間ＳＤ３ｒ、及び期間ＳＤ４ｒのそれぞれの開始タイミングは、同期制御部１５からの制御信号に基づいて、ＴＧ１１２が個別にかつ適宜設定できる。

以上の説明は、第１の読み出し動作Ｏｐｒ１、第２の読み出し動作Ｏｐｒ２、第３の読み出し動作Ｏｐｒ３、及び第４の読み出し動作Ｏｐｒ４の関係について述べたものである。読み出し動作が繰り返される場合には、４行目の画素信号を読み出す第４の読み出し動作Ｏｐｒ４と５行目の画素信号を読み出す第１の読み出し動作Ｏｐｒ１の関係についても同様であり、その後に読み出されるすべての画素行に対しても適応可能である。さらに、１６行目の画素信号を読み出す第４の読み出し動作Ｏｐｒ４と１行目の画素信号を読み出す第１の読み出し動作Ｏｐｒ１の関係についても同様である。

ここで、撮像素子１２の出力信号の画素数は、予め決まっているので、同期制御部１５が信号処理部１３に対して、１行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号は省略可能である。

図９は、本実施形態に係る信号処理部１３の入力部分の構成を示す図であり、信号処理部１３での信号処理が可能となるように、撮像素子１２から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能な構成になっている。信号処理部１３は、第１入力部４０１ａ、第２入力部４０１ｂ、第３入力部４０１ｃ、第４入力部４０１ｄ、同期信号解読部４０３、シリパラ変換部４０６、及び内部メモリ４０４を有する。

第１入力部４０１ａ及び第２入力部４０１ｂには、第１出力部１１０ａ及び第２出力部１１０ｂからの画素の信号が、それぞれ第１入力端子４０２ａ及び第２入力端子４０２ｂを介して入力される。また、第３入力部４０１ｃ及び第４入力部４０１ｄには、第３出力部１１０ｃ及び第４出力部１１０ｄからの画素の信号が、それぞれ第３入力端子４０２ｃ及び第４入力端子４０２ｄを介して入力される。

信号処理部１３に入力される信号は、図７を用いて説明した、１つの信号が正転画素信号及び反転画素信号からなる差動信号であるので、不図示の差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、同時に入力される逓倍クロック信号と信号処理部１３の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部１３の信号処理クロック信号の位相に同期させる処理も行う。

同期信号解読部４０３は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を出力する。シリパラ変換部４０６は、第１出力部１１０ａ、第２出力部１１０ｂ、第３出力部１１０ｃ及び第４出力部１１０ｄから送られてくる２ビット直列の４本並列した画素信号を８ビット並列した画素信号にシリアルパラレル変換し、内部メモリ４０４に記憶させる。例えば、第１出力部１１０ａから送られてくる２ビット直列の４本並列した画素信号Ｄ０ａ・Ｄ１ａ、Ｄ２ａ・Ｄ３ａ、Ｄ４ａ・Ｄ５ａ及びＤ６ａ・Ｄ７ａは、８ビット並列した画素信号Ｄ０ａ〜Ｄ７ａに変換される。内部メモリ４０４は、行単位の画素信号を記憶する。図９には、１行目から１６行目までの画素信号を記憶する領域を、便宜的にそれぞれｍＰ１ｒ〜ｍＰ１６ｒとして示している。

ここで、図８に示した動作が実施された場合について説明する。第１入力部４０１ａから同期信号解読部４０３に１行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号が、シリパラ変換部４０６に送られる。１行目の画素の信号は、シリパラ変換部４０６で８ビット並列した画素信号に変換されて内部メモリ４０４の領域ｍＰ１ｒに記憶される。次に、第２入力部４０１ｂから同期信号解読部４０３に２行目の画素の信号が入力されると、同期制御部１５からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号が、シリパラ変換部４０６に送られる。２行目の画素の信号は、シリパラ変換部４０６で８ビット並列した画素信号に変換されて内部メモリ４０４の領域ｍＰ２ｒに記憶される。

続いて、第３入力部４０１ｃから３行目の画素の信号が入力され、８ビット並列した画素信号に変換されて内部メモリ４０４の領域ｍＰ３ｒに記憶される。さらに続けて、第４入力部４０１ｄから４行目の画素の信号が入力され、８ビット並列した画素信号に変換されて内部メモリ４０４の領域ｍＰ４ｒに記憶される。

このとき、内部メモリ４０４に対しては、１行目の画素の信号の記憶動作、２行目の画素の信号の記憶動作、３行目の画素の信号の記憶動作及び４行目の画素の信号の記憶動作の一部が重なるタイミングが発生する。しかし、内部メモリ４０４の異なる領域に対する記憶動作なので、制御可能となっている。１行目、２行目、３行目及び４行目の画素の信号の記憶動作に続いて、５行目から１６行目までの画素の信号の記憶動作も同様に行う。

そして、内部メモリ４０４の領域ｍＰ１ｒ〜ｍＰ１６ｒに記憶された１行目〜１６行目の画素の信号は、同期制御部１５からの制御信号に基づいて、内部メモリ端子４０５から１行毎に信号処理されていくことになる。その後、続けて１行目の画素の信号が入力された場合には、また最初から領域ｍＰ１ｒに記憶すればよい。

以上のように、本実施形態においては、複数の出力手段の信号それぞれに対して、読み出し時間差に応じて個別にスタート同期信号を設定することで、出力信号の同期制御の手段を提供することができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、読み出し時間差に対応した信号処理部の入力信号の同期制御が実現可能である。これにより、複数の画素の信号を共通の読み出し手段と異なる出力手段を用いて別々に出力することが可能となるので、撮像装置における高速読み出し動作を実現することができる。本実施形態においては、４行同時に出力することが可能となるので、４倍のフレームレートを実現できることになる。

さらに、本実施形態においては、サブ水平同期信号ＨＳが水平同期期間Ｔｈｄを４分割した周期で作られ、行毎の画素の信号を、４行おきにサブ水平同期信号ＨＳの１回目、２回目、３回目及び４回目それぞれに同期して読み出す。これにより、行毎の読み出しタイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。

また、出力部１１０内のパラシリ変換部２０４において、８ビットがそれぞれ８本並列に入力される画素信号を２ビット直列の４本並列した画素信号に変換して出力しているので、４つの出力部１１０すべての差動送信バッファ２０３の数を半減させている。これにより、回路規模縮小と消費電力削減の効果が期待できるとともに、撮像素子からの出力端子数も削減されるので、撮像素子のパケージの小型化も可能になる。

ここで、本実施形態における水平同期信号ＨＤは、一般に水平走査部１０９の転送と同じ周期の画素クロック信号Ｓｃｋと同期していることが多い。そして、水平同期信号ＨＤを４分割したサブ水平同期信号ＨＳが画素クロック信号Ｓｃｋで奇数になる場合、奇数回目のサブ水平同期信号ＨＳと偶数回目のサブ水平同期信号ＨＳで、奇数カウントと偶数カウントを繰り返すことになる。その場合には、カウンタはすべて偶数カウントの方が設計しやすいので、サブ水平同期信号ＨＳのクロック数を、画素クロック信号Ｓｃｋで偶数カウントすなわち２の倍数にして、水平同期信号ＨＤを、サブ水平同期信号ＨＳの４倍のクロック数にしてやればよい。

また、本実施形態においては、２回目以降のサブ水平同期信号ＨＳが、各行の期間Ｒｄの終了後、十分に時間が経過した後に設けられている。しかしながら、垂直信号線１０４が垂直画素列に共通に配線されているため、例えば期間Ｒｄ１ｒがサブ水平同期期間Ｔｈｓより長い場合には、第２の読み出し動作Ｏｐｒ２を開始することができない。そのときには、例えば、第４水平メモリ部１０８ｄ及び第４出力部１１０ｄを停止させ、第１水平メモリ部１０８ａから第３水平メモリ部１０８ｃ及び第１出力部１１０ａから第３出力部１１０ｃを用いて、３行毎に同時に出力することにすればよい。ただし、その時のサブ水平同期信号ＨＳは、水平同期期間Ｔｈｄを３等分した周期で作られている必要がある。

（第３の実施形態）
次に、図１、図６、図７及び図９に加えて、図１０及び図１１を参照して、本発明の第３の実施形態について説明する。なお、第３の実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第２の実施形態と同様であるので、図及び符号を流用して説明する。第２の実施形態でのローリングシャッタ動作においては、行毎の読み出しタイミングが等間隔になるように制御していた。以下に説明する第３の実施形態においては、さらにリセット動作を追加して、ローリングシャッタ動作時における露光時間を制御する。

図１０は、第３の実施形態に係る撮像素子１２の動作例を示すタイミングチャートである。図１０に示す動作例は、図８に示した動作にリセット動作が追加したものである。図１０において、ＶＤは、撮像素子１２を駆動するための垂直同期信号を示し、立ち下がりで有効となり、時刻ｔ６０〜ｔｖ０までのＴｖｄが１つの垂直同期期間となっている。ＨＤは、撮像素子１２を駆動するための水平同期信号を示し、立ち下がりで有効となる。また、ＨＳは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となる。

垂直同期期間Ｔｖｄは、画素領域１０１に配列されている１６行の画素の信号を１つの水平同期期間に４行同時に出力するため、４つの水平同期期間から構成されている。垂直同期期間Ｔｖｄを構成する４つの水平同期期間を、第１水平同期期間Ｔｈｄ１、第２水平同期期間Ｔｈｄ２、第３水平同期期間Ｔｈｄ３及び第４水平同期期間Ｔｈｄ４で示す。また、１つの水平同期期間は４行同時に出力するため、４つの等しい長さのサブ水平同期信号から構成されている。第１水平同期期間Ｔｈｄ１を構成する４つのサブ水平同期期間を、順番に第１−１サブ水平同期期間Ｔｈｓ１１、第１−２サブ水平同期期間Ｔｈｓ１２、第１−３サブ水平同期期間Ｔｈｓ１３及び第１−４サブ水平同期期間Ｔｈｓ１４とする。

第１−１サブ水平同期期間Ｔｈｓ１１では、第１の読み出し動作Ｏｐｒ１を用いて１行目Ｐ１ｒの画素の信号を読み出す。この動作は、垂直同期信号ＶＤ、水平同期信号ＨＤの垂直同期期間Ｔｖｄにおける１回目の立ち下がり、及びサブ水平同期信号ＨＳの第１水平同期期間Ｔｈｄ１における１回目の期間Ｔｈｄ１の立ち下がりに同期して開始される（時刻ｔ６０及びｔｖ０）。このとき、本実施形態においては、画素の信号を読み出す期間Ｒｄ１ｒに先立ち、行単位で画素の信号をリセットする期間ＲＳ１１を設ける。また、期間Ｒｄ１ｒ以降の各期間での動作は、図８に示した動作と同じであるので、「・・・」で表し、その説明は省略する。画素の信号のリセット動作については、後で説明する。

第１−２サブ水平同期期間Ｔｈｓ１２、第１−３サブ水平同期期間Ｔｈｓ１３及び第１−４サブ水平同期期間Ｔｈｓ１４においても、読み出し動作Ｏｐｒ２、Ｏｐｒ３及びＯｐｒ４を用いて、それぞれ対応する２行目、３行目及び４行目の画素の信号を読み出す。このときも、第１−１サブ水平同期期間Ｔｈｓ１１と同じく、画素の信号を読み出す期間Ｒｄ２ｒ、期間Ｒｄ３ｒ、及び期間Ｒｄ４ｒに先立ち、それぞれ行単位で画素の信号をリセットする期間ＲＳ１２、期間ＲＳ１３、及び期間ＲＳ１４期間を設ける。また、それぞれの期間Ｒｄ２ｒ、期間Ｒｄ３ｒ、及び期間Ｒｄ４ｒ以降の各期間での動作は、図８に示した動作と同じであるので、「・・・」で表し、その説明は省略する。

第２水平同期期間Ｔｈｄ２、第３水平同期期間Ｔｈｄ３及び第４水平同期期間Ｔｈｄ４においても、それぞれのサブ水平同期期間のリセット動作及び読み出し動作は、第１水平同期期間Ｔｈｄ１と同様である。さらに、２回目の垂直同期信号ＶＤ以降の動作は、時刻ｔ６０〜ｔｖ０までの垂直同期期間Ｔｖｄの動作を繰り返すこととする。

次に、図１０を用いて、第３の実施形態における撮像素子１２のリセット動作を含む動作を説明する。ここで、時刻ｔｖ０から始まる垂直同期期間において、第１の読み出し動作Ｏｐｒ１の期間Ｒｄ１ｒに読み出す１行目の画素の信号のリセット動作を、時刻ｔ６０から始まる垂直同期期間における第１の読み出し動作Ｏｐｒ１において実施するものとする。すなわち、時刻ｔ６０から始まる垂直同期期間における第１の読み出し動作Ｏｐｒ１の期間ＲＳ２１、期間ＲＳ３１、及び期間ＲＳ４１のいずれかを用いて実施するものとする（時刻ｔｄ２、ｔｄ３、ｔｄ４）。

まず、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４１に実施した場合、時刻ｔｖ０を基準にしたときの１行目の画素の信号の露光期間は、時刻ｔｄ４から時刻ｔｖ０までの１水平同期期間となる。このとき、２行目、３行目及び４行目の画素の信号のリセット動作を、それぞれ時刻ｔｓ２からの期間ＲＳ４２、時刻ｔｓ３からの期間ＲＳ４３及び時刻ｔｓ４からの期間ＲＳ４４に実施する。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて１水平同期期間となる。

同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１４において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２４において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３４において実施する（それぞれ時刻ｔｓ１３、ｔｓ１４、ｔｓ１５及びｔｓ１６）。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で１水平同期期間となる。そして、続く第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４４において、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。

次に、１行目の画素の信号のリセット動作を第３水平同期期間Ｔｈｄ３の期間ＲＳ３１に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｄ３から時刻ｔｖ０までの２水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３４において実施する。

同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４４において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１４において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２４で実施する。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で２水平同期期間となり、リセット動作を含んだローリングシャッタ動作を実現することができる。

次に、１行目の画素の信号のリセット動作を第２水平同期期間Ｔｈｄ２の期間ＲＳ２１に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｄ２から時刻ｔｖ０までの３水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２４において実施する。

同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３４において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４４において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１４において実施する。このようなリセット動作をすべての行に対して実施すると、露光期間はすべての行で３水平同期期間となり、リセット動作を含んだローリングシャッタ動作を実現することができる。

次に、リセット期間を一切設けない場合について説明する。はじめに、時刻ｔ６０の垂直同期信号ＶＤにより第１−１サブ水平同期期間Ｔｈｓ１１に同期した期間Ｒｄ１ｒで１行目の画素の信号を読み出す。画素の信号が読み出されることで、画素がリセットされた状態になり、１行目の画素の露光が開始される。次に、時刻ｔｖ０の垂直同期信号ＶＤにより第１−１サブ水平同期期間Ｔｈｓ１１に同期した期間Ｒｄ１ｒで１行目の画素の信号を読み出すことで、１行目の画素の露光期間が終了する。同様に、２行目〜１６行目の画素の信号の読み出しから次の読み出しまでが、それぞれの行の露光期間になる。このような読み出し動作をすべての行に対して実施すると、露光期間はすべての行で４水平同期期間となる。これにより、すべての行の露光時間を水平同期期間単位で制御することが可能となる。

図１１は、第３の実施形態に係る撮像素子１２のリセット動作を含む動作例を示すタイミングチャートであり、露光期間が２水平同期期間の場合を示している。図１１に示したものは、図１０に対して、リセット期間にリセットする行を記載して図示したものである。図１１において、期間ＲＳ１ｒ〜期間ＲＳ１６ｒは、それぞれ１行目〜１６行目の画素の信号をリセットするリセット期間である。

第３水平同期期間Ｔｈｄ３の時刻ｔｖ１ｒからの期間ＲＳ１ｒにおいて、１行目の画素の信号のリセット動作を実施する。このときの時刻ｔｖ０を基準とした露光期間は、時刻ｔｖ１ｒから時刻ｔｖ０までの期間Ｔｔｖ１ｒとなり、２水平同期期間に等しくなっている。次に、２行目〜４行目の画素の信号のリセット動作を、それぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ２ｒ〜期間ＲＳ４ｒにおいて実施する（それぞれ時刻ｔｖ２ｒ、ｔｖ３ｒ及びｔｖ４ｒ）。同様に、５行目以降の画素の信号のリセット動作を、時刻ｔｖ５ｒ以降で実施する。

さらに、１３行目〜１６行目の画素の信号のリセット動作を、それぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ１３ｒ〜期間ＲＳ１６ｒにおいて実施する（それぞれ時刻ｔｖ１３ｒ、ｔｖ１４ｒ、ｔｖ１５ｒ及びｔｖ１６ｒ）。そして、続く第３水平同期期間Ｔｈｄ３の期間ＲＳ１ｒ〜期間ＲＳ４ｒにおいて、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。

このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で期間Ｔｔｖ１ｒとなる。ここで、本実施形態においては、１行目の画素の露光期間を時刻ｔｖ０を基準にして説明したが、リセット動作を実施する場合には、期間ＲＳ１１及び期間Ｒｄ１ｒにおいて実際にリセットされるタイミングと画素から読み出されるタイミングに時間差が発生する。そこで、リセット動作と読み出し動作の時間差をΔＴｖｒとし、水
平同期期間をＴｈｄとすると、露光期間は、（Ｔｈｄ＋ΔＴｖｒ）、（２倍のＴｈｄ＋Δ
Ｔｖｒ）、（３倍のＴｈｄ＋ΔＴｖｒ）及び（４倍のＴｈｄ）から選択して制御すること
が可能となる。

以上のように、本実施形態においては、４つの出力手段毎にそれぞれ読み出し時間差を設けた読み出し動作Ｏｐｒを実施することで、４行同時に出力することが可能となるので、４倍のフレームレートを実現できることになる。また、本実施形態においては、各読み出し動作Ｏｐｒにおける行毎の画素の信号の読み出し動作に先立ち、行単位で画素の信号をリセットするリセット動作を設ける。そして、読み出し動作Ｏｐｒにより読み出す行のリセット動作を、同じ読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施することで、露光時間制御が可能なローリングシャッタ動作を実現できる。また、一連の同じ読み出し動作Ｏｐｒの中で、同じ行の読み出しとリセットを実施するので、行を選択する垂直走査部は、４行おきに行を選択すれば良いことになる。これにより、垂直走査部の回路規模の削減と簡略化が可能になる。

さらに、本実施形態においては、水平同期期間を４分割した周期で作られるサブ水平同期信号を備え、行毎の画素の信号を、４行おきにサブ水平同期信号の１回目、２回目、３回目及び４回目のそれぞれに同期して読み出す。また、リセット動作を用いて水平同期期間単位で全行が同じ露光時間になるような露光時間制御が可能である。これにより、露光期間を含めた行毎の露光タイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。

（第４の実施形態）
次に、図１、図６、図７、図９及び図１０に加えて、図１２を参照して、本発明の第４の実施形態について説明する。なお、第４の実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第３の実施形態と同様であるので、図及び符号を流用して説明する。第３の実施形態のローリングシャッタ動作においては、行毎の読み出しタイミングを等間隔に制御するとともに、リセット動作を用いたローリングシャッタ動作時の露光時間制御の方法について説明した。第４の実施形態においては、すべての行の露光時間をサブ水平同期期間単位で制御することが可能な、リセット動作を用いたローリングシャッタ動作の方法について説明する。

まず、はじめに、図１０を用いて、第４の実施形態おける撮像素子１２のリセット動作を含む動作例を説明するが、第３の実施形態で説明した内容は、説明を省略する。ここで、時刻ｔｖ０から始まる垂直同期期間において、第１の読み出し動作Ｏｐｒ１における期間Ｒｄ１ｒに読み出す１行目の画素の信号のリセット動作を、時刻ｔ６０から始まる垂直同期期間における第４水平同期期間Ｔｈｄ４において実施するものとする。すなわち、時刻ｔ６０から始まる垂直同期期間における第４水平同期期間Ｔｈｄ４の期間ＲＳ４１、期間ＲＳ４２、期間ＲＳ４３、及び期間ＲＳ４４のいずれかを用いて実施するものとする（それぞれ時刻ｔｓ１、ｔｓ２、ｔｓ３、ｔｓ４）。

まず、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４１に実施した場合、時刻ｔｖ０を基準にしたときの１行目の画素の信号の露光期間は、時刻ｔｓ１から時刻ｔｖ０までの１水平同期期間に相当する４サブ水平同期期間となる。このとき、２行目、３行目及び４行目の画素の信号のリセット動作を、それぞれ時刻ｔｓ２からの期間ＲＳ４２、時刻ｔｓ３からの期間ＲＳ４３及び時刻ｔｓ４からの期間ＲＳ４４に実施する。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて１水平同期期間に相当する４サブ水平同期期間となる。

同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１４において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２４において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３４において実施する（それぞれ時刻ｔｓ１３、ｔｓ１４、ｔｓ１５及びｔｓ１６）。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で１水平同期期間に相当する４サブ水平同期期間となる。そして、続く第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４４において、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。

次に、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４２に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｓ２から時刻ｔｖ０までの３サブ水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４２〜期間ＲＳ４４及び第１水平同期期間Ｔｈｄ１の期間ＲＳ１１で実施する（それぞれ時刻ｔｓ２、ｔｓ３、ｔｓ４及びｔｖ０）。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて３サブ水平同期期間となる。また、第３の実施形態では、読み出す行のリセット動作は、同じ読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施していたが、本実施形態においては、異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施できるものとする。

同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１２〜期間ＲＳ１４及び第２水平同期期間Ｔｈｄ２の期間ＲＳ２１において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２２〜期間ＲＳ２４及び第３水平同期期間Ｔｈｄ３の期間ＲＳ３１において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３２〜期間ＲＳ３４及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４１で実施する（それぞれ時刻ｔｓ１４、ｔｓ１５、ｔｓ１６及びｔｓ１）。

このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で３サブ水平同期期間となる。そして、続く第４水平同期期間Ｔｈｄ４の期間ＲＳ４２〜期間ＲＳ４４及び第１水平同期期間Ｔｈｄ１の期間ＲＳ１１で、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を含むローリングシャッタ動作を継続することができる。

次に、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４３に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｓ３から時刻ｔｖ０までの２サブ水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４３〜期間ＲＳ４４及び第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１２において実施する（時刻ｔｓ３以降）。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて２サブ水平同期期間となる。

同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１３〜期間ＲＳ１４及び第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２２において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２３〜期間ＲＳ２４及び第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３２において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３３〜期間ＲＳ３４及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４２において実施する。このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で２サブ水平同期期間となる。

次に、１行目の画素の信号のリセット動作を第４水平同期期間Ｔｈｄ４の期間ＲＳ４４に実施した場合、時刻ｔｖ０を基準にした時の１行目の画素の信号の露光期間は、時刻ｔｓ４から時刻ｔｖ０までの１サブ水平同期期間となる。そこで、１行目〜４行目の画素の信号のリセット動作をそれぞれ第４水平同期期間Ｔｈｄ４の期間ＲＳ４４及び第１水平同期期間Ｔｈｄ１の期間ＲＳ１１〜期間ＲＳ１３において実施する（時刻ｔｓ４以降）。これにより、１行目〜４行目の画素の信号のリセット動作が、それぞれ１サブ水平同期期間ずれて実施されるので、１行目〜４行目の画素の信号の露光期間は、すべて１サブ水平同期期間となる。

同様に、５行目〜８行目の画素の信号のリセット動作をそれぞれ第１水平同期期間Ｔｈｄ１の期間ＲＳ１４及び第２水平同期期間Ｔｈｄ２の期間ＲＳ２１〜期間ＲＳ２３において実施する。また、９行目〜１２行目の画素の信号のリセット動作をそれぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ２４及び第３水平同期期間Ｔｈｄ３の期間ＲＳ３１〜期間ＲＳ３３において実施する。さらに、１３行目〜１６行目の画素の信号のリセット動作をそれぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ３４及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４１〜期間ＲＳ４３において実施する。このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で１サブ水平同期期間となる。

以上、第１の読み出し動作Ｏｐｒ１における期間Ｒｄ１ｒに読み出す１行目の画素の信号のリセット動作を、第４水平同期期間Ｔｈｄ４の期間ＲＳ４１、期間ＲＳ４２、期間ＲＳ４３及び期間ＲＳ４４の何れかを用いて実施した場合について説明した。このような１行目の画素の信号のリセット動作を、第１水平同期期間Ｔｈｄ１の期間ＲＳ１２、期間ＲＳ１３及び期間ＲＳ１４の何れかを用いて実施した場合についても同様であるので説明は省略する。また、第２水平同期期間Ｔｈｄ２の期間ＲＳ２１、期間ＲＳ２２、期間ＲＳ２３及び期間ＲＳ２４、及び、第３水平同期期間Ｔｈｄ３の期間ＲＳ３１、期間ＲＳ３２、期間ＲＳ３３及び期間ＲＳ３４の何れかを用いて実施した場合についても同様である。

図１２は、第４の実施形態に係る撮像素子１２のリセット動作を含む動作例を示すタイミングチャートであり、露光期間が７サブ水平同期期間の場合を示している。図１２に示したものは、図１０に対して、リセット期間にリセットする行を記載して図示したものである。図１２において、期間ＲＳ１ｒ〜期間ＲＳ１６ｒは、それぞれ１行目〜１６行目の画素の信号をリセットするリセット期間である。

まず、第３水平同期期間Ｔｈｄ３の時刻ｔｖ１ｒからの期間ＲＳ１ｒにおいて、１行目の画素の信号のリセット動作を実施する。このときの時刻ｔｖ０を基準とした露光期間は、時刻ｔｖ１ｒから時刻ｔｖ０までの期間Ｔｔｖ１ｒとなり、７サブ水平同期期間に等しくなっている。次に、２行目〜４行目の画素の信号のリセット動作を、それぞれ第３水平同期期間Ｔｈｄ３の期間ＲＳ２ｒ〜期間ＲＳ３ｒ及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４ｒにおいて実施する（それぞれ時刻ｔｖ２ｒ、ｔｖ３ｒ及びｔｖ４ｒ）。同様に、５行目以降の画素の信号のリセット動作を時刻ｔｖ５ｒ以降で実施する。

さらに、１３行目〜１６行目の画素の信号のリセット動作を、それぞれ第２水平同期期間Ｔｈｄ２の期間ＲＳ１３ｒ〜期間ＲＳ１５ｒ及び第３水平同期期間Ｔｈｄ３の期間ＲＳ１６ｒで実施する（それぞれ時刻ｔｖ１３ｒ、ｔｖ１４ｒ、ｔｖ１５ｒ、ｔｖ１６ｒ）。続く第３水平同期期間Ｔｈｄ３の期間ＲＳ１ｒ〜期間ＲＳ３ｒ及び第４水平同期期間Ｔｈｄ４の期間ＲＳ４ｒで、それぞれ１行目〜４行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。

このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で期間Ｔｔｖ１ｒとなる。ここで、本実施形態においては、１行目の画素の露光期間を時刻ｔｖ０を基準にして説明したが、リセット動作を実施する場合は、期間ＲＳ１１及び期間Ｒｄ１ｒにおいて実際にリセットされるタイミングと画素から読み出されるタイミングに時間差が発生する。そこで、リセット動作と読み出し動作の時間差をΔＴｖｒとし、サブ
水平同期期間単位の露光期間に加算することで、より正確な露光期間制御が可能になる。

以上のように、本実施形態においては、４つの出力手段毎にそれぞれ読み出し時間差を設けた読み出し動作Ｏｐｒを実施することで、４行同時に出力することが可能となるので、４倍のフレームレートを実現できることになる。また、本実施形態においては、各読み出し動作Ｏｐｒにおける行毎の画素の信号の読み出し動作に先立ち、行単位で画素の信号をリセットするリセット期間を設ける。そして、読み出し動作Ｏｐｒにより読み出す行のリセット動作を、異なる読み出し動作Ｏｐｒにおける異なる行の読み出し動作に先立ち実施することで、サブ水平同期期間単位での露光時間制御が可能なローリングシャッタ動作を実現できる。

さらに、本実施形態においては、水平同期期間を４分割した周期で作られるサブ水平同期信号を備え、行毎の画素の信号を、４行おきにサブ水平同期信号の１回目、２回目、３回目及び４回目それぞれに同期して読み出す。また、リセット動作を用いてサブ水平同期期間単位で全行が同じ露光時間になるような露光時間制御が可能となっている。これにより、露光期間を含めた行毎の露光タイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１：光学系 １２：撮像素子 １３：信号処理部 １５：同期制御部 １００：画素 １０１：画素領域 １０２：垂直走査部 １０３：画素制御線 １０４：垂直信号線 １０５：信号選択部 １０６：列信号処理部 １０７：列ＡＤ部 １０８：水平メモリ部 １０９：水平走査部 １１０：出力部 １１２：信号生成部（ＴＧ） １１４：メモリ選択部

Claims (6)

1. 光電変換手段をそれぞれ有する行列状に配列された複数の画素と、前記複数の画素からの信号を列毎に出力する垂直信号線と、前記複数の画素を１行ずつ選択する垂直走査手段と、前記垂直信号線に接続し画素から読み出した信号をそれぞれ処理する複数の列信号処理手段と、前記複数の列信号処理手段にそれぞれ対応し前記列信号処理手段からの信号に同期信号を付加して出力する出力手段とを有する撮像素子と、
   先に読み出した画素の信号の前記出力手段からの出力が完了する前に、当該出力手段に対応する前記列信号処理手段とは異なる前記列信号処理手段への次の行の画素の信号の読み出しを開始して、１水平同期期間にＮ行（Ｎは２以上の整数）の画素の信号を読み出すように前記撮像素子を制御するとともに、１水平同期期間をＮ分割した間隔で信号を読み出す画素の行を順に切り換えるように前記撮像素子を制御する制御手段とを備えることを特徴とする撮像装置。
2. 前記撮像素子は、
   前記制御手段による制御に応じて、１水平同期期間をＮ分割した間隔で有効になる信号を生成し出力する信号生成手段を有し、
   前記信号生成手段から出力された信号に基づいて、信号を読み出す画素の行を順に切り換えることを特徴とする請求項１記載の撮像装置。
3. 前記撮像素子は、
   信号を読み出す画素の行の切り換え順に従って、画素の信号の読み出し動作を開始する前に、読み出す行とは異なる１つの行の画素の信号をリセットすることを特徴とする請求項１又は２記載の撮像装置。
4. 前記出力手段は、前記列信号処理手段からの信号の前に第１の同期信号を付加して出力することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
5. 前記出力手段は、前記列信号処理手段からの信号の前に第１の同期信号を付加するとともに、前記列信号処理手段からの信号の後に第２の同期信号を付加して出力することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
6. 光電変換手段をそれぞれ有する行列状に配列された複数の画素と、前記複数の画素からの信号を列毎に出力する垂直信号線と、前記複数の画素を１行ずつ選択する垂直走査手段と、前記垂直信号線に接続し画素から読み出した信号をそれぞれ処理する複数の列信号処理手段と、前記複数の列信号処理手段にそれぞれ対応し前記列信号処理手段からの信号に同期信号を付加して出力する出力手段とを有する撮像素子を備える撮像装置の制御方法であって、
   １水平同期期間をＮ分割（Ｎは２以上の整数）した間隔で信号を読み出す画素の行を順に切り換え、前記１水平同期期間にＮ行の画素の信号を読み出すように前記撮像素子を制御する制御工程を有し、
   前記制御工程では、先に読み出した画素の信号の前記出力手段からの出力が完了する前に、当該出力手段に対応する前記列信号処理手段とは異なる前記列信号処理手段への次の行の画素の信号の読み出しを開始するよう前記撮像素子を制御することを特徴とする撮像装置の制御方法。

Images