以下に、添付図面を参照して本発明の実施例について詳細に説明する。なお、以下に説明する実施例は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施例に限定されるものではない。
図1から図9を参照して、本発明の実施例1について説明する。図1は、本実施例に係る撮像装置の構成を示す図である。本実施例の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに適用可能である。
図1に示す撮像装置は、光学系11、撮像素子12、信号処理部13、圧縮伸張部14、同期制御部15、操作部16、画像表示部17および画像記録部18を備えている。光学系11は、被写体を結像させるためのレンズ、ズームや合焦を行うためのレンズ駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらの可動部は、同期制御部15からの制御信号に基づいて駆動される。
撮像素子12は、XYアドレス方式のCMOSセンサであり、同期制御部15からの制御信号に応じて、露光や信号読み出し、リセットなどの撮像動作を実行する。そして、内蔵されるAD変換回路によるアナログデジタル変換処理を経て、デジタル化された画像信号を出力する。
信号処理部13は、同期制御部15の制御の下で、撮像素子12から入力されるデジタル化された画像信号に対して、各種信号処理を施す。圧縮伸張部14は、同期制御部15の制御の下で動作し、信号処理部13で信号処理された画像信号に圧縮符号化処理を実行したり、同期制御部15から供給された静止画像の符号化データを伸張復号化処理する。また、動画像の圧縮符号化/伸張復号化処理を実行してもよい。
同期制御部15は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラである。そして、ROMなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。操作部16は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を同期制御部15に出力する。
画像表示部17は、LCD(Liquid Crystal Display)などの表示デバイスや、これに対するインタフェース回路などからなり、同期制御部15から供給された画像信号から表示させるための画像信号を生成する。そして、この信号を表示デバイスに供給して画像を表示させる。画像記録部18は、例えば、可搬型の半導体メモリなどからなる記録媒体が接続され、圧縮伸張部14により圧縮符号化された画像データファイルを同期制御部15から受け取って記憶する。また、同期制御部15からの制御信号を基に指定されたデータを読み出し、同期制御部15に出力する。
ここで、上記の撮像装置における基本的な動作について説明する。静止画像の撮像前には、撮像素子12から出力された画像信号が信号処理部13に順次供給される。信号処理部13は、撮像素子12からの画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部15を通じて画像表示部17に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。
この状態で、操作部16のシャッタレリーズボタンが押下されると、同期制御部15の制御により、撮像素子12からの1フレーム分の画像信号が、信号処理部13に取り込まれる。信号処理部13は、取り込んだ1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部14に供給する。圧縮伸張部14は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部15を通じて画像記録部18に供給する。これにより、撮像された静止画像のデータファイルが画像記録部18により記録媒体に記録される。
一方、記録媒体に記録された静止画像のデータファイルを再生する場合には、同期制御部15は、操作部16からの操作入力に応じて、画像記録部18を制御して選択されたデータファイルを記録媒体から読み込む。そして、読み込んだデータファイルを圧縮伸張部14に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部15を介して画像表示部17に供給され、これにより静止画像が再生表示される。
また、動画像を記録する場合には、信号処理部13で順次処理された画像信号に圧縮伸張部14で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部18に転送して記録媒体に記録する。さらに、画像記録部18により記録媒体から動画像のデータファイルを読み出して圧縮伸張部14に供給し、伸張復号化処理させて、画像表示部17に供給することで、動画像が表示される。
図2は、本実施例に係る撮像素子(CMOSセンサ)12の概略構成を示す図である。図2に示すように、撮像素子12は、後述する複数の画素200が水平方向(行方向)および垂直方向(列方向)にマトリクス状(行列状)に配置された画素配列201を備えている。画素配列201において、1行目1列目の画素200がP11と表され、8行目6列目の画素がP86と表される。
本実施例においては、6×8配列(8行6列)の画素200を配置した例を説明するが、画素配列201における画素配列は、この数に限定されるものではなく、実際の撮像素子には、より多数の画素が配置されている。また、奇数行の画素200にはR(赤)フィルタとG(緑)フィルタが交互に設けられ、偶数行の画素200にはG(緑)フィルタとB(青)フィルタが交互に設けられる。すなわち、RGとGBの繰り返しとなる2×2配列のベイヤー配列の色フィルタが配置されているものとする。
TG(Timing Generator)211は、図1の同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力する。その際、各種のクロック信号や制御信号などを制御線271、281、282、283、284、285、286を介して出力する。
垂直走査部202は、画素配列201の画素200を1行ずつ選択し、選択した画素行のリセット動作や読み出し動作を駆動制御する。画素制御線221は、画素行毎に共通に接続され、垂直走査部202による行単位の駆動制御信号を伝達する。
奇数列信号線231は、奇数の画素列毎に共通に接続され、画素制御線221を介して垂直走査部202により選択された行の奇数列画素の信号が、それぞれ対応する奇数列信号線231に読み出される。偶数列信号線232は、偶数の画素列毎に共通に接続され、画素制御線221を介して垂直走査部202により選択された行の偶数列画素の信号が、それぞれ対応する偶数列信号線232に読み出される。
奇数列信号処理部203および偶数列信号処理部204は、それぞれ対応する偶数列信号線231および奇数列信号線232毎に設けられ、各列信号線を介して送られてくる行単位の画素信号それぞれに対して、後述する信号処理を実行する。
奇数列ランプ波発生部205および偶数列ランプ波発生部206は、対応する奇数列信号処理部203および偶数列信号処理部204の信号処理で用いられるランプ波信号をTG211から供給される制御信号とクロック信号を基に作成する。奇数列参照信号線241および偶数列参照信号線242は、対応する奇数列ランプ波発生部205および偶数列ランプ波発生部206が発生したランプ波信号を、それぞれ対応する奇数列信号処理部203および偶数列信号処理部204に供給する。
奇数列水平走査部207は、奇数列選択線251を介して奇数列信号処理部203を列毎に選択し、各列の奇数列信号処理部203に記憶されているデジタル化された画素信号を奇数列出力線261を介して奇数列出力部209に転送するように制御する。偶数列水平走査部208は、偶数列選択線252を介して偶数列信号処理部204を列毎に選択し、各列の偶数列信号処理部204に記憶されているデジタル化された画素信号を偶数列出力線262を介して偶数列出力部210に転送するように制御する。奇数列出力部209および偶数列出力部210は、デジタル化された行単位の画素信号を図1の信号処理部13へ出力する。
図3は、本実施例に係る撮像素子12の画素200の回路構成を示す図である。点線で囲われた画素200は、画素配列201を構成する画素の1つを代表して示す。また、画素200は、画素制御線221および列信号線231、232により他の回路と接続される。本実施例においては、奇数列画素(例えば画素P11)を例にして説明するため、奇数列信号線231に接続している。偶数列画素(例えば画素P12)も、偶数列信号線232に接続されること以外は、奇数列画素と同様であるので、説明を省略する。
奇数列信号線231は、負荷回路および奇数列信号処理部203に接続されると共に、1列の奇数列画素に共通して接続され、奇数列の画素信号を出力する。同様に、偶数列信号線232は、負荷回路および偶数列信号処理部204に接続されると共に、1列の偶数列画素に共通して接続され、偶数列の画素信号を出力する。
画素制御線221は、垂直走査部202に接続されると共に、1行の画素に共通して接続され、同じ1行の画素を同時に制御することで、リセットや信号読み出しを可能としている。なお、画素制御線221は、制御パルスpRが出力されるリセット制御線、制御パルスpTが出力される転送制御線、制御パルスpSELが出力される垂直選択線を含む。
光電変換素子D1は、光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードであり、PN接合のP側が接地され、N側が転送トランジスタ(転送スイッチ)T1のソースに接続されている。転送トランジスタ(転送スイッチ)T1は、ゲートが転送制御線に接続されるとともに、ドレインがFD容量Cfdに接続され、光電変換素子D1からFD容量Cfdへの電荷の転送を制御する。
FD容量Cfdは、一方が接地され、光電変換素子D1から転送された電荷を電圧に変換する際に電荷を蓄積する。ここで、転送トランジスタ(転送スイッチ)T1のドレインとFD容量Cfdの他方の接続点をFDノード301と呼ぶことにする。リセットトランジスタ(リセットスイッチ)T2は、ゲートがリセット制御線に接続され、ドレインが電源電圧Vddに接続されるとともに、ソースがFD容量Cfdに接続され、FDノード301の電位を電源電圧Vddにリセットする。
駆動トランジスタ(増幅部)Tdrvは、画素内アンプを構成するトランジスタである。そして、ゲートがFD容量Cfdに接続され、ドレインが電源電圧Vddに接続されるとともに、ソースが選択トランジスタ(選択スイッチ)T3のドレインに接続され、FD容量Cfdの電圧に応じた電圧を出力する。
選択トランジスタ(選択スイッチ)T3は、ゲートが垂直選択線pSELに接続されるとともに、ソースが奇数列信号線231に接続され、駆動トランジスタTdrvの出力を画素200の出力信号として、奇数列信号線231に出力する。
列信号線毎に設けられている負荷回路の負荷トランジスタTlodは、ソースとゲートが接地され、ドレインが奇数列信号線231に接続されている。そして、奇数列信号線231を介して接続されている列の画素200の駆動トランジスタTdrvとともに画素内アンプとなるソースフォロア回路を構成している。通常、画素200の信号を出力する時は、負荷トランジスタTlodをゲート接地の定電流源として動作させる。
本実施例の記載において、駆動トランジスタTdrvおよび負荷トランジスタTlod以外のトランジスタは、スイッチとして働く。そして、ゲートに接続されている制御線に出力される制御パルス信号がHighレベルのときに導通し(ON)、Lowレベルのときに遮断する(OFF)ものとする。
図4は、本実施例に係る撮像素子12の奇数列信号処理部203の回路構成を示す図である。本実施例においては、奇数列画素に対応した奇数列信号処理部203を例にして説明する。偶数列画素に対応した偶数列信号処理部204の構成も、奇数列信号処理部203と同様であるので、その説明を省略する。
保持容量C1、C4は、一方が接地され、それぞれ奇数列信号線231からの画素信号を受け取り保持する。選択スイッチSw1、Sw4は、それぞれ信号選択制御線に出力される制御パルスpS1、pS2により導通/遮断が制御され、奇数列信号線231から受け取った信号を、対応する保持容量C1、C4に転送する。
比較器Comp1、Comp2は、2つの入力を比較し、比較結果を出力する。例えば、入力される2つの信号の大小関係が逆転した時に、HighレベルからLowレベルに出力信号が変化することで、比較結果を出力する。
結合容量C2、C5は、一方がそれぞれ対応する保持容量C1、C4に接続され、他方がそれぞれ対応する比較器Comp1、Compの一方の入力に接続される。結合容量C2、C5は、さらに、相関二重サンプリング(CDS)を行うためのクランプ容量としても機能する。
結合容量C3、C6は、一方がそれぞれ対応する奇数列ランプ波信号線241に接続され、他方がそれぞれ対応する比較器Comp1、Compの他方の入力に接続される。
初期化スイッチSw2、Sw3、Sw5、Sw6は、それぞれ対応する初期化制御線に出力される制御パルスpCr1、pCr2により導通/遮断が制御される。そして、比較器Comp1、Compの入力を初期化電圧Vrfにすることで、比較器Comp1、Compを初期化する。
カウンタ回路511、521は、カウンタ制御線から供給されるクロックpCNTを基にカウンタ動作を実行するとともに、対応する比較器Comp1、Compからの比較結果の信号を受けて、そのときのカウント値を出力する。このときのカウント値が、奇数列信号線231を介して受け取った画素信号をデジタル化した信号となっている。また、カウンタ回路511、521は、カウンタ制御線から供給されるクロックpCNTに応じて、ダウンカウントとアップカウントの切り換えが可能となっており、これを用いてノイズ低減を実現している。
ラッチ回路512、522は、対応するカウンタ回路511、521が出力するカウント値を一時的に保持するとともに、ラッチ制御線から供給される制御パルスpLTCに応じて、保持しているカウント値を出力する。
演算回路513は、演算制御線から供給される制御パルスpCALに応じて、対応するラッチ回路512、522が出力するカウント値に対する所定の演算処理を実行する。演算処理の詳細については後述する。そして、演算回路513は、奇数列選択線251に出力される制御パルスpH1、pH2に応じて、デジタル信号DSig1、DSig2を奇数列出力線261に出力する。なお、奇数列出力線261は、他の奇数列信号処理部203の演算回路513にもそれぞれ共通に接続されている。また、偶数列画素に対応した偶数列信号処理部204の演算回路にもデジタル出力線がそれぞれ共通に接続されている。
図2のTG211からの制御線281は、制御パルスpS1、pS2が出力される信号選択制御線、制御パルスpCr1、pCr2が出力される初期化制御線を含む。さらに、制御パルスpCNTが出力されるカウンタ制御線、制御パルスpLTCが出力されるラッチ制御線、制御パルスpCALが出力される演算制御線も含む。
図2の奇数列ランプ波発生部205からの奇数列参照信号線241は、ランプ波Vrmp1、Vrmp2をそれぞれ出力する2本の奇数列ランプ波信号線を含む。図2の奇数列水平走査部207からの奇数列選択線251は、制御パルスpH1、pH2をそれぞれ出力する2本の水平選択線を含む。図2の奇数列出力部209に接続される奇数列出力線261は、デジタル信号DSig1、DSig2が出力される2本のデジタル出力線を含む。
このように、図4に示す奇数列信号処理部203は、2系統のアナログデジタル変換処理が可能な回路構成となっている。なお、本実施例の記載において、スイッチSw1〜Sw6は、接続される制御線に出力される制御パルス信号がHighレベルのときに導通し(ON)、Lowレベルのときに遮断する(OFF)ものとする。
図5は、本実施例に係る撮像素子12の重ね読み動作のタイミングを示す図である。図5を用いて、本実施例に係る撮像素子12の重ね読み動作を説明する。
本実施例においては、画素配列201に配列された画素200の内の連続する2行(例えば列方向に連続する画素P11を含む行と画素P21を含む行)の奇数列の画素(例えば画素P11と画素P21)から信号を読み出す場合について説明する。なお、ここでは、偶数列の画素(例えば列方向に連続する画素P12と画素P22)についての説明を省略するが、共通の偶数列信号線232および偶数列信号処理部204を用いて、奇数列の画素と同様に、重ね読み動作を実行することができる。
奇数行にある第1の画素P11および偶数行にある第2の画素P21について、FDノード301をリセットした状態のN信号、FDノード301に光電変換素子D1の電荷を転送した状態のS信号をそれぞれ読み出す。そして、共通の奇数列信号線231を用いて、第1の画素P11の信号および第2の画素P21の信号を時間差を付けて読み出し、それぞれアナログデジタル変換してデジタル化した画素信号を出力する。このようにして2行ずつの重ね読み動作を繰り返しながら画素配列201の画素から信号を読み出すことで、1回の撮影動作を実行する。
時刻t01において、水平同期信号HDがLowレベルになる。水平同期信号HDは、画素配列201に配列された画素200の各々から行毎に信号を読み出す水平同期期間の始まるタイミングを示す。
時刻t02において、画素P11を含む1行目の画素のリセット制御線の制御パルスpR1をHighレベルにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。同時に、垂直選択線の制御パルスpSEL1をHighレベルにして選択トランジスタT3をONすることでソースフォロア回路を動作させ、FDノード301の電位に対応する電圧を奇数列信号線231に出力する。
また、同時に、信号選択制御線の制御パルスpS1をHighレベルにして選択スイッチSw1をONすることで、奇数列信号線231に出力された信号を保持容量C1に伝達する。さらに同時に、初期化制御線の制御パルスpCr1をHighレベルにして初期化スイッチSw2、Sw3をONすることで、比較器Comp1の入力を初期化電圧Vrfに設定する。
時刻t03において、リセット制御線の制御パルスpR1をLowレベルにしてリセットトランジスタT2をOFFする。その後、奇数列信号線231に出力された信号レベルが安定するのを待つ。このとき画素P11から出力される信号Vsigが、FDノード301をリセットした信号となるN信号Vn1である。
そして、奇数列信号線231に出力されたN信号Vn1の信号レベルが安定した時刻t04において、信号選択制御線の制御パルスpS1をLowレベルにして選択スイッチSw1をOFFすることで、保持容量C1にN信号Vn1が保持される。
同時に、初期化制御線の制御パルスpCr1をLowレベルにして初期化スイッチSw2、Sw3をOFFすることで、比較器Comp1の入力電位の初期化を終了する。このとき、結合容量C2は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持していることになる。また、結合容量C3は、初期化電圧Vrfとランプ波Vrmp1が発生する前の奇数列ランプ波信号線の電圧との差分に相当する電位差をそれぞれ保持していることになる。
以上説明した時刻t02〜t04の期間を画素P11のN信号Vn1の保持動作期間Tn1とする。そして、時刻t04以降において、N信号Vn1のAD変換を実行する。
まず、時刻t04において、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線241にランプ波Vrmp1を出力する。このとき、結合容量C3は、初期化電圧Vrfとランプ波Vrmp1が発生する前の奇数列ランプ波信号線241の電圧との差分に相当する電位差を保持している。そのため、初期化電圧Vrfに対する変化分として、ランプ波Vrmp1が比較器Comp1に入力される。
また、結合容量C2は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持している。そのため、初期化電圧Vrfに対する変化分として、N信号Vn1が比較器Compに入力される。そして、比較器Comp1は、入力されたN信号Vn1とランプ波Vramp1とを比較する。
このとき、N信号Vn1に対応する比較器Comp1の入力は、初期化電圧Vrfに初期化されているため、理想的には差分となる信号は存在しないはずである。しかし、実際には、選択スイッチSw1のスイッチングノイズによる変動や比較器Comp1の持つバラツキによるノイズ成分nが発生する。そして、初期化電圧Vrfにこれらのノイズ成分nが合算されたものが、N信号Vn1としてデジタル化されることになる。なお、初期化スイッチSw2、Sw3のスイッチングノイズによる変動は、比較器Comp1の2つの入力それぞれに均等に発生すると仮定でき、比較においてキャンセルされるため、ここでは考慮しないものとする。
ランプ波Vrmp1の出力と同時に、TG211の制御により、カウンタ制御線に出力される制御パルスpCNTを介してカウンタ回路511をダウンカウントするように設定し、カウント動作を開始する。そして、時刻t05において、ランプ波Vrmp1の出力を終了する。
ここで、ランプ波Vrmp1の振幅は、比較器Comp1に入力されるN信号Vn1の振幅に対して十分余裕があればよい。そこで、あらかじめ取り得るN信号(初期化電圧Vrfにノイズ成分nが合算された電圧レベル)の最大値を測定しておき、ランプ波Vramp1の振幅を奇数列ランプ波発生部205に設定する。
時刻t04〜t05のどこかで、比較器Comp1に入力されるランプ波Vrmp1の信号レベルとN信号Vn1の信号レベル(初期化電圧Vrfにノイズ成分nが合算された電圧レベル)が一致する。ランプ波Vrmp1の信号レベルとN信号Vn1の信号レベルが一致した時点で、比較器Comp1から比較結果信号をカウンタ回路511に出力する。比較結果信号を受けたカウンタ回路511は、その時点でカウンタ動作を停止するとともに、カウンタの状態を保ってカウント値を保持する。
以上説明した時刻t04〜t05の期間を画素P11のN信号Vn1のAD変換期間TAn1とする。この期間は、AD変換前のN信号Vn1を保持容量C1に保持しておかなければならない保持期間でもある。
次に、時刻t06において、転送制御線の制御パルスpT1をHighレベルにして転送トランジスタT1をONすることで、光電変換素子D1に蓄積されている電荷をFDノード301に転送し、光電変換素子D1の信号として奇数列信号線231に出力する。また、同時に、信号選択制御線の制御パルスpS1をHighレベルにして選択スイッチSw1をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C1に伝達する。
続いて、時刻t07において、転送制御線の制御パルスpT1をLowレベルにして転送トランジスタT1をOFFする。その後、奇数列信号線231に出力された信号レベルが安定するのを待つ。このときに画素P11から出力される信号Vsigが、N信号Vn1に光電変換素子D1の電荷を読み出した信号Vs1が加わったN+S信号Vns1である。
そして、奇数列信号線231に出力されたN+S信号Vns1の信号レベルが安定した時刻t08において、信号選択制御線の制御パルスpS1をLowレベルにして選択スイッチSw1をOFFすることで、保持容量C1にN+S信号Vns1が保持される。以上説明した時刻t06〜t08の期間をN+S信号Vns1の保持動作期間Ts1とする。
また、時刻t09において、リセット制御線の制御パルスpR1をHighレベルにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。これにより、奇数列信号線231もリセットされる。そして、FDノード301の電位が十分にリセットされた時刻t10において、リセット制御線の制御パルスpR1をLowレベルにしてリセットトランジスタT2をOFFする。同時に、垂直選択線の制御パルスpSEL1をLowレベルにして選択トランジスタT3をOFFすることで、画素P11を含む1行目の画素と奇数列信号線231を電気的に切り離す。そして、画素P11を含む1行目の画素における次フレームの光電変換素子D1による電荷蓄積が開始される。
さらに、時刻t08以降において、比較器Comp1に入力されたS信号Vs1のAD変換を実行する。まず、時刻t08において、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線241にランプ波Vrmp1を出力する。
ここでも、N信号Vn1のAD変換時と同様に、初期化電圧Vrfに対する変化分として、ランプ波形Vrmp1が結合容量C3を介して比較器Comp1に入力される。また、N+S信号Vns1が結合容量C2を介して比較器Comp1に入力される際に、結合容量C2は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持している。そのため、N+S信号Vns1とN信号Vn1との差分であるS信号Vs1が、光電変換素子D1の電荷に対応した信号として比較器Comp1に入力されることになる。すなわち、結合容量C2をクランプ動作に利用したCDSを実現している。そして、比較器Comp1は、入力されたS信号Vs1とランプ波Vrmp1とを比較する。
このとき、N信号Vn1のAD変換時と同様に、選択スイッチSw1のスイッチングノイズによる変動や比較器Comp1の持つバラツキによるノイズ成分nが合算されたものが、S信号Vs1としてデジタル化されることになる。
ランプ波Vrmp1の出力と同時に、TG211の制御により、カウンタ制御線に出力される制御パルスpCNTを介してカウンタ回路511をアップカウントするように設定し、N信号Vn1のAD変換時に停止したカウント値からカウント動作を開始する。そして、時刻t17において、ランプ波Vrmp1の出力を終了する。
このとき発生させるランプ波Vramp1は、N信号Vn1のAD変換時と同じ傾きを持つが、比較器Comp1に入力されるS信号Vs1の振幅に対して十分余裕がある振幅でなければならない。そこで、あらかじめ取り得るS信号の最大値を測定しておき、ランプ波Vramp1の振幅を奇数列ランプ波発生部205に設定する。
時刻t08〜t17のどこかで、比較器Comp1に入力されるランプ波Vrmp1の信号レベルとS信号Vs1の信号レベルが一致する。ランプ波Vrmp1の信号レベルとS信号Vs1の信号レベルが一致した時点で、比較器Comp1から比較結果信号をカウンタ回路511に出力する。比較結果信号を受けたカウンタ回路511は、その時点でカウント動作を停止し、カウント値とラッチ信号をラッチ回路512に出力する。
このとき、カウンタ回路511は、あらかじめダウンカウントしておいたN信号Vn1(初期化電圧Vrfにノイズ成分nが合算された電圧レベルに相当)のカウント値からスタートする。そして、ノイズ成分nを含んだS信号Vs1をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs1のカウント値をカウントすることができる。ラッチ信号を受けたラッチ回路512は、その時点でのカウント値を一時的に保持する。
また、時刻t17のランプ波Vrmp1の出力終了にともなって、TG211からラッチ制御線に出力される制御パルスpLTCと演算制御線に出力される制御パルスpCALにより、ラッチ回路512が保持するカウント値を演算回路513に転送する。そして、画素P11のデジタルS信号Ds1として記憶する。すなわち、演算回路513は、デジタルS信号Ds1を記憶して、水平選択線を介した要求に応じてそのまま出力するメモリとして動作する。
以上説明した時刻t08〜t17の期間を画素P11のS信号Vs1のAD変換期間TAs1とする。この期間は、AD変換前のN+S信号Vns1を保持容量C1に保持しておかなければならない保持期間でもある。
以上のような1行目の列信号処理動作において、画素P11を含む1行目の画素の信号がそれぞれ対応する奇数列信号処理部203に読み出されて、AD変換後、演算回路513にデジタル信号として記憶される。
次に、時刻t18〜t22は1行目の水平出力動作期間であり、演算回路513に記憶された1行目の画素のデジタルS信号を出力する。時刻t18〜t22において、TG211が制御線285を介して奇数列水平走査部207を制御し、奇数列選択線251を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1を発生させる。そして、選択された奇数列信号処理部203の演算回路513が記憶している1行目の画素のデジタルS信号DSig1を、奇数列出力線261に出力する。
ここで、S信号Vs1をAD変換している時刻t11において、画素P21を含む2行目の画素からの信号読み出し動作を開始する。
時刻t11において、画素P21を含む2行目の画素のリセット制御線の制御パルスpR2をHighレベルにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。同時に、垂直選択線の制御パルスpSEL2をHighレベルにして選択トランジスタT3をONすることでソースフォロア回路を動作させ、FDノード301の電位に対応する電圧を奇数列信号線231に出力する。
また、同時に、信号選択制御線の制御パルスpS2をHighレベルにして選択スイッチSw4をONすることで、奇数列信号線231に出力された信号を保持容量C4に伝達する。さらに、同時に、初期化制御線の制御パルスpCr2をHighレベルにして初期化スイッチSw5、Sw6をONすることで、比較器Comp2の入力を初期化電圧Vrfに設定する。
時刻t12において、リセット制御線の制御パルスpR2をLowレベルにしてリセットトランジスタT2をOFFする。その後、奇数列信号線231に出力された信号レベルが安定するのを待つ。このとき画素P21から出力される信号Vsigが、FDノード301をリセットした信号となるN信号Vn2である。
そして、奇数列信号線231に出力されたN信号Vn2の信号レベルが安定した時刻t13において、信号選択制御線の制御パルスpS2をLowレベルにして選択スイッチSw4をOFFすることで、保持容量C4にN信号Vn2が保持される。
同時に、初期化制御線の制御パルスpCr2をLowレベルにして初期化スイッチSw5、Sw6をOFFすることで、比較器Comp2の入力電位の初期化を終了する。このとき、結合容量C5は、初期化電圧VrfとN信号Vn2の差分に相当する電位差を保持していることになる。また、結合容量C6は、初期化電圧Vrfとランプ波Vramp2が発生する前の奇数列ランプ波信号線の電圧との差分に相当する電位差をそれぞれ保持していることになる。
以上説明した時刻t11〜t13の期間を画素P21のN信号Vn2の保持動作期間Tn2とする。そして、時刻t13以降において、N信号Vn2のAD変換を実行する。
まず、時刻t13において、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線241にランプ波Vrmp2を出力する。このとき、結合容量C6は、初期化電圧Vrfとランプ波Vrmp2が発生する前の奇数列ランプ波信号線241の電圧との差分に相当する電位差を保持している。そのため、初期化電圧Vrfに対する変化分として、ランプ波Vrmp2が比較器Comp2に入力される。
また、結合容量C2は、初期化電圧VrfとN信号Vn2の差分に相当する電位差を保持している。そのため、初期化電圧Vrfに対する変化分として、N信号Vn2が比較器Compに入力される。そして、比較器Comp2は、入力されたN信号Vn2とランプ波Vramp2とを比較する。
このとき、N信号Vn2に対応する比較器Comp2の入力は、初期化電圧Vrfに初期化されているため、理想的には差分となる信号は存在しないはずである。しかし、実際には、選択スイッチSw4のスイッチングノイズによる変動や比較器Comp2の持つバラツキによるノイズ成分nが発生する。そして、初期化電圧Vrfにこれらのノイズ成分nが合算されたものが、N信号Vn2としてデジタル化されることになる。なお、初期化スイッチSw5、Sw6のスイッチングノイズによる変動は、比較器Comp2の2つの入力それぞれに均等に発生すると仮定でき、比較においてキャンセルされるため、ここでは考慮しないものとする。
ランプ波Vrmp2の出力と同時に、TG211の制御により、カウンタ制御線に出力される制御パルスpCNTを介してカウンタ回路521をダウンカウントするように設定し、カウント動作を開始する。そして、時刻t14において、ランプ波Vrmp2の出力を終了する。
ここで、ランプ波Vrmp2の振幅は、比較器Comp2に入力されるN信号Vn2の振幅に対して十分余裕があればよい。そこで、あらかじめ取り得るN信号(初期化電圧Vrfにノイズ成分nが合算された電圧レベル)の最大値を測定しておき、ランプ波Vrmp2の振幅を奇数列ランプ波発生部205に設定する。
時刻t13〜t14のどこかで、比較器Comp2に入力されるランプ波Vrmp2の信号レベルとN信号Vn2の信号レベル(初期化電圧Vrfにノイズ成分nが合算された電圧レベル)が一致する。ランプ波Vrmp2の信号レベルとN信号Vn2の信号レベルが一致した時点で、比較器Comp2から比較結果信号をカウンタ回路521に出力する。比較結果信号を受けたカウンタ回路521は、その時点でカウンタ動作を停止するとともに、カウンタの状態を保ってカウント値を保持する。
以上説明した時刻t13〜t14の期間を画素P21のN信号Vn2のAD変換期間TAn2とする。この期間は、AD変換前のN信号Vn2を保持容量C4に保持しておかなければならない保持期間でもある。
次に、時刻t15において、転送制御線の制御パルスpT2をHighレベルにして転送トランジスタT1をONすることで、光電変換素子D1に蓄積されている電荷をFDノード301に転送し、光電変換素子D1の信号として奇数列信号線231に出力する。また、同時に、信号選択制御線の制御パルスpS2をHighレベルにして選択スイッチSw4をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C1に伝達する。
続いて、時刻t16において、転送制御線の制御パルスpT2をLowレベルにして転送トランジスタT1をOFFする。その後、奇数列信号線231に出力された信号レベルが安定するのを待つ。このときに画素P21から出力される信号Vsigが、N信号Vn2に光電変換素子D1の電荷を読み出した信号Vs2が加わったN+S信号Vns2である。
そして、奇数列信号線231に出力されたN+S信号Vns2の信号レベルが安定した時刻t17において、信号選択制御線の制御パルスpS2をLowレベルにして選択スイッチSw4をOFFすることで、保持容量C4にN+S信号Vns2が保持される。以上説明した時刻t15〜t17の期間をN+S信号Vns2の保持動作期間Ts2とする。
また、時刻t18において、リセット制御線の制御パルスpR2をHighレベルにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。これにより、奇数列信号線231もリセットされる。そして、FDノード301の電位が十分にリセットされた時刻t19において、リセット制御線の制御パルスpR2をLowレベルにしてリセットトランジスタT2をOFFする。同時に、垂直選択線の制御パルスpSEL2をLowレベルにして選択トランジスタT3をOFFすることで、画素P21を含む2行目の画素と奇数列信号線231を電気的に切り離す。そして、画素P21を含む2行目の画素における次フレームの光電変換素子D1による電荷蓄積が開始される。
さらに、時刻t17以降において、比較器Comp2に入力されたS信号Vs2のAD変換を実行する。まず、時刻t17において、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線241にランプ波Vrmp2を出力する。
ここでも、N信号Vn2のAD変換時と同様に、初期化電圧Vrfに対する変化分として、ランプ波形Vrmp2が結合容量C6を介して比較器Comp2に入力される。また、N+S信号Vns2が結合容量C5を介して比較器Comp2に入力される際に、結合容量C5は、初期化電圧VrfとN信号Vn2の差分に相当する電位差を保持している。そのため、N+S信号Vns2とN信号Vn2との差分であるS信号Vs2が、光電変換素子D1の電荷に対応した信号として比較器Comp2に入力されることになる。すなわち、結合容量C5をクランプ動作に利用したCDSを実現している。そして、比較器Comp2は、入力されたS信号Vs2とランプVrmp2とを比較する。
このとき、N信号Vn2のAD変換時と同様に、選択スイッチSw4のスイッチングノイズによる変動や比較器Comp2の持つバラツキによるノイズ成分nが合算されたものが、S信号Vs1としてデジタル化されることになる。
ランプ波Vrmp2の出力と同時に、TG211の制御により、カウンタ制御線に出力される制御パルスpCNTを介してカウンタ回路521をアップカウントするように設定し、N信号Vn2のAD変換時に停止したカウント値からカウント動作を開始する。そして、時刻t20において、ランプ波Vrmp2の出力が終了する。
このとき発生させるランプ波Vrmp2は、N信号Vn2のAD変換時と同じ傾きを持つが、比較器Comp2に入力されるS信号Vs2の振幅に対して十分余裕がある振幅でなければならない。そこで、あらかじめ取り得るS信号の最大値を測定しておき、ランプ波Vrmp2の振幅を奇数列ランプ波発生部205に設定する。
時刻t17〜t20のどこかで、比較器Comp2に入力されるランプ波Vrmp2の信号レベルとS信号Vs2の信号レベルが一致する。ランプ波Vrmp2の信号レベルとS信号Vs2の信号レベルが一致した時点で、比較器Comp2から比較結果信号をカウンタ回路521に出力する。比較結果信号を受けたカウンタ回路521は、その時点でカウント動作を停止し、カウント値とラッチ信号をラッチ回路522に出力する。
このとき、カウンタ回路521は、あらかじめダウンカウントしておいたN信号Vn2(初期化電圧Vrfにノイズ成分nが合算された電圧レベルに相当)のカウント値からスタートする。そして、ノイズ成分nを含んだS信号Vs2をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs2のカウント値をカウントすることができる。ラッチ信号を受けたラッチ回路522は、その時点でのカウント値を一時的に保持する。
また、時刻t20のランプ波Vrmp2の出力終了にともなって、TG211からラッチ制御線に出力される制御パルスpLTCと演算制御線に出力される制御パルスpCALにより、ラッチ回路522が保持するカウント値を演算回路513に転送する。そして、画素P21のデジタルS信号Ds2として記憶する。すなわち、演算回路513は、デジタルS信号Ds2を記憶して、水平選択線を介した要求に応じてそのまま出力するメモリとして動作する。
以上説明した時刻t17〜t20の期間を画素P21のS信号Vs2のAD変換期間TAs2とする。この期間は、AD変換前のN+S信号Vns2を保持容量C4に保持しておかなければならない保持期間でもある。
以上のような2行目の列信号処理動作において、画素P21を含む2行目の画素の信号がそれぞれ対応する奇数列信号処理部203に読み出されて、AD変換後、演算回路513にデジタル信号として記憶される。
次に、時刻t21〜t23は2行目の水平出力動作期間であり、演算回路513に記憶された2行目の画素のデジタルS信号を出力する。時刻t21〜t23において、TG211が制御線285を介して奇数列水平走査部207を制御し、奇数列選択線251を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH2を発生させる。そして、選択された奇数列信号処理部203の演算回路513が記憶している2行目の画素のデジタルS信号DSig2を、奇数列出力線261に出力する。
以上説明したように、画素P11を含む1行目の画素と画素P21を含む2行目の画素が共通の奇数列信号線231を時分割で利用することで、画素信号の重ね読み動作を実行する。また、奇数列信号処理部203では、2系統のAD変換が可能となっているので、1行目の画素信号と2行目の画素信号の画素読み動作の時間差をもって、2系統のAD変換が実行される。そして、奇数列出力線261も2系統のデジタル出力線を備えているので、演算回路513が記憶している1行目の画素と2行目の画素のデジタルS信号も、同様に時間差をもって出力することになる。
このようにして、所定の順番で選択された奇数列信号処理部203から、時間差を持った2行分の画素のデジタルS信号が出力され、2系統のデジタル出力線を介して奇数列出力部209から並列に出力され、2行分の画素の信号の出力が完了する。
重ね読み動作においては、1行目の画素のS信号Vs1をAD変換している途中の時刻t11において、2行目の画素のN信号Vn2を奇数列信号線231に出力している。このとき、1行目の画素のS信号Vs1の保持期間でもあるAD変換期間TAs1と2行目の画素のN信号Vn2の保持動作期間Tn2が共通期間を持つことで少なくとも一部が重なっている。
また、1行目の画素のS信号Vs1の保持期間でもあるAD変換期間TAs1と2行目の画素のN信号Vn2のAD変換期間TAn2が共通期間を持つことで少なくとも一部が重なっている。さらに、1行目の画素のS信号Vs1をAD変換している途中の時刻t15において、2行目の画素のS信号Vs2を奇数列信号線231に出力している。
このとき、1行目の画素のS信号Vs1の保持期間でもあるAD変換期間TAs1と2行目の画素のS信号Vs2の保持動作期間Ts2が共通期間を持つことで少なくとも一部が重なっている。これにより、1行目の画素のN信号Vn1、S信号Vs1の読み出しとAD変換、2行目の画素のN信号Vn2、S信号Vs2の読み出しとAD変換を順番に実行する場合に比べて、水平同期期間の短縮が可能となっている。そのため、重ね読み動作におけるフレームレートの向上が実現できることになる。
1行目の画素信号の出力が完了した後、時刻t22の水平同期信号により、3行目の読み出し動作が開始されるが、動作は1行目と同様であるので、図5では記載を省略している。以上の動作が、水平同期信号に同期して開始行から2行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は行毎にずれていくことになる。
そして、2行毎に1水平同期期間t01〜t22の動作を繰り返すことで、画素配列201の画素を2行毎に読み出すことができる。
図6は、本実施例に係る撮像素子12の重ね読み動作の連続動作を示す図である。動作Opr1は、奇数行の画素の読み出しからデジタル出力線を介した奇数行のデジタル画素信号DSig1の出力までを示し、動作Opr2は、偶数行の画素の読み出しからデジタル出力線を介した偶数行のデジタル画素信号DSig2の出力までを示す。
また、画素配列201の読み出し画素の行番号をkとする。そして、図5に対応するk行目のN信号Vnkの保持動作期間TnkおよびAD変換期間TAnk、k行目のS信号Vnskの保持動作期間TskおよびAD変換期間TAskを、それぞれnk、Ank、sk、Askとして模式的に表す。
そして、図5の時刻t18〜t22に示す1行目の水平出力動作期間、および、時刻t21〜t23に示す2行目の水平出力動作期間も、同様に、図5に対応するk行目の水平出力動作期間Doutkとして模式的に表す。
図6において、動作Opr1の時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。動作Opr2の時刻s04〜s07の期間は、2行目の画素の信号が奇数列信号線231に読み出される動作期間となっている。これは、図5において説明したように、1行目の画素と2行目の画素が、共通の奇数列信号線231を時分割で利用した画素読み動作を実行することで実現している。
そこで、水平同期信号HDのタイミングを時刻s01、s09、s13として動作させると、動作Opr1では、水平同期信号HDに同期して奇数行の画素を読み出すことになる。そして、動作Opr2では、奇数行の画素が奇数列信号線231に読み出される動作期間の時間差を付けたタイミングである時刻s04、s10、s14から偶数行の画素を読み出すことができる。これより、画素配列201の画素の信号を2行毎に読み出す重ね読み動作を連続して実行できることがわかる。
図7は、本実施例に係る撮像素子12のノイズ低減動作のタイミングを示す図である。なお、図7においては、図5と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。
ノイズ低減動作では、1行目の画素について、FDノード301をリセットしたN信号、および、FDノード301に光電変換素子D1の電荷を読み出したS信号の読み出しを行う。そして、奇数列信号線231を用いて読み出された1行目の画素の信号にアナログデジタル変換処理を実行して、デジタル化した画素信号を出力する。
このときに、奇数列信号処理部203では、2系統のアナログデジタル変換処理が可能となっているので、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。そして、2系統のアナログデジタル変換結果に対して、演算回路514において所定の演算を実行して出力する。このようにして、ノイズ低減動作を繰り返して、画素配列201の画素を読み出すことで、1回の撮影動作を実行することができる。
時刻t01は、あらかじめ設定された露光時間経過後に、ノイズ低減動作を行う水平同期期間の始まりを示す。時刻t02〜t10の期間の画素P11を含む1行目の画素信号読み出し動作については、図5と同じとなっているので、詳細な説明は省略する。
まず、時刻t02において、リセット制御線に出力される制御パルスpR1および垂直選択線に出力される制御パルスpSEL1をHighレベルにする。そして、FDノード301の電位をリセットして、リセットした電位に対応する電圧を奇数列信号線231に出力する。
同時に、信号選択制御線に出力される制御パルスpS1、pS2をHighレベルにして選択スイッチSw1、Sw4をONすることで、奇数列信号線231に出力された信号を保持容量C1、C4に伝達する。
さらに、同時に、初期化制御線に出力される制御パルスpCr1、pCr2をHighレベルにして初期化スイッチSw2、Sw3、Sw5、Sw6をONすることで、比較器Comp1、Comp2の入力を初期化電圧Vrfに設定する。
次に、時刻t03において、リセット制御線に出力される制御パルスpR1をLowレベルにした後、奇数列信号線231に出力された画素P11のN信号Vn1の信号レベルが安定するのを待つ。そして、N信号Vn1の信号レベルが安定した時刻t04において、信号選択制御線に出力される制御パルスpS1、pS2をLowレベルにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1、C4にN信号Vn1が保持される。
同時に、初期化制御線に出力される制御パルスpCr1、pCr2をLowレベルにして初期化スイッチSw2、Sw3、Sw5、Sw6をOFFすることで、比較器Comp1、Comp2の入力電位の初期化を終了する。このとき、結合容量C2、C5は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持していることになる。
また、結合容量C3、C6は、初期化電圧Vrfとランプ波が発生する前の奇数列ランプ波信号線の電圧との差分に相当する電位差をそれぞれ保持していることになる。このときの時刻t02〜t04の期間が画素P11のN信号Vn1の保持動作期間Tn1となる。
そして、時刻t04以降において、N信号Vn1のAD変換を実行する。まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波Vrmp1、Vrmp2を出力する。
このとき、結合容量C3、C6は、初期化電圧Vrfとランプ波が発生する前の奇数列ランプ波信号線の電圧との差分に相当する電位差をそれぞれ保持している。そのため、ランプ波形のみが、結合容量C3、C6を通して、初期化電圧Vrfに対する変化分として、比較器Comp1、Comp2に入力される。そして、すでに入力されているN信号Vn1に対応する比較器Comp1、Comp2の入力と比較される。
このとき、N信号Vn1に対応する比較器Comp1、Comp2の入力は、初期化電圧Vrfに初期化されているため、理想的には差分となる信号は存在しないはずである。しかし、実際には、選択スイッチSw1、Sw4のスイッチングノイズによる変動や、比較器Comp1、Comp2の持つバラツキによるノイズ成分nが合算されたN信号としてデジタル化される。
初期化スイッチSw2、Sw3、Sw5、Sw6のスイッチングノイズによる変動は、比較器Comp1、Comp2の2つ入力それぞれに均等に発生すると仮定できるため、比較においてキャンセルされるのでここでは考えなくてよい。
さらに、ランプ波Vrmp1、Vrmp2の出力と同時に、カウンタ制御線に出力される制御パルスpCNTを介したTG211の制御により、カウンタ回路511、521が、ダウンカウントするように設定し、カウントを開始する。そして、時刻t05において、ランプ波Vrmp1、Vrmp2の出力が終了する。
ランプ波Vrmp1、Vrmp2の振幅は、ノイズ成分nの振幅に対して十分な余裕があればよいので、あらかじめ取り得るノイズ成分nの最大値を測定しておき、奇数列ランプ波発生部205で作成できるように設定しておく。
このとき、時刻t04〜t05までのどこかで、ランプ波Vrmp1、Vrmp2と対応する比較器Comp1、Comp2の入力N信号Vn1がそれぞれ一致する。なお、比較器Comp1、Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波Vrmp1、Vrmp2とN信号Vn1がそれぞれ一致した時点で、比較器Comp1、Comp2から比較結果信号を対応するカウンタ回路511、521に出力する。比較結果信号を受けたカウンタ回路511、521は、それぞれの時点でカウンタを停止させるとともに、カウンタの状態を保ってカウント値を保持する。
このときの時刻t04〜t05の期間が画素P11のN信号Vn1のAD変換期間TAn1となる。この期間は、同時に、N信号Vn1を保持容量C1、C4に保持しておかなければならない保持期間でもある。
次に、時刻t06において、転送制御線に出力される制御パルスpT1をHighレベルにして転送トランジスタT1をONすることで、光電変換素子D1に蓄積している電荷をFDノード301に転送する。そして、光電変換素子D1の信号として奇数列信号線231に出力する。
同時に、信号選択制御線に出力される制御パルスpS1、pS2をHighレベルにして選択スイッチSw1、Sw4をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C1、C4に伝達する。
続いて、時刻t07において、転送制御線に出力される制御パルスpT1をLowレベルにした後、奇数列信号線231に出力された画素P11のN+S信号Vns1の信号レベルが安定するのを待つ。そして、N+S信号Vns1の信号レベルが安定した時刻t08において、信号選択制御線に出力される制御パルスpS1、pS2をLowレベルにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1、C4にN+S信号Vns1が保持される。
このときの時刻t06〜t08の期間がN+S信号Vns1の保持動作期間Ts1となる。同時に、N+S信号Vns1が結合容量C2、C5を介して対応する比較器Comp1、Comp2に入力されるが、結合容量C2、C5は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持している。そのため、N+S信号Vns1とN信号Vn1との差分であるS信号Vs1が、光電変換素子D1の電荷に対応した信号として入力される。これにより、結合容量C2、C5をクランプ動作に利用したCDSを実現していることになる。
1行目の画素信号読み出し動作としては、時刻t09において、リセット制御線に出力される制御パルスpR1をHighレベルにしてFDノード301の電位および奇数列信号線231の信号Vsigをリセットする。
そして、FDノード301の電位が十分にリセットされた時刻t10において、リセット制御線に出力される制御パルスpR1および垂直選択線に出力される制御パルスpSEL1をLowレベルにする。そして、画素P11を含む1行目の画素と奇数列信号線231を電気的に切り離す。
そして、1行目の列信号処理動作としては、時刻t08以降において、比較器Comp1、Comp2に入力したS信号Vs1のAD変換を実行する。まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波Vrmp1、Vrmp2を出力する。このとき発生させるランプ波は、N信号Vn1のAD変換を実行した時と同じ傾きを持つ。ただし、S信号Vs1に相当する振幅に対して十分余裕がある振幅でなければならないので、あらかじめ取り得るS信号の最大値を測定しておき、奇数列ランプ波発生部205で作成できるように設定しておく。
また、N信号Vn1のAD変換時と同様に、ランプ波形のみが、結合容量C3、C6を介して、初期化電圧Vrfに対する変化分として、比較器Comp1、Comp2に入力される。ここで、結合容量C2、C5を介して比較器Comp1、Comp2に入力されるS信号Vs1にも、選択スイッチSw1、Sw4のスイッチングノイズによる変動や、比較器Comp1、Comp2の持つバラツキによるノイズ成分が加わる。
さらに、ランプ波Vrmp1、Vrmp2の出力と同時に、カウンタ制御線に出力される制御パルスpCNTを介したTG211の制御により、カウンタ回路511、521をアップカウントするように設定する。そして、N信号Vn1のAD変換時に停止したカウント値からスタートさせる。そして、時刻t17において、ランプ波Vrmp1、Vrmp2の出力が終了する。
このとき、時刻t08〜t17のどこかで、ランプ波Vrmp1、Vrmp2と対応する比較器Comp1、Comp2の入力S信号Vs1が一致するが、比較器Comp1、Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波Vrmp1、Vrmp2と対応する比較器Comp1、Comp2の入力S信号Vs1がそれぞれ一致した時点で、比較器Comp1、Comp2から比較結果信号を対応するカウンタ回路511、521に出力する。比較結果信号を受けたカウンタ回路511、521は、その時点でのカウント値とラッチ信号を対応するラッチ回路512、522に出力する。
このとき、カウンタ回路511、521は、あらかじめダウンカウントしておいた比較器Comp1、Comp2それぞれの入力N信号Vn1のカウント値からスタートする。そして、比較器Comp1、Comp2のノイズ成分nを含んだS信号Vs1をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs1のみがカウントされる。ラッチ信号を受けたラッチ回路512、522は、その時点でのカウント値を一時的に保持する。
また、時刻t17のランプ波Vrmp1、Vrmp2の出力終了にともなって、ラッチ回路512、522が保持するカウント値それぞれを、画素P11のデジタルS信号Ds1として、演算回路513に転送する。その際、ラッチ制御線に出力される制御パルスpLTCおよび演算制御線に出力される制御パルスpCALを介したTG211により制御される。
このときの時刻t08〜t17の期間がS信号Vs1のAD変換期間TAs1となる。この期間は、同時に、N+S信号Vns1を保持容量C1に保持しておかなければならない保持期間でもある。
ノイズ低減動作においては、演算回路513は、ラッチ回路512、522から転送されてきた画素のデジタルS信号に対して、後述する所定の演算を実行し、その演算結果を記憶する。
以上が、1行目の列信号処理動作となり、画素P11を含む1行目の画素の信号が、それぞれ対応する奇数列信号処理部203に読み出されて、AD変換および演算回路513での演算後、その演算結果をデジタル信号として記憶する。
次に、時刻t18〜t22の期間が、演算回路513に記憶された演算後の1行目の画素のデジタルS信号を出力する1行目の水平出力動作期間となる。
時刻t18〜t22の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、奇数列選択線251を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1を発生させる。そして、選択された奇数列信号処理部203の演算回路513が記憶している演算後の1行目の画素のデジタルS信号DSig1を、奇数列出力線261に出力する。このとき、ノイズ低減動作においては、演算後の1行目の画素のデジタルS信号のみを出力するため、制御パルスpH2は停止させている。
1行目の画素信号の出力が完了した後、時刻t22において、水平同期信号により2行目の読み出し動作が開始されるが、動作は1行目と同様であるので、図7では記載を省略している。以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。
従って、各行の露光期間は行毎にずれていくことになる。そして、1行毎に時刻t01〜t22の1水平同期期間の動作を繰り返すことで、画素配列201の画素を行毎に読み出すことができる。
図8は、本実施例に係る撮像素子12のノイズ低減動作の連続動作を示す図である。なお、図8においては、図6と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。ノイズ低減動作では、図7で説明したように、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。
すなわち、動作Opr1、Opr2ともに、時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。そして、時刻s04〜s07の期間は、1行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。そして、時刻s07において、2系統で同時にアナログデジタル変換処理を実行した1行目の画素の信号に対して、演算回路513において後述する所定の演算を実行する。
時刻s07〜s09の期間では、図7で説明したように、動作Opr1が演算後の1行目の画素のデジタル信号を出力する水平出力動作期間Dout1となっている。そこで、水平同期信号HDのタイミングを時刻s01、s09、s13として動作させると、動作Opr1、Opr2では、行単位で水平同期信号HDに同期して2系統で同時にアナログデジタル変換処理を実行する。そして、動作Opr1で、それぞれ1行目、2行目、3行目の画素を読み出すことができる。これより、画素配列201の画素を行毎に読み出すノイズ低減動作を連続して実行できることがわかる。
図9は、本実施例に係るノイズ低減動作の演算処理を示す図である。図9においては、画素P11を演算処理する場合を例に説明するが、他の画素の演算処理に関しても同様に動作させることができる。
図9(a)のADo1、ADo2は、図7のt17あるいは図8のs07において、ラッチ回路512、522のそれぞれから演算回路513に入力されたデジタルS信号を2進数で表現したものである。LSBを最小桁のビット、MSBを最大桁のビットとすると、下位3ビットで信号が異なっていることがわかる。このとき、2進数ADo1が10進数の731、2進数ADo2が10進数の733となっている。
これは、図7で説明したように、画素P11の信号を異なる比較器Comp1、Comp2を用いてアナログデジタル変換したことによるノイズ成分が、それぞれのデジタルS信号にのっているためである。そこで、演算回路513において、ノイズを低減させる演算処理を実行する。本実施例においては、加算平均によりノイズを低減させることにする。
まず最初に、ADo1、ADo2を加算する。図9(b)のAddが2進数ADo1、ADo2の加算結果であり、10進数では1464となっている。次に、平均化のために2で除算するが、2進数で表現されているので、最小桁方向に1ビットシフトすることで実現できる。図9(c)のAveが加算平均結果であり、ノイズ成分を平均化することで、ノイズ抑圧を実現している。そして、デジタルS信号Dout1として、図8の動作Opr1におけるs07〜s09の期間で出力される。このとき、10進数では732となっている。
ここで、本実施例においては、列回路で発生するノイズとして、比較器のバラツキを例として説明したが、ランプ波においてもノイズ発生源となる可能性がある。ランプ波Vrmp1、Vrmp2は、奇数列ランプ波発生部205から同じ形状のランプ波として出力されるが、比較器Comp1、Comp2に入力されるまでに、位相や振幅の変動およびノイズ等の影響を受けてしまう。これらランプ波Vrmp1、Vrmp2の変動やノイズと比較器Comp1、Comp2のバラツキが合わさることで、比較結果それぞれが異なる時刻で一致してしまうことになる。
そして、これがアナログデジタル変換処理における列回路で発生するノイズとなるが、これらに対しても本実施例の所定の演算処理を実行することでノイズを低減させることができるのは明らかである。
本実施例では、奇数列画素の読み出しと、奇数列信号処理部203、奇数列ランプ波発生部205および奇数列水平走査部207の動作について説明してきた。しかしながら、偶数列画素の読み出しと、偶数列信号処理部204、偶数列ランプ波発生部206および偶数列水平走査部208の動作についても、図5から図8と同様の動作タイミングを用いることで説明できることは明らかである。
これにより、奇数列画素の信号および偶数列画素の信号をそれぞれ奇数列出力部209および偶数列出力部210から並列に出力させることが可能となるため、重ね読み動作、ノイズ低減動作において、フレームレートの向上が図られることになる。
以上のように、本実施例においては、重ね読み動作において、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、奇数行画素の信号読み出し動作と偶数行画素の信号読み出し動作を重ねることで、フレームレートの向上を実現している。
また、ノイズ低減動作において、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。
そして、重ね読み動作による撮像とノイズ低減動作による撮像を必要に応じて切り替えることで、常に撮影動作が遅くなることを避けることができる。
この撮影動作の切り替えは、操作部16において、ユーザが直接選択するようにしてもよい。また、信号処理部13で実行するホワイトバランス調整、色補正、ガンマ補正、AF(Auto Focus)、AE(Auto Exposure)等の各種信号処理に応じて、同期制御部15が適宜選択するようにしてもよい。
さらに、奇数列画素の信号および偶数列画素の信号をそれぞれ異なる出力部から並列に出力させることが可能であるため、重ね読み動作、ノイズ低減動作どちらにおいても、フレームレートのさらなる向上が図られることになる。
次に、本実行形態の変形例について、図10を用いて説明する。なお、図10においては、図8と同じ符号および同じタイミングを流用してノイズ低減動作の変形例を説明する。
時刻s01〜s07の期間では、図8と同様に、1行目の画素読み動作と列信号処理動作が実行される。そして、時刻s07において、ラッチ回路512、522のそれぞれから転送された画素のデジタルS信号を、演算回路513で加算平均して記憶する。
このとき、比較器Comp1、Comp2、カウンタ回路511、521、ラッチ回路512、522が1行目の列信号処理動作から解放されるので、2行目の画素読み動作と列信号処理動作を開始することができる。そこで、時刻s07〜s09の期間では、1行目の水平出力動作Dout1と2行目の画素信号読み出し動作と列信号処理動作を同時に実行する。そして、時刻s09において、2行目の画素のデジタルS信号をラッチ回路512、522から演算回路513に転送する前に、1行目の水平出力動作Dout1が終了するように、TG211がタイミングを制御する。
こうして、水平同期信号HDのタイミングを時刻s01、s07、s09、s11、s13として動作させると、動作Opr1、Opr2では、行単位で水平同期信号HDに同期して2系統で同時にアナログデジタル変換処理を実行する。そして、動作Opr1で、それぞれ1行目、2行目、3行目、4行目、5行目の画素を読み出すことができる。これにより、画素配列201の画素を行毎に読み出すノイズ低減動作の変形例を連続して実行できることがわかる。さらに、画素信号読み出し動作と列信号処理動作を前の行の水平出力動作と同時に実行することで、2倍のフレームレートが実現できる。
以上のように、本実行形態の変形例においては、ノイズ低減動作の変形例において、列信号線毎に設けられた列信号処理手段を用いて、画素読み動作と前の行の水平出力動作の少なくとも一部を重ねる。そうすることで、フレームレートの向上を実現するとともに、2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。これにより、ノイズ抑圧とともに重ね読み動作並みのフレームレートを実現している。
次に、図1から図3、図9、図11、図12に加えて、図15から図17を参照して、本発明の実施例3について説明する。なお、本実施例では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、実施例2と同様であるので、図および符号を流用して説明する。
実施例2においては、列信号線毎に設けられた4系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現していた。そこで、本実施例においては、4系統のアナログデジタル変換手段を用いてフレームレートの向上とノイズ抑圧を実現した、実施例2とは異なるノイズ低減動作を実行する方法について説明する。
図15は、本実施例に係る撮像素子12のノイズ低減動作のタイミングを示す図である。なお、図15においては、図5と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。
ノイズ低減動作では、第1の画素および第2の画素について、FDノード301をリセットしたN信号、および、FDノード301に光電変換素子D1の電荷を読み出したS信号の読み出しを行う。そして、共通の奇数列信号線231を用いて、時間差を付けて読み出された第1の画素の信号および第2の画素の信号にアナログデジタル変換処理を実行して、デジタル化した画素信号を出力する。
ここで、第1の画素を1行目の画素P11とし、N信号、S信号の振幅をそれぞれVn1、Vs1と表現し、N信号を含むS信号の振幅をVns1と表現することにする。また、第2の画素を2行目の画素P21とし、N信号、S信号の振幅を、それぞれVn2、Vs2と表現し、N信号を含むS信号の振幅は、Vns2と表現することにする。
さらに、奇数列信号処理部203では、4系統のアナログデジタル変換処理が可能となっている。そして、画素P11の信号について同時に2系統のアナログデジタル変換処理を実行し、時間差を付けて読み出された画素P21の信号についても同時に2系統のアナログデジタル変換処理を実行する。このようにして、第1の画素を奇数行の画素とし、第2の画素を偶数行の画素として、ノイズ低減動作を繰り返し、画素配列201の画素を読み出すことで、1回の撮影動作を実行することができる。
時刻t01は、あらかじめ設定された露光時間経過後に、ノイズ低減動作を行う水平同期期間の始まりを示す。時刻t02〜t10の期間における画素P11を含む1行目の画素読み動作については、図5と同じとなっているので、詳細な説明は省略する。
まず、時刻t02において、リセット制御線に出力される制御パルスpR1および垂直選択線に出力される制御パルスpSEL1をHighレベルにする。そして、FDノード301の電位をリセットして、リセットした電位に対応する電圧を奇数列信号線231に出力する。
同時に、信号選択制御線に出力される制御パルスpS1、pS2をHighレベルにして選択スイッチSw1、Sw4をONすることで、奇数列信号線231に出力された信号を保持容量C1、C4に伝達する。
図15のノイズ低減動作では、信号選択制御線に出力される制御パルスpS1、pS2として同じ制御パルスが加わるため、pS12と表すことにする。さらに、同時に、初期化制御線に出力される制御パルスpCr1、pCr2をHighレベルにして初期化スイッチSw2、Sw3、Sw5、Sw6をONすることで、比較器Comp1、Comp2の入力を初期化電圧Vrfに設定する。
図15のノイズ低減動作では、初期化制御線に出力する制御パルスpCr1、pCr2として同じ制御パルスが加わるため、pCr12と表すことにする。
次に、時刻t03において、リセット制御線に出力される制御パルスpR1をLowレベルにする。そして、N信号Vn1の信号レベルが安定した時刻t04において、信号選択制御線に出力される制御パルスpS1、pS2をLowレベルにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1、C4にN信号Vn1が保持される。
同時に、初期化制御線に出力される制御パルスpCr1、pCr2をLowレベルにして初期化スイッチSw2、Sw3、Sw5、Sw6をOFFすることで、比較器Comp1、Comp2の入力電位の初期化を終了する。
このときの時刻t02〜t04の期間が画素P11のN信号Vn1の保持動作期間Tn1となる。そして、時刻t04以降において、N信号Vn1のAD変換を実行する。
まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波を出力する。図15のノイズ低減動作では、奇数列ランプ波信号線に同じ波形のランプ波を出力するため、Vrmp12と表すことにする。そして、すでに入力されているN信号Vn1に対応する比較器Comp1、Comp2の入力と比較される。
さらに、ランプ波Vrmp12の出力と同時に、カウンタ制御線に出力される制御パルスpCNTを介したTG211の制御により、カウンタ回路511、521が、ダウンカウントするように設定し、カウントを開始する。そして、時刻t05において、ランプ波Vrmp12の出力が終了する。
このとき、時刻t04〜t05のどこかで、ランプ波Vrmp12とN信号Vn1がそれぞれ一致するが、比較器Comp1、Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波Vrmp12と信号Vn1がそれぞれ一致した時点で、比較器Comp1、Comp2から比較結果信号を対応するカウンタ回路511、521に出力する。比較結果信号を受けたカウンタ回路511、521は、それぞれの時点でカウンタを停止させるとともに、カウンタの状態を保ってカウント値を保持する。このときの時刻t04〜t05の期間が画素P11のN信号Vn1のAD変換期間TAn1となる。
次に、時刻t06において、転送制御線に出力される制御パルスpT1をHighレベルにして転送トランジスタT1をONする。そうすることで、光電変換素子D1に蓄積している電荷をFDノード301に転送し、光電変換素子D1の信号として奇数列信号線231に出力する。
同時に、信号選択制御線に出力される制御パルスpS1、pS2をHighレベルにして選択スイッチSw1、Sw4をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C1、C4に伝達する。
続いて、時刻t07において、転送制御線の制御パルスpT1をLowレベルにした後、奇数列信号線231に出力された画素P11のN+S信号Vns1の信号レベルが安定するのを待つ。そして、N+S信号Vns1の信号レベルが安定した時刻t08において、信号選択制御線の制御パルスpS1、pS2をLowレベルにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1、C4にN+S信号Vns1が保持される。このときの時刻t06〜t08の期間がN+S信号Vns1の保持動作期間Ts1となる。
同時に、N+S信号Vns1が結合容量C2、C5を介して対応する比較器Comp1、Comp2に入力されるが、結合容量C2、C5は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持している。そのため、N+S信号Vns1とN信号Vn1との差分であるS信号Vs1信号が、光電変換素子D1の電荷に対応した信号として入力される。これにより、結合容量C2、C5をクランプ動作に利用したCDSを実現していることになる。
1行目の画素信号読み出し動作としては、時刻t09において、リセット制御線の制御パルスpR1をHighレベルにしてFDノード301の電位および奇数列信号線231をリセットする。そして、FDノード301の電位が十分にリセットされた時刻t10において、リセット制御線の制御パルスpR1および垂直選択線の制御パルスpSEL1をLowレベルにして、画素P11を含む1行目の画素と奇数列信号線231を電気的に切り離す。
そして、1行目の列信号処理動作としては、時刻t08以降において、比較器Comp1、Comp2に入力したS信号Vs1のAD変換を実行する。
まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波Vrmp12を出力する。そして、すでに入力されているS信号Vs1に対応する比較器Comp1、Comp2の入力と比較される。
さらに、ランプ波Vrmp12の出力と同時に、カウンタ制御線の制御パルスpCNTを介したTG211の制御により、カウンタ回路511、521をアップカウントするように設定する。それとともに、N信号Vn1のAD変換時に停止したカウント値からスタートさせる。そして、時刻t17において、ランプ波Vrmp12の出力が終了する。
このとき、時刻t08〜t17のどこかで、ランプ波Vrmp12とS信号Vs1が一致するが、比較器Comp1、Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。ランプ波Vrmp12とS信号Vs1がそれぞれ一致した時点で、比較器Comp1、Comp2から比較結果信号を対応するカウンタ回路511、521に出力する。比較結果信号を受けたカウンタ回路511、521は、その時点でのカウント値とラッチ信号を対応するラッチ回路512、522に出力する。
このとき、カウンタ回路511、521は、あらかじめダウンカウントしておいた比較器Comp1、Comp2それぞれのN信号Vn1(初期化電圧Vrfにノイズ成分nが合算された電圧レベルに相当)のカウント値からスタートする。そして、ノイズ成分nを含んだS信号Vs1をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs1のみがカウントされる。ラッチ信号を受けたラッチ回路512、522は、その時点でのカウント値を一時的に保持する。
また、時刻t17のランプ波Vrmp12の出力終了にともなって、ラッチ回路512、522が保持するカウント値それぞれを、画素P11のデジタルS信号Ds1として、演算回路513に転送する。その際、ラッチ制御線の制御パルスpLTCおよび演算制御線の制御パルスpCALを介してTG211により制御される。
時刻t08〜t17の期間がS信号Vs1のAD変換期間TAs1となる。この期間は、同時に、N+S信号Vns1を保持容量C1、C4に保持しておかなければならない保持期間でもある。
そして、演算回路513においては、ラッチ回路512、522から転送されてきた画素のデジタルS信号に対して、図9に示す加算平均演算を実行し、ノイズを低減した画素のデジタルS信号を記憶する。
以上が1行目の列信号処理動作となり、画素P11を含む1行目の画素の信号が、それぞれ対応する奇数列信号処理部203に読み出されて、アナログデジタル変換処理および演算回路513での演算処理後、その演算結果をデジタル信号として記憶される。
次に、時刻t18〜t22の期間が、演算回路513に記憶された演算後の1行目の画素のデジタルS信号を出力する1行目の水平出力動作期間となる。時刻t18〜t22の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、それぞれ接続する奇数列選択線251である水平選択線を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1を発生させる。
そして、選択された奇数列信号処理部203の演算回路513が記憶している演算後の1行目の画素のデジタルS信号DSig1を、奇数列出力線261であるデジタル出力線に出力する。このとき、ノイズ低減動作においては、演算後の1行目の画素のデジタルS信号のみを出力するため、水平選択線の制御パルスpH2は停止させている。
ここで、ノイズ低減動作においては、S信号Vs1をAD変換している途中の時刻t11において、画素P21を含む2行目の画素読み動作を開始する。時刻t11〜t19の期間における画素P21を含む2行目の画素読み動作については、図5と同じとなっているので、詳細な説明は省略する。
まず、時刻t11において、リセット制御線の制御パルスpR2および垂直選択線の制御パルスpSEL2をHighレベルにして、FDノード301の電位をリセットして、リセットした電位に対応する電圧を奇数列信号線231に出力する。
同時に、信号選択制御線の制御パルスpS3、pS4をHighレベルにして選択スイッチSw7、Sw10をONすることで、奇数列信号線231に出力された信号を保持容量C7、C10に伝達する。図15のノイズ低減動作では、信号選択制御線に同じ制御パルスが加わるため、pS34と表すことにする。
さらに、同時に、初期化制御線の制御パルスpCr3、pCr4をHighレベルにして初期化スイッチSw8、Sw9、Sw11、Sw12をONすることで、比較器Comp3、Comp4の入力を初期化電圧Vrfに設定する。図15のノイズ低減動作では、初期化制御線の制御パルスpCr3、pCr4として同じ制御パルスが加わるため、pCr34と表すことにする。
次に、時刻t12において、リセット制御線の制御パルスpR2をLowレベルにする。そして、N信号Vn2の信号レベルが安定した時刻t13において、信号選択制御線の制御パルスpS34をLowレベルにして選択スイッチSw7、Sw10をOFFすることで、保持容量C7、C10に伝達されたN信号Vn2が保持される。
同時に、初期化制御線の制御パルスpCr34をLowレベルにして初期化スイッチSw8、Sw9、Sw11、Sw12をOFFすることで、比較器Comp3、Comp4の入力電位の初期化を終了する。このときの時刻t11〜t13の期間が画素P21のN信号Vn2の保持動作期間Tn2となる。
そして、時刻t13以降において、N信号Vn2のAD変換を実行する。まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波Vrmp3、Vrmp4を出力する。図15のノイズ低減動作では、奇数列ランプ波信号線のランプ波Vrmp3、Vrmp4として同じ波形のランプ波を出力するため、Vrmp34と表すことにする。そして、すでに入力されているN信号Vn2に対応する比較器Comp3、Comp4の入力と比較される。
さらに、ランプ波Vrmp34の出力と同時に、カウンタ制御線の制御パルスpCNTを介したTG211の制御により、カウンタ回路531、541をダウンカウントするように設定し、カウントを開始する。そして、t14において、ランプ波Vrmp34の出力が終了する。
このとき、時刻t13〜t14のどこかで、ランプ波Vrmp34と対応する比較器Comp3、Comp4に入力されるN信号Vn2がそれぞれ一致するが、比較器Comp3、Comp4のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波Vrmp34とN信号Vn2がそれぞれ一致した時点で、比較器Comp3、Comp4から比較結果信号を対応するカウンタ回路531、541に出力する。比較結果信号を受けたカウンタ回路531、541は、それぞれの時点でカウンタを停止させるとともに、カウンタの状態を保ってカウント値を保持する。このときの時刻t13〜t14の期間が画素P21のN信号Vn2のAD変換期間TAn2となる。
次に、時刻t15において、転送制御線の制御パルスpT2をHighレベルにして転送トランジスタT1をONすることで、光電変換素子D1に蓄積されている電荷をFDノード301に転送し、光電変換素子D1の信号として奇数列信号線231に出力する。同時に、信号選択制御線の制御パルスpS34をHighレベルにして選択スイッチSw7、Sw10をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C7、C10に伝達する。
続いて、時刻t16において、転送制御線の制御パルスpT2をLowレベルにした後、奇数列信号線231に出力された画素P21のN+S信号Vns2の信号レベルが安定するのを待つ。そして、N+S信号Vns2の信号レベルが安定した時刻t17において、信号選択制御線の制御パルスpS34をLowレベルにして選択スイッチSw7、Sw10をOFFすることで、保持容量C7、C10に伝達されたN+S信号Vns2を保持する。このときの時刻t15〜t17の期間がN+S信号Vns2の保持動作期間Ts2となる。
同時に、N+S信号Vns2が結合容量C8、C11を介して対応する比較器Comp3、Comp4に入力されるが、結合容量C8、C11は、初期化電圧VrfとN信号Vn2の差分に相当する電位差を保持している。そのため、N+S信号Vns2とN信号Vn2との差分であるVs2信号が、光電変換素子D1の電荷に対応した信号に相当するS信号として入力される。これにより、結合容量C8、C11をクランプ動作に利用したCDSを実現していることになる。
2行目の画素読み動作としては、時刻t18において、リセット制御線の制御パルスpR2をHighレベルにしてFDノード301の電位および奇数列信号線231をリセットする。そして、FDノード301の電位が十分にリセットされた時刻t19において、リセット制御線の制御パルスpR2および垂直選択線の制御パルスpSEL2をLowレベルにして、画素P21を含む2行目の画素と奇数列信号線231を電気的に切り離す。
そして、2行目の列信号処理動作としては、時刻t17以降において、比較器Comp3、Comp4に入力したS信号Vs2のAD変換を実行する。まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線のランプ波Vrmp3、Vrmp4として、同じ波形のランプ波Vrmp34を出力する。そして、すでに入力されているS信号Vs2に対応する比較器Comp3、Comp4の入力と比較される。
さらに、ランプ波Vrmp34の出力と同時に、カウンタ制御線の制御パルスpCNTを介したTG211の制御により、カウンタ回路531、541をアップカウントするように設定する。それとともに、N信号Vn2のAD変換時に停止したカウント値からスタートさせる。そして、時刻t20において、ランプ波Vrmp34の出力を終了する。
このとき、時刻t17〜t20のどこかで、ランプ波Vrmp34と対応する比較器Comp3、Comp4の入力であるS信号Vs2が一致するが、比較器Comp3、Comp4のバラツキにより、それぞれが異なる時刻で一致しても構わない。ランプ波Vrmp34と対応する比較器Comp3、Comp4の入力であるS信号Vs2がそれぞれ一致した時点で、比較器Comp3、Comp4から比較結果信号を対応するカウンタ回路531、541に出力する。比較結果信号を受けたカウンタ回路531、541は、その時点でのカウント値とラッチ信号を対応するラッチ回路532、542に出力する。
このとき、カウンタ回路531、541は、あらかじめダウンカウントしておいた比較器Comp1、Comp2それぞれのN信号Vn2(初期化電圧Vrfにノイズ成分nが合算された電圧レベルに相当)のカウント値からスタートする。そして、ノイズ成分nを含んだS信号Vs2をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs2のみがカウントされる。ラッチ信号を受けたラッチ回路532、542は、その時点でのカウント値を一時的に保持する。
また、時刻t20のランプ波Vrmp34の出力終了にともなって、ラッチ回路532、542が保持するカウント値それぞれを、画素P21のデジタルS信号Ds2として、演算回路513に転送する。その際、ラッチ制御線の制御パルスpLTCおよび演算制御線の制御パルスpCALを介してTG211により制御される。
時刻t17〜t20の期間がS信号Vns2のAD変換期間TAs2となる。この期間は、同時に、N+S信号Vns2を保持容量C7、C10に保持しておかなければならない保持期間でもある。
そして、演算回路513においては、図9に示す加算平均演算を実行し、ノイズを低減した画素のデジタルS信号を記憶する。このとき、図9における2進数ADo1、ADo2を、ラッチ回路532、542から転送されてきた画素のデジタルS信号で置き換えることで、図9に示す演算を実行することができる。
以上が2行目の列信号処理動作となり、画素P21を含む2行目の画素の信号が、それぞれ対応する奇数列信号処理部203に読み出されて、アナログデジタル変換処理および演算回路513での演算処理後、その演算結果をデジタル信号として記憶される。
次に、時刻t21〜t23の期間が、演算回路513に記憶された演算後の2行目の画素のデジタルS信号を出力する2行目の水平出力動作期間となる。時刻t21〜t23の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、それぞれ接続する奇数列選択線251である水平選択線を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH3を発生させる。
そして、選択された奇数列信号処理部203の演算回路513が記憶している演算後の2行目の画素のデジタルS信号DSig3を、奇数列出力線261であるデジタル出力線に出力する。このとき、ノイズ低減動作においては、演算後の2行目の画素のデジタルS信号のみを出力するため、水平選択線の制御パルスpH4は停止させている。
ノイズ低減動作では、画素P11を含む1行目の画素と画素P21を含む2行目の画素が、共通の奇数列信号線231を時分割で利用することで、画素信号読み出し動作を実行している。また、奇数列信号処理部203では、4系統のアナログデジタル変換処理が可能となっている。そのため、1行目の画素信号を同時に2系統でアナログデジタル変換し、画素読み動作の時間差をもって読み出した2行目の画素信号を別の2系統で同時にアナログデジタル変換している。
このとき、2系統でアナログデジタル変換した1行目の画素信号と2行目の画素信号についても、それぞれのアナログデジタル変換処理に、同様の時間差をもって、演算回路513における演算を実行している。そして、奇数列出力線261も2系統のデジタル出力線を備えているので、演算回路513が記憶している1行目の画素のデジタルS信号DSig1と2行目の画素のデジタルS信号DSig3も、同様に時間差をもって出力することになる。
このようにして、所定の順番で選択された奇数列信号処理部203から、時間差を持った2行分の画素のデジタルS信号DSig1、DSig3がデジタル出力線を介して奇数列出力部209から並列に出力され、2行分の画素の信号の出力が完了する。
これにより、1行目の画素のN信号Vn1、S信号Vs1の読み出しとAD変換、および、2行目の画素のN信号Vn2、S信号Vs2の読み出しとAD変換を順番に実行する場合に比べて、水平同期期間の短縮が可能となっている。そのため、ノイズ低減動作におけるフレームレートの向上が実現できることになる。
1行目の画素信号の出力が完了した後、時刻t22の水平同期信号により、3行目の読み出し動作が開始されるが、動作は1行目と同様であるので、図15では記載を省略している。以上の動作が、水平同期信号に同期して開始行から2行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は行毎にずれていくことになる。そして、2行毎に1水平同期期間t01〜t22の動作を繰り返すことで、画素配列201の画素を2行毎に読み出すことができる。
図16は、本実施例に係る撮像素子12のノイズ低減動作の連続動作を示す図である。なお、図16においては、図12、図13と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。
ノイズ低減動作では、図15で説明したように、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。すなわち、動作Opr1、Opr2ともに、時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s04〜s07の期間は、1行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s07において、2系統で同時にアナログデジタル変換処理を実行した1行目の画素の信号に対して、演算回路513において加算平均を実行して演算結果を記憶する。時刻s07〜s09では、図15で説明したように、動作Opr1が演算後の1行目の画素のデジタル信号を出力する水平出力動作期間Dout1となっている。
また、時刻s07以降で、2行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。すなわち、動作Opr3、Opr4ともに、時刻s07〜s08の期間は、2行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s08〜s09の期間は、2行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s09において、2系統で同時にアナログデジタル変換処理を実行した2行目の画素の信号に対して、演算回路513において加算平均を実行して演算結果を記憶する。時刻s09〜s11の期間では、図15で説明したように、動作Opr3が演算後の2行目の画素のデジタル信号を出力する水平出力動作期間Dout2となっている。
これは、図15において説明したように、1行目の画素と2行目の画素が、共通の奇数列信号線231を時分割で利用した画素読み動作を実行することで実現している。そこで、水平同期信号HDのタイミングを時刻s01、s09、s13として動作させると、動作Opr1、Opr2では、水平同期信号HDに同期して奇数行の画素を読み出し、2系統で同時にアナログデジタル変換処理を実行することになる。
そして、動作Opr3、Opr4では、奇数行の画素読み動作期間と列信号処理動作期間の時間差を付けたタイミングである時刻s07、s11から偶数行の画素を読み出し、2系統で同時にアナログデジタル変換処理を実行することができる。これにより、画素配列201の画素を2行毎に読み出すノイズ低減動作を連続して実行できることがわかる。
このとき、2行目の画素読み動作を、1行目の画素読み動作終了後の時刻s04ではなく、時刻s07から開始しているのは、奇数行と偶数行の読み出しタイミング差を均等にするためで、各行の露光期間の行毎のずれを均一にすることを目的にしている。
ここで、本実施例においては、列回路で発生するノイズとして、比較器のバラツキを例として説明したが、ランプ波においてもノイズ発生源となる可能性がある。ランプ波は、奇数列ランプ波発生部から同じ形状のランプ波として出力されるが、比較器に入力されるまでに、位相や振幅の変動およびノイズ等の影響を受けてしまう。
これらランプ波の変動やノイズと比較器のバラツキが合わさることで、比較結果それぞれが異なる時刻で一致してしまうことになる。そして、これがアナログデジタル変換処理における列回路で発生するノイズとなるが、これらに対しても本実施例の所定の演算処理を実行することでノイズを低減させることができるのは明らかである。
本実施例では、奇数列画素の読み出しと、奇数列信号処理部203、奇数列ランプ波発生部205および奇数列水平走査部207の動作について説明してきた。しかしながら、偶数列画素の読み出しと、偶数列信号処理部204、偶数列ランプ波発生部206および偶数列水平走査部208の動作についても、図15、図16と同様の動作タイミングを用いることで説明できることは明らかである。
これにより、奇数列画素の信号および偶数列画素の信号をそれぞれ奇数列出力部209および偶数列出力部210から並列に出力させることが可能となるため、重ね読み動作、ノイズ低減動作において、フレームレートの向上が図られることになる。
以上のように、本実施例においては、ノイズ低減動作において、列信号線毎に設けられた4系統のアナログデジタル変換手段を用いて、2行分の画素の信号読み出し動作の少なくとも一部を重ねる。そうすることで、フレームレートの向上を実現するとともに、2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。
これにより、本実施例のノイズ低減動作では、実施例2のノイズ低減動作の2倍のフレームレートが実現できる。
さらに、奇数列画素の信号および偶数列画素の信号をそれぞれ異なる出力部から並列に出力させることが可能であるため、重ね読み動作、ノイズ低減動作どちらにおいても、フレームレートのさらなる向上が図られることになる。
次に、本実行形態の変形例について、図17を用いて説明する。なお、図17においては、図16と同じ符号および同じタイミングを流用してノイズ低減動作の変形例を説明する。ノイズ低減動作の変形例では、図16で説明したように、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。
すなわち、動作Opr1、Opr2ともに、時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s04〜s07の期間は、1行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s07において、2系統で同時にアナログデジタル変換処理を実行した1行目の画素の信号に対して、演算回路513において加算平均を実行して演算結果を記憶する。このとき、比較器Comp1、Comp2、カウンタ回路511、521、ラッチ回路512、522が、1行目の列信号処理動作から解放されるので、3行目の画素読み動作と列信号処理動作を開始することができる。
そこで、時刻s07〜s09の期間では、1行目の水平出力動作Dout1と3行目の画素読み動作と列信号処理動作を同時に実行する。そして、時刻s09において、3行目の画素のデジタルS信号をラッチ回路512、522から演算回路513に転送する前に、1行目の水平出力動作Dout1が終了するように、TG211がタイミングを制御する。同様に、時刻s09以降では、3行目の水平出力動作Dout3と5行目の画素読み動作と列信号処理動作を同時に実行することができる。
また、ノイズ低減動作では、時刻s04以降で、2行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。すなわち、動作Opr3、Opr4ともに、時刻s04〜s07の期間は、2行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s07〜s08の期間は、2行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s08において、2系統で同時にアナログデジタル変換処理を実行した2行目の画素の信号に対して、演算回路513において加算平均を実行して演算結果を記憶する。このとき、比較器Comp3、Comp4、カウンタ回路531、541、ラッチ回路532、542が、2行目の列信号処理動作から解放されるので、4行目の画素読み動作と列信号処理動作を開始することができる。
そこで、時刻s08〜s10の期間では、2行目の水平出力動作Dout2と4行目の画素読み動作と列信号処理動作を同時に実行する。そして、時刻s10において、4行目の画素のデジタルS信号をラッチ回路532、542から演算回路513に転送する前に、2行目の水平出力動作Dout2が終了するように、TG211がタイミングを制御する。
同様に、時刻s10以降では、4行目の水平出力動作Dout4と6行目の画素読み動作と列信号処理動作を同時に実行することができる。これは、図15において説明したように、1行目の画素と2行目の画素が、共通の奇数列信号線231を時分割で利用した画素読み動作を実行することで実現している。
そこで、水平同期信号HDのタイミングを時刻s01、s07、s09、s11、s13として動作させると、動作Opr1、Opr2では、水平同期信号HDに同期して奇数行の画素を読み出し、2系統で同時にアナログデジタル変換処理を実行することになる。そして、動作Opr3、Opr4では、奇数行の画素読み動作期間の時間差を付けたタイミングである時刻s04、s08、s10、s12、s14から偶数行の画素を読み出し、2系統で同時にアナログデジタル変換処理を実行することができる。
これにより、画素配列201の画素を2行毎に読み出すノイズ低減動作の変形例を連続して実行できることがわかる。さらに、画素読み動作と列信号処理動作を前の行の水平出力動作と同時に実行することで、ノイズ低減動作の2倍のフレームレートが実現できる。以上より、ノイズ低減動作の変形例においては、2系統で同時にアナログデジタル変換処理を実行するとともに、図12に示す重ね読み動作並みのフレームレートを実現する。
以上のように、本実行形態の変形例においては、ノイズ低減動作の変形例において、列信号線毎に設けられた列信号処理手段を用いて、画素読み動作と前の行の水平出力動作を重ねることで、フレームレートの向上を実現している。それとともに、2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。これにより、ノイズ抑圧とともに図12に示す重ね読み動作並みのフレームレートを実現している。
次に、図1から図3、および、図5から図9に加えて、図18を参照して、本発明の実施例4について説明する。なお、本実施例では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、実施例1と同様であるので、図および符号を流用して説明する。すなわち、図2に示す撮像素子12の概略構成に対して、図18の回路を適用して、図5および図6に示す重ね読み動作と図7および図8に示すノイズ低減動作を実行する。
実施例1においては、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、列信号処理部に設けた演算回路において加算平均することでノイズ抑圧を実現していた。
これに対して、本実施例においては、列信号処理部と出力部の間に演算回路を設けることで、演算回路を1つで済ませた場合について、重ね読み動作およびノイズ低減動作を実行する方法について説明する。
図18は、本実施例に係る撮像素子12の奇数列信号処理部203の回路構成を示す図である。本実施例においては、奇数列画素に対応した奇数列信号処理部203を例にして説明する。偶数列画素に対応した偶数列信号処理部204は、奇数列信号処理部203と同様であるので、ここでは説明を省略する。
図18の信号処理部は、保持容量、結合容量、スイッチ、比較器、カウンタ回路、ラッチ回路から構成されている。図4の信号処理部から演算回路が削除されているだけなので、信号処理部の詳細な説明は省略する。
ここで、本実施例においては、ラッチ回路512、522が、対応する水平選択線の制御パルスpH1、pH2を介した制御により、保持しているカウント値を対応するデジタル出力線に出力する。デジタル出力線は、奇数列画素に対応した他の奇数列信号処理部203のラッチ回路512、522にもそれぞれ共通に接続される。
演算回路514は、TG211に接続される演算制御線の制御パルスpCALを介した制御により、ラッチ回路512、522から対応するデジタル出力線に出力されたカウント値に対して、図9に示す所定の演算を実行する。また、演算回路514は、演算制御線の制御パルスpCALを介した制御により、所定の演算を施されたカウント値を画素のデジタル信号DSig1’、DSig2’として、奇数列出力線263を介して奇数列出力部209に出力する。偶数列画素に対応した偶数列信号処理部204の演算回路においても偶数列のデジタル出力線がそれぞれ共通に接続されている。
次に、本実施例に係る撮像素子12の重ね読み動作について説明する。重ね読み動作では、第1の画素および第2の画素について、FDノード301をリセットしたN信号、および、FDノード301に光電変換素子D1の電荷を読み出したS信号の読み出しを行う。そして、共通の奇数列信号線231を用いて、時間差を付けて読み出された第1の画素の信号および第2の画素の信号にアナログデジタル変換処理を実行して、デジタル化した画素信号を出力する。
このときに、第1の画素を奇数行の画素とし、第2の画素を偶数行の画素として、重ね読み動作を繰り返し、画素配列201の画素を読み出すことで、1回の撮影動作を実行することができる。
このとき、実施例1においては、図5の時刻t18〜t22の期間が、演算回路513に記憶された1行目の画素のデジタルS信号を出力する1行目の水平出力動作期間となっていた。これに対し、本実施例では、ラッチ回路512に保持された1行目の画素のカウント値を出力する1行目の水平出力動作期間となる。時刻t18〜t22の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、それぞれ接続する奇数列選択線251である水平選択線を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1を発生させる。
そして、選択された奇数列信号処理部203のラッチ回路512が保持している1行目の画素のカウント値DSig1を、奇数列出力線261であるデジタル出力線に出力する。重ね読み動作において、演算回路514は、入力された画素のカウント値に対して、演算を実行せずに、そのまま画素のデジタル信号DSig1’として、デジタル出力線を介して奇数列出力部209に出力する。
同様に、実施例1においては、図5の時刻t21〜t23の期間が、演算回路513に記憶された2行目の画素のデジタルS信号を出力する2行目の水平出力動作期間となっていた。これに対し、本実施例では、ラッチ回路522に保持された2行目の画素のカウント値を出力する2行目の水平出力動作期間となる。
図5の時刻t21〜t23の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御する。そして、それぞれ接続する奇数列選択線251である水平選択線を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH2を発生させる。そして、選択された奇数列信号処理部203のラッチ回路522が保持している2行目の画素のカウント値DSig2を、奇数列出力線261であるデジタル出力線に出力する。
重ね読み動作において、演算回路514は、入力された画素のカウント値に対して、演算を実行せずに、そのまま画素のデジタル信号DSig2’として、デジタル出力線を介して奇数列出力部209に出力する。
重ね読み動作では、画素P11を含む1行目の画素と画素P21を含む2行目の画素が、共通の奇数列信号線231を時分割で利用することで、画素読み動作を実行している。また、奇数列信号処理部203では、2系統のアナログデジタル変換処理が可能となっているので、1行目の画素信号と2行目の画素信号の画素読み動作の時間差をもって、2系統のアナログデジタル変換処理が実行される。
そして、奇数列出力線261も2系統のデジタル出力線を備えているので、ラッチ回路512、522が保持している1行目の画素と2行目の画素のカウント値も、同様に時間差をもって出力することになる。このようにして、所定の順番で選択された奇数列信号処理部203から、時間差を持った2行分の画素のカウント値DSig1、DSig2が出力され、デジタル出力線を介して演算回路514に入力される。
演算回路514においては、演算制御線の制御パルスpCALを介したTG211の制御により、入力された画素のカウント値に対して、演算を実行せずに、そのまま画素のデジタル信号として出力する。そして、デジタル出力線のカウント値DSig1、DSig2が、それぞれデジタル出力線を介して奇数列出力部209からデジタル信号DSig1’、DSig2’として並列に出力され、2行分の画素の信号の出力が完了する。
1行目の画素信号の出力が完了した後、図5の時刻t22の水平同期信号により、3行目の読み出し動作が開始される。以上の動作が、水平同期信号に同期して開始行から2行ずつ遅延して行われ、各行の画素信号が順次出力される。
次に、本実施例に係る撮像素子12のノイズ低減動作について説明する。
ノイズ低減動作では、1行目の画素について、FDノード301をリセットしたN信号、および、FDノード301に光電変換素子D1の電荷を読み出したS信号の読み出しを行う。そして、奇数列信号線231を用いて読み出された1行目の画素の信号にアナログデジタル変換処理を実行して、デジタル化した画素信号を出力する。
このときに、奇数列信号処理部203では、2系統のアナログデジタル変換処理が可能となっているので、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。そして、2系統のアナログデジタル変換結果に対して、演算回路514において、図9で説明したノイズ低減動作の演算処理を実行して出力する。このようにして、ノイズ低減動作を繰り返して、画素配列201の画素を読み出すことで、1回の撮影動作を実行することができる。
このとき、実施例1においては、図7の時刻t18〜t22の期間が、演算回路513に記憶された演算後の1行目の画素のデジタルS信号を出力する1行目の水平出力動作期間となっていた。これに対し、本実施例では、ラッチ回路512、522に保持された1行目の画素の2系統のカウント値を出力する1行目の水平出力動作期間となる。
図7の時刻t18〜t22の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、それぞれ接続する奇数列選択線251を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1、pH2を発生させる。そして、選択された奇数列信号処理部203のラッチ回路512、522に保持された1行目の画素の2系統のカウント値DSig1、DSig2を対応する奇数列出力線261に出力する。
ノイズ低減動作において、演算回路514は、入力された画素の2系統のカウント値DSig1、DSig2に対して、図9で説明したノイズ低減動作の演算処理を実行する。そして、画素のデジタル信号DSig1’としてデジタル出力線263を介して奇数列出力部209に出力する。このとき、ノイズ低減動作においては、演算後の1行目の画素のデジタルS信号のみを出力する。
1行目の画素信号の出力が完了した後、図7の時刻t22の水平同期信号により、2行目の読み出し動作が開始される。以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。
ここで、本実施例においては、列回路で発生するノイズとして、比較器のバラツキを例として説明したが、ランプ波においてもノイズ発生源となる可能性がある。ランプ波は、奇数列ランプ波発生部から同じ形状のランプ波として出力されるが、比較器に入力されるまでに、位相や振幅の変動およびノイズ等の影響を受けてしまう。
これらランプ波の変動やノイズと比較器のバラツキが合わさることで、比較結果それぞれが異なる時刻で一致してしまうことになる。そして、これがアナログデジタル変換処理における列回路で発生するノイズとなるが、これらに対しても本実施例の所定の演算処理を実行することでノイズを低減させることができるのは明らかである。
本実施例では、奇数列画素の読み出しと、奇数列信号処理部203および奇数列水平走査部207の動作について説明してきた。しかしながら、偶数列画素の読み出しと、偶数列信号処理部204および偶数列水平走査部208の動作についても、図5から図8と同様の動作タイミングを用いることで説明できることは明らかである。
これにより、奇数列画素の信号および偶数列画素の信号をそれぞれ奇数列出力部209および偶数列出力部210から並列に出力させることが可能となるため、重ね読み動作、ノイズ低減動作において、フレームレートの向上が図られることになる。
また、図10を用いた実施例1の変形例にも、図18の列信号処理部と演算回路を適用可能である。すなわち、時刻s07〜s09の期間の1行目の水平出力動作Dout1に、演算回路514が、入力された画素の2系統のカウント値に対して図9で説明したノイズ低減動作の演算処理を実行する。そして、画素のデジタル信号DSig1’として出力線263を介して奇数列出力部209に出力されることになる。時刻s09〜s11の期間の2行目の水平出力動作Dout2、時刻s11〜s13の期間の3行目の水平出力動作Dout3においても同様な処理を実行すれば良い。
実施例2に対しても、本実施例を適用可能である。すなわち、図11の列信号処理部の演算回路を図18の位置に変更するとともに、演算回路514が、入力された画素の4系統のカウント値に対して、図14で説明したノイズ低減動作の演算処理を実行する。そして、画素のデジタル信号DSig1’として出力線263を介して奇数列出力部209に出力される。
さらに同様に、実施例3に対しても、本実施例を適用可能である。すなわち、図11の列信号処理部の演算回路を図18の位置に変更するとともに、演算回路514が、時間差を設けて入力された2画素それぞれの2系統のカウント値に対して、図9で説明したノイズ低減動作の演算処理を実行する。そして、画素のデジタル信号DSig1’、DSig3’として出力線263を介して奇数列出力部209に出力されることになる。
以上のように、本実施例においては、重ね読み動作において、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、奇数行画素の信号読み出し動作と偶数行画素の信号読み出し動作を重ねることで、フレームレートの向上を実現している。
また、ノイズ低減動作において、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。そして、重ね読み動作による撮像とノイズ低減動作による撮像を必要に応じて切り替えることで、常に撮影動作が遅くなることを避けることができる。
この撮影動作の切り替えは、操作部16において、ユーザが直接選択するようにしてもよい。また、信号処理部13で実行するホワイトバランス調整、色補正、ガンマ補正、AF(Auto Focus)、AE(Auto Exposure)等の各種信号処理に応じて、同期制御部15が適宜選択するようにしてもよい。さらに、演算回路を列信号処理部と出力部の間に設けることで、演算回路の削減が可能となっている。
また、奇数列画素の信号および偶数列画素の信号をそれぞれ異なる出力部から並列に出力させることが可能であるため、重ね読み動作、ノイズ低減動作どちらにおいても、フレームレートのさらなる向上が図られることになる。