JP2016184904A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2016184904A
JP2016184904A JP2015065245A JP2015065245A JP2016184904A JP 2016184904 A JP2016184904 A JP 2016184904A JP 2015065245 A JP2015065245 A JP 2015065245A JP 2015065245 A JP2015065245 A JP 2015065245A JP 2016184904 A JP2016184904 A JP 2016184904A
Authority
JP
Japan
Prior art keywords
signal
pixel
output
odd
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015065245A
Other languages
English (en)
Other versions
JP6579771B2 (ja
Inventor
敏和 柳井
Toshikazu Yanai
敏和 柳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015065245A priority Critical patent/JP6579771B2/ja
Priority to US15/080,301 priority patent/US10158820B2/en
Publication of JP2016184904A publication Critical patent/JP2016184904A/ja
Application granted granted Critical
Publication of JP6579771B2 publication Critical patent/JP6579771B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795Circuitry for generating timing or clock signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】 列毎に複数のAD変換手段を持つCMOSセンサにおいて、列信号処理回路のノイズを低減することが可能な撮像装置を提供する。【解決手段】 垂直画素列に共通に接続する列信号線に複数のAD変換手段を設け、同一画素の信号を複数のAD変換手段でデジタル化した後に加算平均することでノイズ抑圧を実現するとともに、複数の画素の信号読み出し動作を重ねることで、フレームレートの低下を避けることを可能にする。【選択図】 図8

Description

本発明は、撮像装置に関するものである。
近年、デジタルスチルカメラやデジタルビデオカメラなど、撮像画像をデジタルデータとして保存することができる撮像装置が広く普及している。このような撮像装置に用いる撮像素子として、XYアドレス方式で各画素信号を読み出すCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ(以下、CMOSセンサ)がある。
CMOSセンサは、画素のランダムアクセスが可能である点や、CCD(Charge Coupled Device)型イメージセンサ(以下、CCDセンサ)と比較して信号読み出しが高速で、高感度、低消費電力といった特徴がある。
また、画素において光電変換した信号電荷を出力回路までそのまま転送するCCDセンサと異なり、CMOSセンサでは、各画素で電圧に変換された画素信号を列回路において信号処理してから出力する。そのため、画素信号に列回路で発生するノイズが加わることになる。そこで、CMOSセンサにおいて列回路に列アンプを備え、列アンプにおいて画素信号を増幅することで、画素信号に対する列回路のノイズの比を改善する方法がある(特許文献1)。
しかしながら、列アンプにおいて画素信号を増幅すると列回路の動作電圧が高くなり、消費電力が増加する。その対策として、列回路にAD(Analog Digital)変換回路を備えたCMOSセンサでは、消費電力の低減と動作電圧の低電圧化による高速化のために、列アンプを備えていないものがある(特許文献2)。
特開2005−333462号 特開2005−323331号
特許文献2のCMOSセンサのように、列回路内に列アンプを備えていない構成においては、列回路で列ノイズが発生する。また、列ノイズを低減する方法として、同じ画素の信号を複数回読み出して、その都度加算するという方法もある。
しかしながら、CMOSセンサにおいては、列回路の信号処理を実行してから加算する必要があるため、ノイズ低減処理に時間がかかり、フレームレートが大きく低下してしまうという問題が残る。
本発明は、このような点に鑑みてなされたものであり、列アンプを備えない構成において、画像信号の読み出し速度を低下させることなく、列回路で発生する列ノイズを低減させることを可能にした撮像装置を提供することを目的とする。
本発明は、上記課題を解決するためになされたものであり、複数の画素が行列状に配置された画素配列と、前記画素配列の列毎に設けられ、第1の画素および第2の画素が接続された列信号線と、前記列信号線毎に並列に設けられた第1の信号処理手段および第2の信号処理手段と、前記第1の信号処理手段の出力と前記第2の信号処理手段の出力を用いて所定の演算処理を実行する演算手段と、を有することを特徴とする。
本発明によれば、画像信号の読み出し速度を低下させることなく、画像信号に含まれる列ノイズを低減させることができる。
本発明の実施例に係る撮像装置の構成を示す図である。 本発明の実施例に係る撮像素子の概略構成を示す図である。 本発明の実施例に係る画素の回路構成を示す図である。 実施例1に係る列信号処理部の回路構成を示す図である。 実施例1に係る重ね読み動作タイミングを示す図である。 実施例1に係る重ね読み動作を示す図である。 実施例1に係るノイズ低減動作タイミングを示す図である。 実施例1に係るノイズ低減動作を示す図である。 実施例1に係るノイズ低減動作の演算を示す図である。 実施例1の変形例に係るノイズ低減動作を示す図である。 実施例2に係る列信号処理部の回路構成を示す図である。 実施例2に係る重ね読み動作を示す図である。 実施例2に係るノイズ低減動作を示す図である。 実施例2に係るノイズ低減動作の演算を示す図である。 実施例3に係るノイズ低減動作タイミングを示す図である。 実施例3に係るノイズ低減動作を示す図である。 実施例3の変形例に係るノイズ低減動作を示す図である。 実施例4に係る列信号処理部の回路構成を示す図である。 実施例5に係る撮像素子の構成例を示す図である。
以下に、添付図面を参照して本発明の実施例について詳細に説明する。なお、以下に説明する実施例は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施例に限定されるものではない。
図1から図9を参照して、本発明の実施例1について説明する。図1は、本実施例に係る撮像装置の構成を示す図である。本実施例の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに適用可能である。
図1に示す撮像装置は、光学系11、撮像素子12、信号処理部13、圧縮伸張部14、同期制御部15、操作部16、画像表示部17および画像記録部18を備えている。光学系11は、被写体を結像させるためのレンズ、ズームや合焦を行うためのレンズ駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらの可動部は、同期制御部15からの制御信号に基づいて駆動される。
撮像素子12は、XYアドレス方式のCMOSセンサであり、同期制御部15からの制御信号に応じて、露光や信号読み出し、リセットなどの撮像動作を実行する。そして、内蔵されるAD変換回路によるアナログデジタル変換処理を経て、デジタル化された画像信号を出力する。
信号処理部13は、同期制御部15の制御の下で、撮像素子12から入力されるデジタル化された画像信号に対して、各種信号処理を施す。圧縮伸張部14は、同期制御部15の制御の下で動作し、信号処理部13で信号処理された画像信号に圧縮符号化処理を実行したり、同期制御部15から供給された静止画像の符号化データを伸張復号化処理する。また、動画像の圧縮符号化/伸張復号化処理を実行してもよい。
同期制御部15は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラである。そして、ROMなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。操作部16は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を同期制御部15に出力する。
画像表示部17は、LCD(Liquid Crystal Display)などの表示デバイスや、これに対するインタフェース回路などからなり、同期制御部15から供給された画像信号から表示させるための画像信号を生成する。そして、この信号を表示デバイスに供給して画像を表示させる。画像記録部18は、例えば、可搬型の半導体メモリなどからなる記録媒体が接続され、圧縮伸張部14により圧縮符号化された画像データファイルを同期制御部15から受け取って記憶する。また、同期制御部15からの制御信号を基に指定されたデータを読み出し、同期制御部15に出力する。
ここで、上記の撮像装置における基本的な動作について説明する。静止画像の撮像前には、撮像素子12から出力された画像信号が信号処理部13に順次供給される。信号処理部13は、撮像素子12からの画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部15を通じて画像表示部17に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。
この状態で、操作部16のシャッタレリーズボタンが押下されると、同期制御部15の制御により、撮像素子12からの1フレーム分の画像信号が、信号処理部13に取り込まれる。信号処理部13は、取り込んだ1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部14に供給する。圧縮伸張部14は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部15を通じて画像記録部18に供給する。これにより、撮像された静止画像のデータファイルが画像記録部18により記録媒体に記録される。
一方、記録媒体に記録された静止画像のデータファイルを再生する場合には、同期制御部15は、操作部16からの操作入力に応じて、画像記録部18を制御して選択されたデータファイルを記録媒体から読み込む。そして、読み込んだデータファイルを圧縮伸張部14に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部15を介して画像表示部17に供給され、これにより静止画像が再生表示される。
また、動画像を記録する場合には、信号処理部13で順次処理された画像信号に圧縮伸張部14で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部18に転送して記録媒体に記録する。さらに、画像記録部18により記録媒体から動画像のデータファイルを読み出して圧縮伸張部14に供給し、伸張復号化処理させて、画像表示部17に供給することで、動画像が表示される。
図2は、本実施例に係る撮像素子(CMOSセンサ)12の概略構成を示す図である。図2に示すように、撮像素子12は、後述する複数の画素200が水平方向(行方向)および垂直方向(列方向)にマトリクス状(行列状)に配置された画素配列201を備えている。画素配列201において、1行目1列目の画素200がP11と表され、8行目6列目の画素がP86と表される。
本実施例においては、6×8配列(8行6列)の画素200を配置した例を説明するが、画素配列201における画素配列は、この数に限定されるものではなく、実際の撮像素子には、より多数の画素が配置されている。また、奇数行の画素200にはR(赤)フィルタとG(緑)フィルタが交互に設けられ、偶数行の画素200にはG(緑)フィルタとB(青)フィルタが交互に設けられる。すなわち、RGとGBの繰り返しとなる2×2配列のベイヤー配列の色フィルタが配置されているものとする。
TG(Timing Generator)211は、図1の同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力する。その際、各種のクロック信号や制御信号などを制御線271、281、282、283、284、285、286を介して出力する。
垂直走査部202は、画素配列201の画素200を1行ずつ選択し、選択した画素行のリセット動作や読み出し動作を駆動制御する。画素制御線221は、画素行毎に共通に接続され、垂直走査部202による行単位の駆動制御信号を伝達する。
奇数列信号線231は、奇数の画素列毎に共通に接続され、画素制御線221を介して垂直走査部202により選択された行の奇数列画素の信号が、それぞれ対応する奇数列信号線231に読み出される。偶数列信号線232は、偶数の画素列毎に共通に接続され、画素制御線221を介して垂直走査部202により選択された行の偶数列画素の信号が、それぞれ対応する偶数列信号線232に読み出される。
奇数列信号処理部203および偶数列信号処理部204は、それぞれ対応する偶数列信号線231および奇数列信号線232毎に設けられ、各列信号線を介して送られてくる行単位の画素信号それぞれに対して、後述する信号処理を実行する。
奇数列ランプ波発生部205および偶数列ランプ波発生部206は、対応する奇数列信号処理部203および偶数列信号処理部204の信号処理で用いられるランプ波信号をTG211から供給される制御信号とクロック信号を基に作成する。奇数列参照信号線241および偶数列参照信号線242は、対応する奇数列ランプ波発生部205および偶数列ランプ波発生部206が発生したランプ波信号を、それぞれ対応する奇数列信号処理部203および偶数列信号処理部204に供給する。
奇数列水平走査部207は、奇数列選択線251を介して奇数列信号処理部203を列毎に選択し、各列の奇数列信号処理部203に記憶されているデジタル化された画素信号を奇数列出力線261を介して奇数列出力部209に転送するように制御する。偶数列水平走査部208は、偶数列選択線252を介して偶数列信号処理部204を列毎に選択し、各列の偶数列信号処理部204に記憶されているデジタル化された画素信号を偶数列出力線262を介して偶数列出力部210に転送するように制御する。奇数列出力部209および偶数列出力部210は、デジタル化された行単位の画素信号を図1の信号処理部13へ出力する。
図3は、本実施例に係る撮像素子12の画素200の回路構成を示す図である。点線で囲われた画素200は、画素配列201を構成する画素の1つを代表して示す。また、画素200は、画素制御線221および列信号線231、232により他の回路と接続される。本実施例においては、奇数列画素(例えば画素P11)を例にして説明するため、奇数列信号線231に接続している。偶数列画素(例えば画素P12)も、偶数列信号線232に接続されること以外は、奇数列画素と同様であるので、説明を省略する。
奇数列信号線231は、負荷回路および奇数列信号処理部203に接続されると共に、1列の奇数列画素に共通して接続され、奇数列の画素信号を出力する。同様に、偶数列信号線232は、負荷回路および偶数列信号処理部204に接続されると共に、1列の偶数列画素に共通して接続され、偶数列の画素信号を出力する。
画素制御線221は、垂直走査部202に接続されると共に、1行の画素に共通して接続され、同じ1行の画素を同時に制御することで、リセットや信号読み出しを可能としている。なお、画素制御線221は、制御パルスpRが出力されるリセット制御線、制御パルスpTが出力される転送制御線、制御パルスpSELが出力される垂直選択線を含む。
光電変換素子D1は、光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードであり、PN接合のP側が接地され、N側が転送トランジスタ(転送スイッチ)T1のソースに接続されている。転送トランジスタ(転送スイッチ)T1は、ゲートが転送制御線に接続されるとともに、ドレインがFD容量Cfdに接続され、光電変換素子D1からFD容量Cfdへの電荷の転送を制御する。
FD容量Cfdは、一方が接地され、光電変換素子D1から転送された電荷を電圧に変換する際に電荷を蓄積する。ここで、転送トランジスタ(転送スイッチ)T1のドレインとFD容量Cfdの他方の接続点をFDノード301と呼ぶことにする。リセットトランジスタ(リセットスイッチ)T2は、ゲートがリセット制御線に接続され、ドレインが電源電圧Vddに接続されるとともに、ソースがFD容量Cfdに接続され、FDノード301の電位を電源電圧Vddにリセットする。
駆動トランジスタ(増幅部)Tdrvは、画素内アンプを構成するトランジスタである。そして、ゲートがFD容量Cfdに接続され、ドレインが電源電圧Vddに接続されるとともに、ソースが選択トランジスタ(選択スイッチ)T3のドレインに接続され、FD容量Cfdの電圧に応じた電圧を出力する。
選択トランジスタ(選択スイッチ)T3は、ゲートが垂直選択線pSELに接続されるとともに、ソースが奇数列信号線231に接続され、駆動トランジスタTdrvの出力を画素200の出力信号として、奇数列信号線231に出力する。
列信号線毎に設けられている負荷回路の負荷トランジスタTlodは、ソースとゲートが接地され、ドレインが奇数列信号線231に接続されている。そして、奇数列信号線231を介して接続されている列の画素200の駆動トランジスタTdrvとともに画素内アンプとなるソースフォロア回路を構成している。通常、画素200の信号を出力する時は、負荷トランジスタTlodをゲート接地の定電流源として動作させる。
本実施例の記載において、駆動トランジスタTdrvおよび負荷トランジスタTlod以外のトランジスタは、スイッチとして働く。そして、ゲートに接続されている制御線に出力される制御パルス信号がHighレベルのときに導通し(ON)、Lowレベルのときに遮断する(OFF)ものとする。
図4は、本実施例に係る撮像素子12の奇数列信号処理部203の回路構成を示す図である。本実施例においては、奇数列画素に対応した奇数列信号処理部203を例にして説明する。偶数列画素に対応した偶数列信号処理部204の構成も、奇数列信号処理部203と同様であるので、その説明を省略する。
保持容量C1、C4は、一方が接地され、それぞれ奇数列信号線231からの画素信号を受け取り保持する。選択スイッチSw1、Sw4は、それぞれ信号選択制御線に出力される制御パルスpS1、pS2により導通/遮断が制御され、奇数列信号線231から受け取った信号を、対応する保持容量C1、C4に転送する。
比較器Comp1、Comp2は、2つの入力を比較し、比較結果を出力する。例えば、入力される2つの信号の大小関係が逆転した時に、HighレベルからLowレベルに出力信号が変化することで、比較結果を出力する。
結合容量C2、C5は、一方がそれぞれ対応する保持容量C1、C4に接続され、他方がそれぞれ対応する比較器Comp1、Compの一方の入力に接続される。結合容量C2、C5は、さらに、相関二重サンプリング(CDS)を行うためのクランプ容量としても機能する。
結合容量C3、C6は、一方がそれぞれ対応する奇数列ランプ波信号線241に接続され、他方がそれぞれ対応する比較器Comp1、Compの他方の入力に接続される。
初期化スイッチSw2、Sw3、Sw5、Sw6は、それぞれ対応する初期化制御線に出力される制御パルスpCr1、pCr2により導通/遮断が制御される。そして、比較器Comp1、Compの入力を初期化電圧Vrfにすることで、比較器Comp1、Compを初期化する。
カウンタ回路511、521は、カウンタ制御線から供給されるクロックpCNTを基にカウンタ動作を実行するとともに、対応する比較器Comp1、Compからの比較結果の信号を受けて、そのときのカウント値を出力する。このときのカウント値が、奇数列信号線231を介して受け取った画素信号をデジタル化した信号となっている。また、カウンタ回路511、521は、カウンタ制御線から供給されるクロックpCNTに応じて、ダウンカウントとアップカウントの切り換えが可能となっており、これを用いてノイズ低減を実現している。
ラッチ回路512、522は、対応するカウンタ回路511、521が出力するカウント値を一時的に保持するとともに、ラッチ制御線から供給される制御パルスpLTCに応じて、保持しているカウント値を出力する。
演算回路513は、演算制御線から供給される制御パルスpCALに応じて、対応するラッチ回路512、522が出力するカウント値に対する所定の演算処理を実行する。演算処理の詳細については後述する。そして、演算回路513は、奇数列選択線251に出力される制御パルスpH1、pH2に応じて、デジタル信号DSig1、DSig2を奇数列出力線261に出力する。なお、奇数列出力線261は、他の奇数列信号処理部203の演算回路513にもそれぞれ共通に接続されている。また、偶数列画素に対応した偶数列信号処理部204の演算回路にもデジタル出力線がそれぞれ共通に接続されている。
図2のTG211からの制御線281は、制御パルスpS1、pS2が出力される信号選択制御線、制御パルスpCr1、pCr2が出力される初期化制御線を含む。さらに、制御パルスpCNTが出力されるカウンタ制御線、制御パルスpLTCが出力されるラッチ制御線、制御パルスpCALが出力される演算制御線も含む。
図2の奇数列ランプ波発生部205からの奇数列参照信号線241は、ランプ波Vrmp1、Vrmp2をそれぞれ出力する2本の奇数列ランプ波信号線を含む。図2の奇数列水平走査部207からの奇数列選択線251は、制御パルスpH1、pH2をそれぞれ出力する2本の水平選択線を含む。図2の奇数列出力部209に接続される奇数列出力線261は、デジタル信号DSig1、DSig2が出力される2本のデジタル出力線を含む。
このように、図4に示す奇数列信号処理部203は、2系統のアナログデジタル変換処理が可能な回路構成となっている。なお、本実施例の記載において、スイッチSw1〜Sw6は、接続される制御線に出力される制御パルス信号がHighレベルのときに導通し(ON)、Lowレベルのときに遮断する(OFF)ものとする。
図5は、本実施例に係る撮像素子12の重ね読み動作のタイミングを示す図である。図5を用いて、本実施例に係る撮像素子12の重ね読み動作を説明する。
本実施例においては、画素配列201に配列された画素200の内の連続する2行(例えば列方向に連続する画素P11を含む行と画素P21を含む行)の奇数列の画素(例えば画素P11と画素P21)から信号を読み出す場合について説明する。なお、ここでは、偶数列の画素(例えば列方向に連続する画素P12と画素P22)についての説明を省略するが、共通の偶数列信号線232および偶数列信号処理部204を用いて、奇数列の画素と同様に、重ね読み動作を実行することができる。
奇数行にある第1の画素P11および偶数行にある第2の画素P21について、FDノード301をリセットした状態のN信号、FDノード301に光電変換素子D1の電荷を転送した状態のS信号をそれぞれ読み出す。そして、共通の奇数列信号線231を用いて、第1の画素P11の信号および第2の画素P21の信号を時間差を付けて読み出し、それぞれアナログデジタル変換してデジタル化した画素信号を出力する。このようにして2行ずつの重ね読み動作を繰り返しながら画素配列201の画素から信号を読み出すことで、1回の撮影動作を実行する。
時刻t01において、水平同期信号HDがLowレベルになる。水平同期信号HDは、画素配列201に配列された画素200の各々から行毎に信号を読み出す水平同期期間の始まるタイミングを示す。
時刻t02において、画素P11を含む1行目の画素のリセット制御線の制御パルスpR1をHighレベルにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。同時に、垂直選択線の制御パルスpSEL1をHighレベルにして選択トランジスタT3をONすることでソースフォロア回路を動作させ、FDノード301の電位に対応する電圧を奇数列信号線231に出力する。
また、同時に、信号選択制御線の制御パルスpS1をHighレベルにして選択スイッチSw1をONすることで、奇数列信号線231に出力された信号を保持容量C1に伝達する。さらに同時に、初期化制御線の制御パルスpCr1をHighレベルにして初期化スイッチSw2、Sw3をONすることで、比較器Comp1の入力を初期化電圧Vrfに設定する。
時刻t03において、リセット制御線の制御パルスpR1をLowレベルにしてリセットトランジスタT2をOFFする。その後、奇数列信号線231に出力された信号レベルが安定するのを待つ。このとき画素P11から出力される信号Vsigが、FDノード301をリセットした信号となるN信号Vn1である。
そして、奇数列信号線231に出力されたN信号Vn1の信号レベルが安定した時刻t04において、信号選択制御線の制御パルスpS1をLowレベルにして選択スイッチSw1をOFFすることで、保持容量C1にN信号Vn1が保持される。
同時に、初期化制御線の制御パルスpCr1をLowレベルにして初期化スイッチSw2、Sw3をOFFすることで、比較器Comp1の入力電位の初期化を終了する。このとき、結合容量C2は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持していることになる。また、結合容量C3は、初期化電圧Vrfとランプ波Vrmp1が発生する前の奇数列ランプ波信号線の電圧との差分に相当する電位差をそれぞれ保持していることになる。
以上説明した時刻t02〜t04の期間を画素P11のN信号Vn1の保持動作期間Tn1とする。そして、時刻t04以降において、N信号Vn1のAD変換を実行する。
まず、時刻t04において、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線241にランプ波Vrmp1を出力する。このとき、結合容量C3は、初期化電圧Vrfとランプ波Vrmp1が発生する前の奇数列ランプ波信号線241の電圧との差分に相当する電位差を保持している。そのため、初期化電圧Vrfに対する変化分として、ランプ波Vrmp1が比較器Comp1に入力される。
また、結合容量C2は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持している。そのため、初期化電圧Vrfに対する変化分として、N信号Vn1が比較器Compに入力される。そして、比較器Comp1は、入力されたN信号Vn1とランプ波Vramp1とを比較する。
このとき、N信号Vn1に対応する比較器Comp1の入力は、初期化電圧Vrfに初期化されているため、理想的には差分となる信号は存在しないはずである。しかし、実際には、選択スイッチSw1のスイッチングノイズによる変動や比較器Comp1の持つバラツキによるノイズ成分nが発生する。そして、初期化電圧Vrfにこれらのノイズ成分nが合算されたものが、N信号Vn1としてデジタル化されることになる。なお、初期化スイッチSw2、Sw3のスイッチングノイズによる変動は、比較器Comp1の2つの入力それぞれに均等に発生すると仮定でき、比較においてキャンセルされるため、ここでは考慮しないものとする。
ランプ波Vrmp1の出力と同時に、TG211の制御により、カウンタ制御線に出力される制御パルスpCNTを介してカウンタ回路511をダウンカウントするように設定し、カウント動作を開始する。そして、時刻t05において、ランプ波Vrmp1の出力を終了する。
ここで、ランプ波Vrmp1の振幅は、比較器Comp1に入力されるN信号Vn1の振幅に対して十分余裕があればよい。そこで、あらかじめ取り得るN信号(初期化電圧Vrfにノイズ成分nが合算された電圧レベル)の最大値を測定しておき、ランプ波Vramp1の振幅を奇数列ランプ波発生部205に設定する。
時刻t04〜t05のどこかで、比較器Comp1に入力されるランプ波Vrmp1の信号レベルとN信号Vn1の信号レベル(初期化電圧Vrfにノイズ成分nが合算された電圧レベル)が一致する。ランプ波Vrmp1の信号レベルとN信号Vn1の信号レベルが一致した時点で、比較器Comp1から比較結果信号をカウンタ回路511に出力する。比較結果信号を受けたカウンタ回路511は、その時点でカウンタ動作を停止するとともに、カウンタの状態を保ってカウント値を保持する。
以上説明した時刻t04〜t05の期間を画素P11のN信号Vn1のAD変換期間TAn1とする。この期間は、AD変換前のN信号Vn1を保持容量C1に保持しておかなければならない保持期間でもある。
次に、時刻t06において、転送制御線の制御パルスpT1をHighレベルにして転送トランジスタT1をONすることで、光電変換素子D1に蓄積されている電荷をFDノード301に転送し、光電変換素子D1の信号として奇数列信号線231に出力する。また、同時に、信号選択制御線の制御パルスpS1をHighレベルにして選択スイッチSw1をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C1に伝達する。
続いて、時刻t07において、転送制御線の制御パルスpT1をLowレベルにして転送トランジスタT1をOFFする。その後、奇数列信号線231に出力された信号レベルが安定するのを待つ。このときに画素P11から出力される信号Vsigが、N信号Vn1に光電変換素子D1の電荷を読み出した信号Vs1が加わったN+S信号Vns1である。
そして、奇数列信号線231に出力されたN+S信号Vns1の信号レベルが安定した時刻t08において、信号選択制御線の制御パルスpS1をLowレベルにして選択スイッチSw1をOFFすることで、保持容量C1にN+S信号Vns1が保持される。以上説明した時刻t06〜t08の期間をN+S信号Vns1の保持動作期間Ts1とする。
また、時刻t09において、リセット制御線の制御パルスpR1をHighレベルにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。これにより、奇数列信号線231もリセットされる。そして、FDノード301の電位が十分にリセットされた時刻t10において、リセット制御線の制御パルスpR1をLowレベルにしてリセットトランジスタT2をOFFする。同時に、垂直選択線の制御パルスpSEL1をLowレベルにして選択トランジスタT3をOFFすることで、画素P11を含む1行目の画素と奇数列信号線231を電気的に切り離す。そして、画素P11を含む1行目の画素における次フレームの光電変換素子D1による電荷蓄積が開始される。
さらに、時刻t08以降において、比較器Comp1に入力されたS信号Vs1のAD変換を実行する。まず、時刻t08において、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線241にランプ波Vrmp1を出力する。
ここでも、N信号Vn1のAD変換時と同様に、初期化電圧Vrfに対する変化分として、ランプ波形Vrmp1が結合容量C3を介して比較器Comp1に入力される。また、N+S信号Vns1が結合容量C2を介して比較器Comp1に入力される際に、結合容量C2は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持している。そのため、N+S信号Vns1とN信号Vn1との差分であるS信号Vs1が、光電変換素子D1の電荷に対応した信号として比較器Comp1に入力されることになる。すなわち、結合容量C2をクランプ動作に利用したCDSを実現している。そして、比較器Comp1は、入力されたS信号Vs1とランプ波Vrmp1とを比較する。
このとき、N信号Vn1のAD変換時と同様に、選択スイッチSw1のスイッチングノイズによる変動や比較器Comp1の持つバラツキによるノイズ成分nが合算されたものが、S信号Vs1としてデジタル化されることになる。
ランプ波Vrmp1の出力と同時に、TG211の制御により、カウンタ制御線に出力される制御パルスpCNTを介してカウンタ回路511をアップカウントするように設定し、N信号Vn1のAD変換時に停止したカウント値からカウント動作を開始する。そして、時刻t17において、ランプ波Vrmp1の出力を終了する。
このとき発生させるランプ波Vramp1は、N信号Vn1のAD変換時と同じ傾きを持つが、比較器Comp1に入力されるS信号Vs1の振幅に対して十分余裕がある振幅でなければならない。そこで、あらかじめ取り得るS信号の最大値を測定しておき、ランプ波Vramp1の振幅を奇数列ランプ波発生部205に設定する。
時刻t08〜t17のどこかで、比較器Comp1に入力されるランプ波Vrmp1の信号レベルとS信号Vs1の信号レベルが一致する。ランプ波Vrmp1の信号レベルとS信号Vs1の信号レベルが一致した時点で、比較器Comp1から比較結果信号をカウンタ回路511に出力する。比較結果信号を受けたカウンタ回路511は、その時点でカウント動作を停止し、カウント値とラッチ信号をラッチ回路512に出力する。
このとき、カウンタ回路511は、あらかじめダウンカウントしておいたN信号Vn1(初期化電圧Vrfにノイズ成分nが合算された電圧レベルに相当)のカウント値からスタートする。そして、ノイズ成分nを含んだS信号Vs1をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs1のカウント値をカウントすることができる。ラッチ信号を受けたラッチ回路512は、その時点でのカウント値を一時的に保持する。
また、時刻t17のランプ波Vrmp1の出力終了にともなって、TG211からラッチ制御線に出力される制御パルスpLTCと演算制御線に出力される制御パルスpCALにより、ラッチ回路512が保持するカウント値を演算回路513に転送する。そして、画素P11のデジタルS信号Ds1として記憶する。すなわち、演算回路513は、デジタルS信号Ds1を記憶して、水平選択線を介した要求に応じてそのまま出力するメモリとして動作する。
以上説明した時刻t08〜t17の期間を画素P11のS信号Vs1のAD変換期間TAs1とする。この期間は、AD変換前のN+S信号Vns1を保持容量C1に保持しておかなければならない保持期間でもある。
以上のような1行目の列信号処理動作において、画素P11を含む1行目の画素の信号がそれぞれ対応する奇数列信号処理部203に読み出されて、AD変換後、演算回路513にデジタル信号として記憶される。
次に、時刻t18〜t22は1行目の水平出力動作期間であり、演算回路513に記憶された1行目の画素のデジタルS信号を出力する。時刻t18〜t22において、TG211が制御線285を介して奇数列水平走査部207を制御し、奇数列選択線251を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1を発生させる。そして、選択された奇数列信号処理部203の演算回路513が記憶している1行目の画素のデジタルS信号DSig1を、奇数列出力線261に出力する。
ここで、S信号Vs1をAD変換している時刻t11において、画素P21を含む2行目の画素からの信号読み出し動作を開始する。
時刻t11において、画素P21を含む2行目の画素のリセット制御線の制御パルスpR2をHighレベルにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。同時に、垂直選択線の制御パルスpSEL2をHighレベルにして選択トランジスタT3をONすることでソースフォロア回路を動作させ、FDノード301の電位に対応する電圧を奇数列信号線231に出力する。
また、同時に、信号選択制御線の制御パルスpS2をHighレベルにして選択スイッチSw4をONすることで、奇数列信号線231に出力された信号を保持容量C4に伝達する。さらに、同時に、初期化制御線の制御パルスpCr2をHighレベルにして初期化スイッチSw5、Sw6をONすることで、比較器Comp2の入力を初期化電圧Vrfに設定する。
時刻t12において、リセット制御線の制御パルスpR2をLowレベルにしてリセットトランジスタT2をOFFする。その後、奇数列信号線231に出力された信号レベルが安定するのを待つ。このとき画素P21から出力される信号Vsigが、FDノード301をリセットした信号となるN信号Vn2である。
そして、奇数列信号線231に出力されたN信号Vn2の信号レベルが安定した時刻t13において、信号選択制御線の制御パルスpS2をLowレベルにして選択スイッチSw4をOFFすることで、保持容量C4にN信号Vn2が保持される。
同時に、初期化制御線の制御パルスpCr2をLowレベルにして初期化スイッチSw5、Sw6をOFFすることで、比較器Comp2の入力電位の初期化を終了する。このとき、結合容量C5は、初期化電圧VrfとN信号Vn2の差分に相当する電位差を保持していることになる。また、結合容量C6は、初期化電圧Vrfとランプ波Vramp2が発生する前の奇数列ランプ波信号線の電圧との差分に相当する電位差をそれぞれ保持していることになる。
以上説明した時刻t11〜t13の期間を画素P21のN信号Vn2の保持動作期間Tn2とする。そして、時刻t13以降において、N信号Vn2のAD変換を実行する。
まず、時刻t13において、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線241にランプ波Vrmp2を出力する。このとき、結合容量C6は、初期化電圧Vrfとランプ波Vrmp2が発生する前の奇数列ランプ波信号線241の電圧との差分に相当する電位差を保持している。そのため、初期化電圧Vrfに対する変化分として、ランプ波Vrmp2が比較器Comp2に入力される。
また、結合容量C2は、初期化電圧VrfとN信号Vn2の差分に相当する電位差を保持している。そのため、初期化電圧Vrfに対する変化分として、N信号Vn2が比較器Compに入力される。そして、比較器Comp2は、入力されたN信号Vn2とランプ波Vramp2とを比較する。
このとき、N信号Vn2に対応する比較器Comp2の入力は、初期化電圧Vrfに初期化されているため、理想的には差分となる信号は存在しないはずである。しかし、実際には、選択スイッチSw4のスイッチングノイズによる変動や比較器Comp2の持つバラツキによるノイズ成分nが発生する。そして、初期化電圧Vrfにこれらのノイズ成分nが合算されたものが、N信号Vn2としてデジタル化されることになる。なお、初期化スイッチSw5、Sw6のスイッチングノイズによる変動は、比較器Comp2の2つの入力それぞれに均等に発生すると仮定でき、比較においてキャンセルされるため、ここでは考慮しないものとする。
ランプ波Vrmp2の出力と同時に、TG211の制御により、カウンタ制御線に出力される制御パルスpCNTを介してカウンタ回路521をダウンカウントするように設定し、カウント動作を開始する。そして、時刻t14において、ランプ波Vrmp2の出力を終了する。
ここで、ランプ波Vrmp2の振幅は、比較器Comp2に入力されるN信号Vn2の振幅に対して十分余裕があればよい。そこで、あらかじめ取り得るN信号(初期化電圧Vrfにノイズ成分nが合算された電圧レベル)の最大値を測定しておき、ランプ波Vrmp2の振幅を奇数列ランプ波発生部205に設定する。
時刻t13〜t14のどこかで、比較器Comp2に入力されるランプ波Vrmp2の信号レベルとN信号Vn2の信号レベル(初期化電圧Vrfにノイズ成分nが合算された電圧レベル)が一致する。ランプ波Vrmp2の信号レベルとN信号Vn2の信号レベルが一致した時点で、比較器Comp2から比較結果信号をカウンタ回路521に出力する。比較結果信号を受けたカウンタ回路521は、その時点でカウンタ動作を停止するとともに、カウンタの状態を保ってカウント値を保持する。
以上説明した時刻t13〜t14の期間を画素P21のN信号Vn2のAD変換期間TAn2とする。この期間は、AD変換前のN信号Vn2を保持容量C4に保持しておかなければならない保持期間でもある。
次に、時刻t15において、転送制御線の制御パルスpT2をHighレベルにして転送トランジスタT1をONすることで、光電変換素子D1に蓄積されている電荷をFDノード301に転送し、光電変換素子D1の信号として奇数列信号線231に出力する。また、同時に、信号選択制御線の制御パルスpS2をHighレベルにして選択スイッチSw4をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C1に伝達する。
続いて、時刻t16において、転送制御線の制御パルスpT2をLowレベルにして転送トランジスタT1をOFFする。その後、奇数列信号線231に出力された信号レベルが安定するのを待つ。このときに画素P21から出力される信号Vsigが、N信号Vn2に光電変換素子D1の電荷を読み出した信号Vs2が加わったN+S信号Vns2である。
そして、奇数列信号線231に出力されたN+S信号Vns2の信号レベルが安定した時刻t17において、信号選択制御線の制御パルスpS2をLowレベルにして選択スイッチSw4をOFFすることで、保持容量C4にN+S信号Vns2が保持される。以上説明した時刻t15〜t17の期間をN+S信号Vns2の保持動作期間Ts2とする。
また、時刻t18において、リセット制御線の制御パルスpR2をHighレベルにしてリセットトランジスタT2をONすることで、FDノード301の電位を電源電圧Vddにリセットする。これにより、奇数列信号線231もリセットされる。そして、FDノード301の電位が十分にリセットされた時刻t19において、リセット制御線の制御パルスpR2をLowレベルにしてリセットトランジスタT2をOFFする。同時に、垂直選択線の制御パルスpSEL2をLowレベルにして選択トランジスタT3をOFFすることで、画素P21を含む2行目の画素と奇数列信号線231を電気的に切り離す。そして、画素P21を含む2行目の画素における次フレームの光電変換素子D1による電荷蓄積が開始される。
さらに、時刻t17以降において、比較器Comp2に入力されたS信号Vs2のAD変換を実行する。まず、時刻t17において、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線241にランプ波Vrmp2を出力する。
ここでも、N信号Vn2のAD変換時と同様に、初期化電圧Vrfに対する変化分として、ランプ波形Vrmp2が結合容量C6を介して比較器Comp2に入力される。また、N+S信号Vns2が結合容量C5を介して比較器Comp2に入力される際に、結合容量C5は、初期化電圧VrfとN信号Vn2の差分に相当する電位差を保持している。そのため、N+S信号Vns2とN信号Vn2との差分であるS信号Vs2が、光電変換素子D1の電荷に対応した信号として比較器Comp2に入力されることになる。すなわち、結合容量C5をクランプ動作に利用したCDSを実現している。そして、比較器Comp2は、入力されたS信号Vs2とランプVrmp2とを比較する。
このとき、N信号Vn2のAD変換時と同様に、選択スイッチSw4のスイッチングノイズによる変動や比較器Comp2の持つバラツキによるノイズ成分nが合算されたものが、S信号Vs1としてデジタル化されることになる。
ランプ波Vrmp2の出力と同時に、TG211の制御により、カウンタ制御線に出力される制御パルスpCNTを介してカウンタ回路521をアップカウントするように設定し、N信号Vn2のAD変換時に停止したカウント値からカウント動作を開始する。そして、時刻t20において、ランプ波Vrmp2の出力が終了する。
このとき発生させるランプ波Vrmp2は、N信号Vn2のAD変換時と同じ傾きを持つが、比較器Comp2に入力されるS信号Vs2の振幅に対して十分余裕がある振幅でなければならない。そこで、あらかじめ取り得るS信号の最大値を測定しておき、ランプ波Vrmp2の振幅を奇数列ランプ波発生部205に設定する。
時刻t17〜t20のどこかで、比較器Comp2に入力されるランプ波Vrmp2の信号レベルとS信号Vs2の信号レベルが一致する。ランプ波Vrmp2の信号レベルとS信号Vs2の信号レベルが一致した時点で、比較器Comp2から比較結果信号をカウンタ回路521に出力する。比較結果信号を受けたカウンタ回路521は、その時点でカウント動作を停止し、カウント値とラッチ信号をラッチ回路522に出力する。
このとき、カウンタ回路521は、あらかじめダウンカウントしておいたN信号Vn2(初期化電圧Vrfにノイズ成分nが合算された電圧レベルに相当)のカウント値からスタートする。そして、ノイズ成分nを含んだS信号Vs2をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs2のカウント値をカウントすることができる。ラッチ信号を受けたラッチ回路522は、その時点でのカウント値を一時的に保持する。
また、時刻t20のランプ波Vrmp2の出力終了にともなって、TG211からラッチ制御線に出力される制御パルスpLTCと演算制御線に出力される制御パルスpCALにより、ラッチ回路522が保持するカウント値を演算回路513に転送する。そして、画素P21のデジタルS信号Ds2として記憶する。すなわち、演算回路513は、デジタルS信号Ds2を記憶して、水平選択線を介した要求に応じてそのまま出力するメモリとして動作する。
以上説明した時刻t17〜t20の期間を画素P21のS信号Vs2のAD変換期間TAs2とする。この期間は、AD変換前のN+S信号Vns2を保持容量C4に保持しておかなければならない保持期間でもある。
以上のような2行目の列信号処理動作において、画素P21を含む2行目の画素の信号がそれぞれ対応する奇数列信号処理部203に読み出されて、AD変換後、演算回路513にデジタル信号として記憶される。
次に、時刻t21〜t23は2行目の水平出力動作期間であり、演算回路513に記憶された2行目の画素のデジタルS信号を出力する。時刻t21〜t23において、TG211が制御線285を介して奇数列水平走査部207を制御し、奇数列選択線251を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH2を発生させる。そして、選択された奇数列信号処理部203の演算回路513が記憶している2行目の画素のデジタルS信号DSig2を、奇数列出力線261に出力する。
以上説明したように、画素P11を含む1行目の画素と画素P21を含む2行目の画素が共通の奇数列信号線231を時分割で利用することで、画素信号の重ね読み動作を実行する。また、奇数列信号処理部203では、2系統のAD変換が可能となっているので、1行目の画素信号と2行目の画素信号の画素読み動作の時間差をもって、2系統のAD変換が実行される。そして、奇数列出力線261も2系統のデジタル出力線を備えているので、演算回路513が記憶している1行目の画素と2行目の画素のデジタルS信号も、同様に時間差をもって出力することになる。
このようにして、所定の順番で選択された奇数列信号処理部203から、時間差を持った2行分の画素のデジタルS信号が出力され、2系統のデジタル出力線を介して奇数列出力部209から並列に出力され、2行分の画素の信号の出力が完了する。
重ね読み動作においては、1行目の画素のS信号Vs1をAD変換している途中の時刻t11において、2行目の画素のN信号Vn2を奇数列信号線231に出力している。このとき、1行目の画素のS信号Vs1の保持期間でもあるAD変換期間TAs1と2行目の画素のN信号Vn2の保持動作期間Tn2が共通期間を持つことで少なくとも一部が重なっている。
また、1行目の画素のS信号Vs1の保持期間でもあるAD変換期間TAs1と2行目の画素のN信号Vn2のAD変換期間TAn2が共通期間を持つことで少なくとも一部が重なっている。さらに、1行目の画素のS信号Vs1をAD変換している途中の時刻t15において、2行目の画素のS信号Vs2を奇数列信号線231に出力している。
このとき、1行目の画素のS信号Vs1の保持期間でもあるAD変換期間TAs1と2行目の画素のS信号Vs2の保持動作期間Ts2が共通期間を持つことで少なくとも一部が重なっている。これにより、1行目の画素のN信号Vn1、S信号Vs1の読み出しとAD変換、2行目の画素のN信号Vn2、S信号Vs2の読み出しとAD変換を順番に実行する場合に比べて、水平同期期間の短縮が可能となっている。そのため、重ね読み動作におけるフレームレートの向上が実現できることになる。
1行目の画素信号の出力が完了した後、時刻t22の水平同期信号により、3行目の読み出し動作が開始されるが、動作は1行目と同様であるので、図5では記載を省略している。以上の動作が、水平同期信号に同期して開始行から2行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は行毎にずれていくことになる。
そして、2行毎に1水平同期期間t01〜t22の動作を繰り返すことで、画素配列201の画素を2行毎に読み出すことができる。
図6は、本実施例に係る撮像素子12の重ね読み動作の連続動作を示す図である。動作Opr1は、奇数行の画素の読み出しからデジタル出力線を介した奇数行のデジタル画素信号DSig1の出力までを示し、動作Opr2は、偶数行の画素の読み出しからデジタル出力線を介した偶数行のデジタル画素信号DSig2の出力までを示す。
また、画素配列201の読み出し画素の行番号をkとする。そして、図5に対応するk行目のN信号Vnkの保持動作期間TnkおよびAD変換期間TAnk、k行目のS信号Vnskの保持動作期間TskおよびAD変換期間TAskを、それぞれnk、Ank、sk、Askとして模式的に表す。
そして、図5の時刻t18〜t22に示す1行目の水平出力動作期間、および、時刻t21〜t23に示す2行目の水平出力動作期間も、同様に、図5に対応するk行目の水平出力動作期間Doutkとして模式的に表す。
図6において、動作Opr1の時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。動作Opr2の時刻s04〜s07の期間は、2行目の画素の信号が奇数列信号線231に読み出される動作期間となっている。これは、図5において説明したように、1行目の画素と2行目の画素が、共通の奇数列信号線231を時分割で利用した画素読み動作を実行することで実現している。
そこで、水平同期信号HDのタイミングを時刻s01、s09、s13として動作させると、動作Opr1では、水平同期信号HDに同期して奇数行の画素を読み出すことになる。そして、動作Opr2では、奇数行の画素が奇数列信号線231に読み出される動作期間の時間差を付けたタイミングである時刻s04、s10、s14から偶数行の画素を読み出すことができる。これより、画素配列201の画素の信号を2行毎に読み出す重ね読み動作を連続して実行できることがわかる。
図7は、本実施例に係る撮像素子12のノイズ低減動作のタイミングを示す図である。なお、図7においては、図5と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。
ノイズ低減動作では、1行目の画素について、FDノード301をリセットしたN信号、および、FDノード301に光電変換素子D1の電荷を読み出したS信号の読み出しを行う。そして、奇数列信号線231を用いて読み出された1行目の画素の信号にアナログデジタル変換処理を実行して、デジタル化した画素信号を出力する。
このときに、奇数列信号処理部203では、2系統のアナログデジタル変換処理が可能となっているので、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。そして、2系統のアナログデジタル変換結果に対して、演算回路514において所定の演算を実行して出力する。このようにして、ノイズ低減動作を繰り返して、画素配列201の画素を読み出すことで、1回の撮影動作を実行することができる。
時刻t01は、あらかじめ設定された露光時間経過後に、ノイズ低減動作を行う水平同期期間の始まりを示す。時刻t02〜t10の期間の画素P11を含む1行目の画素信号読み出し動作については、図5と同じとなっているので、詳細な説明は省略する。
まず、時刻t02において、リセット制御線に出力される制御パルスpR1および垂直選択線に出力される制御パルスpSEL1をHighレベルにする。そして、FDノード301の電位をリセットして、リセットした電位に対応する電圧を奇数列信号線231に出力する。
同時に、信号選択制御線に出力される制御パルスpS1、pS2をHighレベルにして選択スイッチSw1、Sw4をONすることで、奇数列信号線231に出力された信号を保持容量C1、C4に伝達する。
さらに、同時に、初期化制御線に出力される制御パルスpCr1、pCr2をHighレベルにして初期化スイッチSw2、Sw3、Sw5、Sw6をONすることで、比較器Comp1、Comp2の入力を初期化電圧Vrfに設定する。
次に、時刻t03において、リセット制御線に出力される制御パルスpR1をLowレベルにした後、奇数列信号線231に出力された画素P11のN信号Vn1の信号レベルが安定するのを待つ。そして、N信号Vn1の信号レベルが安定した時刻t04において、信号選択制御線に出力される制御パルスpS1、pS2をLowレベルにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1、C4にN信号Vn1が保持される。
同時に、初期化制御線に出力される制御パルスpCr1、pCr2をLowレベルにして初期化スイッチSw2、Sw3、Sw5、Sw6をOFFすることで、比較器Comp1、Comp2の入力電位の初期化を終了する。このとき、結合容量C2、C5は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持していることになる。
また、結合容量C3、C6は、初期化電圧Vrfとランプ波が発生する前の奇数列ランプ波信号線の電圧との差分に相当する電位差をそれぞれ保持していることになる。このときの時刻t02〜t04の期間が画素P11のN信号Vn1の保持動作期間Tn1となる。
そして、時刻t04以降において、N信号Vn1のAD変換を実行する。まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波Vrmp1、Vrmp2を出力する。
このとき、結合容量C3、C6は、初期化電圧Vrfとランプ波が発生する前の奇数列ランプ波信号線の電圧との差分に相当する電位差をそれぞれ保持している。そのため、ランプ波形のみが、結合容量C3、C6を通して、初期化電圧Vrfに対する変化分として、比較器Comp1、Comp2に入力される。そして、すでに入力されているN信号Vn1に対応する比較器Comp1、Comp2の入力と比較される。
このとき、N信号Vn1に対応する比較器Comp1、Comp2の入力は、初期化電圧Vrfに初期化されているため、理想的には差分となる信号は存在しないはずである。しかし、実際には、選択スイッチSw1、Sw4のスイッチングノイズによる変動や、比較器Comp1、Comp2の持つバラツキによるノイズ成分nが合算されたN信号としてデジタル化される。
初期化スイッチSw2、Sw3、Sw5、Sw6のスイッチングノイズによる変動は、比較器Comp1、Comp2の2つ入力それぞれに均等に発生すると仮定できるため、比較においてキャンセルされるのでここでは考えなくてよい。
さらに、ランプ波Vrmp1、Vrmp2の出力と同時に、カウンタ制御線に出力される制御パルスpCNTを介したTG211の制御により、カウンタ回路511、521が、ダウンカウントするように設定し、カウントを開始する。そして、時刻t05において、ランプ波Vrmp1、Vrmp2の出力が終了する。
ランプ波Vrmp1、Vrmp2の振幅は、ノイズ成分nの振幅に対して十分な余裕があればよいので、あらかじめ取り得るノイズ成分nの最大値を測定しておき、奇数列ランプ波発生部205で作成できるように設定しておく。
このとき、時刻t04〜t05までのどこかで、ランプ波Vrmp1、Vrmp2と対応する比較器Comp1、Comp2の入力N信号Vn1がそれぞれ一致する。なお、比較器Comp1、Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波Vrmp1、Vrmp2とN信号Vn1がそれぞれ一致した時点で、比較器Comp1、Comp2から比較結果信号を対応するカウンタ回路511、521に出力する。比較結果信号を受けたカウンタ回路511、521は、それぞれの時点でカウンタを停止させるとともに、カウンタの状態を保ってカウント値を保持する。
このときの時刻t04〜t05の期間が画素P11のN信号Vn1のAD変換期間TAn1となる。この期間は、同時に、N信号Vn1を保持容量C1、C4に保持しておかなければならない保持期間でもある。
次に、時刻t06において、転送制御線に出力される制御パルスpT1をHighレベルにして転送トランジスタT1をONすることで、光電変換素子D1に蓄積している電荷をFDノード301に転送する。そして、光電変換素子D1の信号として奇数列信号線231に出力する。
同時に、信号選択制御線に出力される制御パルスpS1、pS2をHighレベルにして選択スイッチSw1、Sw4をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C1、C4に伝達する。
続いて、時刻t07において、転送制御線に出力される制御パルスpT1をLowレベルにした後、奇数列信号線231に出力された画素P11のN+S信号Vns1の信号レベルが安定するのを待つ。そして、N+S信号Vns1の信号レベルが安定した時刻t08において、信号選択制御線に出力される制御パルスpS1、pS2をLowレベルにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1、C4にN+S信号Vns1が保持される。
このときの時刻t06〜t08の期間がN+S信号Vns1の保持動作期間Ts1となる。同時に、N+S信号Vns1が結合容量C2、C5を介して対応する比較器Comp1、Comp2に入力されるが、結合容量C2、C5は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持している。そのため、N+S信号Vns1とN信号Vn1との差分であるS信号Vs1が、光電変換素子D1の電荷に対応した信号として入力される。これにより、結合容量C2、C5をクランプ動作に利用したCDSを実現していることになる。
1行目の画素信号読み出し動作としては、時刻t09において、リセット制御線に出力される制御パルスpR1をHighレベルにしてFDノード301の電位および奇数列信号線231の信号Vsigをリセットする。
そして、FDノード301の電位が十分にリセットされた時刻t10において、リセット制御線に出力される制御パルスpR1および垂直選択線に出力される制御パルスpSEL1をLowレベルにする。そして、画素P11を含む1行目の画素と奇数列信号線231を電気的に切り離す。
そして、1行目の列信号処理動作としては、時刻t08以降において、比較器Comp1、Comp2に入力したS信号Vs1のAD変換を実行する。まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波Vrmp1、Vrmp2を出力する。このとき発生させるランプ波は、N信号Vn1のAD変換を実行した時と同じ傾きを持つ。ただし、S信号Vs1に相当する振幅に対して十分余裕がある振幅でなければならないので、あらかじめ取り得るS信号の最大値を測定しておき、奇数列ランプ波発生部205で作成できるように設定しておく。
また、N信号Vn1のAD変換時と同様に、ランプ波形のみが、結合容量C3、C6を介して、初期化電圧Vrfに対する変化分として、比較器Comp1、Comp2に入力される。ここで、結合容量C2、C5を介して比較器Comp1、Comp2に入力されるS信号Vs1にも、選択スイッチSw1、Sw4のスイッチングノイズによる変動や、比較器Comp1、Comp2の持つバラツキによるノイズ成分が加わる。
さらに、ランプ波Vrmp1、Vrmp2の出力と同時に、カウンタ制御線に出力される制御パルスpCNTを介したTG211の制御により、カウンタ回路511、521をアップカウントするように設定する。そして、N信号Vn1のAD変換時に停止したカウント値からスタートさせる。そして、時刻t17において、ランプ波Vrmp1、Vrmp2の出力が終了する。
このとき、時刻t08〜t17のどこかで、ランプ波Vrmp1、Vrmp2と対応する比較器Comp1、Comp2の入力S信号Vs1が一致するが、比較器Comp1、Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波Vrmp1、Vrmp2と対応する比較器Comp1、Comp2の入力S信号Vs1がそれぞれ一致した時点で、比較器Comp1、Comp2から比較結果信号を対応するカウンタ回路511、521に出力する。比較結果信号を受けたカウンタ回路511、521は、その時点でのカウント値とラッチ信号を対応するラッチ回路512、522に出力する。
このとき、カウンタ回路511、521は、あらかじめダウンカウントしておいた比較器Comp1、Comp2それぞれの入力N信号Vn1のカウント値からスタートする。そして、比較器Comp1、Comp2のノイズ成分nを含んだS信号Vs1をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs1のみがカウントされる。ラッチ信号を受けたラッチ回路512、522は、その時点でのカウント値を一時的に保持する。
また、時刻t17のランプ波Vrmp1、Vrmp2の出力終了にともなって、ラッチ回路512、522が保持するカウント値それぞれを、画素P11のデジタルS信号Ds1として、演算回路513に転送する。その際、ラッチ制御線に出力される制御パルスpLTCおよび演算制御線に出力される制御パルスpCALを介したTG211により制御される。
このときの時刻t08〜t17の期間がS信号Vs1のAD変換期間TAs1となる。この期間は、同時に、N+S信号Vns1を保持容量C1に保持しておかなければならない保持期間でもある。
ノイズ低減動作においては、演算回路513は、ラッチ回路512、522から転送されてきた画素のデジタルS信号に対して、後述する所定の演算を実行し、その演算結果を記憶する。
以上が、1行目の列信号処理動作となり、画素P11を含む1行目の画素の信号が、それぞれ対応する奇数列信号処理部203に読み出されて、AD変換および演算回路513での演算後、その演算結果をデジタル信号として記憶する。
次に、時刻t18〜t22の期間が、演算回路513に記憶された演算後の1行目の画素のデジタルS信号を出力する1行目の水平出力動作期間となる。
時刻t18〜t22の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、奇数列選択線251を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1を発生させる。そして、選択された奇数列信号処理部203の演算回路513が記憶している演算後の1行目の画素のデジタルS信号DSig1を、奇数列出力線261に出力する。このとき、ノイズ低減動作においては、演算後の1行目の画素のデジタルS信号のみを出力するため、制御パルスpH2は停止させている。
1行目の画素信号の出力が完了した後、時刻t22において、水平同期信号により2行目の読み出し動作が開始されるが、動作は1行目と同様であるので、図7では記載を省略している。以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。
従って、各行の露光期間は行毎にずれていくことになる。そして、1行毎に時刻t01〜t22の1水平同期期間の動作を繰り返すことで、画素配列201の画素を行毎に読み出すことができる。
図8は、本実施例に係る撮像素子12のノイズ低減動作の連続動作を示す図である。なお、図8においては、図6と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。ノイズ低減動作では、図7で説明したように、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。
すなわち、動作Opr1、Opr2ともに、時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。そして、時刻s04〜s07の期間は、1行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。そして、時刻s07において、2系統で同時にアナログデジタル変換処理を実行した1行目の画素の信号に対して、演算回路513において後述する所定の演算を実行する。
時刻s07〜s09の期間では、図7で説明したように、動作Opr1が演算後の1行目の画素のデジタル信号を出力する水平出力動作期間Dout1となっている。そこで、水平同期信号HDのタイミングを時刻s01、s09、s13として動作させると、動作Opr1、Opr2では、行単位で水平同期信号HDに同期して2系統で同時にアナログデジタル変換処理を実行する。そして、動作Opr1で、それぞれ1行目、2行目、3行目の画素を読み出すことができる。これより、画素配列201の画素を行毎に読み出すノイズ低減動作を連続して実行できることがわかる。
図9は、本実施例に係るノイズ低減動作の演算処理を示す図である。図9においては、画素P11を演算処理する場合を例に説明するが、他の画素の演算処理に関しても同様に動作させることができる。
図9(a)のADo1、ADo2は、図7のt17あるいは図8のs07において、ラッチ回路512、522のそれぞれから演算回路513に入力されたデジタルS信号を2進数で表現したものである。LSBを最小桁のビット、MSBを最大桁のビットとすると、下位3ビットで信号が異なっていることがわかる。このとき、2進数ADo1が10進数の731、2進数ADo2が10進数の733となっている。
これは、図7で説明したように、画素P11の信号を異なる比較器Comp1、Comp2を用いてアナログデジタル変換したことによるノイズ成分が、それぞれのデジタルS信号にのっているためである。そこで、演算回路513において、ノイズを低減させる演算処理を実行する。本実施例においては、加算平均によりノイズを低減させることにする。
まず最初に、ADo1、ADo2を加算する。図9(b)のAddが2進数ADo1、ADo2の加算結果であり、10進数では1464となっている。次に、平均化のために2で除算するが、2進数で表現されているので、最小桁方向に1ビットシフトすることで実現できる。図9(c)のAveが加算平均結果であり、ノイズ成分を平均化することで、ノイズ抑圧を実現している。そして、デジタルS信号Dout1として、図8の動作Opr1におけるs07〜s09の期間で出力される。このとき、10進数では732となっている。
ここで、本実施例においては、列回路で発生するノイズとして、比較器のバラツキを例として説明したが、ランプ波においてもノイズ発生源となる可能性がある。ランプ波Vrmp1、Vrmp2は、奇数列ランプ波発生部205から同じ形状のランプ波として出力されるが、比較器Comp1、Comp2に入力されるまでに、位相や振幅の変動およびノイズ等の影響を受けてしまう。これらランプ波Vrmp1、Vrmp2の変動やノイズと比較器Comp1、Comp2のバラツキが合わさることで、比較結果それぞれが異なる時刻で一致してしまうことになる。
そして、これがアナログデジタル変換処理における列回路で発生するノイズとなるが、これらに対しても本実施例の所定の演算処理を実行することでノイズを低減させることができるのは明らかである。
本実施例では、奇数列画素の読み出しと、奇数列信号処理部203、奇数列ランプ波発生部205および奇数列水平走査部207の動作について説明してきた。しかしながら、偶数列画素の読み出しと、偶数列信号処理部204、偶数列ランプ波発生部206および偶数列水平走査部208の動作についても、図5から図8と同様の動作タイミングを用いることで説明できることは明らかである。
これにより、奇数列画素の信号および偶数列画素の信号をそれぞれ奇数列出力部209および偶数列出力部210から並列に出力させることが可能となるため、重ね読み動作、ノイズ低減動作において、フレームレートの向上が図られることになる。
以上のように、本実施例においては、重ね読み動作において、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、奇数行画素の信号読み出し動作と偶数行画素の信号読み出し動作を重ねることで、フレームレートの向上を実現している。
また、ノイズ低減動作において、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。
そして、重ね読み動作による撮像とノイズ低減動作による撮像を必要に応じて切り替えることで、常に撮影動作が遅くなることを避けることができる。
この撮影動作の切り替えは、操作部16において、ユーザが直接選択するようにしてもよい。また、信号処理部13で実行するホワイトバランス調整、色補正、ガンマ補正、AF(Auto Focus)、AE(Auto Exposure)等の各種信号処理に応じて、同期制御部15が適宜選択するようにしてもよい。
さらに、奇数列画素の信号および偶数列画素の信号をそれぞれ異なる出力部から並列に出力させることが可能であるため、重ね読み動作、ノイズ低減動作どちらにおいても、フレームレートのさらなる向上が図られることになる。
次に、本実行形態の変形例について、図10を用いて説明する。なお、図10においては、図8と同じ符号および同じタイミングを流用してノイズ低減動作の変形例を説明する。
時刻s01〜s07の期間では、図8と同様に、1行目の画素読み動作と列信号処理動作が実行される。そして、時刻s07において、ラッチ回路512、522のそれぞれから転送された画素のデジタルS信号を、演算回路513で加算平均して記憶する。
このとき、比較器Comp1、Comp2、カウンタ回路511、521、ラッチ回路512、522が1行目の列信号処理動作から解放されるので、2行目の画素読み動作と列信号処理動作を開始することができる。そこで、時刻s07〜s09の期間では、1行目の水平出力動作Dout1と2行目の画素信号読み出し動作と列信号処理動作を同時に実行する。そして、時刻s09において、2行目の画素のデジタルS信号をラッチ回路512、522から演算回路513に転送する前に、1行目の水平出力動作Dout1が終了するように、TG211がタイミングを制御する。
こうして、水平同期信号HDのタイミングを時刻s01、s07、s09、s11、s13として動作させると、動作Opr1、Opr2では、行単位で水平同期信号HDに同期して2系統で同時にアナログデジタル変換処理を実行する。そして、動作Opr1で、それぞれ1行目、2行目、3行目、4行目、5行目の画素を読み出すことができる。これにより、画素配列201の画素を行毎に読み出すノイズ低減動作の変形例を連続して実行できることがわかる。さらに、画素信号読み出し動作と列信号処理動作を前の行の水平出力動作と同時に実行することで、2倍のフレームレートが実現できる。
以上のように、本実行形態の変形例においては、ノイズ低減動作の変形例において、列信号線毎に設けられた列信号処理手段を用いて、画素読み動作と前の行の水平出力動作の少なくとも一部を重ねる。そうすることで、フレームレートの向上を実現するとともに、2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。これにより、ノイズ抑圧とともに重ね読み動作並みのフレームレートを実現している。
次に、図1から図3に加えて、図11から図14を参照して、本発明の実施例2について説明する。なお、本実施例では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、実施例1と同様であるので、図および符号を流用して説明する。
実施例1においては、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現していた。そこで、本実施例においては、列信号線毎に4系統のアナログデジタル変換手段を設けた場合について、重ね読み動作およびノイズ低減動作を実行する方法について説明する。
図11は、本実施例に係る撮像素子12の奇数列信号処理部203の回路構成を示す図である。本実施例においては、奇数列画素に対応した奇数列信号処理部203を例にして説明する。偶数列画素に対応した偶数列信号処理部204は、奇数列信号処理部203と同様であるので、説明は省略する。
図11の回路は、図4と同様に、保持容量、結合容量、スイッチ、比較器、カウンタ回路、ラッチ回路、演算回路から構成されている。図4が2系統の回路構成となっているのに対して、図11では、4系統の回路構成となっているだけなので、詳細な説明は省略する。
ここで、TG211からの制御線281には、制御パルスpCr3、pCr4を出力する初期化制御線および選択スイッチSw7、Sw10に対応する制御パルスpS3、pS4を出力する信号選択制御線が追加されている。また、奇数列ランプ波発生部205からの奇数列参照信号線241には、ランプ波Vrmp3、Vrmp4を出力する奇数列ランプ波信号線が追加されている。
奇数列水平走査部207からの奇数列選択線251には、制御パルスpH3、pH4を出力するメモリ選択線が追加されている。奇数列出力部209に接続する奇数列出力線261には、デジタル信号DSig3、DSig4を出力するデジタル出力線が追加されている。
本実施例の記載において、スイッチSw1〜Sw12は、接続されている制御線に出力される制御パルスがHighレベルのときに導通し(ON)、Lowのときに遮断する(OFF)ものとする。
図12は、本実施例に係る撮像素子12の重ね読み動作の連続動作を示す図である。本実施例においては、画素配列201に配列された画素200の内の連続する4行毎に4系統の回路構成を用いてアナログデジタル変換処理を実行する場合を例にして説明する。
動作Opr1は、1行目から4行おきに読み出した場合の画素の読み出しからデジタル出力線を介したデジタル画素信号DSig1の出力までを示す。また、動作Opr2は、2行目から4行おきに読み出した場合の画素の読み出しからデジタル出力線を介したデジタル画素信号DSig1の出力までを示す。同様に、動作Opr3は、3行目から4行おきに読み出した場合を示し、動作Opr4は、4行目から4行おきに読み出した場合を示す。
また、図6と同様に、画素配列201の読み出し画素の行番号をkとする。k行目のN信号Vnkの保持動作期間TnkおよびAD変換期間TAnk、k行目のS信号Vskの保持動作期間TskおよびAD変換期間TAsk、水平出力動作期間を、それぞれnk、Ank、sk、Ask、Doutkとして模式的に表す。
図12において、動作Opr1のs01〜s04は、1行目の画素の信号が奇数列信号線231に読み出される動作期間であり、動作Opr2の時刻s04〜s07の期間は、2行目の画素の信号が奇数列信号線231に読み出される動作期間となっている。同様に、動作Opr3の時刻s07〜s08の期間および動作Opr4の時刻s08〜s09の期間は、それぞれ3行目および4行目の画素の信号が奇数列信号線231に読み出される動作期間となっている。
これは、図11において、共通の奇数列信号線231を時分割で利用することで、1行目、2行目、3行目、4行目の画素の信号を、それぞれ対応する保持容量C1、C4、C7、C10に転送する画素読み動作期間を示している。
動作Opr1の時刻s04〜s07の期間、動作Opr2の時刻s07〜s08、動作Opr3の時刻s08〜s09の期間、動作Opr4の時刻s09〜s10の期間は、それぞれ1〜4行目の画素の信号をAD変換するAD変換期間である。そして、対応するラッチ回路512、522、532、542に保持する。
また、AD変換期間終了時点の動作Opr1〜4の時刻s07、s08、s09、s10において、それぞれ1〜4行目の画素のデジタル信号を対応するラッチ回路512、522、532、542から演算回路513に転送する。
動作Opr1〜4の時刻s07〜s09の期間、時刻s08〜s10の期間、時刻s09〜s11の期間、時刻s10〜s12の期間に、1〜4行目の画素のデジタル信号DSig1〜4を、演算回路513から対応するデジタル出力線に出力する。その際、対応する水平選択線に出力される制御パルスpH1〜4により制御される。
そこで、水平同期信号HDのタイミングを時刻s01、s09、s13として動作させると、動作Opr1では、水平同期信号HDに同期して1行目から4行おきに画素を読み出すことになる。そして、動作Opr2では、奇数列信号線231に読み出される動作期間の時間差を付けたタイミングである時刻s04、s10、s14において、2行目から4行おきに画素を読み出すことができる。
同様に、動作Opr3においても、画素読み動作期間の時間差を付けたタイミングである時刻s07、s11において、3行目から4行おきに画素を読み出すことができる。また、同様に、動作Opr4においても、画素読み動作期間の時間差を付けたタイミングである時刻s08、s12において、4行目から4行おきに画素を読み出すことができる。これより、画素配列201の画素を4行毎に読み出す重ね読み動作を連続して実行できることがわかる。
また、4行分の画素を並列に読み出すことができるため、実施例1の2倍のフレームレートが実現できることになる。
図13は、本実施例に係る撮像素子12のノイズ低減動作の連続動作を示す図である。なお、図13においては、図12と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。
ノイズ低減動作では、図11で説明したように、1行目の画素の信号について同時に4系統のアナログデジタル変換処理を実行可能な回路構成を用いている。すなわち、動作Opr1、Opr2、Opr3、Opr4において、時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s04〜s07の期間は、1行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s07において、4系統で同時にアナログデジタル変換処理を実行した1行目の画素の信号に対して、演算回路513において後述する所定の演算を実行する。時刻s07〜s09の期間では、動作Opr1のみが、水平選択線の制御パルスpH1により、演算後の1行目の画素のデジタル信号DSig1をデジタル出力線に出力する水平出力動作期間Dout1となっている。
このとき、水平選択線の制御パルスpH2、pH3、pH4を停止させることにより、動作Opr2、Opr3、Opr4においては、信号を出力しない。そこで、水平同期信号HDのタイミングを時刻s01、s09、s13として動作させる。そうすると、動作Opr1、Opr2、Opr3、Opr4では、行単位で水平同期信号HDに同期して4系統で同時にアナログデジタル変換処理を実行し、動作Opr1で、それぞれ1行目、2行目、3行目の画素を読み出すことができる。これより、画素配列201の画素を行毎に読み出すノイズ低減動作を連続して実行できることがわかる。
図14は、本実施例に係るノイズ低減動作の演算処理を示す図である。図14においては、画素P11を演算処理する場合を例に説明するが、他の画素の演算処理に関しても同様に動作させることができる。
図14(a)のADo1、ADo2、ADo3、ADo4は、図13の時刻s07において、ラッチ回路512、522、532、542のそれぞれから演算回路513に入力されたデジタルS信号を2進数で表現したものである。LSBを最小桁のビット、MSBを最大桁のビットとすると、下位3ビットで信号が異なっていることがわかる。
このとき、2進数ADo1、ADo2、ADo3、ADo4は、それぞれ10進数の731、735、730、732となっている。これは、図11で説明したように、画素P11の信号を異なる比較器Comp1、Comp2、Comp3、Comp4を用いてアナログデジタル変換したことによるノイズ成分が、それぞれのデジタルS信号にのっているためである。
そこで、演算回路513において、ノイズを低減させる演算処理を実行する。本実施例においては、加算平均によりノイズを低減させることにする。
まず最初に、ADo1、ADo2、ADo3、ADo4を加算する。図14(b)のAddが2進数ADo1、ADo2、ADo3、ADo4の加算結果であり、10進数では2928となっている。
次に、平均化のために4で除算するが、2進数で表現されているので、最小桁方向に2ビットシフトすることで実現できる。図14(c)のAveが加算平均結果であり、ノイズ成分を平均化することで、ノイズ抑圧を実現している。そして、デジタルS信号Dout1として、図13の動作Opr1における時刻s07〜s09の期間で出力される。このとき、10進数では732となっている。
ここで、本実施例においては、列回路で発生するノイズとして、比較器のバラツキを例として説明したが、ランプ波においてもノイズ発生源となる可能性がある。ランプ波は、奇数列ランプ波発生部から同じ形状のランプ波として出力されるが、比較器に入力されるまでに、位相や振幅の変動およびノイズ等の影響を受けてしまう。これらランプ波の変動やノイズと比較器のバラツキが合わさることで、比較結果それぞれが異なる時刻で一致してしまうことになる。
そして、これがアナログデジタル変換処理における列回路で発生するノイズとなるが、これらに対しても本実施例の所定の演算処理を実行することでノイズを低減させることができるのは明らかである。本実施例では、奇数列画素の読み出しと、奇数列信号処理部203、奇数列ランプ波発生部205および奇数列水平走査部207の動作について説明してきた。しかしながら、偶数列画素の読み出しと、偶数列信号処理部204、偶数列ランプ波発生部206および偶数列水平走査部208の動作についても、図12、図13と同様の動作タイミングを用いることで説明できることは明らかである。
これにより、奇数列画素の信号および偶数列画素の信号をそれぞれ奇数列出力部209および偶数列出力部210から並列に出力させることが可能となるため、重ね読み動作、ノイズ低減動作において、フレームレートの向上が図られることになる。
以上のように、本実施例においては、重ね読み動作において、列信号線毎に設けられた4系統のアナログデジタル変換手段を用いて、4行分の画素の信号読み出し動作を重ねることで、フレームレートの向上を実現している。
また、ノイズ低減動作において、列信号線毎に設けられた4系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。
そして、重ね読み動作による撮像とノイズ低減動作による撮像を必要に応じて切り替えることで、常に撮影動作が遅くなることを避けることができる。
この撮影動作の切り替えは、操作部16において、ユーザが直接選択するようにしてもよいし、信号処理部13で実行するホワイトバランス調整、色補正、ガンマ補正、AF、AE等の各種信号処理に応じて、同期制御部15が適宜選択するようにしてもよい。
さらに、奇数列画素の信号および偶数列画素の信号をそれぞれ異なる出力部から並列に出力させることが可能であるため、重ね読み動作、ノイズ低減動作どちらにおいても、フレームレートのさらなる向上が図られることになる。
次に、図1から図3、図9、図11、図12に加えて、図15から図17を参照して、本発明の実施例3について説明する。なお、本実施例では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、実施例2と同様であるので、図および符号を流用して説明する。
実施例2においては、列信号線毎に設けられた4系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現していた。そこで、本実施例においては、4系統のアナログデジタル変換手段を用いてフレームレートの向上とノイズ抑圧を実現した、実施例2とは異なるノイズ低減動作を実行する方法について説明する。
図15は、本実施例に係る撮像素子12のノイズ低減動作のタイミングを示す図である。なお、図15においては、図5と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。
ノイズ低減動作では、第1の画素および第2の画素について、FDノード301をリセットしたN信号、および、FDノード301に光電変換素子D1の電荷を読み出したS信号の読み出しを行う。そして、共通の奇数列信号線231を用いて、時間差を付けて読み出された第1の画素の信号および第2の画素の信号にアナログデジタル変換処理を実行して、デジタル化した画素信号を出力する。
ここで、第1の画素を1行目の画素P11とし、N信号、S信号の振幅をそれぞれVn1、Vs1と表現し、N信号を含むS信号の振幅をVns1と表現することにする。また、第2の画素を2行目の画素P21とし、N信号、S信号の振幅を、それぞれVn2、Vs2と表現し、N信号を含むS信号の振幅は、Vns2と表現することにする。
さらに、奇数列信号処理部203では、4系統のアナログデジタル変換処理が可能となっている。そして、画素P11の信号について同時に2系統のアナログデジタル変換処理を実行し、時間差を付けて読み出された画素P21の信号についても同時に2系統のアナログデジタル変換処理を実行する。このようにして、第1の画素を奇数行の画素とし、第2の画素を偶数行の画素として、ノイズ低減動作を繰り返し、画素配列201の画素を読み出すことで、1回の撮影動作を実行することができる。
時刻t01は、あらかじめ設定された露光時間経過後に、ノイズ低減動作を行う水平同期期間の始まりを示す。時刻t02〜t10の期間における画素P11を含む1行目の画素読み動作については、図5と同じとなっているので、詳細な説明は省略する。
まず、時刻t02において、リセット制御線に出力される制御パルスpR1および垂直選択線に出力される制御パルスpSEL1をHighレベルにする。そして、FDノード301の電位をリセットして、リセットした電位に対応する電圧を奇数列信号線231に出力する。
同時に、信号選択制御線に出力される制御パルスpS1、pS2をHighレベルにして選択スイッチSw1、Sw4をONすることで、奇数列信号線231に出力された信号を保持容量C1、C4に伝達する。
図15のノイズ低減動作では、信号選択制御線に出力される制御パルスpS1、pS2として同じ制御パルスが加わるため、pS12と表すことにする。さらに、同時に、初期化制御線に出力される制御パルスpCr1、pCr2をHighレベルにして初期化スイッチSw2、Sw3、Sw5、Sw6をONすることで、比較器Comp1、Comp2の入力を初期化電圧Vrfに設定する。
図15のノイズ低減動作では、初期化制御線に出力する制御パルスpCr1、pCr2として同じ制御パルスが加わるため、pCr12と表すことにする。
次に、時刻t03において、リセット制御線に出力される制御パルスpR1をLowレベルにする。そして、N信号Vn1の信号レベルが安定した時刻t04において、信号選択制御線に出力される制御パルスpS1、pS2をLowレベルにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1、C4にN信号Vn1が保持される。
同時に、初期化制御線に出力される制御パルスpCr1、pCr2をLowレベルにして初期化スイッチSw2、Sw3、Sw5、Sw6をOFFすることで、比較器Comp1、Comp2の入力電位の初期化を終了する。
このときの時刻t02〜t04の期間が画素P11のN信号Vn1の保持動作期間Tn1となる。そして、時刻t04以降において、N信号Vn1のAD変換を実行する。
まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波を出力する。図15のノイズ低減動作では、奇数列ランプ波信号線に同じ波形のランプ波を出力するため、Vrmp12と表すことにする。そして、すでに入力されているN信号Vn1に対応する比較器Comp1、Comp2の入力と比較される。
さらに、ランプ波Vrmp12の出力と同時に、カウンタ制御線に出力される制御パルスpCNTを介したTG211の制御により、カウンタ回路511、521が、ダウンカウントするように設定し、カウントを開始する。そして、時刻t05において、ランプ波Vrmp12の出力が終了する。
このとき、時刻t04〜t05のどこかで、ランプ波Vrmp12とN信号Vn1がそれぞれ一致するが、比較器Comp1、Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波Vrmp12と信号Vn1がそれぞれ一致した時点で、比較器Comp1、Comp2から比較結果信号を対応するカウンタ回路511、521に出力する。比較結果信号を受けたカウンタ回路511、521は、それぞれの時点でカウンタを停止させるとともに、カウンタの状態を保ってカウント値を保持する。このときの時刻t04〜t05の期間が画素P11のN信号Vn1のAD変換期間TAn1となる。
次に、時刻t06において、転送制御線に出力される制御パルスpT1をHighレベルにして転送トランジスタT1をONする。そうすることで、光電変換素子D1に蓄積している電荷をFDノード301に転送し、光電変換素子D1の信号として奇数列信号線231に出力する。
同時に、信号選択制御線に出力される制御パルスpS1、pS2をHighレベルにして選択スイッチSw1、Sw4をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C1、C4に伝達する。
続いて、時刻t07において、転送制御線の制御パルスpT1をLowレベルにした後、奇数列信号線231に出力された画素P11のN+S信号Vns1の信号レベルが安定するのを待つ。そして、N+S信号Vns1の信号レベルが安定した時刻t08において、信号選択制御線の制御パルスpS1、pS2をLowレベルにして選択スイッチSw1、Sw4をOFFすることで、保持容量C1、C4にN+S信号Vns1が保持される。このときの時刻t06〜t08の期間がN+S信号Vns1の保持動作期間Ts1となる。
同時に、N+S信号Vns1が結合容量C2、C5を介して対応する比較器Comp1、Comp2に入力されるが、結合容量C2、C5は、初期化電圧VrfとN信号Vn1の差分に相当する電位差を保持している。そのため、N+S信号Vns1とN信号Vn1との差分であるS信号Vs1信号が、光電変換素子D1の電荷に対応した信号として入力される。これにより、結合容量C2、C5をクランプ動作に利用したCDSを実現していることになる。
1行目の画素信号読み出し動作としては、時刻t09において、リセット制御線の制御パルスpR1をHighレベルにしてFDノード301の電位および奇数列信号線231をリセットする。そして、FDノード301の電位が十分にリセットされた時刻t10において、リセット制御線の制御パルスpR1および垂直選択線の制御パルスpSEL1をLowレベルにして、画素P11を含む1行目の画素と奇数列信号線231を電気的に切り離す。
そして、1行目の列信号処理動作としては、時刻t08以降において、比較器Comp1、Comp2に入力したS信号Vs1のAD変換を実行する。
まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波Vrmp12を出力する。そして、すでに入力されているS信号Vs1に対応する比較器Comp1、Comp2の入力と比較される。
さらに、ランプ波Vrmp12の出力と同時に、カウンタ制御線の制御パルスpCNTを介したTG211の制御により、カウンタ回路511、521をアップカウントするように設定する。それとともに、N信号Vn1のAD変換時に停止したカウント値からスタートさせる。そして、時刻t17において、ランプ波Vrmp12の出力が終了する。
このとき、時刻t08〜t17のどこかで、ランプ波Vrmp12とS信号Vs1が一致するが、比較器Comp1、Comp2のバラツキにより、それぞれが異なる時刻で一致しても構わない。ランプ波Vrmp12とS信号Vs1がそれぞれ一致した時点で、比較器Comp1、Comp2から比較結果信号を対応するカウンタ回路511、521に出力する。比較結果信号を受けたカウンタ回路511、521は、その時点でのカウント値とラッチ信号を対応するラッチ回路512、522に出力する。
このとき、カウンタ回路511、521は、あらかじめダウンカウントしておいた比較器Comp1、Comp2それぞれのN信号Vn1(初期化電圧Vrfにノイズ成分nが合算された電圧レベルに相当)のカウント値からスタートする。そして、ノイズ成分nを含んだS信号Vs1をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs1のみがカウントされる。ラッチ信号を受けたラッチ回路512、522は、その時点でのカウント値を一時的に保持する。
また、時刻t17のランプ波Vrmp12の出力終了にともなって、ラッチ回路512、522が保持するカウント値それぞれを、画素P11のデジタルS信号Ds1として、演算回路513に転送する。その際、ラッチ制御線の制御パルスpLTCおよび演算制御線の制御パルスpCALを介してTG211により制御される。
時刻t08〜t17の期間がS信号Vs1のAD変換期間TAs1となる。この期間は、同時に、N+S信号Vns1を保持容量C1、C4に保持しておかなければならない保持期間でもある。
そして、演算回路513においては、ラッチ回路512、522から転送されてきた画素のデジタルS信号に対して、図9に示す加算平均演算を実行し、ノイズを低減した画素のデジタルS信号を記憶する。
以上が1行目の列信号処理動作となり、画素P11を含む1行目の画素の信号が、それぞれ対応する奇数列信号処理部203に読み出されて、アナログデジタル変換処理および演算回路513での演算処理後、その演算結果をデジタル信号として記憶される。
次に、時刻t18〜t22の期間が、演算回路513に記憶された演算後の1行目の画素のデジタルS信号を出力する1行目の水平出力動作期間となる。時刻t18〜t22の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、それぞれ接続する奇数列選択線251である水平選択線を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1を発生させる。
そして、選択された奇数列信号処理部203の演算回路513が記憶している演算後の1行目の画素のデジタルS信号DSig1を、奇数列出力線261であるデジタル出力線に出力する。このとき、ノイズ低減動作においては、演算後の1行目の画素のデジタルS信号のみを出力するため、水平選択線の制御パルスpH2は停止させている。
ここで、ノイズ低減動作においては、S信号Vs1をAD変換している途中の時刻t11において、画素P21を含む2行目の画素読み動作を開始する。時刻t11〜t19の期間における画素P21を含む2行目の画素読み動作については、図5と同じとなっているので、詳細な説明は省略する。
まず、時刻t11において、リセット制御線の制御パルスpR2および垂直選択線の制御パルスpSEL2をHighレベルにして、FDノード301の電位をリセットして、リセットした電位に対応する電圧を奇数列信号線231に出力する。
同時に、信号選択制御線の制御パルスpS3、pS4をHighレベルにして選択スイッチSw7、Sw10をONすることで、奇数列信号線231に出力された信号を保持容量C7、C10に伝達する。図15のノイズ低減動作では、信号選択制御線に同じ制御パルスが加わるため、pS34と表すことにする。
さらに、同時に、初期化制御線の制御パルスpCr3、pCr4をHighレベルにして初期化スイッチSw8、Sw9、Sw11、Sw12をONすることで、比較器Comp3、Comp4の入力を初期化電圧Vrfに設定する。図15のノイズ低減動作では、初期化制御線の制御パルスpCr3、pCr4として同じ制御パルスが加わるため、pCr34と表すことにする。
次に、時刻t12において、リセット制御線の制御パルスpR2をLowレベルにする。そして、N信号Vn2の信号レベルが安定した時刻t13において、信号選択制御線の制御パルスpS34をLowレベルにして選択スイッチSw7、Sw10をOFFすることで、保持容量C7、C10に伝達されたN信号Vn2が保持される。
同時に、初期化制御線の制御パルスpCr34をLowレベルにして初期化スイッチSw8、Sw9、Sw11、Sw12をOFFすることで、比較器Comp3、Comp4の入力電位の初期化を終了する。このときの時刻t11〜t13の期間が画素P21のN信号Vn2の保持動作期間Tn2となる。
そして、時刻t13以降において、N信号Vn2のAD変換を実行する。まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線に同じ波形のランプ波Vrmp3、Vrmp4を出力する。図15のノイズ低減動作では、奇数列ランプ波信号線のランプ波Vrmp3、Vrmp4として同じ波形のランプ波を出力するため、Vrmp34と表すことにする。そして、すでに入力されているN信号Vn2に対応する比較器Comp3、Comp4の入力と比較される。
さらに、ランプ波Vrmp34の出力と同時に、カウンタ制御線の制御パルスpCNTを介したTG211の制御により、カウンタ回路531、541をダウンカウントするように設定し、カウントを開始する。そして、t14において、ランプ波Vrmp34の出力が終了する。
このとき、時刻t13〜t14のどこかで、ランプ波Vrmp34と対応する比較器Comp3、Comp4に入力されるN信号Vn2がそれぞれ一致するが、比較器Comp3、Comp4のバラツキにより、それぞれが異なる時刻で一致しても構わない。
ランプ波Vrmp34とN信号Vn2がそれぞれ一致した時点で、比較器Comp3、Comp4から比較結果信号を対応するカウンタ回路531、541に出力する。比較結果信号を受けたカウンタ回路531、541は、それぞれの時点でカウンタを停止させるとともに、カウンタの状態を保ってカウント値を保持する。このときの時刻t13〜t14の期間が画素P21のN信号Vn2のAD変換期間TAn2となる。
次に、時刻t15において、転送制御線の制御パルスpT2をHighレベルにして転送トランジスタT1をONすることで、光電変換素子D1に蓄積されている電荷をFDノード301に転送し、光電変換素子D1の信号として奇数列信号線231に出力する。同時に、信号選択制御線の制御パルスpS34をHighレベルにして選択スイッチSw7、Sw10をONすることで、奇数列信号線231に出力された光電変換素子D1の信号を保持容量C7、C10に伝達する。
続いて、時刻t16において、転送制御線の制御パルスpT2をLowレベルにした後、奇数列信号線231に出力された画素P21のN+S信号Vns2の信号レベルが安定するのを待つ。そして、N+S信号Vns2の信号レベルが安定した時刻t17において、信号選択制御線の制御パルスpS34をLowレベルにして選択スイッチSw7、Sw10をOFFすることで、保持容量C7、C10に伝達されたN+S信号Vns2を保持する。このときの時刻t15〜t17の期間がN+S信号Vns2の保持動作期間Ts2となる。
同時に、N+S信号Vns2が結合容量C8、C11を介して対応する比較器Comp3、Comp4に入力されるが、結合容量C8、C11は、初期化電圧VrfとN信号Vn2の差分に相当する電位差を保持している。そのため、N+S信号Vns2とN信号Vn2との差分であるVs2信号が、光電変換素子D1の電荷に対応した信号に相当するS信号として入力される。これにより、結合容量C8、C11をクランプ動作に利用したCDSを実現していることになる。
2行目の画素読み動作としては、時刻t18において、リセット制御線の制御パルスpR2をHighレベルにしてFDノード301の電位および奇数列信号線231をリセットする。そして、FDノード301の電位が十分にリセットされた時刻t19において、リセット制御線の制御パルスpR2および垂直選択線の制御パルスpSEL2をLowレベルにして、画素P21を含む2行目の画素と奇数列信号線231を電気的に切り離す。
そして、2行目の列信号処理動作としては、時刻t17以降において、比較器Comp3、Comp4に入力したS信号Vs2のAD変換を実行する。まず、TG211の制御により奇数列ランプ波発生部205から奇数列ランプ波信号線のランプ波Vrmp3、Vrmp4として、同じ波形のランプ波Vrmp34を出力する。そして、すでに入力されているS信号Vs2に対応する比較器Comp3、Comp4の入力と比較される。
さらに、ランプ波Vrmp34の出力と同時に、カウンタ制御線の制御パルスpCNTを介したTG211の制御により、カウンタ回路531、541をアップカウントするように設定する。それとともに、N信号Vn2のAD変換時に停止したカウント値からスタートさせる。そして、時刻t20において、ランプ波Vrmp34の出力を終了する。
このとき、時刻t17〜t20のどこかで、ランプ波Vrmp34と対応する比較器Comp3、Comp4の入力であるS信号Vs2が一致するが、比較器Comp3、Comp4のバラツキにより、それぞれが異なる時刻で一致しても構わない。ランプ波Vrmp34と対応する比較器Comp3、Comp4の入力であるS信号Vs2がそれぞれ一致した時点で、比較器Comp3、Comp4から比較結果信号を対応するカウンタ回路531、541に出力する。比較結果信号を受けたカウンタ回路531、541は、その時点でのカウント値とラッチ信号を対応するラッチ回路532、542に出力する。
このとき、カウンタ回路531、541は、あらかじめダウンカウントしておいた比較器Comp1、Comp2それぞれのN信号Vn2(初期化電圧Vrfにノイズ成分nが合算された電圧レベルに相当)のカウント値からスタートする。そして、ノイズ成分nを含んだS信号Vs2をアップカウントしているので、ノイズ成分nがキャンセルされたS信号Vs2のみがカウントされる。ラッチ信号を受けたラッチ回路532、542は、その時点でのカウント値を一時的に保持する。
また、時刻t20のランプ波Vrmp34の出力終了にともなって、ラッチ回路532、542が保持するカウント値それぞれを、画素P21のデジタルS信号Ds2として、演算回路513に転送する。その際、ラッチ制御線の制御パルスpLTCおよび演算制御線の制御パルスpCALを介してTG211により制御される。
時刻t17〜t20の期間がS信号Vns2のAD変換期間TAs2となる。この期間は、同時に、N+S信号Vns2を保持容量C7、C10に保持しておかなければならない保持期間でもある。
そして、演算回路513においては、図9に示す加算平均演算を実行し、ノイズを低減した画素のデジタルS信号を記憶する。このとき、図9における2進数ADo1、ADo2を、ラッチ回路532、542から転送されてきた画素のデジタルS信号で置き換えることで、図9に示す演算を実行することができる。
以上が2行目の列信号処理動作となり、画素P21を含む2行目の画素の信号が、それぞれ対応する奇数列信号処理部203に読み出されて、アナログデジタル変換処理および演算回路513での演算処理後、その演算結果をデジタル信号として記憶される。
次に、時刻t21〜t23の期間が、演算回路513に記憶された演算後の2行目の画素のデジタルS信号を出力する2行目の水平出力動作期間となる。時刻t21〜t23の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、それぞれ接続する奇数列選択線251である水平選択線を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH3を発生させる。
そして、選択された奇数列信号処理部203の演算回路513が記憶している演算後の2行目の画素のデジタルS信号DSig3を、奇数列出力線261であるデジタル出力線に出力する。このとき、ノイズ低減動作においては、演算後の2行目の画素のデジタルS信号のみを出力するため、水平選択線の制御パルスpH4は停止させている。
ノイズ低減動作では、画素P11を含む1行目の画素と画素P21を含む2行目の画素が、共通の奇数列信号線231を時分割で利用することで、画素信号読み出し動作を実行している。また、奇数列信号処理部203では、4系統のアナログデジタル変換処理が可能となっている。そのため、1行目の画素信号を同時に2系統でアナログデジタル変換し、画素読み動作の時間差をもって読み出した2行目の画素信号を別の2系統で同時にアナログデジタル変換している。
このとき、2系統でアナログデジタル変換した1行目の画素信号と2行目の画素信号についても、それぞれのアナログデジタル変換処理に、同様の時間差をもって、演算回路513における演算を実行している。そして、奇数列出力線261も2系統のデジタル出力線を備えているので、演算回路513が記憶している1行目の画素のデジタルS信号DSig1と2行目の画素のデジタルS信号DSig3も、同様に時間差をもって出力することになる。
このようにして、所定の順番で選択された奇数列信号処理部203から、時間差を持った2行分の画素のデジタルS信号DSig1、DSig3がデジタル出力線を介して奇数列出力部209から並列に出力され、2行分の画素の信号の出力が完了する。
これにより、1行目の画素のN信号Vn1、S信号Vs1の読み出しとAD変換、および、2行目の画素のN信号Vn2、S信号Vs2の読み出しとAD変換を順番に実行する場合に比べて、水平同期期間の短縮が可能となっている。そのため、ノイズ低減動作におけるフレームレートの向上が実現できることになる。
1行目の画素信号の出力が完了した後、時刻t22の水平同期信号により、3行目の読み出し動作が開始されるが、動作は1行目と同様であるので、図15では記載を省略している。以上の動作が、水平同期信号に同期して開始行から2行ずつ遅延して行われ、各行の画素信号が順次出力される。従って、各行の露光期間は行毎にずれていくことになる。そして、2行毎に1水平同期期間t01〜t22の動作を繰り返すことで、画素配列201の画素を2行毎に読み出すことができる。
図16は、本実施例に係る撮像素子12のノイズ低減動作の連続動作を示す図である。なお、図16においては、図12、図13と同じ符号および同じタイミングを流用してノイズ低減動作を説明する。
ノイズ低減動作では、図15で説明したように、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。すなわち、動作Opr1、Opr2ともに、時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s04〜s07の期間は、1行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s07において、2系統で同時にアナログデジタル変換処理を実行した1行目の画素の信号に対して、演算回路513において加算平均を実行して演算結果を記憶する。時刻s07〜s09では、図15で説明したように、動作Opr1が演算後の1行目の画素のデジタル信号を出力する水平出力動作期間Dout1となっている。
また、時刻s07以降で、2行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。すなわち、動作Opr3、Opr4ともに、時刻s07〜s08の期間は、2行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s08〜s09の期間は、2行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s09において、2系統で同時にアナログデジタル変換処理を実行した2行目の画素の信号に対して、演算回路513において加算平均を実行して演算結果を記憶する。時刻s09〜s11の期間では、図15で説明したように、動作Opr3が演算後の2行目の画素のデジタル信号を出力する水平出力動作期間Dout2となっている。
これは、図15において説明したように、1行目の画素と2行目の画素が、共通の奇数列信号線231を時分割で利用した画素読み動作を実行することで実現している。そこで、水平同期信号HDのタイミングを時刻s01、s09、s13として動作させると、動作Opr1、Opr2では、水平同期信号HDに同期して奇数行の画素を読み出し、2系統で同時にアナログデジタル変換処理を実行することになる。
そして、動作Opr3、Opr4では、奇数行の画素読み動作期間と列信号処理動作期間の時間差を付けたタイミングである時刻s07、s11から偶数行の画素を読み出し、2系統で同時にアナログデジタル変換処理を実行することができる。これにより、画素配列201の画素を2行毎に読み出すノイズ低減動作を連続して実行できることがわかる。
このとき、2行目の画素読み動作を、1行目の画素読み動作終了後の時刻s04ではなく、時刻s07から開始しているのは、奇数行と偶数行の読み出しタイミング差を均等にするためで、各行の露光期間の行毎のずれを均一にすることを目的にしている。
ここで、本実施例においては、列回路で発生するノイズとして、比較器のバラツキを例として説明したが、ランプ波においてもノイズ発生源となる可能性がある。ランプ波は、奇数列ランプ波発生部から同じ形状のランプ波として出力されるが、比較器に入力されるまでに、位相や振幅の変動およびノイズ等の影響を受けてしまう。
これらランプ波の変動やノイズと比較器のバラツキが合わさることで、比較結果それぞれが異なる時刻で一致してしまうことになる。そして、これがアナログデジタル変換処理における列回路で発生するノイズとなるが、これらに対しても本実施例の所定の演算処理を実行することでノイズを低減させることができるのは明らかである。
本実施例では、奇数列画素の読み出しと、奇数列信号処理部203、奇数列ランプ波発生部205および奇数列水平走査部207の動作について説明してきた。しかしながら、偶数列画素の読み出しと、偶数列信号処理部204、偶数列ランプ波発生部206および偶数列水平走査部208の動作についても、図15、図16と同様の動作タイミングを用いることで説明できることは明らかである。
これにより、奇数列画素の信号および偶数列画素の信号をそれぞれ奇数列出力部209および偶数列出力部210から並列に出力させることが可能となるため、重ね読み動作、ノイズ低減動作において、フレームレートの向上が図られることになる。
以上のように、本実施例においては、ノイズ低減動作において、列信号線毎に設けられた4系統のアナログデジタル変換手段を用いて、2行分の画素の信号読み出し動作の少なくとも一部を重ねる。そうすることで、フレームレートの向上を実現するとともに、2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。
これにより、本実施例のノイズ低減動作では、実施例2のノイズ低減動作の2倍のフレームレートが実現できる。
さらに、奇数列画素の信号および偶数列画素の信号をそれぞれ異なる出力部から並列に出力させることが可能であるため、重ね読み動作、ノイズ低減動作どちらにおいても、フレームレートのさらなる向上が図られることになる。
次に、本実行形態の変形例について、図17を用いて説明する。なお、図17においては、図16と同じ符号および同じタイミングを流用してノイズ低減動作の変形例を説明する。ノイズ低減動作の変形例では、図16で説明したように、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。
すなわち、動作Opr1、Opr2ともに、時刻s01〜s04の期間は、1行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s04〜s07の期間は、1行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s07において、2系統で同時にアナログデジタル変換処理を実行した1行目の画素の信号に対して、演算回路513において加算平均を実行して演算結果を記憶する。このとき、比較器Comp1、Comp2、カウンタ回路511、521、ラッチ回路512、522が、1行目の列信号処理動作から解放されるので、3行目の画素読み動作と列信号処理動作を開始することができる。
そこで、時刻s07〜s09の期間では、1行目の水平出力動作Dout1と3行目の画素読み動作と列信号処理動作を同時に実行する。そして、時刻s09において、3行目の画素のデジタルS信号をラッチ回路512、522から演算回路513に転送する前に、1行目の水平出力動作Dout1が終了するように、TG211がタイミングを制御する。同様に、時刻s09以降では、3行目の水平出力動作Dout3と5行目の画素読み動作と列信号処理動作を同時に実行することができる。
また、ノイズ低減動作では、時刻s04以降で、2行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。すなわち、動作Opr3、Opr4ともに、時刻s04〜s07の期間は、2行目の画素の信号が奇数列信号線231に読み出される動作期間である。また、時刻s07〜s08の期間は、2行目の画素の信号が奇数列信号処理部203でアナログデジタル変換される期間となっている。
そして、時刻s08において、2系統で同時にアナログデジタル変換処理を実行した2行目の画素の信号に対して、演算回路513において加算平均を実行して演算結果を記憶する。このとき、比較器Comp3、Comp4、カウンタ回路531、541、ラッチ回路532、542が、2行目の列信号処理動作から解放されるので、4行目の画素読み動作と列信号処理動作を開始することができる。
そこで、時刻s08〜s10の期間では、2行目の水平出力動作Dout2と4行目の画素読み動作と列信号処理動作を同時に実行する。そして、時刻s10において、4行目の画素のデジタルS信号をラッチ回路532、542から演算回路513に転送する前に、2行目の水平出力動作Dout2が終了するように、TG211がタイミングを制御する。
同様に、時刻s10以降では、4行目の水平出力動作Dout4と6行目の画素読み動作と列信号処理動作を同時に実行することができる。これは、図15において説明したように、1行目の画素と2行目の画素が、共通の奇数列信号線231を時分割で利用した画素読み動作を実行することで実現している。
そこで、水平同期信号HDのタイミングを時刻s01、s07、s09、s11、s13として動作させると、動作Opr1、Opr2では、水平同期信号HDに同期して奇数行の画素を読み出し、2系統で同時にアナログデジタル変換処理を実行することになる。そして、動作Opr3、Opr4では、奇数行の画素読み動作期間の時間差を付けたタイミングである時刻s04、s08、s10、s12、s14から偶数行の画素を読み出し、2系統で同時にアナログデジタル変換処理を実行することができる。
これにより、画素配列201の画素を2行毎に読み出すノイズ低減動作の変形例を連続して実行できることがわかる。さらに、画素読み動作と列信号処理動作を前の行の水平出力動作と同時に実行することで、ノイズ低減動作の2倍のフレームレートが実現できる。以上より、ノイズ低減動作の変形例においては、2系統で同時にアナログデジタル変換処理を実行するとともに、図12に示す重ね読み動作並みのフレームレートを実現する。
以上のように、本実行形態の変形例においては、ノイズ低減動作の変形例において、列信号線毎に設けられた列信号処理手段を用いて、画素読み動作と前の行の水平出力動作を重ねることで、フレームレートの向上を実現している。それとともに、2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。これにより、ノイズ抑圧とともに図12に示す重ね読み動作並みのフレームレートを実現している。
次に、図1から図3、および、図5から図9に加えて、図18を参照して、本発明の実施例4について説明する。なお、本実施例では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、実施例1と同様であるので、図および符号を流用して説明する。すなわち、図2に示す撮像素子12の概略構成に対して、図18の回路を適用して、図5および図6に示す重ね読み動作と図7および図8に示すノイズ低減動作を実行する。
実施例1においては、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、列信号処理部に設けた演算回路において加算平均することでノイズ抑圧を実現していた。
これに対して、本実施例においては、列信号処理部と出力部の間に演算回路を設けることで、演算回路を1つで済ませた場合について、重ね読み動作およびノイズ低減動作を実行する方法について説明する。
図18は、本実施例に係る撮像素子12の奇数列信号処理部203の回路構成を示す図である。本実施例においては、奇数列画素に対応した奇数列信号処理部203を例にして説明する。偶数列画素に対応した偶数列信号処理部204は、奇数列信号処理部203と同様であるので、ここでは説明を省略する。
図18の信号処理部は、保持容量、結合容量、スイッチ、比較器、カウンタ回路、ラッチ回路から構成されている。図4の信号処理部から演算回路が削除されているだけなので、信号処理部の詳細な説明は省略する。
ここで、本実施例においては、ラッチ回路512、522が、対応する水平選択線の制御パルスpH1、pH2を介した制御により、保持しているカウント値を対応するデジタル出力線に出力する。デジタル出力線は、奇数列画素に対応した他の奇数列信号処理部203のラッチ回路512、522にもそれぞれ共通に接続される。
演算回路514は、TG211に接続される演算制御線の制御パルスpCALを介した制御により、ラッチ回路512、522から対応するデジタル出力線に出力されたカウント値に対して、図9に示す所定の演算を実行する。また、演算回路514は、演算制御線の制御パルスpCALを介した制御により、所定の演算を施されたカウント値を画素のデジタル信号DSig1’、DSig2’として、奇数列出力線263を介して奇数列出力部209に出力する。偶数列画素に対応した偶数列信号処理部204の演算回路においても偶数列のデジタル出力線がそれぞれ共通に接続されている。
次に、本実施例に係る撮像素子12の重ね読み動作について説明する。重ね読み動作では、第1の画素および第2の画素について、FDノード301をリセットしたN信号、および、FDノード301に光電変換素子D1の電荷を読み出したS信号の読み出しを行う。そして、共通の奇数列信号線231を用いて、時間差を付けて読み出された第1の画素の信号および第2の画素の信号にアナログデジタル変換処理を実行して、デジタル化した画素信号を出力する。
このときに、第1の画素を奇数行の画素とし、第2の画素を偶数行の画素として、重ね読み動作を繰り返し、画素配列201の画素を読み出すことで、1回の撮影動作を実行することができる。
このとき、実施例1においては、図5の時刻t18〜t22の期間が、演算回路513に記憶された1行目の画素のデジタルS信号を出力する1行目の水平出力動作期間となっていた。これに対し、本実施例では、ラッチ回路512に保持された1行目の画素のカウント値を出力する1行目の水平出力動作期間となる。時刻t18〜t22の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、それぞれ接続する奇数列選択線251である水平選択線を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1を発生させる。
そして、選択された奇数列信号処理部203のラッチ回路512が保持している1行目の画素のカウント値DSig1を、奇数列出力線261であるデジタル出力線に出力する。重ね読み動作において、演算回路514は、入力された画素のカウント値に対して、演算を実行せずに、そのまま画素のデジタル信号DSig1’として、デジタル出力線を介して奇数列出力部209に出力する。
同様に、実施例1においては、図5の時刻t21〜t23の期間が、演算回路513に記憶された2行目の画素のデジタルS信号を出力する2行目の水平出力動作期間となっていた。これに対し、本実施例では、ラッチ回路522に保持された2行目の画素のカウント値を出力する2行目の水平出力動作期間となる。
図5の時刻t21〜t23の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御する。そして、それぞれ接続する奇数列選択線251である水平選択線を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH2を発生させる。そして、選択された奇数列信号処理部203のラッチ回路522が保持している2行目の画素のカウント値DSig2を、奇数列出力線261であるデジタル出力線に出力する。
重ね読み動作において、演算回路514は、入力された画素のカウント値に対して、演算を実行せずに、そのまま画素のデジタル信号DSig2’として、デジタル出力線を介して奇数列出力部209に出力する。
重ね読み動作では、画素P11を含む1行目の画素と画素P21を含む2行目の画素が、共通の奇数列信号線231を時分割で利用することで、画素読み動作を実行している。また、奇数列信号処理部203では、2系統のアナログデジタル変換処理が可能となっているので、1行目の画素信号と2行目の画素信号の画素読み動作の時間差をもって、2系統のアナログデジタル変換処理が実行される。
そして、奇数列出力線261も2系統のデジタル出力線を備えているので、ラッチ回路512、522が保持している1行目の画素と2行目の画素のカウント値も、同様に時間差をもって出力することになる。このようにして、所定の順番で選択された奇数列信号処理部203から、時間差を持った2行分の画素のカウント値DSig1、DSig2が出力され、デジタル出力線を介して演算回路514に入力される。
演算回路514においては、演算制御線の制御パルスpCALを介したTG211の制御により、入力された画素のカウント値に対して、演算を実行せずに、そのまま画素のデジタル信号として出力する。そして、デジタル出力線のカウント値DSig1、DSig2が、それぞれデジタル出力線を介して奇数列出力部209からデジタル信号DSig1’、DSig2’として並列に出力され、2行分の画素の信号の出力が完了する。
1行目の画素信号の出力が完了した後、図5の時刻t22の水平同期信号により、3行目の読み出し動作が開始される。以上の動作が、水平同期信号に同期して開始行から2行ずつ遅延して行われ、各行の画素信号が順次出力される。
次に、本実施例に係る撮像素子12のノイズ低減動作について説明する。
ノイズ低減動作では、1行目の画素について、FDノード301をリセットしたN信号、および、FDノード301に光電変換素子D1の電荷を読み出したS信号の読み出しを行う。そして、奇数列信号線231を用いて読み出された1行目の画素の信号にアナログデジタル変換処理を実行して、デジタル化した画素信号を出力する。
このときに、奇数列信号処理部203では、2系統のアナログデジタル変換処理が可能となっているので、1行目の画素の信号について同時に2系統のアナログデジタル変換処理を実行する。そして、2系統のアナログデジタル変換結果に対して、演算回路514において、図9で説明したノイズ低減動作の演算処理を実行して出力する。このようにして、ノイズ低減動作を繰り返して、画素配列201の画素を読み出すことで、1回の撮影動作を実行することができる。
このとき、実施例1においては、図7の時刻t18〜t22の期間が、演算回路513に記憶された演算後の1行目の画素のデジタルS信号を出力する1行目の水平出力動作期間となっていた。これに対し、本実施例では、ラッチ回路512、522に保持された1行目の画素の2系統のカウント値を出力する1行目の水平出力動作期間となる。
図7の時刻t18〜t22の期間においては、TG211が制御線285を介して奇数列水平走査部207を制御して、それぞれ接続する奇数列選択線251を介して奇数列信号処理部203を所定の順番に選択する制御パルスpH1、pH2を発生させる。そして、選択された奇数列信号処理部203のラッチ回路512、522に保持された1行目の画素の2系統のカウント値DSig1、DSig2を対応する奇数列出力線261に出力する。
ノイズ低減動作において、演算回路514は、入力された画素の2系統のカウント値DSig1、DSig2に対して、図9で説明したノイズ低減動作の演算処理を実行する。そして、画素のデジタル信号DSig1’としてデジタル出力線263を介して奇数列出力部209に出力する。このとき、ノイズ低減動作においては、演算後の1行目の画素のデジタルS信号のみを出力する。
1行目の画素信号の出力が完了した後、図7の時刻t22の水平同期信号により、2行目の読み出し動作が開始される。以上の動作が、水平同期信号に同期して開始行から1行ずつ遅延して行われ、各行の画素信号が順次出力される。
ここで、本実施例においては、列回路で発生するノイズとして、比較器のバラツキを例として説明したが、ランプ波においてもノイズ発生源となる可能性がある。ランプ波は、奇数列ランプ波発生部から同じ形状のランプ波として出力されるが、比較器に入力されるまでに、位相や振幅の変動およびノイズ等の影響を受けてしまう。
これらランプ波の変動やノイズと比較器のバラツキが合わさることで、比較結果それぞれが異なる時刻で一致してしまうことになる。そして、これがアナログデジタル変換処理における列回路で発生するノイズとなるが、これらに対しても本実施例の所定の演算処理を実行することでノイズを低減させることができるのは明らかである。
本実施例では、奇数列画素の読み出しと、奇数列信号処理部203および奇数列水平走査部207の動作について説明してきた。しかしながら、偶数列画素の読み出しと、偶数列信号処理部204および偶数列水平走査部208の動作についても、図5から図8と同様の動作タイミングを用いることで説明できることは明らかである。
これにより、奇数列画素の信号および偶数列画素の信号をそれぞれ奇数列出力部209および偶数列出力部210から並列に出力させることが可能となるため、重ね読み動作、ノイズ低減動作において、フレームレートの向上が図られることになる。
また、図10を用いた実施例1の変形例にも、図18の列信号処理部と演算回路を適用可能である。すなわち、時刻s07〜s09の期間の1行目の水平出力動作Dout1に、演算回路514が、入力された画素の2系統のカウント値に対して図9で説明したノイズ低減動作の演算処理を実行する。そして、画素のデジタル信号DSig1’として出力線263を介して奇数列出力部209に出力されることになる。時刻s09〜s11の期間の2行目の水平出力動作Dout2、時刻s11〜s13の期間の3行目の水平出力動作Dout3においても同様な処理を実行すれば良い。
実施例2に対しても、本実施例を適用可能である。すなわち、図11の列信号処理部の演算回路を図18の位置に変更するとともに、演算回路514が、入力された画素の4系統のカウント値に対して、図14で説明したノイズ低減動作の演算処理を実行する。そして、画素のデジタル信号DSig1’として出力線263を介して奇数列出力部209に出力される。
さらに同様に、実施例3に対しても、本実施例を適用可能である。すなわち、図11の列信号処理部の演算回路を図18の位置に変更するとともに、演算回路514が、時間差を設けて入力された2画素それぞれの2系統のカウント値に対して、図9で説明したノイズ低減動作の演算処理を実行する。そして、画素のデジタル信号DSig1’、DSig3’として出力線263を介して奇数列出力部209に出力されることになる。
以上のように、本実施例においては、重ね読み動作において、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、奇数行画素の信号読み出し動作と偶数行画素の信号読み出し動作を重ねることで、フレームレートの向上を実現している。
また、ノイズ低減動作において、列信号線毎に設けられた2系統のアナログデジタル変換手段を用いて、同一画素の信号を同時にアナログデジタル変換した後、加算平均することでノイズ抑圧を実現している。そして、重ね読み動作による撮像とノイズ低減動作による撮像を必要に応じて切り替えることで、常に撮影動作が遅くなることを避けることができる。
この撮影動作の切り替えは、操作部16において、ユーザが直接選択するようにしてもよい。また、信号処理部13で実行するホワイトバランス調整、色補正、ガンマ補正、AF(Auto Focus)、AE(Auto Exposure)等の各種信号処理に応じて、同期制御部15が適宜選択するようにしてもよい。さらに、演算回路を列信号処理部と出力部の間に設けることで、演算回路の削減が可能となっている。
また、奇数列画素の信号および偶数列画素の信号をそれぞれ異なる出力部から並列に出力させることが可能であるため、重ね読み動作、ノイズ低減動作どちらにおいても、フレームレートのさらなる向上が図られることになる。
図19を参照して、本発明の実施例5について説明する。図19は、実施例1〜4で説明した撮像素子12を、上下に積層される2つ以上の半導体チップで構成する場合の構成例を示す図である。図19(a)は斜投影図、図19(b)は各チップの上面図である。
撮像素子12を、2つ以上の半導体チップで構成する場合には、図19に示す様に、イメージセンサ用チップ1300と高速ロジックプロセス用チップ1301がチップレベルで互いに積層されている。
2つの半導体チップのうちの上側に積層されるイメージセンサ用チップ1300には、光電変換部を含む画素配列201が形成される。そして、下側に積層される高速ロジックプロセス用チップ1301には、列AD変換部を含む列信号処理部203、204や水平走査部208、209などデジタルデータを含む高速処理が可能な部分が形成される。
なお、チップ1301には、さらに信号を圧縮符号化する圧縮符号化部、信号を記憶するメモリ、所定の信号処理を行う信号処理部などを形成してもよい。また、図19に示すように、撮像素子12を、積層型イメージセンサで構成する場合には、下チップを、上チップと同一サイズに構成することが要求されることがあるが、必ずしも同一サイズである必要はない。
12 撮像素子
201 画素配列
203 奇数列信号処理部
231 奇数列垂直信号線
513、514 演算回路

Claims (10)

  1. 複数の画素が行列状に配置された画素配列と、
    前記画素配列の列毎に設けられ、第1の画素および第2の画素が接続された列信号線と、
    前記列信号線毎に並列に設けられた第1の信号処理手段および第2の信号処理手段と、
    前記第1の信号処理手段の出力と前記第2の信号処理手段の出力を用いて所定の演算処理を実行する演算手段と、
    を有することを特徴とする撮像装置。
  2. さらに、前記演算手段による演算結果を所定の順番で出力する出力手段を有することを特徴とする請求項1に記載の撮像装置。
  3. さらに、前記第1の信号処理手段および前記第2の信号処理手段を列毎に選択する水平走査手段を有し、
    前記演算手段が、前記水平走査手段により選択された第1の信号処理手段の出力信号と第2の信号処理手段の出力信号を用いて所定の演算処理を実行することを特徴とする請求項1に記載の撮像装置。
  4. 前記演算手段は、入力された信号を加算平均することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記第1の画素の信号を前記第1の信号処理手段で処理する期間および前記演算手段から出力する期間に対して、前記第2の画素の信号を前記第1の信号処理手段で信号処理する期間および前記演算手段から出力する期間の少なくとも一部が重なっていることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記第1の画素の信号を前記第1の信号処理手段で処理する期間に、前記第2の画素の信号を列信号線に読み出すことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記第1の画素の信号を前記演算手段から出力する期間に、前記第2の画素の信号を列信号線に読み出すことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  8. 前記第1の画素の信号を前記演算手段から出力する期間に、前記第2の画素の信号を第1の信号処理手段で処理することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  9. 前記第1の画素の信号を前記第1の信号処理手段で処理する期間と、前記第2の画素の信号を前記第2の信号処理手段で処理する期間の少なくとも一部が重なっていることを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 前記第1の信号処理手段および前記第2の信号処理手段は、アナログデジタル変換処理を実行することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
JP2015065245A 2015-03-26 2015-03-26 撮像装置 Active JP6579771B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015065245A JP6579771B2 (ja) 2015-03-26 2015-03-26 撮像装置
US15/080,301 US10158820B2 (en) 2015-03-26 2016-03-24 Imaging apparatus having image sensor to reduce column noise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015065245A JP6579771B2 (ja) 2015-03-26 2015-03-26 撮像装置

Publications (2)

Publication Number Publication Date
JP2016184904A true JP2016184904A (ja) 2016-10-20
JP6579771B2 JP6579771B2 (ja) 2019-09-25

Family

ID=56975907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015065245A Active JP6579771B2 (ja) 2015-03-26 2015-03-26 撮像装置

Country Status (2)

Country Link
US (1) US10158820B2 (ja)
JP (1) JP6579771B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018074183A (ja) * 2016-10-24 2018-05-10 キヤノン株式会社 固体撮像素子、撮像装置、固体撮像素子の制御方法、プログラム、および、記憶媒体
JP2019534645A (ja) * 2016-11-03 2019-11-28 ビーエイイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレイション・インコーポレーテッド 赤外線センサシステムにおけるフレームレートを改善するための方法および装置
JP2020010177A (ja) * 2018-07-06 2020-01-16 キヤノン株式会社 撮像装置およびその制御方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712774B1 (en) * 2016-01-14 2017-07-18 Omnivision Technologies, Inc. Method and system for implementing dynamic ground sharing in an image sensor with pipeline architecture
JP6929750B2 (ja) * 2017-09-29 2021-09-01 キヤノン株式会社 撮像装置、撮像システム、移動体
JP6704944B2 (ja) * 2018-02-09 2020-06-03 キヤノン株式会社 撮像装置、撮像システム、移動体
TW202015396A (zh) * 2018-08-30 2020-04-16 日商索尼半導體解決方案公司 固態攝像裝置
KR102510671B1 (ko) * 2018-09-21 2023-03-20 에스케이하이닉스 주식회사 램프신호 생성기 및 이를 포함하는 이미지 센서
JP2022144242A (ja) * 2021-03-18 2022-10-03 キヤノン株式会社 光電変換装置、光電変換システムおよび移動体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141610A (ja) * 2006-12-04 2008-06-19 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
JP2009290613A (ja) * 2008-05-29 2009-12-10 Sharp Corp 固体撮像装置およびその駆動方法、並びに電子情報機器
JP2011244452A (ja) * 2010-05-17 2011-12-01 Commissariat A L'energie Atomique Et Aux Energies Alternatives 高ビデオキャプチャレートを有するcmosテクノロジーのイメージセンサ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1428380A2 (en) * 2001-08-17 2004-06-16 Micron Technology, Inc. Doubling of speed in cmos sensor with column-parallel adcs
JP2004312107A (ja) * 2003-04-02 2004-11-04 Olympus Corp 固体撮像装置及びその読み出し方法
JP4470700B2 (ja) 2004-02-23 2010-06-02 ソニー株式会社 Ad変換方法およびad変換装置並びに物理量分布検知の半導体装置および電子機器
JP4290066B2 (ja) 2004-05-20 2009-07-01 キヤノン株式会社 固体撮像装置および撮像システム
JP4193768B2 (ja) * 2004-07-16 2008-12-10 ソニー株式会社 データ処理方法並びに物理量分布検知の半導体装置および電子機器
JP4744343B2 (ja) * 2006-04-10 2011-08-10 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
JP4211849B2 (ja) * 2006-08-31 2009-01-21 ソニー株式会社 物理量検出装置、固体撮像装置及び撮像装置
US7488928B2 (en) * 2007-04-20 2009-02-10 Alexander Krymski Image sensor circuits and methods with multiple readout lines per column of pixel circuits
US8144226B2 (en) * 2008-01-04 2012-03-27 AltaSens, Inc Two-by-two pixel structure in an imaging system-on-chip
JP5038188B2 (ja) * 2008-02-28 2012-10-03 キヤノン株式会社 撮像装置及びそれを用いた撮像システム
JP5374110B2 (ja) * 2008-10-22 2013-12-25 キヤノン株式会社 撮像センサ及び撮像装置
JP5451051B2 (ja) * 2008-12-12 2014-03-26 キヤノン株式会社 撮像装置及び撮像システム
JP5251778B2 (ja) * 2009-08-03 2013-07-31 ソニー株式会社 固体撮像装置、固体撮像装置のアナログ−デジタル変換方法および電子機器
TWI530183B (zh) * 2011-12-08 2016-04-11 Sony Corp An imaging element, a control method, and an imaging device
JP6463944B2 (ja) * 2013-11-25 2019-02-06 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141610A (ja) * 2006-12-04 2008-06-19 Matsushita Electric Ind Co Ltd 固体撮像装置及び撮像システム
JP2009290613A (ja) * 2008-05-29 2009-12-10 Sharp Corp 固体撮像装置およびその駆動方法、並びに電子情報機器
JP2011244452A (ja) * 2010-05-17 2011-12-01 Commissariat A L'energie Atomique Et Aux Energies Alternatives 高ビデオキャプチャレートを有するcmosテクノロジーのイメージセンサ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018074183A (ja) * 2016-10-24 2018-05-10 キヤノン株式会社 固体撮像素子、撮像装置、固体撮像素子の制御方法、プログラム、および、記憶媒体
JP2019534645A (ja) * 2016-11-03 2019-11-28 ビーエイイー・システムズ・インフォメーション・アンド・エレクトロニック・システムズ・インテグレイション・インコーポレーテッド 赤外線センサシステムにおけるフレームレートを改善するための方法および装置
JP2020010177A (ja) * 2018-07-06 2020-01-16 キヤノン株式会社 撮像装置およびその制御方法
JP7210172B2 (ja) 2018-07-06 2023-01-23 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
US20160286144A1 (en) 2016-09-29
JP6579771B2 (ja) 2019-09-25
US10158820B2 (en) 2018-12-18

Similar Documents

Publication Publication Date Title
JP6579771B2 (ja) 撮像装置
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
US8411157B2 (en) Solid-state image pickup device and image pickup device
US11290648B2 (en) Image capture apparatus and control method thereof
CN108605105B (zh) 固体摄像装置以及摄像装置
JP2007104178A (ja) 撮像素子および撮像装置
JP6305169B2 (ja) 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
JP6650715B2 (ja) 撮像素子及びその制御方法、及び撮像装置
JP2016076895A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6750852B2 (ja) 撮像装置及び撮像装置の制御方法
JP2021022921A (ja) 撮像素子、撮像装置、および制御方法
JP6771944B2 (ja) 撮像装置及び撮像装置の制御方法
JP5235701B2 (ja) 撮像装置
JP6600375B2 (ja) 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
JP7294407B2 (ja) 撮像素子、及び、撮像装置
US11064146B2 (en) Image capturing apparatus and control method therefor
JP7334567B2 (ja) 撮像素子、及び、撮像装置
JP7213661B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
WO2015125579A1 (ja) 固体撮像装置および撮像システム
JP6798532B2 (ja) 撮像素子及び撮像装置
JP2020178163A (ja) 撮像装置および撮像装置の制御方法
JP6389693B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2023175436A (ja) 撮像装置およびその制御方法
JP2023138838A (ja) 撮像装置及びその制御方法
JP2021022799A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190827

R151 Written notification of patent or utility model registration

Ref document number: 6579771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151