実施の形態1
説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、CPU、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又は、それらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
図1に実施の形態1にかかるカメラシステム1のブロック図を示す。図1に示すように、カメラシステム1は、ズームレンズ11、絞り機構12、固定レンズ13、フォーカスレンズ14、センサ15、ズームレンズアクチュエータ16、フォーカスレンズアクチュエータ17、信号処理回路18、システム制御MCU19、モニタ、記憶装置を有する。ここで、モニタ及び記憶装置は、カメラシステム1で撮影した画像を確認及び記憶するものであり、これらをカメラシステム1とは切り離した別のシステム上に設けても良い。
ズームレンズ11、絞り機構12、固定レンズ13及びフォーカスレンズ14は、カメラシステム1のレンズ群を構成する。ズームレンズ11は、ズームアクチュエータ16により位置の変更が行われる。フォーカスレンズ14は、フォーカスアクチュエータ17により位置の変更が行われる。そして、カメラシステム1では、各種アクチュエータによりレンズを移動させることでズーム倍率、フォーカスを変更し、かつ、絞り機構12を動作させることで入射光量を変更する。
ズームアクチュエータ16は、システム制御MCU19が出力するズーム制御信号SZCに基づきズームレンズ11を移動させる。フォーカスアクチュエータ17は、システム制御MCU19が出力するフォーカス制御信号SFCに基づきフォーカスレンズ14を移動させる。絞り機構12は、システム制御MCU19が出力する絞り制御信号SDCにより絞り量を調節する。
センサ15は、実施の形態1にかかる撮像素子に該当するものであり、例えば、フォトダイオード等の光電変換素子を有し、当該受光素子から得られた受光画素情報をデジタル値に変換して画素情報Doを出力する。また、センサ15は、センサ15が出力する画素情報Doを解析して画像情報Doの特徴を表す画像特徴情報DCIを出力する機能を追加することも出来る。この画像特徴情報DCIには、実施の形態4で説明するオートフォーカス処理において取得される2つの画像が含まれる。さらに、センサ15は、モジュール制御MCU18から与えられるセンサ制御信号SSCに基づき画素情報Doの画素毎のゲイン制御、画素情報Doの露光制御、及び、画素情報DoのHDR(High Dynamic Range)制御を行う。センサ15の詳細については後述する。
信号処理回路18は、センサ15から受信した画像情報Doに画像補正等の画像処理を施して画像データDimgを出力する。信号処理回路18は、受信した画素情報Doを解析して色空間情報DCDを出力する。色空間情報DCDには、例えば、画素情報Doの輝度情報、及び、色情報が含まれる。なお、画像特徴情報DCIをセンサ15が出力しない場合、信号処理回路18が画像特徴情報DCIを出力する。
システム制御MCU19は、信号処理回路18又はセンサ15から出力される画像特徴情報DCIに基づきレンズ群のフォーカスを制御する。より具体的には、システム制御MCU19は、フォーカス制御信号SFCをフォーカスアクチュエータ17に出力することでレンズ群のフォーカスを制御する。システム制御MCU19は、絞り制御信号SDCを絞り機構12に出力して絞り機構12の絞り量を調節する。さらに、システム制御MCU19は、外部から与えられるズーム指示に従ってズーム制御信号SZCを生成し、ズーム制御信号SZCをズームアクチュエータ16に出力することでレンズ群のズーム倍率を制御する。
より具体的には、ズームアクチュエータ16によりズームレンズ11を移動することでフォーカスがずれる。そこで、システム制御MCU19は、信号処理回路18又はセンサ15から得た画像特徴情報DCIに含まれる2つの画像に基づき2つの物体像間の位置的位相差を算出し、この位置的位相差に基づきレンズ群のデフォーカス量を算出する。システム制御MCU19は、このデフォーカス量に応じて自動的にフォーカスを合わせる。この処理がオートフォーカス制御である。
また、システム制御MCU19は、信号処理回路18が出力する色空間情報DCDに含まれる輝度情報に基づきセンサ15の露出設定を指示する露出制御値を算出して、信号処理回路18から出力される色空間情報DCDに含まれる輝度情報が露出制御値に近づくようにセンサ15の露光設定及びゲイン設定を制御する。このとき、システム制御MCU19は、露出を変更する際に絞り機構12の制御値を算出しても良い。
また、システム制御MCU19は、ユーザーからの指示に基づき画像データDimgの輝度或いは色を調整する色空間制御信号SICを出力する。なお、システム制御MCU19は、信号処理回路18から取得した色空間情報DCDとユーザーから与えられた情報との差分に基づき色空間制御信号SICを生成する。
実施の形態1にかかるカメラシステム1では、センサ15の画素ユニットから画素信号を読み出す際に利用する回路と読み出し制御方法に特徴の1つを有する。また、上述した画素情報Doは、画素ユニットから読み出した画素信号に対してアナログデジタル変換処理を行ったデジタルデータである。そこで、以下では、センサ15についてより詳細に説明する。
図2に実施の形態1にかかるセンサ15のフロアレイアウトの一部の概略図を示す。図2では、センサ15のフロアレイアウトのうちロウコントローラ20、カラムコントローラ21、画素アレイ22のフロアレイアウトのみを示した。
ロウコントローラ20は、格子状に配置された画素ユニット23の活性状態を行毎に制御する。カラムコントローラ21は、格子状に配置された画素ユニット23から読み出される画素信号を列毎に読み出す。カラムコントローラ21には、画素信号を読み出すためのスイッチ回路及び出力バッファが含まれる。また、カラムコントローラ21に含まれる回路はロウコントローラ20が出力する制御信号に基づき動作タイミングが制御される。つまり、実施の形態1にかかるセンサ15では、ロウコントローラ20をカラムコントローラ21のタイミング制御回路として用いる。
画素アレイ22には、画素ユニット23が格子状に配置される。図2に示す例では、各画素ユニット23は、列方向に1個以上の光電変換素子(例えば、フォトダイオードPD)からなるフォトダイオード群を含む。より具体的には、各画素ユニット23は、4つのフォトダイオード(例えば、フォトダイオードPD0〜PD3)により構成される。また、フォトダイオードには、それぞれカラーフィルタが設けられている。図2に示す例では、ベイヤー方式のカラーフィルタの配列を採用する。ベイヤー方式では、輝度信号に寄与する割合の大きい緑色(G)のカラーフィルタが市松状に配置され、残りの部分に赤色(R)及び青色(B)のカラーフィルタが市松状に配置される。別の観点では、カラーフィルタは、複数の画素のうち上下左右方向に隣り合う画素において互いに異なる色を透過するように配置されるとも言える。そして、画素アレイ22は、上記の画素ユニットを単位として動作するため、以下で各画素ユニットの構成及び動作について説明する。
図3に実施の形態1にかかるセンサ15の垂直読み出し線、転送スイッチの構成を説明するブロック図を示す。また、図3では、垂直読み出し線及び転送スイッチの構成をより明確に説明するために画素ユニット23及びカラムコントローラ21に含まれるアナログデジタル変換回路24を示した。また、図3では、2行2列分の画素ユニット及びカラムコントローラ21内の回路のみを示した。また、図3以降の図面では、画素ユニットが配置される行の番号を<>内に示し、列の番号を[]内に示す。
図3に示すように、実施の形態1にかかるセンサ15は、1列に配置された画素ユニットに対して第1の垂直読み出し線(例えば、垂直読み出し線PIXOUT_L)と、第2の垂直読み出し線(例えば、垂直読み出し線PIXOUT_R)と、が設けられる。垂直読み出し線PIXOUT_Lには、第1の画素ユニット(例えば、偶数行目(0行目、2行目、・・・)の画素ユニット)が接続される。垂直読み出し線PIXOUT_Rには、第2の画素ユニット(例えば、奇数行目(1列目、3行目、・・・)の画素ユニット)が接続される。
カラムコントローラ21には、列毎に、第1の画素電流源(例えば、画素電流源Ipx_L)、第2の画素電流源(画素電流源Ipx_R)、第1の転送スイッチ(例えば、転送スイッチ25)、第2の転送スイッチ(例えば、転送スイッチ26)、アナログデジタル変換回路24を有する。
画素電流源Ipx_Lは、垂直読み出し線PIXOUT_Lに対応して設けられ、垂直読み出し線PIXOUT_Lから電流を引き抜く。画素電流源Ipx_Rは、垂直読み出し線PIXOUT_Rに対応して設けられ、垂直読み出し線PIXOUT_Rから電流を引き抜く。転送スイッチ25は、垂直読み出し線PIXOUT_Lの一端に設けられる。転送スイッチ25は、ロウコントローラ20から出力される読み出し線選択信号LINE_SEL_Lに基づき開閉状態が制御される。転送スイッチ26は、垂直読み出し線PIXOUT_Rの一端に設けられる。転送スイッチ26は、読み出し線選択信号LINE_SEL_Lに基づき開閉状態が制御される。
なお、図3では、画素電流源を画素ユニットと画素スイッチの間の垂直読み出し線に設けたが、画素電流源を転送スイッチからアナログデジタル変換回路に至る経路に設けることも考えられる。しかしながら、画素電流源を転送スイッチからアナログデジタル変換回路に至る経路に設けた場合、画素ユニット内の選択トランジスタが遮断状態、かつ、転送スイッチが開状態となっている期間に垂直読み出し線の電位が不安定になり後述する垂直読み出し線へのダークレベルの設定に時間がかかる場合がある。そのため、画素電流源は、画素ユニットと画素スイッチの間の垂直読み出し線に設けることが好ましい。
アナログデジタル変換回路24は、転送スイッチ25及び転送スイッチ26を介して入力される信号の信号レベルに応じたデジタル値を出力する。つまり、アナログデジタル変換回路24は、一組の垂直読み出し線PIXOUT_L、PIXOUT_Rに対して1つ設けられる。
また、図3では、画素電流源に対して並列接続される負荷抵抗Ri(図3中のRi_R、Ri_R)、垂直読み出し線の寄生抵抗Rwire(図3中のRwire_L、Rwire_L)、垂直読み出し線の寄生容量Cline(Cline_L、Cline_R)を示した。
続いて、実施の形態1にかかるセンサ15の画素ユニット23について説明する。図4に実施の形態1にかかる撮像素子内の画素ユニットの回路図を示す。画素アレイ22内に配置される画素ユニット23は、対応する行が異なるのみで、回路としては同じ回路が用いられる。そこで、0行目に配置される画素ユニットを例に画素ユニット23の回路について説明する。
図4に示すように、画素ユニット23は、光電変換素子(例えば、フォトダイオードPD0〜PD3)、転送トランジスタ310〜313、リセットトランジスタ32、増幅トランジスタ33、選択トランジスタ34を有する。なお、転送トランジスタ310〜313、リセットトランジスタ32、増幅トランジスタ33、選択トランジスタ34は、NMOSトランジスタである。
転送トランジスタ310〜313は、フォトダイオードPD0〜PD3に対応した設けられるトランジスタである。転送トランジスタ310〜313は転送制御信号TX0〜TX3により開閉状態が制御されるスイッチとして機能する。転送トランジスタ310〜313は、導通した状態(スイッチの閉状態)となることで、フローティングディフュージョンFDに対応するフォトダイオードに蓄積された電荷を転送する。詳しくは後述するが、実施の形態1にかかるセンサ15では、フォトダイオード毎にフローティングディフュージョンFDに電荷の転送を行うことで画素信号を読み出す制御を行う。
リセットトランジスタ32は、電源配線VDD_PXとフローティングディフュージョンFDとの間に設けられる。リセットトランジスタ32はリセット制御信号RSTにより開閉状態が制御されるスイッチである。実施の形態1にかかるセンサ15では、リセットトランジスタ32を導通した状態とすることで、フローティングディフュージョンFDの電位をリセットレベルとする。
増幅トランジスタ33は、ゲートにフローティングディフュージョンFDが接続され、ドレインが電源配線VDD_PXに接続される。増幅トランジスタ33のソースは、選択トランジスタ34のドレインに接続される。選択トランジスタ34は、ゲートに選択信号SELが入力され、ソースが垂直読み出し線PIXOUT_Lに接続される。増幅トランジスタ33は、フローティングディフュージョンFDの電圧レベルに応じた画素信号を生成する。選択トランジスタ34は選択信号SELにより開閉状態が制御されるスイッチである。実施の形態1にかかるセンサ15では選択トランジスタ34を導通した状態とすることで、増幅トランジスタ33が生成した画素信号を垂直読み出し線PIXOUT_Lに出力する。
続いて、実施の形態1にかかるセンサ15のアナログデジタル変換回路24について説明する。実施の形態1にかかるアナログデジタル変換回路24は、転送スイッチ25と転送スイッチ26とに対して共通に設けられる入力端子を有し、転送スイッチ25を介して入力されるダークレベル信号のデジタル値への変換及び画素信号のデジタル値への変換と、転送スイッチ26を介して入力されるダークレベル信号のデジタル値への変換及び画素信号のデジタル値への変換と、を交互に実施する。つまり、アナログデジタル変換回路24は、入力される信号を入力された順に1つずつデジタル値に変換する。
ここで、図5に実施の形態1にかかるセンサ15のアナログデジタル変換回路24の回路図を示す。図5では、アナログデジタル変換回路24の構成要素を説明するために、ロウコントローラ20を示した。アナログデジタル変換回路24は、ロウコントローラ20に含まれる参照電圧生成回路41、制御信号生成回路42、ランプ信号生成回路43から各種制御信号及び動作に用いる電圧を受け取って動作する。また、アナログデジタル変換回路24は、プログラマブルゲインアンプ(以下、PGAと称す)として機能する増幅器OPと、アナログデジタル変換器として動作するコンパレータCMPを有する。
図5に示すように、アナログデジタル変換回路24は、増幅器OP、比較器CMP、コンデンサC1〜C4、スイッチSW1、SW2を有する。増幅器OPは、反転入力端子にコンデンサC1を介して画素信号が入力される。増幅器OPの出力端子と反転入力端子との間にはコンデンサC2が設けられる。そして、増幅器OPの正転入力端子には、参照電圧生成回路41からPGA参照電圧が与えられる。コンデンサC1は、制御信号生成回路42が出力するPGAゲイン設定信号により容量値が決定される可変容量である。ここで、増幅器OP、コンデンサC1、C2は、プログラマブルゲインアンプとして機能する。このプログラマブルゲインアンプは、PGAゲイン設定信号によりコンデンサC1とコンデンサC2との容量比を変化させることで、画素信号の増幅率を可変する。
比較器CMPは、反転入力端子と接地配線との間にコンデンサC4が接続され、正転入力端子がスイッチSW1を介して増幅器OPの出力端子と接続される。比較器CMPの正転入力端子にはコンデンサC3の一端が接続される。コンデンサC3の他端にはランプ信号生成回路43からランプ信号が入力される。また、比較器CMPの反転入力端子と出力端子との間にはスイッチSW2が接続される。スイッチSW1は、制御信号生成回路42が出力するADCサンプリングパルス信号により開閉状態が制御される。スイッチSW2は、制御信号生成回路42が出力するADCオートゼロパルス信号により開閉状態が制御される。また、アナログデジタル変換器11は、比較器CMPの出力値に応じて基準クロックをカウントするカウンタを有する。この基準クロックは図示を省略した発振回路等が出力するものである。アナログデジタル変換回路24は、ランプ信号の信号レベルと画素信号の信号レベルとの大小関係が反転したことに応じてカウンタのカウント動作を停止して、停止時点でカウンタが出力するカウント値をデジタル値として出力する。
ここで、比較器CMP、コンデンサC3、C4は、シングルスロープ積分型AD変換回路として機能する。シングルスロープ積分型AD変換回路は、比較器CMPの出力値をカウントするカウンタのカウント値と相関を有するランプ信号を参照基準電圧とする。そしてシングルスロープ積分型AD変換回路は、ランプ信号を比較器CMPに入力し、変換対象のアナログ信号とこのランプ信号とを比較し、両者が一致した時点でのカウント値を保持し、これをAD変換結果として出力する。なお、図5に示す例では、コンデンサC3、C4にプログラマブルゲインアンプ側から入力される画素信号のアナログレベルを保持する。そして、実施の形態1にかかるシングルスロープ積分型AD変換回路では、コンデンサC3の他端に与えたランプ信号の電圧レベルを変化させながら2つのコンデンサに蓄積された電荷により生じた電圧の比較を行う。
続いて、実施の形態1にかかるセンサ15の動作について説明する。実施の形態1にかかるセンサ15では、奇数行目の画素ユニット23と偶数行目の画素ユニット23とを対となる2本の垂直読み出し線のうち異なる垂直読み出し線に接続し、2本の垂直読み出し線の一端に設けた転送スイッチをオン(閉状態)する。これにより、実施の形態1にかかるセンサ15は、画素ユニット23から読み出した画素信号の変換処理と、垂直読み出し線をダークレベルとするリセット処理と、を並列して行う。
そこで、図6に実施の形態1にかかるセンサ15の第1の動作例を説明するタイミングチャートを示す。なお、図6に示す各動作の切り替えタイミング及び各処理毎の回路状態はタイミング制御回路として機能するロウコントローラ20により制御されるものとする。
図6に示すように、実施の形態1にかかるセンサ15では、0行目の画素ユニット23から画素信号の読み出し処理と、1行目の画素ユニット23からの画素信号の読み出しを交互に行う。
図6に示す例では、タイミングTB0〜TB10間での期間は読み出し線選択信号LINE_SEL_L、LINE_SEL_Rをいずれもロウレベルとする。そして、タイミングTB0〜TB1の期間においてリセット制御信号RST<0>及び選択信号SEL<0>を立ち上げる。これにより、0行目の画素ユニット23内のフローティングディフュージョンFDをダークレベルにリセットする(図中のRST)。続いて、タイミングTB1において、リセット制御信号RST<0>をハイレベルからロウレベルに切り替えてフローティングディフュージョンFDのリセットを終了する。その後のタイミングTB1からTB10の期間は、選択信号SEL<0>をハイレベルに維持して、フローティングディフュージョンFDのダークレベルに基づき、垂直読み出し線PIXOUT_Lにダークレベルを読み出す(図6中のLINE DARK)。垂直読み出し線PIXOUT_Lのリセット処理は、タイミングTB0から開始されるが、垂直読み出し線PIXOUT_Lは、フローティングディフュージョンFDに比べて容量が大きいため、フローティングディフュージョンFDよりもリセットに時間がかかるためである。
続いて、タイミングTB10からタイミングTB11にかけて読み出し線選択信号LINE_SEL_Lをロウレベルからハイレベルに切り替える。このとき、読み出し線選択信号LINE_SEL_Rはロウレベルを維持する。これにより転送スイッチ25がオン状態となり、転送スイッチ26はオフ状態を維持する。ここで、転送スイッチ25がオフ状態からオン状態に切り替える際に転送スイッチ25を構成するトランジスタのゲートの電圧変化に伴う読み出し線選択信号LINE_SEL_L及び転送スイッチ25とアナログデジタル変換回路24とを接続する配線にノイズが発生するインジェクションが生じる。そのため、このインジェクションによるノイズが収束した後からセンサ15は、アナログデジタル変換処理を開始する。このインジェクションは、転送スイッチ25、26をオン状態からオフ状態に切り替える際、及びオフ状態からオン状態に切り替える際に発生する。そのため、センサ15では、タイミングTB11以降の動作においてもこのインジェクション期間にアナログデジタル変換処理を行わないように動作タイミングが制御される。
そして、タイミングTB11からタイミングTB12の期間に垂直読み出し線PIXOUT_Lからアナログデジタル変換回路24にダークレベルを転送する(図6中のADC DARK)。その後、タイミングTB12からタイミングTB13の期間に転送制御信号TX0<0>をハイレベルとしてフォトダイオードPD0で発生した電荷を0行目の画素ユニット23のフローティングディフュージョンFDに転送する(図6中のTX)。続いて、タイミングTB13からタイミングTB20の期間に、0行目の画素ユニット23のフローティングディフュージョンFDの読み出した電荷に基づき生成される画素信号を垂直読み出し線PIXOUT及びアナログデジタル変換回路24に転送する(図6中のSIG)。
センサ15では、1つの画素信号の出力に要する時間を1H時間と称す。図6に示す例では1H時間は、タイミングTB10からタイミングTB20の間の時間である。また、タイミングTB20からタイミングTB30、タイミングTB30からタイミングTB40、タイミングTB40からタイミングTB50の時間は、タイミングTB10からタイミングTB20と同じ時間となる。
また、実施の形態1にかかるセンサ15では、ダークレベルと画素信号との差分を画素信号の値として最終的な画素情報Doを生成する。これにより、実施の形態1にかかるセンサ15では、ダークレベルの信号に重畳されるノイズを除去したノイズレベルの小さい画素情報Doを出力する。
また、実施の形態1にかかるセンサ15では、タイミングTB10からタイミングTB20の期間において、オフ状態とされる転送スイッチ26に対応する垂直読み出し線PIXOUT_Rのリセット動作を行う。具体的には、タイミングTB10からタイミングTB11のインジェクション期間にリセット制御信号RST<1>及び選択信号SEL<1>をロウレベルからハイレベルに切り替えることで、1行目の画素ユニット23のフローティングディフュージョンFDをダークレベルとする。また、タイミングTB12からタイミングTB20の期間に、1行目の画素ユニット23内のダークレベルを垂直読み出し線PIXOUT_Rに読み出す。
続いて、タイミングTB20からタイミングTB30の期間は、画素信号の読み出しを行う垂直読み出し線と、リセット処理を行う垂直読み出し線とをタイミングTB10からタイミングTB20とは入れ替えて、タイミングTB10からタイミングTB20の処理を行う。具体的には、転送スイッチ25をオフ状態、かつ、転送スイッチ26をオン状態として、垂直読み出し線PIXOUT_Rに読み出されたダークレベルのアナログデジタル変換回路24への転送と、1行目の画素ユニット23内でのフォトダイオードPD0からフローティングディフュージョンFDへの電荷の転送と、垂直読み出し線PIXOUT_R及びアナログデジタル変換回路24への画素信号の読み出しを行う。また、0行目の画素ユニット23においては、0行目の画素ユニット23内のフローティングディフュージョンFDをダークレベルとするリセット処理及び垂直読み出し線PIXOUT_Lへのダークレベルの読み出しを行う。
続いて、タイミングTB30からタイミングTB40の期間は、画素信号の読み出しを行う垂直読み出し線と、リセット処理を行う垂直読み出し線とをタイミングTB20からタイミングTB30とは入れ替えて、タイミングTB20からタイミングTB30の処理を行う。具体的には、転送スイッチ25をオン状態、かつ、転送スイッチ26をオフ状態として、垂直読み出し線PIXOUT_Lに読み出されたダークレベルのアナログデジタル変換回路24への転送と、0行目の画素ユニット23内でのフォトダイオードPD1からフローティングディフュージョンFDへの電荷の転送と、垂直読み出し線PIXOUT_R及びアナログデジタル変換回路24への画素信号の読み出しを行う。また、1行目の画素ユニット23においては、1行目の画素ユニット23内のフローティングディフュージョンFDをダークレベルとするリセット処理及び垂直読み出し線PIXOUT_Rへのダークレベルの読み出しを行う。
続いて、タイミングTB20からタイミングTB30の期間は、画素信号の読み出しを行う垂直読み出し線と、リセット処理を行う垂直読み出し線とをタイミングTB10からタイミングTB20とは入れ替えて、タイミングTB10からタイミングTB20の処理を行う。具体的には、転送スイッチ25をオフ状態、かつ、転送スイッチ26をオン状態として、垂直読み出し線PIXOUT_Rに読み出されたダークレベルのアナログデジタル変換回路24への転送と、1行目の画素ユニット23内でのフォトダイオードPD0からフローティングディフュージョンFDへの電荷の転送と、垂直読み出し線PIXOUT_R及びアナログデジタル変換回路24への画素信号の読み出しを行う。また、0行目の画素ユニット23においては、0行目の画素ユニット23内のフローティングディフュージョンFDをダークレベルとするリセット処理及び垂直読み出し線PIXOUT_Lへのダークレベルの読み出しを行う。
続いて、タイミングTB40からタイミングTB50の期間は、画素信号の読み出しを行う垂直読み出し線と、リセット処理を行う垂直読み出し線とをタイミングTB30からタイミングTB40とは入れ替えて、タイミングTB30からタイミングTB40の処理を行う。具体的には、転送スイッチ25をオフ状態、かつ、転送スイッチ26をオン状態として、垂直読み出し線PIXOUT_Lに読み出されたダークレベルのアナログデジタル変換回路24への転送と、1行目の画素ユニット23内でのフォトダイオードPD1からフローティングディフュージョンFDへの電荷の転送と、垂直読み出し線PIXOUT_R及びアナログデジタル変換回路24への画素信号の読み出しを行う。また、1行目の画素ユニット23においては、1行目の画素ユニット23内のフローティングディフュージョンFDをダークレベルとするリセット処理及び垂直読み出し線PIXOUT_Rへのダークレベルの読み出しを行う。
なお、実施の形態1にかかるセンサ15では、ダークレベル及び画素信号の転送を受けたアナログデジタル変換回路24は、転送された信号レベルをデジタル値に変換して画素出力値DOUTを出力する。つまり、実施の形態1にかかるセンサ15では、タイミング制御回路(例えば、ロウコントローラ20)が、リセット処理と、変換出力処理とが1つの期間内で並列して行われるように画素ユニット、転送スイッチ25、26、及びアナログデジタル変換回路24を制御する。ここで、リセット処理では、転送スイッチ25と転送スイッチ26とのうち遮断状態に制御された転送スイッチに接続されるリセット対象垂直読み出し線と、リセット対象垂直読み出し線に接続される画素ユニット内のフローティングディフュージョンと、の信号レベルをダークレベルにリセットする。また、出力変換処理では、転送スイッチ25と転送スイッチ26とのうち導通状態に制御された転送スイッチに接続される読み出し対象垂直読み出し線から出力されるダークレベルを有するダークレベル信号のデジタル値への変換、読み出し対象垂直読み出し線に接続される画素ユニットからアナログデジタル変換回路への画素信号の出力、及び、画素信号のデジタル値への変換を行う。
図6で説明したタイミングチャートは一例であり、センサ15の動作として別の動作タイミングを考えることもできる。そこで、図7に実施の形態1にかかるセンサ15の第2の動作例を説明するタイミングチャートを示す。図7に示す例では、オフ状態に制御される垂直読み出し線に接続される画素ユニット23内のフローティングディフュージョンFDのリセットタイミングが図6に示した例と異なる。具体的には、図7に示す例では、オン状態とされる転送スイッチに対応する垂直読み出し線に接続される画素ユニット23内のフローティングディフュージョンFDにフォトダイオードの電荷を転送するタイミングで、オフ状態とされる転送スイッチに対応する垂直読み出し線に接続される画素ユニット23内のフローティングディフュージョンFDのリセット処理を行う。また、図7に示す例では、オン状態とされる転送スイッチに対応する垂直読み出し線に接続される画素ユニット23内からアナログデジタル変換回路24に画素信号を転送するタイミングで、オフ状態とされる転送スイッチに対応する垂直読み出しのリセット処理を行う。
上述したように、垂直読み出し線に対するリセット処理は、様々なタイミングで行う事が考えられるが、好ましくないリセット処理のタイミングもある。そこで、好ましくない動作タイミングとして、図8に実施の形態1にかかる撮像素子の第3の動作例を説明するタイミングチャートを示す。図8に示す例では、オン状態とされる転送スイッチに対応する垂直読み出し線に読み出されたダークレベルをアナログデジタル変換回路24に転送する期間内にリセット制御信号の立ち上がりタイミングがある。また、図8に示す例では、オン状態とされる転送スイッチに対応する垂直読み出し線に接続される画素ユニット23内からアナログデジタル変換回路24に画素信号を転送するタ期間内にリセット制御信号の立ち下がりタイミングがある。このように、アナログデジタル変換回路24に変換対象の信号を転送している期間内にリセット制御信号RST等の論理レベルの切り替えが発生すると、センサ15内の電流消費量がアナログデジタル変換回路24の変換処理中に増加することに伴い電源ノイズが大きくなる。このような電源ノイズの増大は、アナログデジタル変換回路24の変換処理結果に誤差を生じさせることになる問題を有する。このようなことから、実施の形態1にかかるセンサ15では、ロウコントローラ20は、アナログデジタル変換回路がアナログ値を有する信号をデジタル値に変換するアナログデジタル変換処理を行っている期間以外の期間において画素ユニットにリセット動作を指示するリセット制御信号の論理レベルを切り替える。
また、実施の形態1にかかるセンサ15では、垂直読み出し線のリセット処理と、アナログデジタル変換回路24への信号転送処理とを、並列させることなく、画素ユニット毎に垂直読み出し線のリセット処理と、アナログデジタル変換回路24への信号転送処理とを、連続して行うこともできる。そこで、図9に実施の形態1にかかるセンサ15の第4の動作例を説明するタイミングチャートを示す。図9に示す例では、画素信号を読み出す対象の画素ユニットに対する垂直読み出し線のリセット処理と、アナログデジタル変換回路24への信号転送処理とが終了するまで他の画素ユニットに対する操作は行われない。また、図9に示す例では、垂直読み出し線へのダークレベルの読み出しとダークレベルのアナログデジタル変換回路24への転送が1つの処理として行われる。そのため、図9では、ダークレベルのアナログデジタル変換回路24の読み出しをDARKで示した。また、図9に示す例では、画素信号は、0行目の画素ユニット23のフォトダイオードPD0、1行目の画素ユニット23のフォトダイオードPD0、0行目の画素ユニット23のフォトダイオードPD1、1行目の画素ユニット23のフォトダイオードPD1の順で読み出される。このとき、画素信号の読み出し対象となっていない画素ユニット23が接続される垂直読み出し線はブランク状態となる。
ここで、実施の形態1にかかるセンサ15において、垂直読み出し線のリセット処理と、アナログデジタル変換回路24への信号転送処理とを、並列して行った場合の読み出し時間の短縮効果について説明する。
まず、図9に示した例のように、垂直読み出し線へのダークレベルの読み出しとアナログデジタル変換回路24へのダークレベルの転送を1つの処理として行った場合において、アナログデジタル変換回路24の入力容量をダークレベルとするときの静定時間x(t)を(1)式に示す。ここで、静定時間とは、信号レベルが最低電圧レベル(例えば、接地電圧)からダークレベルとして想定される信号レベルの90%の電圧となるまでの時間である。また、以下の説明では、gmを増幅トランジスタ33のトランスコンダクタンス、Rwireを垂直読み出し線の寄生抵抗の抵抗値、Clineを垂直読み出し線の寄生容量の容量値、抵抗Riを垂直読み出し線に接続される負荷抵抗の抵抗値、C_ADCをアナログデジタル変換回路24の入力容量の容量値、tを時間とする。
一方、図6で示した例のように、垂直読み出し線へのダークレベルの読み出しとアナログデジタル変換回路24へのダークレベルの転送を別個の処理として行った場合において、垂直読み出し線をダークレベルとするときの静定時間x_line(t)を(2)式に示す。
また、図6で示した例のように、垂直読み出し線へのダークレベルの読み出しとアナログデジタル変換回路24へのダークレベルの転送を別個の処理として行った場合において、アナログデジタル変換回路24の入力容量をダークレベルとするときの静定時間x_ADC(t)を(3)式に示す。
(1)式と(3)式を比較すると、(3)式は、分子の容量値に関する項が(1)式よりも小さくなっている。つまり、垂直読み出し線へのダークレベルの読み出しとアナログデジタル変換回路24へのダークレベルの転送を並列、かつ、別個の処理として行った場合、1H時間に内のダークレベル読み出しに要する時間を短くすることができる。また、(2)式で示す静定時間x_lineは、画素信号が垂直読み出し線の寄生容量及びアナログデジタル変換回路24の入力容量を充電しながら読み出されることを考えると、画素信号の読み出し時間よりも短くなることが分かる。つまり、実施の形態1にかかるセンサ15において、垂直読み出し線へのダークレベルの読み出しとアナログデジタル変換回路24へのダークレベルの転送を並列、かつ、別個の処理として行うことで、垂直読み出し線へのダークレベルの読み出しとアナログデジタル変換回路24へのダークレベルの転送を1つの処理として実行する場合よりも1H時間を短くすることができる。
上記説明より、実施の形態1にかかるセンサ15では、同一の列に配置される画素ユニットを2つのグループに分類する。そして、実施の形態1にかかるセンサ15は、一方のグループに属する画素ユニットから出力されるダークレベル及び画素信号をアナログデジタル変換回路24に読み出すアナログデジタル変換処理と、他方のグループに属する画素ユニットが出力するダークレベルで対応する垂直読み出し線をリセットするリセット処理と、を並列して行う。また、実施の形態1にかかるセンサ15では、2つのグループの間でアナログデジタル変換処理とリセット処理とを交互に行う。これにより、実施の形態1にかかるセンサ15では、一方のグループに属する画素ユニットから出力されるダークレベルをアナログデジタル変換回路24に転送する前に垂直読み出し線の電圧がダークレベルに設定された状態となり、アナログデジタル変換回路24へのダークレベルの転送時間を短縮することができる。また、実施の形態1にかかるセンサ15では、アナログデジタル変換処理とリセット処理とを並列して行うことで、1画素分の画素信号の読み出しに必要な1H時間内に行う処理をアナログデジタル変換処理に要する時間に限りなく近づけ、1H時間を短縮することができる。
つまり、実施の形態1にかかるセンサ15では、1画素の画素信号の読み出しに要する時間を短縮することができる。また、実施の形態1にかかるセンサ15では、1画素分の画素信号の読み出し時間を短縮できるため、所定の期間内に読み出すことが出来る画素数を増加させることができる。発明者らの検討では、垂直読み出し線へのダークレベルの読み出しとアナログデジタル変換回路24へのダークレベルの転送を並列、かつ、別個の処理として行った場合、垂直読み出し線へのダークレベルの読み出しとアナログデジタル変換回路24へのダークレベルの転送を1つの処理として行った場合に比べて10〜20%程度の時間短縮効果があることが確認されている。
また、画素信号の読み出し速度を高速化することを考えた場合、異なる画素ユニットから読み出した画素信号を複数のアナログデジタル変換回路を用いて並列して変換処理することが考えられる。しかし、この場合、1列当たりのアナログデジタル変換回路の数が増加する問題が生じる。これに対して、実施の形態1にかかるセンサ15では、一列の画素ユニットに対して設けられるアナログデジタル変換回路24は1つである。そのため、実施の形態1にかかるセンサ15は、回路規模を増加させることなく画素信号の読み出し速度の高速化を実現することができる。特に近年センサ15の画素数が増加しており、回路規模の抑制する要求が高くなっているため、回路規模を増加させることなく読み出し速度を高速化できる効果は大きい。
実施の形態2
実施の形態2では、画素ユニット23の別の形態となる画素ユニット23aを説明する。画素ユニット23aは、2つのフォトダイオードを含む画素ユニットである。また、実施の形態2では、画素ユニット23aを含むセンサ15をセンサ15aと称す。そこで、図10に実施の形態2にかかるセンサ15aのブロック図を示す。
図10に示すように、実施の形態2にかかるセンサ15aは、画素ユニット23aが格子状に配置される画素アレイ22aを有する。実施の形態2にかかる画素ユニット23aは、1つの画素ユニット当たりのフォトダイオードの個数が2つである。そのため、実施の形態2にかかる画素アレイ22aは、隣接する2列分の画素ユニットを用いてカラーフィルタをベイヤー配置する。また、実施の形態2にかかるセンサ15aにおいても、一列の画素ユニットに対して2本の垂直読み出し線が設けられる。
続いて、実施の形態2にかかる画素ユニット23aの回路について説明する。そこで、図11に実施の形態2にかかるセンサ15a内の画素ユニット23aの回路図を示す。図11に示すように、実施の形態2にかかる画素ユニット23aは、フォトダイオードPD0、PD1の2つのダイオードを有する。つまり、画素ユニット23aは、実施の形態1にかかる画素ユニット23からフォトダイオードPD2、PD3、転送トランジスタ312、313を削除したものである。
実施の形態2にかかる画素ユニット23aを用いた場合の動作は、図6で示したタイミングチャートの動作と実質的に同じになるため、ここでは説明を省略する。
上記説明より、実施の形態1にかかる画素ユニット23に含まれるフォトダイオードの数を削減しても実施の形態1にかかる画素ユニット23と同様に画素信号の読み出し速度を高速化することができることが分かる。
実施の形態3
実施の形態3では、画素ユニット23の別の形態となる画素ユニット23bを説明する。画素ユニット23bは、1つのフォトダイオードを含む画素ユニットである。また、実施の形態3では、画素ユニット23bを含むセンサ15をセンサ15bと称す。そこで、図12に実施の形態3にかかるセンサ15bのブロック図を示す。
図10に示すように、実施の形態3にかかるセンサ15bは、画素ユニット23bが格子状に配置される画素アレイ22bを有する。実施の形態3にかかる画素ユニット23bは、1つの画素ユニット当たりのフォトダイオードの個数が1つである。そのため、実施の形態3にかかる画素アレイ22bは、隣接する2行2列分の画素ユニットを用いてカラーフィルタをベイヤー配置する。また、実施の形態3にかかるセンサ15bにおいても、一列の画素ユニットに対して2本の垂直読み出し線が設けられる。
続いて、実施の形態3にかかる画素ユニット23bの回路について説明する。そこで、図13に実施の形態3にかかるセンサ15b内の画素ユニット23bの回路図を示す。図13に示すように、実施の形態3にかかる画素ユニット23bは、フォトダイオードPDの1つのダイオードを有する。つまり、画素ユニット23bは、実施の形態1にかかる画素ユニット23からフォトダイオードPD1、PD2、PD3、転送トランジスタ311、312、313を削除したものである。
続いて、実施の形態3にかかる画素ユニット23bの動作を説明する。そこで、図14に実施の形態3にかかる撮像素子の動作例を説明するタイミングチャートを示す。図14に示すように、実施の形態3にかかるセンサ15bでは、0行目の画素ユニット23bから出力されるダークレベル及び画素信号をアナログデジタル変換回路24に転送している期間に、1行目の画素ユニット23bが接続されている垂直読み出し線PIXOUT_Lをダークレベルにリセットする。また、実施の形態1にかかるセンサ15bは、1行目から出力されるダークレベル及び画素信号をアナログデジタル変換回路24に転送している期間に、2行目の画素ユニット23bが接続されている垂直読み出し線PIXOUT_Rをダークレベルにリセットする。このように、実施の形態3にかかるセンサ15bは、ダークレベル及び画素信号をアナログデジタル変換回路24に転送する垂直読み出し線と、リセットする垂直読み出し線を垂直読み出し線PIXOUT_Rと垂直読み出し線PIXOUT_Lとの間で切り替えながら画素信号の読み出し処理を行う。
上記説明より、実施の形態1にかかる画素ユニット23に含まれるフォトダイオードの数を削減しても実施の形態1にかかる画素ユニット23と同様に画素信号の読み出し速度を高速化することができることが分かる。
実施の形態4
実施の形態4では、画素ユニット23の別の形態となる画素ユニット23cを説明する。画素ユニット23cは、2つのフォトダイオードを用いて1画素分の受光素子を構成し、この受光素子を2つ含む画素ユニットである。また、実施の形態4では、画素ユニット23cを含むセンサ15をセンサ15cと称す。そこで、図15に実施の形態4にかかるセンサ15cのブロック図を示す。
図15に示すように、実施の形態4にかかるセンサ15cは、画素ユニット23cが格子状に配置される画素アレイ22cを有する。実施の形態4にかかる画素ユニット23cは、1つの画素ユニット当たりのフォトダイオードの個数が2つである。そのため、実施の形態4にかかる画素アレイ22cは、隣接する2列分の画素ユニットを用いてカラーフィルタをベイヤー配置する。また、実施の形態4にかかるセンサ15cにおいても、一列の画素ユニットに対して2本の垂直読み出し線が設けられる。なお、画素ユニット23cに含まれるフォトダイオードは2つのフォトダイオードを含む。
続いて、実施の形態4にかかるセンサ15cの垂直読み出し線、転送スイッチの構成を説明する。そこで、図16に実施の形態4にかかるセンサ15cの垂直読み出し線、転送スイッチの構成を説明するブロック図を示す。なお、図16から図18においては、画素ユニット23が配置される行番号と列番号を()内に示した。
図16に示すように、実施の形態4にかかる画素ユニット23cは、配置される列に対応する垂直読み出し線PIXOUT_L又は垂直読み出し線PIXOUT_Rに加えて、隣接する列の垂直読み出し線PIXOUT_L又は垂直読み出し線PIXOUT_Rにも接続される。つまり、実施の形態4にかかるセンサ15cでは、垂直読み出し線は、隣接する列で共用される。これは、画素ユニット23内の1つの受光素子が2つのフォトダイオードにより構成され、2つのフォトダイオードで生成された画素信号を個別に読み出すためである。
続いて、実施の形態4にかかる画素ユニット23cの回路について説明する。そこで、図17に実施の形態4にかかるセンサ15c内の画素ユニット23cの回路図を示す。図17に示す例では、2行2列分の4つの画素ユニット23cを示した。また、図17に示すように、実施の形態1にかかるセンサ15cでは、偶数列に配置される画素ユニット23cにフォトダイオードPD0、PD1を配置し、奇数列に配置される画素ユニット23cにフォトダイオードPD2、PD3を配置する。そして、各フォトダイオードは、左画素を構成する左画素フォトダイオードPDx_L(xはフォトダイオードの番号を示す値)と右画素を構成する右画素フォトダイオードPDx_Rとにより構成される。
また、図17に示す例では、画素ユニット23cのフォトダイオードの左画素の画素信号は、列番号が1つ小さい列に配置される画素ユニット23cの右画素に対応して設けられる増幅トランジスタ33により読み出される。つまり、実施の形態4にかかるセンサ15cでは、1組の垂直読み出し線は、それぞれ、n列目に配置される画素ユニットの前記右画素フォトダイオードとn+1列目に配置される画素ユニットの前記左画素フォトダイオードとにより共用される。なお、0行目に配置される画素ユニット23cについては、列番号が1つ小さい列が無いため、左画素用に増幅トランジスタ33が設けられる。
また、図17に示す例では、フォトダイオードPD0_Lに対応して転送トランジスタ510が設けられる。フォトダイオードPD0_Rに対応して転送トランジスタ511が設けられる。フォトダイオードPD1_Lに対応して転送トランジスタ512が設けられる。フォトダイオードPD1_Rに対応して転送トランジスタ513が設けられる。フォトダイオードPD2_Lに対応して転送トランジスタ514が設けられる。フォトダイオードPD2_Rに対応して転送トランジスタ515が設けられる。フォトダイオードPD3_Lに対応して転送トランジスタ516が設けられる。フォトダイオードPD3_Rに対応して転送トランジスタ516が設けられる。なお、画素ユニット23cにおけるリセットトランジスタ32、増幅トランジスタ33、選択トランジスタ34の構成は、図4等で説明した画素ユニットと実質的に同じである。
ここで、実施の形態4にかかるセンサ15cのフォトダイオードの構造を説明する。そこで、図18に実施の形態4にかかるセンサ15cのフォトダイオードの構造を説明する断面図を示す。図18に示すように、画素ユニット23cでは、Nサブ層61の上層にPウェル層62が形成され、当該Pウェル層62の表面にフォトダイオードPD0_L、PD0_Rが形成される。そして、Nサブ層61及びPウェル層62からなる基板層の上層には、配線63〜65が形成される配線層が設けられる。画素ユニット23cにおけるマイクロレンズは、配線層の上層に形成される。マイクロレンズが形成されるマイクロレンズ層では、カラーフィルタ66の上層にマイクロレンズ67が形成される。そして、図18に示すように、画素ユニット23cでは、フォトダイオード対を覆うようにマイクロレンズ67が形成される。
続いて、実施の形態4にかかるセンサ15cの動作について説明する。そこで、図19に実施の形態4にかかるセンサ15cの動作例を説明するタイミングチャートを示す。なお、図19では、センサ15cの動作中の垂直読み出し線に読み出される信号のみを示し、各種制御信号の論理レベルの遷移は省略した。各種制御信号の論理レベルの遷移は、実施の形態1で説明したものに準じるものとする。
図19に示すように、実施の形態4にかかるセンサ15cでは、1本の垂直読み出し線を見ると、各垂直読み出し線に接続される画素ユニットから出力されるダークレベルによるリセット動作(図中の「読み出し準備」)と、画素ユニットから出力されるダークレベル及び画素信号のアナログデジタル変換回路24への転送動作(図中の「読み出し実行」)とが繰り返し行われる。また、同一列に属する垂直読み出し線の間を見ると、偶数行と奇数行の一方に配置される画素ユニット23cに対する読み出し実行処理と、偶数行と奇数行の他方に配置される画素ユニット23cに対する読み出し準備と、が並列して行われる。また、列番号が1つ小さい列の画素ユニット23cと共用される垂直読み出し線を見ると、列番号が1つ小さい列の画素ユニット23cによる利用期間と自列に属する画素ユニット23cによる利用期間とが連続していることが分かる。
このように、垂直読み出し線を隣接する列の間で共用することで、画素ユニット23c内の1つのフォトダイオードが右画素と左画素とにより構成されている場合においてもアナログデジタル変換回路24の数の増加を回避することができる。
また、1つのフォトダイオードPDが2つのフォトダイオードにより構成されている画素ユニット23cを用いることで、オートフォーカス処理に用いる画像特徴情報DCIを生成することができる。そこで、以下で、実施の形態4にかかるセンサ15cにおける画素情報Doの生成方法と画像特徴情報DCIの生成方法について説明する。
図20に実施の形態4にかかるセンサ15cにおける画像情報の出力処理を説明するフローチャートを示す。図20に示すように、実施の形態4にかかるセンサ15cでは、画素アレイ22cから右画素と左画素の画素情報を個別に読み出す(ステップS1)。その後、実施の形態4にかかるセンサ15cでは、右画素の画素情報と、左画素の画素情報と、を合成して1つの画素情報Doを出力する(ステップS2)。このように、センサ15c内で右画素の画素情報と左画素の画素情報とを合成することで、センサ15cは1つの画素情報Doを出力する。
図21に実施の形態4にかかるセンサ15cにおける画像特徴情報DCIの出力処理を説明するフローチャートを示す。図21に示すように、実施の形態4にかかるセンサ15cでは、画素アレイ22cから右画素と左画素の画素情報を個別に読み出す(ステップS11)。その後、実施の形態4にかかるセンサ15cでは、右画素の画素情報から得られる画像のエッジ情報と、左画素の画素情報から得られる画像のエッジ情報と、をそれぞれ画像特徴情報DCIとして出力する(ステップS12)。
ここで、この画像特徴情報DCIについて更に詳しく説明する。まず、図22に実施の形態4にかかるセンサ15cにおける位相差オートフォーカスの原理を説明する図を示す。図22では、センサ表面に形成される評価面(例えば、像面)とフォーカスレンズから入射した光の像が合焦する合焦面との位置関係を示した。
図22に示すように、フォーカスが一致している場合、フォーカスレンズから入射した光の像が合焦する合焦面は像面と一致する(図22の上図)。一方、フォーカスがずれている場合、フォーカスレンズから入射した光の像が合焦する合焦面は像面とは異なる位置に形成される(図22の下図)。この合焦面と像面とのズレ量がデフォーカス量となる。
ここで、フォーカスずれが生じている場合に像面で形成される像について説明する。そこで、図23に、フォーカスずれが生じている場合のフォトダイオードの出力を説明するグラフを示す。図23では、横軸に画素ユニット23cのレンズ中心軸からの距離を示す像高を示し、縦軸に画素ユニット23cの出力の大きさを示した。
図23に示すように、フォーカスがずれている場合、左画素から出力される信号と、右画素から出力される信号と、が像高方向にずれる。この像ずれ量はデフォーカス量に比例する大きさである。そこで、実施の形態4にかかるセンサ15cを用いたカメラシステム1では、像ずれ量に基づきデフォーカス量を算出してフォーカスレンズ14の位置を決定する。
実施の形態4にかかるセンサ15cを用いたカメラシステム1のオートフォーカス処理では、センサ15cの画素アレイ22cに配置される全画素ユニットから出力される出力信号が左画素と右画素とで一致するようにフォーカスレンズ14の位置を制御する。また、実施の形態4にかかるセンサ15cを用いたカメラシステム1では、フォーカスレンズ14の位置の制御を、システム制御MCU19がセンサ15cから出力される画像特徴情報DCIに基づき行う。
上記説明より、実施の形態4にかかるセンサ15cを用いることで、オートフォーカス処理に用いる画像特徴情報DCIを生成することができる。そして、実施の形態4にかかるセンサ15cを用いたカメラシステム1では、この画像特徴情報DCIに基づくオートフォーカス処理を実施することができる。また、実施の形態4にかかるセンサ15cでは、画像特徴情報DCIを生成する機能を追加しながら、実施の形態1と同様に回路規模の増加を回避し、画素信号の読み出し速度の高速化を実現することができる。
実施の形態5
実施の形態5では、画素ユニット23の別の形態となる画素ユニット23d及び画素ユニット23dを含む画素アレイ22dを説明する。画素アレイ22dでは、同一列に配置される異なる画素ユニット23dのフローティングディフュージョンを共通した1つのフローティングディフュージョンとして扱うか、画素ユニット毎に独立したフローティングディフュージョンとして扱うかを切り替える機能を有する。また、実施の形態5では、画素ユニット23dを含むセンサ15をセンサ15dと称す。そこで、図24に実施の形態4にかかるセンサ15dのブロック図を示す。
図24に示すように、実施の形態5にかかるセンサ15dは、画素ユニット23dが格子状に配置される画素アレイ22dを有する。実施の形態5にかかる画素ユニット23dは、1つの画素ユニット当たりのフォトダイオードの個数が2つである。そのため、実施の形態5にかかる画素アレイ22dは、隣接する2列分の画素ユニットを用いてカラーフィルタをベイヤー配置する。また、実施の形態5にかかるセンサ15dにおいても、一列の画素ユニットに対して2本の垂直読み出し線が設けられる。
また、図24に示すように、画素ユニット23dには、それぞれ、2つの転送制御信号TX(図24のTX0、TX1)、リセット制御信号RST、2つの選択信号SEL(図24のSEL_L、SEL_R)、電源配線VDD_PXに加えて、ローカルFD制御信号FDSWL及びグローバルFD制御信号FDSWGが与えられる。
続いて、実施の形態5にかかる画素アレイ22dの具体的な回路構成について説明する。そこで、図25に実施の形態5にかかる画素アレイ22dの回路構成を説明するブロック図を示す。図25に示すように、実施の形態5にかかる15dでは、カラムコントローラ21の構成については、例えば、実施の形態1と同じである。一方、画素アレイ22dでは、配置される画素ユニット内の構成及び画素ユニット内のフローティングディフュージョンを共通化するか否かを切り替えるフローティングディフュージョン共通切替回路232が追加される点が他の実施の形態とは異なる。
画素ユニット23dは、それぞれ出力配線切替回路231を有する。この出力配線切替回路231は、選択トランジスタ34に代えて設けられるものである。出力配線切替回路231は、第1の増幅トランジスタ(例えば、自画素ユニット内の増幅トランジスタ33)の出力信号を第1の垂直読み出し配線(例えば、垂直読み出し線PIXOUT_L)と第2の垂直読み出し配線(例えば、垂直読み出し線PIXOUT_R)とのいずれに出力するかを切り替える。
フローティングディフュージョン共通切替回路232は、共通化対象の画素ユニット内のフローティングディフュージョンを共通化対象の画素ユニット間で共通して用いるか、個別のフローティングディフュージョンとして用いるかを切り替える。具体的には、共通化対象の画素ユニットの一方に含まれるフローティングディフュージョンを第1のフローティングディフュージョンとし、他方に含まれる第2のフローティングディフュージョンとすると、以下のように考えられる。フローティングディフュージョン共通切替回路232は、第1のフローティングディフュージョンと第2のフローティングディフュージョンとを共通化するか独立させるかを切り替える。
続いて、実施の形態5にかかる画素ユニット23d及びフローティングディフュージョン共通切替回路232の具体的回路について説明する。そこで、図26に実施の形態5にかかる撮像素子内の画素ユニット23dとフローティングディフュージョン共通切替回路232の回路図を示す。
図26に示すように、画素ユニット23dは、実施の形態2で説明した画素ユニット23aの選択トランジスタ34を出力配線切替回路231に置き換えたものである。また、出力配線切替回路231は、選択トランジスタ34、選択トランジスタ35を有する。アナログデジタル変換回路24は、増幅トランジスタ33のソースと、垂直読み出し線PIXOUT_Lとの間に設けられる。選択トランジスタ34は、選択信号SEL_Lにより導通状態が制御される。選択トランジスタ35は、増幅トランジスタ33のソースと垂直読み出し線PIXOUT_Rとの間に設けられる。選択トランジスタ35は、選択信号SEL_Rにより導通状態が制御される。
フローティングディフュージョン共通切替回路232は、ローカルスイッチトランジスタ36、グローバルスイッチトランジスタ37を有する。ローカルスイッチトランジスタ36は、対応する画素ユニット23dのフローティングディフュージョンと、グローバルスイッチトランジスタ37のソースとを接続する。グローバルスイッチトランジスタ37は、ドレインが1つ上の行の画素ユニット23dに対応して配置されるフローティングディフュージョン共通切替回路232のグローバルスイッチトランジスタ37のソースと接続される。なお、フローティングディフュージョン共通切替回路232のうち0行目の画素ユニット23dに対応して設けられるフローティングディフュージョン共通切替回路232のグローバルスイッチトランジスタ37のソースはグローバル配線リセットトランジスタのドレインに接続される。このグローバル配線リセットトランジスタは、0行目の画素ユニットに対応して設けられるフローティングディフュージョン共通切替回路232のグローバルスイッチトランジスタ37のソースと電源配線VDD_PXとの間に設けられる。また、グローバル配線リセットトランジスタは、グローバルFDリセット制御信号FDGRSTにより導通状態が制御される。
実施の形態5にかかる撮像素子15dでは、通常の画素読み出し処理を行う第1の動作モードに加えて、画素内合成処理後に画素の読み出し処理を行う第2の動作モードを有する。そこで、各動作モード毎の読み出し対象となる画素ユニットの単位について説明する。
まず、図27に実施の形態5にかかる撮像素子の第1の動作モード時の画素ユニットの構成を示すブロック図を示す。図27に示すように、1つの画素ユニットを1つの読み出し単位とする第1の動作モードでは、フローティングディフュージョン共通切替回路232は、無効化され、各画素ユニット内のフローティングディフュージョンは独立して用いられる。また、偶数行に配置される画素ユニット23d内の出力配線切替回路231は、垂直読み出し線PIXOUT_Lに対して画素ユニットから出力される信号を出力する。奇数行に配置される画素ユニット23d内の出力配線切替回路231は、垂直読み出し線PIXOUT_Rに対して画素ユニットから出力される信号を出力する。
続いて、図28に実施の形態5にかかる撮像素子の第2の動作モード時の画素ユニットの構成を示すブロック図に示す。図28に示すように、第2の動作モードでは、第1の動作モードで奇数行に配置された画素ユニットと偶数行に配置された画素ユニットとを1つの画素ユニットとして用いる。また、第2の動作モードは1つの画素ユニットとして組み合わされた画素ユニットを2つの画素ユニットの間に配置されるフローティングディフュージョン共通切替回路232を有効化する。これにより、1つの画素ユニットとして組み合わされた画素ユニット内のフローティングディフュージョンが共通化される。そして、第2の動作モードでは、例えば、物理的配置が0行目と1行目となる画素ユニットを組み合わせて合成後の0行目の合成画素ユニットとし、物理的配置が2行目と3行目となる画素ユニットを組み合わせて合成後の1行目の合成画素ユニットとする。また、組み合わせ後の行番号が偶数番目となる合成画素ユニットの出力配線切替回路231は、増幅トランジスタ33の出力を垂直読み出し線PIXOUT_Lに出力する。組み合わせ後の行番号が奇数番目となる合成画素ユニットの出力配線切替回路231は、増幅トランジスタ33の出力を垂直読み出し線PIXOUT_Rに出力する。
つまり、実施の形態5にかかる撮像素子15dでは、第2の動作モードでは、第1の合成画素ユニット及び第2の合成画素ユニットが、それぞれ、少なくとも2つの合成対象画素ユニット(例えば、図28の各行に属する画素ユニットに含まれる2つの画素ユニット23d)と、複数の合成対象画素ユニット内のフローティングディフュージョン同士でそれらの合成対象画素ユニットを互いに共通化するか独立させるかを切り替えるフローティングディフュージョン共通切替回路232と、を有する。一方、実施の形態5にかかる撮像素子15dは、第1の動作モードでは、この合成対象画素ユニットを独立した画素ユニットとして制御する。
また、実施の形態5にかかる撮像素子15dは、複数の前記合成対象画素ユニットは、それぞれ、受光素子(例えば、フォトダイオードPD0、PD1)と、受光素子に対応して設けられる転送トランジスタ(例えば、転送トランジスタ310、311)と、転送トランジスタに対して設けられるフローティングディフュージョンFD及び増幅トランジスタ33と、増幅トランジスタ33の出力信号を第1の垂直読み出し配線(例えば、垂直読み出し線PIXOUT_L)と第2の垂直読み出し配線(例えば、垂直読み出し線PIXOUT_R)とのいずれに出力するかを切り替える出力配線切替回路231を有する。
そして、実施の形態5にかかる撮像素子15dでは、タイミング制御回路(例えば、ロウコントローラ20)は、フローティングディフュージョン共通切替回路232に対して、複数の合成対象画素ユニット内のフローティングディフュージョンを独立させることを指示する第1の動作モードにおいては、偶数行目になる合成対象画素ユニット内の出力配線切替回路231に増幅トランジスタの出力信号を出力する配線が垂直読み出し配線PIXOUT_Lとなり、奇数行目になる前記合成対象画素ユニット内の出力配線切替回路231に増幅トランジスタの出力信号を出力する配線が垂直読み出し配線PIXOUT_Rとなるような指示を行う。また、タイミング制御回路(例えば、ロウコントローラ20)は、フローティングディフュージョン共通切替回路231に対して、複数の合成対象画素ユニット内のフローティングディフュージョンを共通化させることを指示する第2の動作モードにおいては、合成後の奇数行目に配置される第1の合成画素ユニットに属する合成対象画素ユニットの出力配線切替回路231に増幅トランジスタの出力信号を出力する配線が垂直読み出し配線PIXOUT_Lとなり、合成後の奇数行目に配置される第2の合成画素ユニットに属する合成対象画素ユニットの出力配線切替回路231に増幅トランジスタの出力信号を出力する配線が垂直読み出し配線PIXOUT_Rとなるような指示を行う。
続いて、実施の形態5にかかる撮像素子15dの動作について、タイミングチャートを用いて説明を行う。なお、実施の形態1にかかる15dの第1の動作モードの動作は、例えば、ローカルFD制御信号FDSWL及びグローバルFD制御信号FDSWGを共にロウレベルとすることで、実施の形態2にかかる撮像素子15aの動作と同じ動作となるため、ここでは、第1の動作モードに関する説明を省略する。そこで、図29に実施の形態5にかかる撮像素子の第2の動作モード時の動作例を説明するタイミングチャートを示す。
図29に示すように、第2の動作モードでは、ローカルFD制御信号FDSWL<0>、FDSWL<1>、グローバルFD制御信号FDSWG<0>、及び選択信号SEL_L<0>、SEL_L<1>を合成画素ユニットからの出力タイミングに合わせてハイレベルとロウレベルを切り替え、かつ、グローバルFD制御信号FDSWG<1>、及び選択信号SEL_R<0>、SEL_R<1>をロウレベルで維持する。また、ローカルFD制御信号FDSWL<2>、FDSWL<3>、グローバルFD制御信号FDSWG<2>、及び選択信号SEL_R<2>、SEL_R<3>を合成画素ユニットからの出力タイミングに合わせてハイレベルとロウレベルを切り替え、かつ、グローバルFD制御信号FDSWG<3>、及び選択信号SEL_L<2>、SEL_L<3>をロウレベルで維持する。このような制御を行うことで、実施の形態5にかかる撮像素子15dは、図28で示した回路構成とし、かつ、実施の形態2にかかる撮像素子15dと同じ読み出し動作を行う。また、実施の形態5にかかる撮像素子では、垂直読み出し線PIXPOUT_L、PIXOUT_Rに出力される信号は、2つの合成対象画素ユニット内で2つのフォトダイオードで生成された信号を合成したものとなる。
上記説明より、実施の形態5にかかる撮像素子15dでは、2つの合成対象画素ユニットにより1つの合成画素ユニットを構成し、かつ、2つの合成対象画素ユニット内のフローティングディフュージョンを共通化する。そして、実施の形態5にかかる撮像素子15dでは、2つの合成対象画素ユニット内の2つのフォトダイオードにより生成された信号を合成画素ユニット内で合成した上で垂直読み出し線に出力する。これにより、実施の形態5にかかる撮像素子15dは、画素アレイ22d内で生成される信号のS/N比を高めることができる。
また、実施の形態5にかかる撮像素子15dでは、画素ユニット内に出力配線切替回路231を有することで、垂直読み出し線毎に伝達する信号に対応するカラーフィルタの色を固定することができる。そこで、カラーフィルタの色と、信号を伝達する垂直読み出し線との対応について説明する。図30に実施の形態5にかかる撮像素子の第1の動作モード時の読み出し動作の変形例を説明する図を示す。図30に示す例では、第1の動作モード時の動作について書いたが、第2の動作モードにおいても同様の動作は可能である。
図30に示すように、実施の形態5にかかる撮像素子15dでは、同一の画素ユニットから信号を出力する場合であっても第1の読み出しタイミングと第2の読み出しタイミングとで信号の出力に用いる選択トランジスタを切り替える。これにより、例えば、赤色のカラーフィルタに対応する出力信号は垂直読み出し線PIXOUT_Rを介して出力する撮像素子を構成することができる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。