JP2016010065A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】暗電流が増加した場合でもダイナミックレンジを確保することが可能な撮像装置を提供する。
【解決手段】複数の光電変換部を有する単位画素が行列状に配置された画素領域と、単位画素内の複数の光電変換部が共通に接続され、複数の光電変換部から転送された信号電荷を電圧信号に変換するフローティングディフュージョン部と、フローティングディフュージョン部の電圧に応じた信号が出力される出力線と、単位画素につき、複数の光電変換部のすべての信号電荷を前記フローティングディフュージョン部に転送し混合して出力線から読み出す第１の読み出しモードと、複数の光電変換部の信号電荷を少なくとも１つずつフローティングディフュージョン部に転送し独立に出力線から読み出す第２の読み出しモードとを切り替える切り替え部とを備え、切り替え部は、暗電流量に基づいて読み出しモードを切り替える。
【選択図】 図１０

Description

本発明は、撮像装置およびその制御方法に関するものである。

一般的なデジタルカメラでは、複数のフォトダイオードが二次元状に配置された撮像素子が用いられている。このような撮像素子のフォトダイオードでは、熱雑音により暗電流が発生し、ダイナミックレンジの低下および画質劣化の原因となる。

そこで、遮光された画素領域（オプティカルブラック領域）内にフォトダイオードを有する画素とフォトダイオードを有さない画素を配置し、両者の出力信号の差分に基づいて、暗電流量を推定し、撮影画素の補正を行う方法が用いられている。また、暗電流は温度に依存し、温度が高くなると増加するため、温度に応じて補正を行う方法も提案されている（特許文献１）。

特開２００８−１１８２９３号公報

一般的な撮像装置では、撮像素子内でＩＳＯ感度に応じたアナログゲインを乗算している。そして、撮像素子からの出力信号を信号処理回路でアナログデジタル（Ａ／Ｄ）変換し、暗電流補正や色補間処理等を行っている。

ところで、暗電流は、温度や蓄積時間に依存するため、高温環境および長秒撮影時には暗電流が増加してしまう。さらに、撮像素子内でアナログゲインを乗算している場合、暗電流もゲイン倍されるため、高ＩＳＯ感度ほど暗電流量が増加してしまう。そのため、信号処理回路でのＡ／Ｄ変換のダイナミックレンジを超えて飽和してしまう可能性がある。

この場合、後段の信号処理回路で行われる画像処理に必要なダイナミックレンジを確保できなくなり、特許文献１のような補正方法は使用できなくなってしまう。なお、撮像素子内部でＡ／Ｄ変換を列読み出し回路毎に行う構成においても上記問題は同様に存在する。

本発明は上述した課題に鑑みてなされたものであり、その目的は、暗電流が増加した場合でもダイナミックレンジを確保することが可能な撮像装置を提供することである。

本発明に係わる撮像装置は、複数の光電変換部を有する単位画素が行列状に配置された画素領域と、前記単位画素内の複数の光電変換部が共通に接続され、前記複数の光電変換部から転送された信号電荷を電圧信号に変換するフローティングディフュージョン部と、前記フローティングディフュージョン部の電圧に応じた信号が出力される出力線と、前記単位画素につき、前記複数の光電変換部のすべての信号電荷を前記フローティングディフュージョン部に転送し混合して前記出力線から読み出す第１の読み出しモードと、前記複数の光電変換部の信号電荷を少なくとも１つずつ前記フローティングディフュージョン部に転送し独立に前記出力線から読み出す第２の読み出しモードとを切り替える切り替え手段と、を備え、前記切り替え手段は、暗電流量に基づいて前記読み出しモードを切り替えることを特徴とする。

本発明によれば、暗電流の増加によるダイナミックレンジの低下を抑えることができる。

第１の実施形態に係る撮像装置の全体ブロック図。 第１の実施形態の撮像素子の全体構成図。 撮像素子の単位画素の回路図。 撮像素子の読み出し回路の回路図。 第１の実施形態の混合読み出しモードの駆動タイミングチャート。 独立読み出しモードの駆動タイミングチャート。 撮像装置の読み出しモードを切り替える撮影条件の一例を示す図。 暗電流とダイナミックレンジの関係を説明する図。 信号処理回路のブロック図。 第１の実施形態の撮像装置の制御フローチャート。 第２の実施形態の混合読み出しモードの駆動タイミングチャート。 第２の実施形態の撮像装置の制御フローチャート。 第３の実施形態の撮像装置の制御フローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
本発明の第１の実施形態に係る撮像装置の全体ブロック図を図１に示す。図１において、撮影レンズ１１１０は被写体の光学像を撮像素子１１０１に結像させる光学系で、レンズ駆動回路１１０９によってズーム制御、フォーカス制御、絞り制御などが行われる。撮像素子１１０１は撮影レンズ１１１０で結像された被写体像を画像信号として取り込むためのものであり、単位画素がアレイ状に配置されている。信号処理回路１１０３は撮像素子１１０１から出力される画像信号にＡ／Ｄ変換や後述するＯＢクランプ処理を行う。タイミング発生回路１１０２は撮像素子１１０１に駆動タイミング信号を出力する。全体制御・演算回路１１０４は各種演算と撮像装置全体の制御を行い、ホワイトバランス補正、ガンマ補正等の各種信号処理を行う。メモリ回路１１０５は画像データを一時的に記憶し、表示回路１１０６は各種情報や撮影画像を表示する。記録回路１１０７は画像データの記録または読み出しを行うための半導体メモリ等の着脱可能な記録媒体である。操作回路１１０８はデジタルカメラの操作部材への操作を電気的に受け付けるものである。ユーザーは操作回路１１０８を通して、撮影条件（ＩＳＯ感度や蓄積時間）を設定する。温度計回路１１１１は撮影時の温度を取得する。取得した温度データは全体制御・演算回路１１０４で撮像装置の制御に使用される。

次に、図１に示した撮像素子１１０１の構成を図２〜図４を用いて説明する。図２は、撮像素子１１０１の全体構成を示す図である。撮像素子１１０１は画素領域１、垂直走査回路２、読み出し回路３、水平走査回路４、出力アンプ５を備えている。

画素領域１には、複数の単位画素１００が行列状に配置されている。ここでは、説明を簡単にするために４×４の１６画素の配列を示してあるが、実用上はさらに多数の画素が配置される。各単位画素１００は不図示のマイクロレンズと第１のフォトダイオード１０１Ａおよび第２のフォトダイオード１０１Ｂを備える。また、画素領域１の一部の画素は、フォトダイオード１０１Ａ，１０１Ｂを遮光したオプティカルブラック（ＯＢ）画素になっており、後述するＯＢクランプ処理に用いられる。

垂直走査回路２は画素領域１の画素を行単位で選択し、選択行の画素に対して駆動信号を送出する。読み出し回路３は、列毎に列読み出し回路を備え、単位画素１００からの出力信号を増幅し、その出力信号をサンプルホールドする。水平走査回路４は、読み出し回路３でサンプルホールドされた信号を列毎に順次出力アンプ５に出力するための信号を送出する。出力アンプ５は、読み出し回路３から出力された信号を外部に出力する。

図３は、本実施形態の撮像素子の単位画素１００を示す回路図である。図３に示すように、単位画素１００は、第１のフォトダイオード１０１Ａ、第２のフォトダイオード１０１Ｂ、第１の転送スイッチ１０２Ａ、第２の転送スイッチ１０２Ｂを備える。また、フローティングディフュージョン部１０３、増幅部１０４、リセットスイッチ１０５、選択スイッチ１０６をさらに含む。

フォトダイオード１０１Ａ，１０１Ｂは、同一のマイクロレンズを通過した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。転送スイッチ１０２Ａ，１０２Ｂは、それぞれフォトダイオード１０１Ａ，１０１Ｂで発生した電荷を共通のフローティングディフュージョン部１０３に転送する。転送スイッチ１０２Ａ，１０２Ｂは、それぞれ転送パルス信号ＰＴＸＡ，ＰＴＸＢによって制御される。フローティングディフュージョン部１０３は、フォトダイオード１０１Ａおよび１０１Ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。

増幅部１０４は、ソースフォロワＭＯＳトランジスタであり、フローティングディフュージョン部１０３に保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。リセットスイッチ１０５は、リセットパルス信号ＰＲＥＳによって制御され、フローティングディフュージョン部１０３の電位を基準電位ＶＤＤにリセットする。選択スイッチ１０６は、垂直選択パルス信号ＰＳＥＬによって制御され、増幅部１０４で増幅された画素信号を垂直出力線１０７に出力する。１０８は共通電源ＶＤＤである。

図４は、読み出し回路３の詳細構成を示す図である。読み出し回路３は列毎に列読み出し回路２００を備えるが、各列の構成は共通であるので、第１列のみ示している。図４において、オペアンプ２０３は垂直出力線１０７上の信号電圧を増幅するためのものであり、撮影ＩＳＯ感度に応じたゲインを乗じる。なお、撮影ＩＳＯ感度に応じたゲインを乗じる手段はオペアンプに限定されず、後述するＯＢクランプ処理よりも前にゲインを乗じるのであれば、別の手段を用いてもよい。

基準電源ＶＲＥＦ２０２はオペアンプに基準電圧を供給する。列読み出し回路２００は、さらにクランプ容量Ｃ０（２０４）、フィードバック容量Ｃｆ（２０５）、オペアンプ２０３の入出力端をショートさせるためのスイッチ２０６を有する。スイッチ２０６は信号ＰＣ０Ｒで制御される。なお、定電流原２０１は垂直出力線１０７に接続される。

容量２０７，２０８，２０９，２１０は信号電圧を保持するための容量であり、以下、容量２０７を容量ＣＴＳ１、容量２０８を容量ＣＴＮ１、容量２０９を容量ＣＴＳ２、容量２１０を容量ＣＴＮ２とそれぞれ表記する。スイッチ２１１，２１２，２１３，２１４はそれぞれ容量ＣＴＳ１、ＣＴＮ１、ＣＴＳ２、ＣＴＮ２への書き込みを制御する。スイッチ２１１，２１２は、それぞれ信号ＰＴＳ１、信号ＰＴＮ１で制御される。スイッチ２１３，２１４は、それぞれ信号ＰＴＳ２、信号ＰＴＮ２で制御される。

スイッチ２１５，２１６は水平走査回路４からの信号ＰＨ１で制御され、容量ＣＴＳ１（２０７）に書き込まれた信号は共通出力線２１９を介して、容量ＣＴＮ１（２０８）に書き込まれた信号は共通出力線２２０を介して、出力アンプ５に出力される。スイッチ２１６，２１７は水平走査回路４からの信号ＰＨ２で制御され、容量ＣＴＳ２（２０９）に書き込まれた信号は共通出力線２１９を介して、容量ＣＴＮ２（２１０）に書き込まれた信号は共通出力線２２０を介して、出力アンプ５に出力される。

次に、本実施形態の撮像素子の駆動タイミングについて図５、図６を用いて説明する。本実施形態の撮像素子は、単位画素１００の２つのフォトダイオード１０１Ａ，１０１Ｂの信号をフローティングディフュージョン部１０３上で混合して読み出す混合読み出しモードと、２つのフォトダイオード１０１Ａ，１０１Ｂの信号をそれぞれ独立して読み出す独立読み出しモードとを備える。ここで、フォトダイオード１０１Ａから読み出した信号をＡ信号、フォトダイオード１０１Ｂから読み出した信号をＢ信号、２つのフォトダイオード１０１Ａ，１０１Ｂの信号を混合して読み出した信号をＡ＋Ｂ信号と呼ぶ。

図５に混合読み出しモードの駆動タイミングチャートを示す。図５は垂直走査回路４がある行を選択した際の読み出し時の駆動タイミングを表す。時刻ｔ１において、水平同期信号ＳＹＮＣが入力されると、選択された行の選択パルス信号ＰＳＥＬがＬ→Ｈとなる。これにより選択行の選択スイッチ１０６がオンし、選択行の画素は垂直出力線１０７に接続される。時刻ｔ２には、リセットパルス信号ＰＲＥＳがＬ→Ｈとなり、リセットスイッチ１０５がオンし、フローティングディフュージョン部１０３の電位が電源ＶＤＤにリセットされる。時刻ｔ３には、リセットパルス信号ＰＲＥＳがＨ→Ｌとなり、リセットスイッチ１０５がオフし、フローティングディフュージョン部１０３のリセットが解除される。このときのフローティングディフュージョン部１０３の電位は、垂直出力線１０７に増幅部１０４を介してリセット信号レベルとして読み出され、列読み出し回路２００に入力される。列読み出し回路２００では、オペアンプ２０３が基準電圧Ｖｒｅｆの出力をバッファする状態（信号ＰＣ０ＲがＨでスイッチ２０６がオンの状態）でリセット信号レベルが入力される。

その後、時刻ｔ４で信号ＰＣ０ＲをＨ→Ｌとし、そのときのリセット信号レベルを容量ＣＴＮ２へ書き込むために時刻ｔ５で信号ＰＴＮ２をＨとして、スイッチ２１４をオンする。時刻ｔ６では信号ＰＴＮをＬとして、スイッチ２１４をオフして書き込みを終了する。時刻ｔ７で信号ＰＴＳ２をＨとし、スイッチ２１３がオンし、容量ＣＴＳ２への信号書き込みが可能な状態となる。

続いて、時刻ｔ８〜ｔ９で転送パルス信号ＰＴＸＡおよびＰＴＸＢを同時にＬ→Ｈ→Ｌとし、転送スイッチ１０２Ａおよび１０２Ｂがオフ→オン→オフとなる。この動作によりフォトダイオード１０１Ａおよび１０１Ｂに蓄積された光電荷がフローティングディフュージョン部１０３へ読み出される。そして、その変化に応じた出力が増幅部１０４および垂直出力線１０７を介して読み出し回路２００へ供給される。読み出し回路２００ではクランプ容量Ｃ０（２０４）とフィードバック容量Ｃｆ（２０５）の比率で電圧変化に対し反転ゲインがかかり出力される。この電圧は容量ＣＴＳ２に書き込まれる。時刻ｔ１０で信号ＰＴＳ２をＨ→Ｌと切り替え、スイッチ２１３をオフし書き込みを終了する。以上の動作により、容量ＣＴＮ２，ＣＴＳ２への信号書き込みが完了する。ここで、容量ＣＴＳ２とＣＴＮ２に保持された信号の差分から、フォトダイオード１０１Ａおよび１０１Ｂからの出力信号の和であるＡ＋Ｂ信号が得られる。このＡ＋Ｂ信号は撮影画像となる。

次に、時刻ｔ１１では信号ＰＣ０Ｒを再びＨとし、スイッチ２０６がオンし、読み出し回路２００では、オペアンプ２０３が基準電圧Ｖｒｅｆの出力をバッファする状態に戻る。その後、容量ＣＴＮ２、ＣＴＳ２に保持された信号はｔ１２〜ｔ１３の間に読み出される。水平走査回路４の駆動パルスＰＨ２が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなり、それに伴い、スイッチ２１７，２１８がオフ→オン→オフとなる。スイッチ２１７，２１８がオンした列の容量ＣＴＳ２，ＣＴＮ２に保持された信号はそれぞれ共通出力線２１９，２２０へ読み出され、出力アンプ５から差電圧として出力される。この差電圧がＡ＋Ｂ信号となる。なお、共通出力線２１９，２２０は各列の信号を読み出す毎に不図時のリセットスイッチにより基準電位にリセットされる。以上の動作が各行毎に順次行われ、Ａ＋Ｂ信号の読み出しが完了する。撮像素子からはＡ＋Ｂ信号が出力される。この信号は撮像信号として用いられる。

次に、独立読み出しモードの駆動タイミングについて図６を用いて説明する。図６は本実施形態の撮像素子の独立読み出しモードの駆動タイミングチャートである。時刻ｔ１〜ｔ４の動作については図５に示した混合読み出しモードと同一であるため、説明を省略する。時刻ｔ１４〜ｔ１５では信号ＰＴＮ１をＬ→Ｈ→Ｌとし、スイッチ２１２がオフ→オン→オフとなり、リセット信号レベルがＣＴＮ１に書き込まれる。時刻ｔ１６で信号ＰＴＳ１をＨとし、スイッチ２１１がオンし、容量ＣＴＳ１への信号書き込みが可能な状態となる。続いて、時刻ｔ１７〜ｔ１８で転送パルス信号ＰＴＸＡをＬ→Ｈ→Ｌとして、フォトダイオード１０１Ａの光電荷をフローティングディフュージョン部１０３へ転送する。そして、その変化に応じた出力が増幅部１０４および垂直出力線１０７を介して読み出し回路２００へ供給され、オペアンプ２０３で反転ゲインがかかり出力される。この出力電圧は容量ＣＴＳ１に書き込まれる。時刻ｔ１９で信号ＰＴＳ２をＨ→Ｌと切り替え、スイッチ２１３をオフし書き込みを終了する。

次に、時刻ｔ２０〜ｔ２１でリセットパルス信号ＰＲＥＳをＬ→Ｈ→Ｌとして、リセットスイッチ１０５がオフ→オン→オフとなり、フローティングディフュージョン部１０３の電位が電源ＶＤＤにリセットされる。時刻ｔ２２〜ｔ２３では信号ＰＴＮ２をＬ→Ｈ→Ｌとし、スイッチ２１４がオフ→オン→オフとなり、この時のリセット信号レベルが容量ＣＴＮ２に書き込まれる。時刻ｔ２４で信号ＰＴＳ２をＨとし、スイッチ２１３がオンし、容量ＣＴＳ２への信号書き込みが可能な状態となる。続いて、時刻ｔ２５〜２６で転送パルス信号ＰＴＸＢをＬ→Ｈ→Ｌとして、フォトダイオード１０１Ｂの光電荷をフローティングディフュージョン部１０３へ転送する。読み出された電荷量に応じた電圧信号はフォトダイオード１０１Ａの電荷を読み出した際と同様に読み出し回路２００へ供給され、オペアンプ２０３で反転ゲインがかかり出力される。この電圧は容量ＣＴＳ２に書き込まれる。時刻ｔ２７で信号ＰＴＳ２をＨ→Ｌと切り替え、スイッチ２１３をオフし書き込みを終了する。以上の動作により、容量ＣＴＮ１、ＣＴＳ１、ＣＴＮ２、ＣＴＳ２への信号書き込みが完了する。

ここで、容量ＣＴＳ１と容量ＣＴＮ１に保持された信号の差分から、フォトダイオード１０１Ａの出力信号であるＡ信号が得られ、容量ＣＴＳ２と容量ＣＴＮ２に保持された信号の差分から、フォトダイオード１０１Ｂの出力信号であるＢ信号が得られる。

次に、時刻ｔ２８では信号ＰＣ０Ｒを再びＨとし、スイッチ２０６がオンし、読み出し回路２００では、オペアンプ２０３が基準電圧Ｖｒｅｆの出力をバッファする状態に戻る。その後、容量ＣＴＮ１，ＣＴＳ１に保持された信号はｔ２９〜ｔ３０の間に読み出される。水平走査回路４の駆動パルスＰＨ１が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなりそれに伴い、スイッチ２１５，２１６がオフ→オン→オフとなる。スイッチ２１５，２１６がオンした列の容量ＣＴＳ１，ＣＴＮ１に保持された信号はそれぞれ共通出力線２１９，２２０へ読み出され、出力アンプ５から差電圧として出力される。この差電圧がＡ信号となる。

次に、容量ＣＴＮ２、ＣＴＳ２に保持された信号はｔ３０〜ｔ３１の間に読み出される。水平走査回路４の駆動パルスＰＨ２が読み出し回路毎に順次Ｌ→Ｈ→Ｌとなりそれに伴い、スイッチ２１７，２１８がオフ→オン→オフとなる。スイッチ２１７，２１８がオンした列の容量ＣＴＳ２，ＣＴＮ２に保持された信号はそれぞれ共通出力線２１９，２２０へ読み出され、出力アンプ５から差電圧として出力される。この差電圧がＢ信号となる。

以上の動作が各行毎に順次行われ、Ａ信号およびＢ信号の読み出しが完了する。読み出したＡ信号およびＢ信号は全体制御・演算回路１１０４で加算してＡ＋Ｂ信号とすることで撮像画像として用いることができる。

本実施形態では、図５および図６で説明した混合読み出しモードおよび独立読み出しモードを撮影条件に応じて切り替える。図７にこの２つの読み出しモードを切り替える撮影条件の一例を示す。ＩＳＯ感度（ＩＳＯ）、蓄積時間（Ｔｖ）および撮影温度（ｔｍｐ）に応じて読み出しモードを切り替えており、ｔｍｐ＜４５°Ｃでは図７（ａ）に示すモード選択テーブルが用いられ、４５°Ｃ≦ｔｍｐでは図７（ｂ）に示すモード選択テーブルが用いられる。図７では、ＩＳＯ感度：高い、蓄積時間：長い、撮影温度：高い、となる条件ほど独立読み出しモードが選択されるようになっている。すなわち、撮像素子１１０１の出力信号において、暗電流が増加する撮影条件では独立読み出しモードを選択するように制御している。なお、図７のモード選択テーブル数や読み出しモードを切り替える境界条件は一例であり、これに限定されるものではない。

撮像素子１１０１の出力信号に含まれる暗電流とダイナミックレンジの関係を、図８を用いて説明する。図８に示すＡＤ変換のダイナミックレンジ８００を超える信号が、撮像素子から信号処理回路へ入力されると飽和してしまう。

図８（ａ）は、暗電流が小さい撮影条件（例えば、低ＩＳＯ感度、短秒、常温）において、混合読み出しモードでＡ＋Ｂ信号を読み出した場合の出力信号の一例である。図８（ａ）では画像信号８０１に暗電流８０２が上乗せされた信号が撮像素子から出力される。そして、信号処理回路１１０３でＯＢクランプ処理を行い、暗電流８０２が差し引かれると、残りの部分が画像信号のダイナミックレンジ８０３となる。

図８（ｂ）は、暗電流が大きい撮影条件（例えば、高ＩＳＯ感度、長秒、高温）において、混合読み出しモードでＡ＋Ｂ信号を読み出した場合の出力信号の一例である。画像信号８０４に、大きな暗電流８０５が上乗せさている。そのため、ＯＢクランプ処理により、暗電流８０５が差し引かれた後のダイナミックレンジは８０６となる。このように、暗電流が大きい撮影条件では、画像信号のダイナミックレンジが低下してしまう。

一方、図８（ｃ）は、図８（ｂ）と同様に暗電流が大きい撮影条件において、独立読み出しモードでＡ信号およびＢ信号を読み出した場合の撮像素子の出力の一例である。Ａ信号には画像信号８０７に暗電流８０８が上乗せされて読み出され、Ｂ信号には画像信号８０９に暗電流８１０が上乗せされて読み出される。独立読み出しモードでは、２つのフォトダイオードの出力信号をそれぞれ独立に読み出すため、フォトダイオード１０１Ａおよび１０１Ｂの出力信号に含まれる暗電流８０８，８１０はそれぞれ混合読み出しモード時の暗電流８０５の約半分となる。したがって、Ａ信号およびＢ信号にそれぞれＯＢクランプ処理を行い、暗電流８０８，８１０を差し引き、その後、Ａ信号およびＢ信号を加算すれば、ダイナミックレンジは最大でレンジ８１１とレンジ８１２を加算した範囲まで拡大できる。したがって、独立読み出しモードにすることで、混合読み出しモードに比べて、暗電流が大きい撮影条件でもダイナミックレンジを広く取ることができる。

ただし、図５、図６のタイミングチャートに示すように独立読み出しモードの読み出し時間は、混合読み出しモードに比べて長くなってしまう。したがって、暗電流が小さい撮影条件では混合読み出しモードを用い、暗電流が大きい撮影条件では独立読み出しモードを用いるように制御することで、不必要に読み出し時間が長くなることを防止できる。

次に、ＯＢクランプ動作について図９を用いて説明する。図９は信号処理回路１１０３のブロック図である。撮像素子１１０１から出力された信号は、プログラマブルゲインアンプ（ＰＧＡ）９０１にて感度調整用のゲインが乗じられる。アナログデジタル変換器（ＡＤＣ）９０２は、ＰＧＡ９０１の出力信号をアナログ形式からデジタル形式に変換する。

ＯＢクランプブロック９０３は、出力信号の黒レベルを基準値に合わせるためのものである。そして、撮像素子１１０１のＯＢ画素領域の出力信号がクランプ値生成部９０４に入力され、その信号レベルと黒レベル基準値との差分を減少させるためのクランプ値が生成される。このクランプ値を出力信号から減算することで、画素１００で発生した暗電流成分を除去することができる。上記のＯＢクランプ処理は混合読み出しモードの場合は、Ａ＋Ｂ信号に対して行われ、独立読み出しモードの場合は、Ａ信号、Ｂ信号それぞれに対して行われる。

なお、本実施形態では、Ａ／Ｄ変換後にＯＢクランプ処理を行っているが、Ａ／Ｄ変換前のアナログ信号に対してＯＢクランプ処理を行う構成でもよい。また、本実施形態ではＡ／Ｄ変換およびＯＢクランプ処理を信号処理回路１１０３で行っているが、これらの処理は、撮像素子１１０１内部で行ってもよい。例えば、列読み出し回路毎にＡ／Ｄ変換器を設けてＡ／Ｄ変換し、デジタル化した信号を撮像素子内部に設けたＯＢクランプ回路でＯＢクランプ処理する構成であってもよい。

本実施形態の撮像装置の撮影時の制御方法を図１０に示すフローチャートを用いて説明する。

撮影が開始されると、まず、操作回路１１０８を通して設定されているＩＳＯ感度、蓄積時間、および温度計回路１１１１の温度データを取得する（Ｓ１００１）。次に、取得したＩＳＯ感度、蓄積時間、温度の情報を基に読み出しモードの選択が行われる（Ｓ１００２）。混合読み出しモードと独立読み出しモードの選択は、例えば、図７に示した条件によって選択される。混合読み出しモードが選択された場合は、Ｓ１００３に移行し、タイミング発生回路１１０２から図５に示す駆動信号が撮像素子１１０１に送出され、混合読み出しモードで撮影が行われる。そして、撮像素子１１０１からＡ＋Ｂ信号が出力される。

読み出されたＡ＋Ｂ信号は信号処理回路１１０３でＯＢクランプ処理が行われ、暗電流成分が除去される（Ｓ１００４）。Ｓ１００２において、独立読み出しモードが選択された場合はＳ１００５に移行し、タイミング発生回路１１０２から図６に示す駆動信号が撮像素子１１０１に送出され、独立読み出しモードで撮影が行われる。そして、撮像素子１１０１からＡ信号およびＢ信号が出力される。読み出されたＡ信号およびＢ信号はそれぞれ、信号処理回路１１０３でＯＢクランプ処理が行われ、暗電流成分が除去される（Ｓ１００６）。

その後、全体制御・演算回路１１０４において、Ａ信号とＢ信号が加算され、撮影画像が生成される（Ｓ１００７）。最後に、全体制御・演算回路１１０４において、撮影画像にホワイトバランス補正、ガンマ補正等の各種信号処理を行い、最終的な画像が生成されて、一連の処理が終了する（Ｓ１００８）。

以上説明したように、本実施形態では、暗電流が少ない撮影条件では、混合読み出しモードを用い、暗電流が大きい撮影条件では、独立読み出しモードを用いるように制御した。これにより、暗電流が大きい場合でも、ダイナミックレンジを広く確保することが可能となる。また、暗電流が小さい撮影条件では、混合読み出しモードを用いるため、不必要に読み出し時間が長くなることを防止できる。

なお、本実施形態では、単位画素内に２つのフォトダイオードを備える構成であったが、単位画素内のフォトダイオードの数はこれに限定されない。例えば、単位画素内に４つのフォトダイオードを備え、混合読み出しモード時には４つのフォトダイオードの信号をフローティングディフュージョンで混合して読み出し、独立読み出しモード時には４つのフォトダイオードの信号をそれぞれ読み出すようにしてもよい。また、独立読み出しモード時には４つのフォトダイオードの信号を２つずつフローティングディフュージョンで混合して読み出してもよい。

（第２の実施形態）
本発明の第１および第２の実施形態の撮像素子は、１つの画素に２つのフォトダイオードを有しており、各フォトダイオードは１つのマイクロレンズによって、撮影レンズの異なる瞳領域を通過した光を受光するよう構成されている。したがって、２つのフォトダイオードからの出力信号を比較することで、撮影レンズでの焦点検出も可能である。そこで本実施形態では、第１の実施形態の応用例として暗電流によるダイナミックレンジ低下の対策を行いつつ、焦点検出も可能な制御方法について説明する。第２の実施形態における撮像装置は第１の実施形態と同様に混合読み出しモードと独立読み出しモードを備える。

独立読み出しモードでは撮像素子１１０１からはＡ信号およびＢ信号が読み出される。駆動タイミングチャートは第１の実施形態の図６と同様であるため、その説明は省略する。

第２の実施形態における混合読み出しモードの駆動タイミングチャートを図１１に示す。図１１において、時刻ｔ１〜ｔ４の動作については図５に示した混合読み出しモードと同一であるため、説明を省略する。

時刻ｔ３２〜ｔ３３では信号ＰＴＮ１および信号ＰＴＮ２をＬ→Ｈ→Ｌとし、スイッチ２１２および２１４がオフ→オン→オフとなり、この時のリセット信号レベルが容量ＣＴＮ１および容量ＣＴＮ２に書き込まれる。時刻ｔ３４で信号ＰＴＳ１をＨとし、スイッチ２１１がオンし、容量ＣＴＳ１への信号書き込みが可能な状態となる。続いて、時刻ｔ３５〜ｔ３６で転送パルス信号ＰＴＸＡをＬ→Ｈ→Ｌとして、フォトダイオード１０１Ａの光電荷をフローティングディフュージョン部１０３へ転送する。そして、その変化に応じた出力が増幅部１０４および垂直出力線１０７を介して読み出し回路２００へ供給される。読み出し回路２００ではクランプ容量Ｃ０（２０４）とフィードバック容量Ｃｆ（２０５）の比率で電圧変化に対し反転ゲインがかかり出力される。この電圧は容量ＣＴＳ１に書き込まれる。時刻ｔ３７で信号ＰＴＳ１をＨ→Ｌと切り替え、スイッチ２１１をオフし書き込みを終了する。

時刻ｔ３８で信号ＰＴＳ２をＨとし、スイッチ２１３がオンし、容量ＣＴＳ２への信号書き込みが可能な状態となる。続いて、時刻ｔ３９で再び転送パルス信号ＰＴＸＡをＨにすると同時に転送パルス信号ＰＴＸＢもＨにする。この動作によりフォトダイオード１０１Ａと１０１Ｂの双方の光電荷を同時にフローティングディフュージョン部１０３へ読み出すことができる。そして、時刻ｔ４０で転送パルス信号ＰＴＸＡおよびＰＴＸＢをＬとする。読み出された電荷は１０１Ａの電荷を読み出した際と同様に読み出し回路２００へ供給され、オペアンプ２０３で反転ゲインがかかり出力される。この電圧は容量ＣＴＳ２に書き込まれる。時刻ｔ４１で信号ＰＴＳ２をＨ→Ｌと切り替え、スイッチ２１３をオフし書き込みを終了する。なお、時刻ｔ３９では転送パルス信号ＰＴＸＡおよびＰＴＸＢを同時にＨとしたが、転送パルス信号ＰＴＸＢだけをＨとしてもよい。

以上の動作により、容量ＣＴＮ１、ＣＴＳ１、ＣＴＮ２、ＣＴＳ２への信号書き込みが完了する。

ここで、容量ＣＴＳ１とＣＴＮ１に保持された信号の差分から、フォトダイオード１０１Ａの出力信号であるＡ信号が得られる。また、容量ＣＴＳ２とＣＴＮ２に保持された信号の差分から、フォトダイオード１０１Ａおよび１０１Ｂからの出力信号の和であるＡ＋Ｂ信号が得られる。

次に、時刻ｔ４２では信号ＰＣ０Ｒを再びＨとし、スイッチ２０６をオンし、読み出し回路２００では、オペアンプ２０３が基準電圧Ｖｒｅｆの出力をバッファする状態に戻る。その後、容量ＣＴＮ１，ＣＴＳ１に保持された信号はｔ４３〜ｔ４４の間に出力アンプ５から差電圧として読み出される。容量ＣＴＮ２，ＣＴＳ２に保持された信号はｔ４４〜ｔ４５の間に出力アンプ５から差電圧として読み出される。以上の動作が各行毎に順次行われ、Ａ信号およびＡ＋Ｂ信号の読み出しが完了する。

なお、時刻ｔ３２で信号ＰＴＮ１および信号ＰＴＮ２をＨとしてリセット信号レベルを容量ＣＴＮ１および容量ＣＴＮ２の両方に書き込んだが、リセット信号レベルの書き込みは容量ＣＴＮ１だけでもよい。その場合、容量ＣＴＮ１、ＣＴＳ１、ＣＴＳ２の信号をそれぞれ読み出し、容量ＣＴＳ１と容量ＣＴＮ１の信号の差分からＡ信号を得て、容量ＣＴＳ２と容量ＣＴＮ１の信号の差分からＡ＋Ｂ信号を得ればよい。

以上説明したように、第２の実施形態においては、混合読み出しモードでＡ信号およびＡ＋Ｂ信号が読み出され、独立読み出しモードではＡ信号およびＢ信号が読み出される。

図１２は第２の実施形態の撮影動作の流れを示すフローチャートである。図１２は連続撮影時の動作の流れの一例であり、撮影するとともに焦点検出も行っている。

撮影が開始されると、まず、操作回路１１０８を通して設定されているＩＳＯ感度、蓄積時間、および温度計回路１１１１の温度データを取得する（Ｓ１２０１）。次に、取得したＩＳＯ感度、蓄積時間、温度の情報を基に読み出しモードの選択が行われる（Ｓ１２０２）。混合読み出しモードと独立読み出しモードの選択は、例えば、図７に示した条件によって選択される。

混合読み出しモードが選択された場合は、Ｓ１２０３に移行し、タイミング発生回路１１０２から図１１に示す駆動信号が撮像素子１１０１に送出され、混合読み出しモードで撮影が行われる。そして、撮像素子１１０１からＡ信号およびＡ＋Ｂ信号が出力される。読み出されたＡ信号およびＡ＋Ｂ信号はそれぞれ信号処理回路１１０３でＯＢクランプ処理が行われ、暗電流成分が除去される（Ｓ１２０４）。その後、全体制御・演算回路１１０４において、Ａ＋Ｂ信号とＡ信号の差分からＢ信号が生成される（Ｓ１２０５）。生成されたＢ信号およびＡ信号、Ａ＋Ｂ信号はメモリ回路１１０５に一時的に保持される。

Ｓ１２０２において、独立読み出しモードが選択された場合はＳ１２０６に移行し、タイミング発生回路１１０２から図６に示す駆動信号が撮像素子１１０１に送出され、独立読み出しモードで撮影が行われる。そして、撮像素子１１０１からＡ信号およびＢ信号が出力される。読み出されたＡ信号およびＢ信号は、それぞれ信号処理回路１１０３でＯＢクランプ処理が行われ、暗電流成分が除去される（Ｓ１２０７）。その後、全体制御・演算回路１１０４において、Ａ信号とＢ信号が加算され、Ａ＋Ｂ信号が生成される（Ｓ１２０８）。生成されたＡ＋Ｂ信号およびＡ信号、Ｂ信号はメモリ回路１１０５に一時的に保持される。

Ｓ１２０９では、全体制御・演算回路１１０４において、Ａ＋Ｂ信号にホワイトバランス補正、ガンマ補正等の各種信号処理を行い、最終的な撮影画像が生成される。生成された撮影画像は記録回路１１０７に記録される（Ｓ１２１０）。その後、Ｓ１２１１において、撮影を終了するか否かの判定を行い、撮影が継続される場合は、焦点調節を行った後、再度画像を取得することになる。Ｓ１２１２では、Ａ信号およびＢ信号を用いて、公知の相関演算を行い、両信号の位相差（像ずれ量）から撮影レンズのデフォーカス量を算出する。これらの演算は、全体制御・演算回路１１０４で行われる。そして、デフォーカス量に基づいて撮影レンズの駆動量が決定される。Ｓ１２１３では、決定した駆動量に基づいてレンズ駆動回路１１０９によりレンズの駆動が行われる。その後、再度Ｓ１２０１に戻る。

以上の制御を行うことで、第１の実施形態の場合と同様に暗電流が大きい場合でも、ダイナミックレンジを広く確保することができる。また、同時に焦点検出を行うことが可能となる。

（第３の実施形態）
第１および第２の実施形態では、モード選択テーブルに基づいて暗電流量が増加する撮影条件において読み出しモードを切り替えていた。本実施形態では、撮影画像の一部から暗電流量を算出し、その暗電流量に基づいて読み出しモードを切り替える例について説明する。

図１３は第３の実施形態の撮影動作の流れを示すフローチャートである。撮影が開始されると、はじめに撮像素子１１０１にて信号の蓄積が行われる（Ｓ１３０１）。所定時間の蓄積が終了すると、画素領域１に配置されているＯＢ画素領域の一部の画素（例えば、数行）のみが図５に示した混合読み出しモードで読み出される（Ｓ１３０２）。この際の読み出しモードは図６に示した独立読み出しモードであってもよい。読み出されたＯＢ画素領域の一部の画素信号は、信号処理回路１１０３のＯＢクランプ処理を受けることなく、全体制御・演算回路１１０４に送られる。全体制御・演算回路１１０４では、送られたＯＢ画素領域の一部の画素信号の平均値または積分値を算出することで、暗電流量を算出する（Ｓ１３０３）。なお、Ｓ１３０３の処理は、Ｓ１３０２で読み出されたＯＢ画素領域の一部の画素信号を信号処理回路１１０３でＯＢクランプ処理する構成とし、そのときのクランプ値生成部９０４で生成されたクランプ値に基づいて暗電流量を算出するようにしてもよい。

そして、算出した暗電流量を所定の閾値と比較し、その結果に応じて読み出しモードの選択が行われる（Ｓ１３０４）。ここでは、暗電流量が所定の閾値未満の場合には混合読み出しモードが選択され、暗電流量が所定の閾値以上となる場合には独立読み出しモードが選択される。

混合読み出しモードが選択された場合は、Ｓ１３０５に移行し、図５に示す駆動信号が撮像素子１１０１に送出され、Ｓ１３０２で読み出した一部のＯＢ領域以外の画素領域の信号（本画像）が、混合読み出しモードによってＡ＋Ｂ信号として読み出される。なお、Ｓ１３０１の蓄積時間はＳ１３０２からＳ１３０４までの処理に掛かる時間を考慮して設定される。Ａ＋Ｂ信号として読み出された本画像は、信号処理回路１１０３でＯＢクランプ処理が行われ、暗電流成分が除去される（Ｓ１３０６）。

Ｓ１３０４において、独立読み出しモードが選択された場合はＳ１３０７に移行し、図６に示す駆動信号が撮像素子１１０１に送出される。そして、Ｓ１３０２で読み出した一部のＯＢ領域以外の画素領域の信号（本画像）が、独立読み出しモードによってＡ信号およびＢ信号として読み出される。読み出されたＡ信号およびＢ信号は、それぞれ信号処理回路１１０３でＯＢクランプ処理され、暗電流成分が除去される（Ｓ１３０８）。その後、全体制御・演算回路１１０４において、Ａ信号とＢ信号が加算され、撮影画像となるＡ＋Ｂ信号が生成される（Ｓ１３０９）。最後に、全体制御・演算回路１１０４において、撮影画像にホワイトバランス補正、ガンマ補正等の各種信号処理を行い、最終的な画像が生成されて、一連の処理が終了する（Ｓ１３１０）。

以上説明したように、本実施形態では、ＯＢ画素領域の一部を先に読み出し、その出力信号から暗電流量を算出した。そして、算出した暗電流量が小さい場合には混合読み出しモードを用い、算出した暗電流量が大きい場合には独立読み出しモードを用いるように制御した。これにより、暗電流が多い場合でも、ダイナミックレンジを広く確保することが可能となる。

なお、本実施形態では、ＯＢ画素領域の一部を先に読み出して暗電流量を算出しているが、直前の撮影（動画であれば、前のフレーム）のＯＢ画素領域の一部から暗電流量を算出する構成であってもよい。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１：画素領域、２：垂直走査回路、３：読み出し回路、４：水平走査回路、５：出力アンプ、１００：単位画素、１０１Ａ：第１のフォトダイオード、１０１Ｂ：第２のフォトダイオード

Claims (11)

1. 複数の光電変換部を有する単位画素が行列状に配置された画素領域と、
   前記単位画素内の複数の光電変換部が共通に接続され、前記複数の光電変換部から転送された信号電荷を電圧信号に変換するフローティングディフュージョン部と、
   前記フローティングディフュージョン部の電圧に応じた信号が出力される出力線と、
   前記単位画素につき、前記複数の光電変換部のすべての信号電荷を前記フローティングディフュージョン部に転送し混合して前記出力線から読み出す第１の読み出しモードと、前記複数の光電変換部の信号電荷を少なくとも１つずつ前記フローティングディフュージョン部に転送し独立に前記出力線から読み出す第２の読み出しモードとを切り替える切り替え手段と、を備え、
   前記切り替え手段は、暗電流量に基づいて前記読み出しモードを切り替えることを特徴とする撮像装置。
2. 前記光電変換部で発生する暗電流をクランプするクランプ手段と、前記第２の読み出しモードで読み出した複数の光電変換部の信号を加算する加算手段とをさらに備え、前記加算手段は、前記クランプ手段で暗電流をクランプした後に、前記複数の光電変換部の信号を加算することを特徴とする請求項１に記載の撮像装置。
3. 暗電流量を算出する算出手段をさらに備え、前記切り替え手段は、前記算出手段で算出された暗電流量に基づいて前記読み出しモードを切り替えることを特徴とする請求項１または２に記載の撮像装置。
4. 前記切り替え手段は、少なくともＩＳＯ感度、蓄積時間、温度のいずれかに応じて前記読み出しモードを切り替えることを特徴とする請求項１または２に記載の撮像装置。
5. 前記出力線から出力された信号をＩＳＯ感度に応じて増幅する増幅手段をさらに備え、前記増幅手段は前記クランプ手段よりも前に前記出力線から出力された信号を増幅し、前記切り替え手段は、前記増幅手段の増幅の量に応じて前記読み出しモードを切り替えることを特徴とする請求項４に記載の撮像装置。
6. 温度を取得する取得手段をさらに備え、前記切り替え手段は、前記取得手段で取得した温度に応じて前記読み出しモードを切り替えることを特徴とする請求項４または５に記載の撮像装置。
7. 前記第１の読み出しモードは、複数の光電変換部のすべての信号電荷をフローティングディフュージョン部に転送する前に、少なくとも１つの光電変換部の信号電荷を前記フローティングディフュージョン部に転送して前記出力線から読み出す第１の読み出し動作を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記画素領域は、前記単位画素ごとにマイクロレンズを備え、前記第１の読み出しモードの前記第１の読み出し動作で読み出した信号または前記第２の読み出しモードで読み出した信号を焦点検出に用いることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 複数の光電変換部を有する単位画素が行列状に配置された画素領域と、前記単位画素内の複数の光電変換部が共通に接続され、前記複数の光電変換部から転送された信号電荷を電圧信号に変換するフローティングディフュージョン部と、前記フローティングディフュージョン部の電圧に応じた信号が出力される出力線と、を備える撮像装置を制御する方法であって、
   前記単位画素につき、前記複数の光電変換部のすべての信号電荷を前記フローティングディフュージョン部に転送し混合して前記出力線から読み出す第１の読み出しモードと、前記複数の光電変換部の信号電荷を少なくとも１つずつ前記フローティングディフュージョン部に転送し独立に前記出力線から読み出す第２の読み出しモードとを切り替える切り替え工程を有し、
   前記切り替え工程では、暗電流量に基づいて前記読み出しモードを切り替えることを特徴とする撮像装置の制御方法。
10. 請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
11. 請求項９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images