JP2008109264A5

JP2008109264A5 -

Info

Publication number: JP2008109264A5
Application number: JP2006288689A
Authority: JP
Filing date: 2006-10-24
Publication date: 2009-01-15
Anticipated expiration: 2026-10-24

Description

固体撮像装置及び撮像装置

本発明は、アナログ画像信号をデジタル画像データに変換して出力する機能を有する固体撮像装置及び撮像装置に関する。

従来、撮像装置に用いる固体撮像装置として、画素アレイ部を構成する複数の画素毎に、光電変換を行うフォトダイオードと、このフォトダイオードで生成した信号電荷を読み出す読み出しトランジスタと、読み出された信号電荷を画素信号に変換する増幅トランジスタと、信号電荷をリセットするリセットトランジスタと、読み出す画素を選択する選択トランジスタ等を設けたＣＭＯＳイメージセンサが提供されている。また、このようなＣＭＯＳイメージセンサでは、画素アレイ部から出力される画像信号に対し各種の処理を行う周辺回路部を有する構成となっており、固体撮像装置内でデジタル画像データに変換して出力するように構成されたものが知られている。

また、イメージセンサ自体にデジタル化する機能がない場合でも、固体撮像装置から出力されるアナログ画像信号を外部回路でデジタル化し、さらに様々なデジタル処理を施して出力するようなカメラ装置等の撮像装置が各種提供されており、この場合には、固体撮像装置としてアナログ出力型のＣＭＯＳイメージセンサやＣＣＤイメージセンサを広く適用することが可能である。また、イメージセンサとカメラ装置との中間的なモジュールとして、ＣＭＯＳイメージセンサやＣＣＤイメージセンサと外部回路をパッケージ化してセンサモジュールとした撮像装置も提供されている。

ところで、この種の固体撮像装置において、暗電流を除去する機能を有することは必須項目であり、例えば画素アレイ部の一部に設けた遮光画素（オプティカルブラック（ＯＢ））から検出される黒基準信号を適正に補正して目標値にクランプすることにより、素子間で生じる暗電流のばらつきや撮像動作時に生じる暗電流の変動に対応する方法が種々提案されている。
例えば、入力信号に含まれるアナログ黒基準信号を検出して目標値と比較し、その比較結果から誤差信号を算出してフィードバックをかけ、誤差信号によって入力信号を補正した後、さらにデジタル演算処理を用いて正確な補正値を算出すような構成が提案されている（例えば特許文献１参照）。
また、同様の処理を、アナログ信号のフィードバックを行わずに、デジタル信号のクランプ補正処理だけで行うことにより、回路を簡素化したものも提案されている（例えば特許文献２参照）。
特開平５−１５３４２８号公報特開平１０−１７４００２号公報

しかしながら、上述したアナログ信号のフィードバックによる補正とデジタル演算処理による補正とを組み合わせた従来技術では、アナログ信号の補正用に回路を設ける分だけ回路規模が大きくなること、及びノイズ経路が増えることで、元信号の劣化を引き起こし易いという問題がある。特に、小型のチップの中に様々な機能を持たせたい固体撮像装置において、回路規模の増大は、他の機能の搭載を犠牲にすることにもなり、好ましくない。

また、上述したアナログ信号のフィードバック回路を用いず、デジタル信号のクランプ補正処理で行う従来技術では、暗電流の変動が大きい固体撮像装置において、単にデジタルクランプ処理を行うだけになり、補正のダイナミックレンジが狭いという問題がある。特に、画像信号にアナログゲイン制御をかけたときに、オプティカルブラック値も同じように増幅されてしまうため、デジタル処理単独では補正能力に限界があった。
なお、以上のような問題は、黒基準信号の補正に限らず、画素信号に含まれる種々の信号（例えば、無フィルタ画素信号や特定波長光の検出信号等）を補正するような場合にも同様に生じるものである。

そこで本発明は、画素信号に含まれる所定の信号を補正する場合に、アナログフィードバック回路を用いることなく、十分な能力の補正を行うことが可能な固体撮像装置及び撮像装置を提供することを目的とする。

上述の目的を達成するため、本発明の固体撮像装置は、それぞれ光電変換部を有する複数の画素より構成される画素アレイ部と、前記画素アレイ部から出力される画素信号を出力信号に変換する信号変換回路と、前記信号変換回路で扱われる所定の信号に含まれるクランプレベルを補正するクランプ補正回路とを有し、前記クランプ補正回路は、前記所定の信号のＡ／Ｄ変換を行うとともに、このＡ／Ｄ変換の際に前記所定の信号に割り当てられるビット数Ｎに補正用のＭビットを追加したＮ＋Ｍビットのデジタルデータを生成して出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段によって出力されたＮ＋Ｍビットのデジタルデータと目標値とに基づいて補正値を決定する補正値生成手段と、前記Ａ／Ｄ変換手段によって出力されたＮ＋Ｍビットのデジタルデータと前記補正値生成手段によって出力された補正値によって補正演算を行い、Ｎビットのクランプ補正データを生成する演算手段とを有することを特徴とする。

また本発明の撮像装置は、被写体の撮像を行うための固体撮像装置と、前記固体撮像装置の受光部に被写体像を結像させる撮像光学系と、前記撮像光学系を駆動する駆動制御部と、前記固体撮像装置からの出力信号を信号処理し、撮像信号を生成する信号処理部と、前記信号処理部によって生成された撮像信号を記録する記録部と、前記信号処理部によって生成された撮像信号を出力する出力部と、撮像動作を制御するための各種信号を入力する操作部と有し、前記固体撮像装置は、それぞれ光電変換部を有する複数の画素より構成される画素アレイ部と、前記画素アレイ部から出力される画素信号を出力信号に変換する信号変換回路と、前記信号変換回路で扱われる所定の信号に含まれるクランプレベルを補正するクランプ補正回路とを有し、前記クランプ補正回路は、前記所定の信号のＡ／Ｄ変換を行うとともに、このＡ／Ｄ変換の際に前記所定の信号に割り当てられるビット数Ｎに補正用のＭビットを追加したＮ＋Ｍビットのデジタルデータを生成して出力するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換手段によって出力されたＮ＋Ｍビットのデジタルデータと目標値とに基づいて補正値を決定する補正値生成手段と、前記Ａ／Ｄ変換手段によって出力されたＮ＋Ｍビットのデジタルデータと前記補正値生成手段によって出力された補正値によって補正演算を行い、Ｎビットのクランプ補正データを生成する演算手段とを有することを特徴とする。

本発明の固体撮像装置及び撮像装置によれば、クランプ補正を行う信号のＡ／Ｄ変換の際に、この信号に本来割り当てられるビット数Ｎに補正用のＭビットを追加したＮ＋Ｍビットのデジタルデータを生成し、このＮ＋Ｍビットのデジタルデータと目標値とに基づいて補正値を決定して補正演算を行い、Ｎビットのクランプ補正データを生成するデジタル回路でクランプ補正回路を構成したことから、アナログフィードバック回路を用いることなく、適正なクランプ補正を行うことができ、回路の小型化、及びアナログ回路によるノイズの増大を防ぐことができる。
また、Ａ／Ｄ変換の際に補正用のＭビットを追加することにより、デジタルクランプによるダイナミックレンジの低下を防ぐことができ、十分な能力のクランプ補正を行うことができる。

図１は本発明の実施の形態における固体撮像装置の具体例を示す平面図であり、ＣＭＯＳイメージセンサの例を示している。また、図２は図１に示す固体撮像装置の画素内の回路構成を示す回路図である。
また、図３は本実施の形態による固体撮像装置の信号処理回路内でオプティカルブラック（ＯＢ）信号を目標値に補正するためのデジタルクランプ補正回路の構成例を示すブロック図である。
なお、以下の実施の形態はＣＭＯＳイメージセンサを中心に説明するが、本発明はＣＣＤイメージセンサにも同様に適用できるものである。

本実施の形態による固体撮像装置は、図１に示すように、２次元方向に配置された複数の画素１６によって撮像領域を構成する画素アレイ部２０と、画素アレイ部２０の各画素を垂直方向に走査して画素信号の読み出し動作を制御する垂直走査回路２１と、画素アレイ部２０の各画素列（カラム）から導かれた垂直信号線２８を制御する負荷ＭＯＳトランジスタ回路２４と、画素アレイ部２０の各画素列から読み出された画素信号を取り込み、相関二重サンプリング処理によるノイズ除去を行うＣＤＳ回路２５と、ＣＤＳ回路２５の画素信号を水平信号線２７に出力する水平選択トランジスタ回路２６と、水平選択トランジスタ回路２６を水平方向に順次選択して画素信号の出力を制御する水平走査回路２２とを有する。そして、水平信号線２７に出力された画素信号はバッファアンプ２９を介して後段の回路に伝送される。

また、各画素１６は、図２に示すように、入射した光を光電変換するフォトダイオード（ＰＤ）１と、光電変換された電気信号を転送パルス（ΦＴＲＧ）に基づいてフローティングデフュージョン（ＦＤ）部３に転送するトランジスタ（ＴＧ）１２と、リセットパルス（ΦＲＳＴ）に基づいてＦＤ部３の電位を電源電圧ＶＤＤにリセットするリセットトランジスタ（ＲＳＴ）１４、ＦＤ部３の電位変動を電圧信号または電流信号に変換する増幅トランジスタ（ＡＭＰ）１３と、選択信号（ΦＳＥＬ）に基づいて増幅トランジスタ１３の出力を垂直信号線２８に接続する選択トランジスタ１５とを有する。
したがって、画素１６の近傍には、垂直方向に垂直信号線２８や電源線２３等が配線され、水平方向に読み出し線１７、リセット線１８、選択線１９等が配線されている。

次に、図３を用いて本実施の形態によるデジタルクランプ補正回路の構成について説明する。図３に示すデジタルクランプ補正回路は、例えばＣＤＳ回路の下流（図１の例ではバッファアンプ２９の後段）に設けられており、さらに下流の信号処理回路（後述するＤＳＰ）にクランプ補正した画像信号を供給するものである。
ＣＤＳ回路では、画素アレイ部から出力される画素信号について、リセットレベルのサンプリング値と信号レベルのサンプリング値との差分演算を行い、画素固有ノイズを除去した画像信号を出力するものであり、その画像信号が後段のＡＧＣ等によってオプティカルブラック（ＯＢ）に基づくブラックレベル等の直流値が付加される。
そこで本例のクランプ補正回路では、このような画像信号に含まれるブラックレベルを補正し、最適化した画像信号を後段の信号処理回路（ＤＳＰ）に出力する。

図３に示すように、本例のクランプ補正回路は、オートゲインコントロール＋サンプルホールド（ＡＧＣ＋Ｓ／Ｈ）回路１０１、アナログ／デジタル（Ａ／Ｄ）コンバータ１０２、補正値生成部１０３、及び演算器１０４を有する。なお、この固体撮像装置で扱うデジタル画像信号はＮビット（すなわち、最大２^ｎ）のデータであるものとする。
ＡＧＣ＋Ｓ／Ｈ回路１０１では、イメージセンサ（例えばバッファアンプ２９）から出力されるアナログ画像信号（以下、センサ信号という）１１１に対してゲインコントロールを行い、所定のタイミングでサンプリングした信号をホールドする回路である。このＡＧＣ＋Ｓ／Ｈ回路１０１において、ＣＤＳ回路で生成された差分信号に、所定のリファレンス値（通常はオプティカルブラック値に基づく値（ブラックレベル））が付加された直流のセンサ信号１１２として出力される。

Ａ／Ｄコンバータ１０２では、このようにＡＧＣ＋Ｓ／Ｈ回路１０１でサンプルホールドされたアナログセンサ信号１１２を量子化し、デジタル画像データ１１３を生成する回路である。そして本例では、この量子化の際に、画像信号に与えられるＮビットに補正用の１ビット（すなわち、Ｍ＝１）を追加したＮ＋１ビットの量子化を行い、Ｎ＋１ビットのデジタル画像データ１１３を出力する。例えば、本来の画像データとして１０ビット必要な場合には、１１ビットで量子化する。
補正値生成部１０３では、Ａ／Ｄコンバータ１０２で出力されたＮ＋１ビットのデジタル画像データ１１３を入力し、このデジタル画像データ１１３に含まれるリファレンス値（本例ではブラックレベル）を補正するための補正値１１４を算出する。例えばＣＭＯＳイメージセンサの場合、カラム毎にブラックレベルのバラツキを有することから、このバラツキの補正やブラックレベル自体を適切なクランプ値に補正するための補正値を算出し、演算器１０４に出力する。
演算器１０４では、Ａ／Ｄコンバータ１０２で出力されたＮ＋１ビットのデジタル画像データ１１３と、補正値生成部１０３によって生成された補正値１１４を入力し、補正値１１４に基づいて、デジタル画像データ１１３に含まれるリファレンス値（本例ではブラックレベル）を補正する演算を行い、クランプ補正したｎビットの画像データ１１５として出力する。

図４は図３に示すクランプ補正回路における各信号の状態を示す説明図である。
まず、Ａ／Ｄコンバータ１０２で補正用の１ビットを追加した状態でＡ／Ｄ変換を行うことにより、Ｎ＋１ビット（２^ｎ＋１）のデジタル画像データ１１３を生成する。なお、ブラックレベルは量子化後の値が２^ｎより下になっていれば十分である。
補正値生成部１０３では、そのブラックレベルを用いてランダムノイズやチャネル間段差、フレーム段差を補正した値にオフセットレベルを考慮した値（これらの値を総称して目標値という）を補正値１１４として算出する。
そして、演算器１０４では、この補正値１１４をデジタル画像データ１１３から引くことにより、Ｎビットの出力データ１１５を得る。

この図４から明らかなように、元の入力に含まれる画像信号のダイナミックレンジを削ることなく、出力データがブラックレベルをクランプした状態で出力される。なお、この出力データにおいて、Ｎビットを超える領域Ａに入ってしまったデータは、明らかにオーバーフローしたデータであることから、全て１を出力することになる。
本実施の形態を適用した結果、ダイナミックレンジを無駄にすることなく、デジタルクランプ回路の構成のみで、変動やばらつきを含むオプティカルブラックの適正なクランプ補正を実現することが可能となる。
また、アナログのフィードバック補正回路が不要となることから、Ａ／Ｄ変換前のノイズに厳しい状態のアナログ信号に対してノイズ等を印加を防ぐことができる。
また、フィードバックに使用するＤ／Ａ等が不要になることから回路規模の小型化にも寄与することができる。

次に、本実施の形態を応用した他の動作例について説明する。
上述のように本実施の形態では、出力データがＮビットを超えた場合、それをオーバーフローデータとして全て１を出力するようにしていたが、このオーバーフローの部分について、以下のような動作例１〜３の処理を施すことにより、さらに高品位の出力を得ることが可能となる。

図５は他の動作例１における画像信号の状態を示す説明図である。
この動作例１は、通常のＮビットではオーバーフローとして扱われてしまう部分について、デジタル的に負のゲインをかけることで、正常なデータとして扱うことができるようにしたものである。
通常のデジタルゲインは正方向を指すことが多いが、本例では補正用の１ビットを用いて通常は白とびする画像に対して負のゲインをかけても、ダイナミックレンジを損なうことなく、有効データとして再現できる。
具体的には、例えば演算器１０４の後段にデジタルゲインコントロール回路を付与し、クランプ補正の後に画像信号がＮビットを超える領域Ａに存在するデータに対し、そのオーバーフロー部分に１を挿入する代わりに、マイナスゲインをかけてＮビットに収まるようにする。

図６は他の動作例２における画像信号の状態を示す説明図である。
この動作例２は、画像が明るいことを想定して、暗い部分の分解能を削り、高輝度部分のビット分解能を維持したまま、オーバーフローしたデータをシフトさせることで、有効データとして出力するものである。
すなわち、何等かの方法で輝度レベルの指定を行い、その指定レベル以下の低輝度領域をクランプ補正したブラックレベルに再度クランプして除去することにより、高輝度領域のデータをシフトし、Ｎビットを超える領域Ａに存在するデータを有効データとして再現できる。
この場合、演算器１０４にレベルシフト演算を制御する手段を付加して行う。また、シフトするレベルを指定する方法としては、オーバーフローした画像信号から判定する方法や、予め設定した固定レベルを用いる方法等があり、被写体の状況やシステムの用途等に応じて種々選択が可能である。

図７は他の動作例３における画像信号の状態を示す説明図である。
この動作例３は、暗い領域のビット分解能を維持したまま、オーバーフローしてしまった高輝度の箇所のみにマイナスゲインをかけることで通常使用のダイナミックレンジを越えた高ダイナミックレンジの画像を実現するものである。この場合、高輝度領域のレベルを指定して、そのレベル以上のデータにマイナスゲインをかけることになる。
さらに、図６に示した低輝度領域をレベルシフトする方法と、図７に示した高輝度領域にマイナスゲインをかける方法とを組み合わせるようにしても良い。この場合、シフトする低輝度領域のレベルと、マイナスゲインをかける高輝度領域のレベルの２つのレベルを指定して演算処理を行えば、さらに最適化した高ダイナミックレンジの画像を実現することができる。

以上説明したように、本実施の形態によれば、デジタル回路のみでクランプ補正回路を構成することにより、アナログフィードバック回路を削除でき、回路の小型化、及びアナログ回路によるノイズの増大を防ぐことができる。
また、量子化の際に補正用のＭビットを追加することにより、デジタルクランプによるダイナミックレンジの低下を防ぐことができる。
さらに、デジタル的にマイナスゲインをかける場合でも、ダイナミックレンジを減らさずに行うことが可能なことから、高輝度領域のオーバーフロー状態を有効データとして扱うことが可能となる。
また、低輝度領域をクランプして高輝度の分解能を維持してもダイナミックレンジを損なうことなくデータを出力することができる。
さらに高輝度領域のある範囲のみマイナスゲインをかけることにより、低輝度の分解能を維持したまま高輝度のオーバーフローを防ぐことが可能となる。

なお、以上の実施の形態では、オプティカルブラック値をクランプ補正するクランプ補正回路について説明したが、本発明は他のクランプ補正回路にも適用できるものである。
また、以上は本発明をＣＭＯＳイメージセンサについて適用した場合を説明したが、本発明は必ずしもＣＭＯＳイメージセンサに限定されず、クランプ補正やＡ／Ｄ変換を行う各種の固体撮像装置に広く適用できるものである。

また、固体撮像装置は１チップ上にイメージセンサを構成したものに限らず、イメージセンサを搭載した撮像部と信号処理部や光学系とを別の部品として構成し、これらをまとめてパッケージ化した構成であってもよく、さらに、制御部や操作部と一体化され、カメラシステムや携帯電話器に利用される装置であってもよい。すなわち、本発明では、単体のイメージセンサを固体撮像装置と言い、他の機能部品（例えば通信モジュールや表示モジュール）と組み合わせたものを撮像装置と言うものとし、いずれも本発明の範囲とするものである。
そして、図３に示すクランプ補正回路は、固体撮像装置側に設けても良いし、撮像装置側に設けられる信号処理回路内に設けても良い。

以下、本発明を適用した撮像装置の具体例を説明する。
図８は本例のＣＭＯＳイメージセンサを用いたカメラ装置の構成例を示すブロック図である。
図において、撮像部３１０は、例えば図１に示したＣＭＯＳイメージセンサを用いて被写体の撮像を行い、撮像信号をメイン基板に搭載されたシステムコントロール部３２０に出力する。すなわち、撮像部３１０では、上述したＣＭＯＳイメージセンサの出力信号に対し、ＡＧＣ（自動利得制御）、ＯＢ（オプティカルブラック）クランプ、ＣＤＳ（相関二重サンプリング）といった処理を行い、その後段で、図３に示したクランプ補正回路により、クランプ補正したデジタル撮像信号を生成し、システムコントロール部３２０に出力する。
なお、本例では、撮像部３１０側にクランプ補正回路を設けた例について示しているが、撮像部３１０からアナログ撮像信号をシステムコントロール部３２０に送り、システムコントロール部３２０側でクランプ補正回路によりデジタル信号を生成するような構成であってもよい。また、撮像部３１０内での処理も種々の方法があり、特に限定しないことは勿論である。

また、撮像光学系３００は、鏡筒内に配置されたズームレンズ３０１や絞り機構３０２等を含み、ＣＭＯＳイメージセンサの受光部に被写体像を結像させるものであり、システムコントロール部３２０の指示に基づく駆動制御部３３０の制御により、各部を機械的に駆動してオートフォーカス等の制御が行われる。

また、システムコントロール部３２０には、ＣＰＵ３２１、ＲＯＭ３２２、ＲＡＭ３２３、ＤＳＰ３２４、外部インターフェース３２５等が設けられている。
ＣＰＵ３２１は、ＲＯＭ３２２及びＲＡＭ３２３を用いて本カメラ装置の各部に指示を送り、システム全体の制御を行う。
ＤＳＰ３２４は、撮像部３１０からの撮像信号に対して各種の信号処理を行うことにより、所定のフォーマットによる静止画または動画の映像信号（例えばＹＵＶ信号等）を生成する。
外部インターフェース３２５には、各種エンコーダやＤ／Ａ変換器が設けられ、システムコントロール部３２０に接続される外部要素（本例では、ディスプレイ３６０、メモリ媒体３４０、操作パネル部３５０）との間で、各種制御信号やデータをやり取りする。

ディスプレイ３６０は、本カメラ装置に組み込まれた例えば液晶パネル等の小型表示器であり、撮像した画像を表示する。なお、このようなカメラ装置に組み込まれた小型表示器に加えて、外部の大型表示装置に画像データを伝送し、表示できる構成とすることも勿論可能である。
メモリ媒体３４０は、例えば各種メモリカード等に撮影された画像を適宜保存しておけるものであり、例えばメモリ媒体コントローラ３４１に対してメモリ媒体を交換可能なものとなっている。メモリ媒体３４０としては、各種メモリカードの他に、磁気や光を用いたディスク媒体等を用いることができる。
操作パネル部３５０は、本カメラ装置で撮影作業を行うに際し、ユーザが各種の指示を行うための入力キーを設けたものであり、ＣＰＵ３２１は、この操作パネル部３５０からの入力信号を監視し、その入力内容に基づいて各種の動作制御を実行する。

このようなカメラ装置に、本発明を適用することにより、種々の被写体に関し、高ダイナミックレンジの撮影を行うことができる。なお、以上の構成において、システムの構成要素となる単位デバイスや単位モジュールの組み合わせ方、セットの規模等については、製品化の実情等に基づいて適宜選択することが可能であり、本発明の撮像装置は、種々の変形を幅広く含むものとする。

また、本発明の固体撮像装置及び撮像装置において、撮像対象（被写体）としては、人や景色等の一般的な映像に限らず、偽札検出器や指紋検出器等の特殊な微細画像パターンの撮像にも適用できるものである。この場合の装置構成としては、図８に示した一般的なカメラ装置ではなく、さらに特殊な撮像光学系やパターン解析を含む信号処理系を含むことになり、この場合にも本発明の作用効果を十分発揮して、精密な画像検出を実現することが可能となる。
さらに、遠隔医療や防犯監視、個人認証等のように遠隔システムを構成する場合には、上述のようにネットワークと接続した通信モジュールを含む装置構成とすることも可能であり、幅広い応用が実現可能である。

本発明の実施の形態による固体撮像装置の構成例を示す平面図である。図１に示す固体撮像装置の画素回路の構成を示す回路図である。図１に示す固体撮像装置に設けられるクランプ補正回路の構成を示すブロック図である。図３に示すクランプ補正回路における画像信号の状態を示す説明図である。図３に示すクランプ補正回路の他の動作例１における画像信号の状態を示す説明図である。図３に示すクランプ補正回路の他の動作例２における画像信号の状態を示す説明図である。図３に示すクランプ補正回路の他の動作例３における画像信号の状態を示す説明図である。図１に示す固体撮像装置が設けられる撮像装置の構成例を示すブロック図である。

符号の説明

１……フォトダイオード、１２……転送トランジスタ、１３……増幅トランジスタ、１４……リセットトランジスタ、１５……選択トランジスタ、１６……画素、２０……画素アレイ部、２５……ＣＤＳ回路、１０１……ＡＧＣ＋Ｓ／Ｈ回路、１０２……Ａ／Ｄコンバータ、１０３……補正値生成部、１０４……演算器。