JP2010109670A - 撮像装置 - Google Patents

Abstract

【課題】暗電流が増加した状態でも本来の信号レベルを得ることができ、着色現象やダイナミックレンジの喪失を回避する。
【解決手段】ＡＤ変換された出力信号の撮像領域の信号レベルからオプティカルブラック領域信号レベル検出手段１３１で検出されたオプティカルブラック領域の信号レベルを減算する減算手段１３２と、オプティカルブラック領域信号レベル検出手段１３１で検出されたオプティカルブラック領域の信号レベルが所定の信号レベルを超えているか否かを判定する判定手段１３５と、判定手段１３５が、オプティカルブラック領域信号レベル検出手段１３１で検出されたオプティカルブラック領域の信号レベルが所定の信号レベルを超えていると判定したときに、超過信号レベルと飽和信号レベルとの差分を演算する演算手段１３６と、演算手段１３６で演算された差分に応じてホワイトバランスゲインを補正する補正手段１３７と、を備える。
【選択図】図１

Description

本発明は、撮像装置の暗電流抑圧処理に関するものである。

撮像装置においては、一般に、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどの撮像素子からの出力信号に相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ、以下、ＣＤＳと記載する。）回路でノイズ抑圧を施した後に、ＡＤコンバーターの入力レンジに増幅後、ＡＤ変換を行うが、このＡＤ変換の際に、出力信号を撮像素子上のオプティカルブラック（Ｏｐｔｉｃａｌ Ｂｌａｃｋ、以下、ＯＢと記載する。）領域の出力信号の信号レベルでクランプ処理することによって黒レベルを直流成分として再生する。これにより、温度上昇などで発生する暗電流をキャンセルする。さらに、ＡＤ変換したディジタル信号にノイズリダクションとホワイトバランス調整及びガンマ補正を施してからＹＣ変換することで映像信号を生成する。

特許文献１には、撮像素子の温度上昇による画像劣化を防止した撮像装置が開示されている。特許文献１に記載の撮像装置は、ＣＣＤイメージセンサーの分光感度特性が短波長側で低くなっている点と出力信号に含まれる赤色信号、青色信号、緑色信号の信号レベルが１：１：１になるようにホワイトバランス調整が施される点から、撮像素子が高温になり暗電流の蓄積量が増加したときに、特に色温度が低い被写体においては青色信号のホワイトバランスゲインが高くなり過ぎてＳ／Ｎを低下させる問題に対して、撮像素子が高温になり暗電流が増加したときに、青色信号のホワイトバランスゲインを固定することでこの問題を解決する。
特開昭６１−１９８９９０号公報

ところで、上記した、出力信号をＯＢ領域の出力信号の信号レベルでクランプ処理する機能のみを搭載した撮像装置においては、撮像素子の温度上昇が大きくなった場合や露光時間が長くなった場合に暗電流の蓄積量が増加し、暗電流の信号レベルがクランプレベルとして与えた信号レベルよりも大きくなってしまう。そうすると、クランプ処理の結果、出力信号の信号レベルから暗電流の信号レベルが減算されると、出力信号の飽和レベルが暗電流の信号レベルを減じた分だけ下がることになり、飽和レベルがＡＤコンバーターの最大信号レベルに達しなくなる。この状態でホワイトバランスゲインを乗じると、ＣＭＯＳイメージセンサーでは、その一般的な分光感度特性から、出力信号に含まれる緑色信号よりも、赤色信号と青色信号により高いホワイトバランスゲインがかかることになる。その結果、本来は、入射光量が大きく、飽和して緑色信号と赤色信号と青色信号の信号レベルが最大信号レベル付近で同じ信号レベルになる領域で、緑色信号よりも赤色信号と青色信号の信号レベルが高くなり、白く再現されるべき領域が、マゼンタ色に再現されることになる。さらに、本来は、最大信号レベルになるべき領域が最大信号レベルにならないので、ダイナミックレンジの狭い映像信号となる。

また、ＣＭＯＳイメージセンサーから、黒レベルとして規定した以上の暗電流が出力される状態は、ランダムノイズが非常に大きく、通常のノイズリダクションでは十分な効果が得られない。

分光感度特性が異なるものの、同様の問題は、ＣＣＤイメージセンサーを用いた撮像装置においても発生する。

なお、特許文献１に記載の撮像装置は、ＣＣＤイメージセンサーを用いた撮像装置において、青色信号のホワイトバランスゲインが高くなり過ぎることによるＳ／Ｎの低下に対して効果を奏するものの、白く再現されるべき領域に対する着色の問題については解を与えない。

そこで、本発明は、上記課題を解決するために、ＡＤ変換前の、出力信号をＯＢ領域の出力信号の信号レベルでクランプする処理を止めて、ＡＤ変換後のディジタル信号での減算処理（以下、ＯＢ減算処理と記載する。）を行う。このＯＢ減算処理に先立ち、ＡＤ変換後のＯＢ領域の信号レベルを取得し、その信号レベルが本来のクランプレベルよりも大きい場合は、ＯＢ減算処理において、その差分に応じたホワイトバランスゲインの補正をすることで、ホワイトバランスゲインを乗じた後の信号レベルが本来の信号レベルとなるようにする。

また、ＯＢ領域の信号レベルとクランプレベルの差分に応じてノイズリダクションを強めることで、暗電流の大きさに応じたノイズリダクション効果を得る。

上記課題を解決するために、本発明の撮像装置は、撮像素子の出力信号をＡＤ変換するＡＤ変換手段と、前記ＡＤ変換された出力信号のオプティカルブラック領域の信号レベルを検出するオプティカルブラック領域信号レベル検出手段と、前記ＡＤ変換された出力信号の撮像領域の信号レベルから前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルを減算する減算手段と、前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルに基づいてホワイトバランスゲインを補正する補正手段と、を備えることを特徴とする。

また、本発明の撮像装置は、撮像素子の出力信号をＡＤ変換するＡＤ変換手段と、前記ＡＤ変換された出力信号のオプティカルブラック領域の信号レベルを検出するオプティカルブラック領域信号レベル検出手段と、前記ＡＤ変換された出力信号の撮像領域の信号レベルから前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルを減算する減算手段と、前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルと飽和信号レベルとの差分に基づいてホワイトバランスゲインを補正する補正手段と、を備えることを特徴とする。

補正手段で補正されたホワイトバランスゲインを撮像素子の出力信号に乗じることで、ホワイトバランスゲインを乗じた後の信号レベルが、暗電流の大きさによらず、本来の信号レベルとなる。

また、本発明の撮像装置は、前記ＡＤ変換された出力信号にノイズリダクションを施すノイズリダクション手段をさらに備え、前記ノイズリダクション手段は、前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルまたは前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルと飽和信号レベルとの差分に基づいてノイズリダクションの量を変化させる、ことを特徴としてもよい。

ＯＢ領域の信号レベルが大きい状態においては、暗電流によって発生するランダムノイズの量も大きくなるため、オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルまたはオプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルと飽和信号レベルとの差分に基づいてノイズリダクションの量を変化させることで最適なノイズリダクション効果を得る。

なお、上記したホワイトバランスゲインの補正は、オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルが基準の信号レベルを超えているときに行なってもよいし、撮像素子の露光時間や撮像素子またはその近傍の温度を測定して暗電流が増加する場合（撮像素子の露光時間が長い場合や撮像素子またはその近傍の温度が高い場合）にのみ行なっても良い。また、ＡＤ変換前のＯＢ領域の信号レベルが基準の信号レベルを超えているときに行なっても良い。

本発明は、暗電流が増加した状態でも、ホワイトバランスゲインの補正により本来の信号レベルを得ることができ、最大信号レベルになるべき領域が最大信号レベルにならないことによる着色現象やダイナミックレンジの喪失を回避できる。また、暗電流の大きさに応じたノイズリダクションを施すことで最適な画像処理を行うことができる。

（実施の形態）
以下、本発明の一実施形態について図面を参照して説明する。本実施の形態における撮像装置は、撮像素子であるＣＭＯＳイメージセンサー１０１と、ＣＭＯＳイメージセンサー１０１の出力信号の増幅と増幅された出力信号をＯＢ領域１１２の出力信号の信号レベルでクランプする処理（以下、ＯＢクランプ処理と記載する。）とクランプされた出力信号のＡＤ変換とを行うアナログフロントエンドＬＳＩ１０２と、ノイズリダクションとホワイトバランス調整とガンマ補正とＹＣ変換とを行い映像信号を生成するディジタル信号処理ＬＳＩ１０３とで構成される（図１参照）。なお、本実施の形態における撮像装置には、ＣＭＯＳイメージセンサー１０１に被写体光を集光する光学系や映像信号を表示する表示手段や映像信号を圧縮して記録する記録手段も含まれるが、本明細書では説明を省略する。

１．構成
１−１ 概要
図１は、本実施の形態における撮像装置の構成図である。

本実施の形態における撮像装置は、ＣＭＯＳイメージセンサー１０１と、アナログフロントエンドＬＳＩ１０２と、ディジタル信号処理ＬＳＩ１０３と、を備える。

ＣＭＯＳイメージセンサー１０１は、撮像領域１１０と、ＯＢ領域１１２と、垂直シフトレジスタ１１３と、アンプ回路１１４と、水平シフトレジスタ１１５と、を備える。撮像領域１１０とＯＢ領域１１２には、フォトダイオード１１１がアレイ状に配置される。図１では、図が煩雑になるのを避けるため、撮像領域１１０に配置されるフォトダイオード１１１の一部のみを示している。ＯＢ領域１１２に配置されるフォトダイオード１１１は、遮光されている。

アナログフロントエンドＬＳＩ１０２は、ＣＤＳ回路１２０と、アナログゲインコントローラー（ＡＧＣ）１２１と、ＡＤコンバーター（ＡＤＣ）１２２と、ＯＢ領域セレクター１２３と、ＯＢクランプレベルレジスタ１２４と、加減算回路１２５と、ＤＡコンバーター１２６と、タイミングジェネレータ１２７と、ＯＢクランプ加算回路１２８と、を備える。

ディジタル信号処理ＬＳＩ１０３は、ＯＢ読み出しアドレス指定レジスタ１３０と、ＯＢレベル検出器１３１と、ＯＢ減算回路１３２と、ノイズリダクション回路１３３と、ＯＢスレッシュレベル指定レジスタ１３４と、ＯＢスレッシュレベル判定器１３５と、ＯＢ補正演算器１３６と、ホワイトバランス補正乗算回路１４２と、ホワイトバランスゲイン演算器１３７と、ホワイトバランスゲイン乗算回路１３８と、ホワイトバランスゲインリミッタ１３９と、ガンマ補正回路１４０とＹＣ変換回路１４１と、を備える。以下、さらに詳細に説明する。

１−２ 詳細
ＣＭＯＳイメージセンサー１０１は、被写体像を撮像する。フォトダイオード１１１は、光電変換により電荷を生成する。画素データは、フォトダイオード１１１が光電変換により生成した電荷量によって表される。

フォトダイオード１１１で生成された電荷（画素データ）は、垂直シフトレジスタ１１３で選択されたラインごとにアンプ回路１１４に読み出され、アンプ回路１１４でノイズ抑圧と増幅処理が行なわれた後、水平シフトレジスタ１１５に読み出される。

アナログフロントエンドＬＳＩ１０２では、ＣＭＯＳイメージセンサー１０１から読み出された画素データに対して、ＣＤＳ回路１２０でノイズ抑圧を行い、アナログゲインコントローラー１２１でＡＤコンバーター１２２の入力レンジ幅に増幅してからＡＤコンバーター１２２でＡＤ変換を行う。

ＡＤ変換を行う際に、ＣＭＯＳイメージセンサー１０１の黒レベルを直流成分として再生する。まず、ＯＢ領域セレクター１２３を閉じて、ＣＭＯＳイメージセンサー１０１のＯＢ領域１１２の画素データの信号レベルとクランプレベルレジスタ１２４で指定されたクランプレベルとを加減算回路１２５で加減算する。次に、ＯＢ領域セレクター１２３を開いて、加減算回路１２５の出力をＤＡコンバーター１２６でＤＡ変換してから、ＯＢクランプ加算回路１２８で撮像領域１１０の画素データの信号レベルに加算することでＯＢクランプ処理を行う。これにより、ＣＭＯＳイメージセンサー１０１の黒レベルの再生と暗電流成分のキャンセルを行うことができる。

アナログフロントエンドＬＳＩ１０２でＡＤ変換された画素データは、ディジタル信号処理ＬＳＩ１０３に読み出される。ディジタル信号処理ＬＳＩ１０３では、ＯＢ読み出しアドレス指定レジスタ１３０で指定されたＯＢ領域１１２の画素データの信号レベルをＯＢレベル検出器１３１で検出し、ＯＢ減算回路１３２で撮像領域１１０の画素データの信号レベルから減算する（ＯＢ減算処理）。

ＯＢ減算処理後の撮像領域１１０の画素データに対して、ノイズリダクション回路１３３でノイズ抑圧が行われる。ノイズ抑圧後の撮像領域１１０の画素データからホワイトバランスゲイン演算器１３７でホワイトバランスゲインを演算し、ホワイトバランスゲイン乗算回路１３８でノイズ抑圧後の撮像領域１１０の画素データと乗算する。その後、ホワイトバランスゲインリミッタ１３９によって、撮像領域１１０の画素データのビット幅を後段のディジタル信号処理のビット幅に制限することでホワイトバランスを整える。ホワイトバランス調整後の撮像領域１１０の画素データは、ガンマ補正回路１４０でガンマ補正された後、ＹＣ変換回路１４１でＹＣ変換され映像信号となる。

本発明においては、ディジタル信号処理ＬＳＩ１０３のＯＢレベル検出器１３１でＯＢ
領域１１２の信号レベルを取得するために、アナログフロントエンドＬＳＩ１０２のＯＢ領域セレクター１２３を開いて、ＣＭＯＳイメージセンサー１０１のＯＢ領域１１２に対するＯＢクランプ処理を止め、ＣＭＯＳイメージセンセー１０１の出力レベル０mＶを３０ｍＶの黒レベルとするディジタルクランプ処理を行なう。

すなわち、ＯＢスレッシュレベル判定器１３５は、ＯＢレベル検出器１３１で検出されたＯＢ領域１１２の画素データの信号レベルがＯＢスレッシュレベル指定レジスタ１３４で指定された信号レベルよりも大きいか否かを判定する。ＯＢレベル検出器１３１で検出されたＯＢ領域１１２の画素データの信号レベルがＯＢスレッシュレベル指定レジスタ１３４で指定された信号レベルよりも大きい場合は、ＯＢ補正演算器１３６で、ＯＢ減算処理により得られる撮像領域１１０の画素データの信号レベルの最大値が本来飽和により得られる最大信号レベルに対して生じる不足量をＯＢレベル検出器１３１で検出されたＯＢ領域１１２の画素データの信号レベルに基づいて演算する。ホワイトバランス補正乗算回路１４２は、この不足量の逆数をホワイトバランスゲイン演算器１３７が演算したホワイトバランスゲインに乗じる。例えば、（ＯＢ減算後最大信号レベル−ＯＢ検出レベル）÷ＯＢ減算後最大信号レベルの逆数をホワイトバランスゲイン演算器１３７が演算したホワイトバランスゲインに乗じる。

２．動作
図２は、ＣＭＯＳイメージセンサー１０１の撮像部の模式図である。図中の画素n、画素ｎ＋１、・・・、画素ｎ＋ｍの水平ラインを例に説明する。なお、ここでは、図１のフォトダイオード１１１を「画素」と呼ぶ。

図３は、暗電流がクランプレベルレジスタ１２４で指定されたクランプレベルより小さい場合の信号レベルについて説明する図である。

図１に示すＯＢクランプ処理前の信号レベル３００を図３（ａ）に、図１に示すＯＢクランプ処理後の信号レベル３０２を図３（ｂ）に、図１に示すＡＤ変換後の信号レベル３０３を図３（ｃ）に、図１に示すＯＢ減算処理後の信号レベル３０４を図３（ｄ）に、図１に示すホワイトバランス調整後の信号レベル３０５を図３（ｅ）と図３（ｆ）に示す。これらの図においては、ＡＤコンバーター１２２の最大入力レベルを１０００ｍＶ、クランプレベルレジスタ１２４で指定されたクランプレベルを３０ｍＶ、ＡＤコンバーター１２２のＡＤ変換のビット幅を１０ビットとする。

図３（ａ）のＯＢ領域１１２の信号レベルが、暗電流の信号レベルとなる。この例では、２０ｍＶの暗電流が発生しているものとする。撮像領域１１０の画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・においても、ＯＢ領域１１２と同様の暗電流が発生する。画素ｎは、被写体が暗く３０ｍＶの信号レベルしか発生しておらず、画素ｎ＋１には５００ｍＶの信号レベルが発生し、画素ｎ＋２では被写体が明るく飽和した状態となりＡＤコンバーター１２２の最大入力レベルである１０００ｍＶの信号レベルが発生しているものとする。

この状態で、３０ｍＶをクランプレベルとしてＯＢクランプ処理を行うと、ＯＢ領域１１２に発生した２０ｍＶの暗電流を３０ｍＶの黒レベルとするため、＋１０ｍＶのクランプが施されることになる。その結果、画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・の信号レベルは、図３（ｂ）に示すように、３０ｍＶを黒レベルとした信号レベルとなり、画素ｎの信号レベルは４０ｍＶ、画素ｎ＋１の信号レベルは５１０ｍＶ、画素ｎ＋２の信号レベルは最大信号レベルで飽和しているため１０００ｍＶの信号レベルとなる。このように、ＣＭＯＳイメージセンサー１０１の出力の直流成分を黒レベルとして再生することで、黒レベルの再生と暗電流のキャンセルを実施できる。

図３（ｃ）は、ＡＤコンバーター１２２で、ＯＢ領域１１２及び画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・の信号レベルをＡＤ変換した信号レベルを示す。０ｍV〜１０００ｍVを１０ビットの分解能でＡＤ変換するため、０〜１０２３のディジタル信号となる。ＯＢ領域１１２の信号レベルである３０ｍVは３０に、画素ｎの信号レベルである４０ｍVは４０に、画素ｎ＋１の信号レベルである５１０ｍVは５２２に、画素ｎ＋２の信号レベルである１０００ｍVは１０２３になる。

図３（ｄ）は、ＯＢ減算回路１３２で、画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・の信号レベル（ディジタル信号）からＯＢ領域１１２の信号レベル（ディジタル信号）を減算した後の信号レベル（ディジタル信号）を示す。図３（ｃ）に示す画素ｎ、画素ｎ＋１、画素ｎ＋２の信号レベル（ディジタル信号）からＯＢ領域の信号レベル（ディジタル信号）である３０を減算するため、画素ｎの信号レベル（ディジタル信号）は１０に、画素ｎ＋１の信号レベル（ディジタル信号）は４９２に、画素ｎ＋２の信号レベル（ディジタル信号）は９９３になる。

図３（ｅ）と図３（ｆ）に、ディジタル信号処理ＬＳＩ１０３のホワイトバランスゲイン乗算回路１３８でホワイトバランスゲインを乗じた後の信号レベル（ディジタル信号）を示す。ここでは、ホワイトバランスゲインとして、Ｇ画素には１．０３1倍を、Ｒ画素とＢ画素には１．３００倍のゲインを乗じた信号レベル（ディジタル信号）を記載する。Ｇ画素の場合は、1．０３１倍となるため、図３（ｅ）に示すとおり、画素ｎの信号レベル（ディジタル信号）は１０に、画素ｎ＋１の信号レベル（ディジタル信号）は５０６に、画素ｎ＋２の信号レベル（ディジタル信号）は１０２３になる。Ｒ画素とＢ画素の場合は、１．３００倍となるため、図３（ｆ）に示すとおり、画素ｎの信号レベル（ディジタル信号）は１３に、画素ｎ＋１の信号レベル（ディジタル信号）は６３９に、画素ｎ＋２の信号レベル（ディジタル信号）は１２９０になるが、画素ｎ＋２についてはホワイトバランスゲインリミッタ１３９で後段のディジタル信号処理のビット幅である１０ビットで制限され１０２３となる。

ここで、画素ｎ＋２は、ＣＭＯＳイメージセンサー１０１の入力レベルとしては、飽和して白く飛ぶ画素となるが、Ｇ画素の信号レベル（ディジタル信号）は、図３（ｅ）に示すとおり、最大信号レベルである１０２３となり、また、Ｒ画素とＢ画素の信号レベル（ディジタル信号）は、図３（ｆ）に示すとおり、同じく最大信号レベル１０２３となるので、画素ｎ＋２は白く飛んだ画素として再現される。

図４は、暗電流がクランプレベルレジスタ１２４で指定されたクランプレベルより大きい場合の信号レベルについて説明する図である。

図１に示すＯＢクランプ処理前の信号レベル３００を図４（ａ）に、図１に示すＯＢクランプ処理後の信号レベル３０２を図４（ｂ）に、図１に示すＡＤ変換後の信号レベル３０３を図４（ｃ）に、図１に示すＯＢ減算処理後の信号レベル３０４を図４（ｄ）に、図１に示すホワイトバランス調整後の信号レベル３０５を図４（ｅ）と図４（ｆ）に示す。これらの図においては、ＡＤコンバーター１２２の最大入力レベルを１０００ｍＶ、クランプレベルレジスタ１２４で指定されたクランプレベルを３０ｍＶ、ＡＤコンバーター１２２のＡＤ変換のビット幅を１０ビットとする。

図４（ａ）のＯＢ領域１１２の信号レベルが、暗電流レベルとなる。この例では、２３０ｍＶの暗電流が発生しているものとする。撮像領域１１０の画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・においても、ＯＢ領域１１２と同様の暗電流が発生する。画素ｎは、被写体が暗く、信号レベルが暗電流に埋もれた状態となり、暗電流と同じ２３０mＶの信号レベルとなっている。画素ｎ＋１には５００ｍＶの信号レベルが発生し、画素ｎ＋２では被写体が明るく飽和した状態となりＡＤコンバーター１２２の最大入力レベルである１０００ｍＶの信号レベルが発生しているものとする。

この状態で、３０ｍＶをクランプレベルとしてＯＢクランプ処理を行うと、ＯＢ領域１１２に発生した２３０ｍＶの暗電流を３０ｍＶの黒レベルとするため、−２００ｍＶのクランプが施されることになる。その結果、画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・の信号レベルは、図４（ｂ）に示すように、３０ｍＶを黒レベルとした信号レベルとなり、画素ｎの信号レベルは３０ｍＶ、画素ｎ＋１の信号レベルは３００ｍＶ、画素ｎ＋２の信号レベルは最大信号レベルで飽和しているにも関わらず８００ｍＶの信号レベルとなる。

図４（ｃ）は、ＡＤコンバーター１２２で、ＯＢ領域１１２及び画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・の信号レベルをＡＤ変換した信号レベルを示す。０ｍV〜１０００ｍVを１０ビットの分解能でＡＤ変換するため、０〜１０２３のディジタル信号となる。ＯＢ領域１１２の信号レベルである３０ｍVは３０に、画素ｎの信号レベルである３０ｍVは３０に、画素ｎ＋１の信号レベルである３００ｍVは３０６に、画素ｎ＋２の信号レベルである８００ｍVは８１９になる。

図４（ｄ）は、ＯＢ減算回路１３２で、画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・の信号レベル（ディジタル信号）からＯＢ領域１１２の信号レベル（ディジタル信号）を減算した後の信号レベル（ディジタル信号）を示す。図４（ｃ）に示す画素ｎ、画素ｎ＋１、画素ｎ＋２の信号レベル（ディジタル信号）から、ＯＢ領域の信号レベル（ディジタル信号）である３０を減算するため、画素ｎの信号レベル（ディジタル信号）は０に、画素ｎ＋１の信号レベル（ディジタル信号）は２７６に、画素ｎ＋２の信号レベル（ディジタル信号）は７８９になる。

図４（ｅ）と図４（ｆ）に、ディジタル信号処理ＬＳＩ１０３のホワイトバランスゲイン乗算回路１３８でホワイトバランスゲインを乗じた後の信号レベル（ディジタル信号）を示す。ここでは、ホワイトバランスゲインとして、Ｇ画素には１．０３1倍を、Ｒ画素とＢ画素には１．３００倍のゲインを乗じた信号レベル（ディジタル信号）を記載する。Ｇ画素の場合は、1．０３１倍となるため、図４（ｅ）に示すとおり、画素ｎの信号レベル（ディジタル信号）は０に、画素ｎ＋１の信号レベル（ディジタル信号）は２８４に、画素ｎ＋２の信号レベル（ディジタル信号）は８１２になる。Ｒ画素とＢ画素の場合は、１．３００倍となるため、図４（ｆ）に示すとおり、画素ｎの信号レベル（ディジタル信号）は０に、画素ｎ＋１の信号レベル（ディジタル信号）は３５８に、画素ｎ＋２の信号レベル（ディジタル信号）は１０２５になるが、画素ｎ＋２についてはホワイトバランスゲインリミッタ１３９で後段のディジタル信号処理のビット幅である１０ビットで制限され１０２３となる。

ここで、画素ｎ＋２は、ＣＭＯＳイメージセンサー１０１の入力レベルとしては、飽和して白く飛ぶ画素となるが、Ｇ画素の信号レベル（ディジタル信号）は、図４（ｅ）に示すとおり、８１２となり、また、Ｒ画素とＢ画素の信号レベル（ディジタル信号）は、図４（ｆ）に示すとおり、最大信号レベルである１０２３となるため、本来は、白く飛んだ画素として再現されるべき画素ｎ＋２において、Ｇ画素の信号レベル（ディジタル信号）＜Ｒ画素の信号レベル（ディジタル信号）＝Ｂ画素の信号レベル（ディジタル信号）となり、マゼンタ色に色再現されることになる。また、本来は、Ｇ画素の信号レベル（ディジタル信号）が最大信号レベルである１０２３になるべきところで、８１２しかない状態となり、ダイナミックレンジの狭い諧調再現しかできなくなる。

図５は、暗電流がクランプレベルレジスタ１２４で指定されたクランプレベルより大きい場合に本発明を実施したときの信号レベルについて説明する図である。

図１に示すＯＢクランプ処理前の信号レベル３００を図５（ａ）に、図１に示すＯＢクランプ処理後の信号レベル３０２（ただし、ＯＢクランプ処理は行なわない。）を図５（ｂ）に、図１に示すＡＤ変換後の信号レベル３０３を図５（ｃ）に、図１に示すＯＢ減算処理後の信号レベル３０４を図５（ｄ）に、図１に示すホワイトバランス調整後の信号レベル３０５を図５（ｅ）と図５（ｆ）に示す。これらの図においては、ＡＤコンバーター１２２の最大入力レベルを１０００ｍＶ、クランプレベルレジスタ１２４で指定されたクランプレベルを３０ｍＶ、ＡＤコンバーター１２２のＡＤ変換のビット幅を１０ビットとする。

図５（ａ）のＯＢ領域１１２の信号レベルが、暗電流レベルとなる。この例では、２３０ｍＶの暗電流が発生しているものとする。撮像領域１１０の画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・においても、ＯＢ領域１１２と同様の暗電流が発生する。画素ｎは、被写体が暗く、信号レベルが暗電流に埋もれた状態となり、暗電流と同じ２３０mＶの信号レベルとなっている。画素ｎ＋１には５００ｍＶの信号レベルが発生し、画素ｎ＋２では被写体が明るく飽和した状態となりＡＤコンバーター１２２の最大入力レベルである１０００ｍＶの信号レベルが発生しているものとする。

本発明においては、ディジタル信号処理ＬＳＩ１０３のＯＢレベル検出器１３１でＯＢ
領域１１２の信号レベルを取得するために、アナログフロントエンドＬＳＩ１０２のＯＢ領域セレクター１２３を開いて、ＣＭＯＳイメージセンサー１０１のＯＢ領域１１２に対するＯＢクランプ処理を止め、ＣＭＯＳイメージセンセー１０１の出力レベル０mＶを３０ｍＶの黒レベルとするディジタルクランプ処理を行なう。その結果、画素ｎ、ｎ＋１、ｎ＋２、・・・の信号レベルは、図５（ｂ）に示すように、３０ｍＶを黒レベルとした信号レベルとなり、画素ｎの信号レベルは２６０ｍＶ、画素ｎ＋１の信号レベルは５３０ｍＶ、画素ｎ＋２の信号レベルは最大信号レベルで飽和しているため１０００ｍＶの信号レベルとなる。

図５（ｃ）は、ＡＤコンバーター１２２で、ＯＢ領域１１２及び画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・の信号レベルをＡＤ変換した信号レベルを示す。０ｍV〜１０００ｍVを１０ビットの分解能でＡＤ変換するため、０〜１０２３のディジタル信号となる。ＯＢ領域１１２の信号レベルである２６０mＶは２６５に、画素ｎの信号レベルである２６０ｍVは２６５に、画素ｎ＋１の信号レベルである５３０ｍVは５４２に、画素ｎ＋２の信号レベルである１０００ｍVは１０２３になる。

図５（ｄ）は、ＯＢ減算回路１３２で、画素ｎ、画素ｎ＋１、画素ｎ＋２、・・・の信号レベル（ディジタル信号）からＯＢ領域１１２の信号レベル（ディジタル信号）を減算した後の信号レベル（ディジタル信号）を示す。図５（ｃ）に示す画素ｎ、画素ｎ＋１、画素ｎ＋２の信号レベル（ディジタル信号）から、ＯＢ領域の信号レベル（ディジタル信号）である２６５を減算するため、画素ｎの信号レベル（ディジタル信号）は０に、画素ｎ＋１の信号レベル（ディジタル信号）は２７７に、画素ｎ＋２の信号レベル（ディジタル信号）は７５８になる。

本発明においては、ＯＢレベル検出器１３１で検出されたＯＢ領域１１２の信号レベルがＯＢスレッシュレベル指定レジスタ１３４で指定された信号レベルよりも高いとＯＢスレッシュレベル判定器１３５が判定した場合は、ＯＢ補正演算器１３６でＯＢ領域１１２の信号レベルがＯＢスレッシュレベル指定レジスタ１３４で指定された信号レベルを超えたことにより不足する信号レベルを演算し、その演算した信号レベルの逆数をホワイトバランスゲイン演算器１３７が生成したホワイトバランスゲインに乗算する。ＯＢ領域の信号ベレルはＧ画素、Ｒ画素、Ｂ画素のいずれでも同じとなるが、この演算は、ＣＭＯＳイメージセンサー１０１の分光特性から、感度が最も高いＧ画素に対して行うこととする。

図５（ｅ）と図５（ｆ）に、本発明に基づいたホワイトバランスゲインの補正処理を行い、ホワイトバランスゲイン乗算回路１３８でホワイトバランスゲインを乗じた後の信号レベル（ディジタル信号）を示す。ここでは、ホワイトバランスゲインとして、Ｇ画素には１．０３1倍を、Ｒ画素とＢ画素には１．３００倍のゲインを乗じた信号レベル（ディジタル信号）を記載する。ＯＢ補正演算器１３６では、（ＯＢ減算後最大信号レベル−ＯＢ検出レベル）÷ＯＢ減算後最大信号レベル＝（９９３−２３５）÷９９３＝０．７６３の逆数である１．３１倍でＧ画素、Ｒ画素、Ｂ画素のホワイトランスゲイン補正を行う。Ｇ画素は、１．３１×１．０３１＝１．３５１倍となり、図５（ｅ）に示すとおり、画素ｎの信号レベル（ディジタル信号）は０となり、画素ｎ＋１の信号レベル（ディジタル信号）は３７３となり、画素ｎ＋２の信号レベル（ディジタル信号）は１０２３となる。Ｒ画素とＢ画素は、１．３００×１．３１＝１．７０３倍となり、図５（ｆ）に示すとおり、画素ｎの信号レベル（ディジタル信号）は０となり、画素ｎ＋１の信号レベル（ディジタル信号）は４７１となり、画素ｎ＋２の信号レベルは１２９０となるが、画素ｎ＋２についてはホワイトバランスゲインリミッタ１３９で後段のディジタル信号処理のビット幅である１０ビットで制限され１０２３となる。これにより、画素ｎ＋２は、Ｇ画素とＲ画素とＢ画素が最大信号レベルの１０２３となり、白く飽和した領域として再現される。

３．まとめ
本実施の形態の撮像装置は、ＣＭＯＳイメージセンサー１０１のＯＢ領域１１２の信号レベルによるＡＤ変換前のＯＢクランプ処理を止めて、ディジタル信号処理ＬＳＩ１０３のＯＢ減算回路１３２でＡＤ変換後の信号レベル（ディジタル信号）からＯＢ減算処理を行う。このＯＢ減算処理に先立ち、ＯＢレベル検出器１３１でＡＤ変換後のＯＢ領域１１２の信号レベル（ディジタル信号）を取得し、その信号レベルがＯＢスレッシュレベル指定レジスタ１３４で指定した信号レベルよりも大きい場合は、ＯＢ補正演算器１３６でその差分に応じたホワイトバランスゲインの補正量を演算し、ホワイトバランスゲイン演算器１３７が演算したホワイトバランスゲインを補正することで、ホワイトバランスゲインを乗じた後の信号レベル（ディジタル信号）が、本来の信号レベル（ディジタル信号）を得られるようにする。

また、その信号レベル（ディジタル信号）の差分に応じてノイズリダクション回路１３３のゲインを強めることで、暗電流の大きさに応じたノイズリダクション効果を得る。
（他の実施の形態）
本発明の実施の形態として、上記実施の形態を例示した。しかし、本発明は、上記実施の形態に限定されず、他の実施の形態においても実現可能である。そこで、本発明の他の実施の形態を以下まとめて説明する。

上記実施の形態では、撮像素子としてＣＭＯＳイメージセンサー１０１を例示した。しかし、ＣＭＯＳイメージセンサー１０１に替えて、他の撮像素子を用いてもよい。要するに、被写体を撮像して画像データを生成する撮像素子であればよい。他の撮像素子としては、例えば、ＣＣＤイメージセンサーなどを用いてもよい。

また、上記実施の形態では、ホワイトバランスゲイン演算器１３７やＯＢスレッシュレベル判定器１３５、ＯＢ補正演算器１３６などの各機能を回路構成にて実現する手段にて説明したが、これらの判定や演算は、撮像装置に内蔵したマイコンによりソフトウェアでも実施可能である。同様に他の機能についても、必ずしも各機能回路で実現する必要はなく、ソフトウェアによる実施の形態を含むものとする。

また、上記実施の形態では、ＯＢ補正演算器１３６でＯＢ領域１１２の信号レベルがＯＢスレッシュレベル指定レジスタ１３４で指定された信号レベルを超えたことにより不足する信号レベルを演算し、その演算した信号レベルの逆数をホワイトバランスゲイン演算器１３７が生成したホワイトバランスゲインに乗算することとしたが、ＯＢ領域１１２の信号レベルに基づいてホワイトバランスゲインを補正してもよい。例えば、ＯＢ領域１１２の信号レベルから暗電流の大きさが判断できるので、ＯＢ領域１１２の信号レベルに応じて補正係数をあらかじめ内部テーブルとして用意しておいて、そのテーブルの値に応じて補正することができる。要するに、ホワイトバランスゲインを乗じた後の信号レベルが、本来の信号レベルを得られるようにホワイトバランスゲインを補正すればよい。

また、上記実施の形態では、ノイズリダクション回路１３３について、信号レベルの差分に応じてノイズリダクション回路１３３のゲインを強めることで、暗電流の大きさに応じたノイズリダクション効果を得ることとしたが、ＯＢ領域１１２の信号レベルに基づいてノイズリダクション回路１３３のゲインを変更することとしてもよい。

また、上記実施の形態では、ＯＢレベル検出器１３１でＡＤ変換後のＯＢ領域１１２の信号レベルを取得し、その信号レベルがＯＢスレッシュレベル指定レジスタ１３４で指定した信号レベルよりも大きい場合にホワイトバランスゲインを補正することとしたが、ＣＭＯＳイメージセンサー１０１近傍の温度を測定し、測定された温度が基準の温度を超えたときに、ホワイトバランスゲインを補正してもよい。また、撮像素子の露光時間に基づいて、例えば、夜景撮影などの長秒露光において露光時間が基準の露光時間を超えたときに、ホワイトバランスゲインを補正してもよい。

また、上記実施の形態では、ＯＢレベル検出器１３１でＡＤ変換後のＯＢ領域１１２の信号レベルを取得し、その信号レベルがＯＢスレッシュレベル指定レジスタ１３４で指定した信号レベルよりも大きい場合にホワイトバランスゲインを補正することとしたが、ＯＢスレッシュレベル指定レジスタ１３４で指定した信号レベルは、必ずしも固定の値でなくてもよい。例えば、撮影シーンに応じてＯＢスレッシュレベル指定レジスタ１３４で指定した信号レベルを変更してもよい。

すなわち、本発明は上記実施の形態に限られず、種々の形態で実施可能である。

本発明は撮像素子を備えた撮像装置に適用可能である。具体的には、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話などに利用できる。

本実施の形態における撮像装置の構成図 ＣＭＯＳイメージセンサー１０１の撮像部の模式図 暗電流がクランプレベルレジスタ１２４で指定されたクランプレベルより小さい場合の信号レベルについて説明する図 暗電流がクランプレベルレジスタ１２４で指定されたクランプレベルより大きい場合の信号レベルについて説明する図 暗電流がクランプレベルレジスタ１２４で指定されたクランプレベルより大きい場合に本発明を実施したときの信号レベルについて説明する図

符号の説明

１０１ ＣＭＯＳイメージセンサー
１０２ アナログフロントエンドＬＳＩ
１０３ ディジタル信号処理ＬＳＩ
１１０ 撮像領域
１１１ フォトダイオード
１１２ ＯＢ領域
１１３ 垂直シフトレジスタ
１１４ アンプ回路
１１５ 水平シフトレジスタ
１２０ ＣＤＳ回路
１２１ アナログゲインコントローラー（ＡＧＣ）
１２２ ＡＤコンバーター（ＡＤＣ）
１２３ ＯＢ領域セレクター
１２４ ＯＢクランプレベルレジスタ
１２５ 加減算回路
１２６ ＤＡコンバーター
１２７ タイミングジェネレータ
１２８ ＯＢクランプ加算回路
１３０ ＯＢ読み出しアドレス指定レジスタ
１３１ ＯＢレベル検出器
１３２ ＯＢ減算回路
１３３ ノイズリダクション回路
１３４ ＯＢスレッシュレベル指定レジスタ
１３５ ＯＢスレッシュレベル判定手段
１３６ ＯＢ補正演算器
１３７ ホワイトバランスゲイン演算器
１３８ ホワイトバランスゲイン乗算回路
１３９ ホワイトバランスゲインリミッタ
１４０ ガンマ補正回路
１４１ ＹＣ変換回路
１４２ ホワイトバランス補正乗算回路

Claims (8)

1. 撮像素子の出力信号をＡＤ変換するＡＤ変換手段と、
   前記ＡＤ変換された出力信号のオプティカルブラック領域の信号レベルを検出するオプティカルブラック領域信号レベル検出手段と、
   前記ＡＤ変換された出力信号の撮像領域の信号レベルから前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルを減算する減算手段と、
   前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルに基づいてホワイトバランスゲインを補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記ＡＤ変換された出力信号にノイズリダクションを施すノイズリダクション手段をさらに備え、
   前記ノイズリダクション手段は、
   前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルに基づいてノイズリダクションの量を変化させる、
   ことを特徴とする請求項１に記載の撮像装置。
3. 撮像素子の出力信号をＡＤ変換するＡＤ変換手段と、
   前記ＡＤ変換された出力信号のオプティカルブラック領域の信号レベルを検出するオプティカルブラック領域信号レベル検出手段と、
   前記ＡＤ変換された出力信号の撮像領域の信号レベルから前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルを減算する減算手段と、
   前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルと飽和信号レベルとの差分に基づいてホワイトバランスゲインを補正する補正手段と、
   を備えることを特徴とする撮像装置。
4. 前記ＡＤ変換された出力信号にノイズリダクションを施すノイズリダクション手段をさらに備え、
   前記ノイズリダクション手段は、
   前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルと飽和信号レベルとの差分に基づいてノイズリダクションの量を変化させる、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルが基準の信号レベルを超えているか否かを判定する判定手段をさらに備え、
   前記補正手段は、
   前記判定手段が、前記オプティカルブラック領域信号レベル検出手段で検出されたオプティカルブラック領域の信号レベルが基準の信号レベルを超えていると判定したときに、ホワイトバランスゲインを補正する、
   ことを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。
6. 温度を測定する温度測定手段をさらに備え、
   前記補正手段は、
   前記温度測定手段で測定された温度が基準の温度を超えているときに、ホワイトバランスゲインを補正する、
   ことを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。
7. 前記撮像素子の露光時間を取得する露光時間取得手段をさらに備え、
   前記補正手段は、
   前記露光時間取得手段で取得された露光時間が基準の露光時間を超えているときに、ホワイトバランスゲインを補正する、
   ことを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。
8. 前記ＡＤ変換手段でＡＤ変換される前の前記撮像素子のオプティカルブラック領域の信号レベルが基準の信号レベルを超えているか否かを判定する第２の判定手段をさらに備え、
   前記補正手段は、
   前記第２の判定手段が、前記ＡＤ変換手段でＡＤ変換される前の前記撮像素子のオプティカルブラック領域の信号レベルが基準の信号レベルを超えていると判定したときに、ホワイトバランスゲインを補正する、
   ことを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。

Images