JP2005176115A - 撮像装置 - Google Patents

Abstract

【課題】撮像素子のオプティカル・ブラック（ＯＢ）信号の一部が正確な黒レベル信号とならなくても、有効画素部の黒レベルを正確に再生できる撮像装置を提供する。
【解決手段】撮影条件および被写体に応じて黒レベルを算出する際に参照するオプティカル・ブラック領域を切り替え、ＯＢ領域に生じた異常信号を検知し、異常信号が発生しているＯＢ領域をデジタル・クランプのデジタル・クランプ・データとして使わない。
【選択図】 図３

Description

本発明は、デジタルカメラ等で使用する撮像素子に於いて、黒レベルを計算する基準レベルとなるオプティカル・ブラック画素領域が複数ある場合に、撮影条件や被写体に応じて最適なオプティカル・ブラック領域を選択し、良好な黒レベルを得る方法について述べたものである。

従来、この種のデジタルスチルカメラでは、図１に示すような構成となっている。この図の構成の場合は、撮影者自身によるカメラ操作スイッチ１０１（カメラのメインＳＷ及びレリーズＳＷで構成）の状態変化を全体制御回路１００が検出し、その他の各回路ブロックへの電源供給を開始する。

撮影画面範囲内の被写体像は、主撮影光学系１０２及び１０３を通して撮像素子１０４上に結像し、この撮像素子１０４からの電気信号を、ＣＤＳ／ＡＧＣ回路を介して、画素毎に順々にＡ／Ｄ変換手段１０６で所定のデジタル信号に変換する。

ここで撮像素子１０４は、全体の駆動タイミングを決定しているタイミングジェネレータ１０８からの信号に基づき、画素毎の水平駆動並びに垂直駆動の為のドライバー回路１０７の出力で所定駆動する事により、画像信号出力を発生する。

同様に、撮像素子１０４からの出力をアナログ的に処理して所定の信号レベルに変換するＣＤＳ／ＡＧＣ回路１０５、並びにＡ／Ｄ変換回路１０６も上記タイミングジェネレータ１０８からのタイミングに基づいて動作する。

ＣＤＳ／ＡＧＣ回路１０５はＡ／Ｄ変換回路のダイナミック・レンジを有効に使うため、アナログ・クランプ回路を有し、主として撮像素子１０４のオプティカル・ブラック出力をＡ／Ｄ変換回路のダイナミック・レンジに合わせた適切なＤＣレベルに再生する。

Ａ／Ｄ変換回路１０６からの出力は、全体制御ＣＰＵ１００からの信号に基づいて信号の選択を行うセレクタ１０９を介してメモリ・コントローラー１１５へ入力し、ここでフレームメモリ１１６へ全ての信号出力を転送する。従って、この場合各撮影フレーム毎の画素データは、一旦全てフレームメモリ１１６内に記憶される為、連写撮影等の場合は全てフレームメモリ１１６への書き込み動作となる。

撮影動作終了後は、メモリ・コントローラー１１５の制御により、撮影データを記憶しているフレームメモリ１１６の内容を、セレクタ１０９を介してカメラＤＳＰ１１０へ転送する。このカメラＤＳＰ１１０では、フレームメモリに記憶されている各撮影データを読み出し、撮像素子１０４のオプティカル・ブラック画素部のデータを積分して、その平均値を有効画素部のすべてのデータから減算する等のデジタル・クランプ処理をし、色補間処理、ガンマ補正処理等によりＲＧＢの各色信号を生成する。

通常撮影前の状態では、この結果をビデオメモリ１１１に定期的(各フレーム毎)に転送する事で、モニター表示手段１１２を介してファインダー表示等を行っている。

一方、カメラ操作スイッチ１０１の操作により、撮影動作を撮影者自身が行った場合には、全体制御ＣＰＵ１００からの制御信号によって、１フレーム分の各画素データをフレームメモリ１１６から読み出し、カメラＤＳＰ１１０で画像処理を行ってから一旦ワークメモリ１１３に記憶する。

続いて、ワークメモリ１１３のデータを圧縮・伸張手段１１４で所定の圧縮フォーマットに基づきデータ圧縮し、その結果を外部不揮発性メモリ１１７(通常フラッシュメモリ等の不揮発性メモリを使用)に記憶する。

又、逆に撮影済みの画像データを観察する場合には、上記外部メモリに圧縮記憶されたデータを、圧縮・伸張手段１１４を通して通常の撮影画素毎のデータに伸張し、その結果をビデオメモリ１１１へ転送する事で、モニター表示手段１１２を通して行う事が出来る。

この様に、通常のデジタルカメラでは、撮像素子１０４からの出力を、ほぼリアルタイムでプロセス処理回路を通して実際の画像データに変換し、その結果をメモリないしはモニター回路へ出力する構成となっている（特許文献１参照）。
特開２００１−１４５０２６号公報

以上のように従来は撮像素子のオプティカル・ブラック画素部の信号を元に、黒レベルを算出しているが、撮像素子の製造上の問題によりオプティカル・ブラック領域の信号は有効画素部の黒レベルとは若干異なったレベルを出力することがある。

特に、連続撮影後に撮像素子が高温になった場合や、夜間撮影で長秒時の露光をしたときなどにその差が大きくなるような場合がある。また、オプティカル・ブラック画素部は通常アルミニウムなどの遮光幕により感光部が遮光されているが、非常に強い光が入射したときには完全に遮光できなかったり、オプティカル・ブラック画素部の近くの有効画素部にスミアやブルーミング等が発生することによりオプティカル・ブラック部の信号が正確な黒レベルを再生しなかったりする問題があった。

本発明はこのような問題に鑑みて成されたものであり、撮像素子のオプティカル・ブラック信号の一部が正確な黒レベル信号とならなくても、有効画素部の黒レベルを正確に再生できる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明に係る撮像装置は、露光秒時、ＩＳＯ感度、温度等の撮影条件、もしくは被写体の条件によって撮像素子の複数のオプティカル・ブラック領域の中から、有効画素部の黒レベルを再生するために最適な領域を選択し、クランプ処理することによって画像信号の黒レベルを正確に再生する。

例えば、有効画素部の左側のＯＢ領域に太陽などの強い光が直接入射するような場合には、強い光が入射していない右側のＯＢ領域のみをつかってクランプすることで、画像信号の黒レベルを正確に再生する。

また、遮光性能を上げるため有効画素部の左右にあるオプティカル・ブラック画素部を、フォトダイオードを省略する等、有効画素部とは違った構造にする場合があるが、その場合長秒時露光時には有効画素部黒レベルとＯＢ部の出力が著しく異なってしまう場合があるが、このような場合には有効画素部の上下のＯＢ領域を有効画素部と同じ構造にしておき、長秒時露光時には有効画素部の左右のＯＢ領域ではなく、上下のＯＢ領域を使うことで、画像信号の黒レベルを正確に再生する。

本発明よれば、露光秒時、ＩＳＯ感度、温度等の撮影条件、もしくは被写体の条件によって撮像素子の複数のオプティカル・ブラック領域の中から、有効画素部の黒レベルを再生するために最適な領域を選択し、クランプ処理することによって画像信号の黒レベルを正確に再生することができる。

以下に本発明の実施例について説明する。

以下に、本発明の第１の実施例の撮像装置について説明する。

図３は本発明の全体のハードウェア構成を示すブロック図の一例である。本図において撮像素子ＣＣＤ１１は、ドライバー手段１２によって駆動される事で所定の周波数で動作し、撮影画像データを出力する。

図２はＣＣＤ１１の構造を説明したもので、中央に有効画素部があり、その四方に４つのオプティカル・ブラック（ＯＢ）画素領域がある。被写体は主光学系でＣＣＤ１１に結像され、ＣＣＤ１１のフォトダイオードで光電変換された後、ＶＣＣＤを通ってＨＣＣＤまで縦方向に転送され、さらにＨＣＣＤで横方向に転送されて出力アンプ部で出力される。ＴＧ／ＳＳＧ１３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへのタイミング信号を供給している。

ＣＣＤ１１の画像出力は、横１ライン分の出力に有効画素部の出力および、ＯＢ（オプティカル・ブラック）画素部の出力を含んでいる。ＣＣＤ１１の画像出力は、ＣＤＳ／ＡＧＣ回路１４へ入力するが、このときＡＣ結合されてＣＤＳ／ＡＧＣ回路１４に入力するので信号の直流成分は除去される。ここで既知の相関２重サンプリング等の方法を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する為のＡＧＣ回路を働かせる。同時にＡＣ結合により除去された直流成分を、ＴＧ／ＳＳＧ１３からのクランプ信号により、ＯＢ画素領域をクランプすることで再生する。このＡＧＣ後の出力をＡ／Ｄ変換回路１５へ入力する事でデジタル信号に変換する。

しかしながらこのとき、図４に示すように、太陽が直接結像する場合など、非常に強い光がＯＢ領域およびＯＢ領域に近い有効画素領域に入射した場合、スミアやブルーミングが発生してＯＢ画素に光信号が漏れ込んだり、ＯＢ画素領域の遮光性能が不十分で光が遮光幕を突き抜けてＯＢ画素に漏れ込んでしまい信号電荷が発生したりするなど、ＯＢ画素信号が、本来期待する黒レベル信号とは違った異常信号になってしまう場合がある。この場合ＣＤＳ／ＡＧＣ回路１４のクランプ機能は誤った黒レベル信号をクランプし、図５に示すような画像の長手方向に帯状に信号レベルが変動して黒沈みするようなクランプミスおこしてしまう可能性がある。

次に、ＯＢクランプ積分回路１６によってＯＢ領域１およびＯＢ領域２を別々に積分していく。この積分方法には、たとえば横１ライン毎にそれぞれのＯＢ画素領域の横方向画素分だけ平均値を求める方法がある。そのほか、横１ラインに着目したとき横方向に平均化するだけでなく、その上下の複数ラインのＯＢ領域を平均化しても良いし、複数画素の中間値を求めても良い。これを、縦方向のライン数分だけ繰り返す。このようにして積分した縦方向ライン数分のデータはデジタル・クランプ・データとして全体制御ＣＰＵに取り込まれる。デジタル・クランプ・データを抽出した後の画像データはメモリ・コントローラー１８を介してメモリ１７に一時的に記憶される。

この間に、全体制御ＣＰＵは先ほど抽出したデジタル・クランプ・データを解析し、ＯＢ領域にスミア／ブルーミングによる信号や、ＯＢ画素の遮光性能不足による異常信号が含まれないかどうか調査する。具体的には、デジタル・クランプ・データは縦方向の画素数分の１次元の配列となっているが、例えば、あるラインのデータに注目した場合、その前後のラインと著しくレベルが異なっていれば、それは何らかの異常信号が含まれると考えられる。図４を例にとって見ると、有効画素左側のＯＢ領域１の真中上よりには撮像素子面に太陽が結像することによりスミアもしくはブルーミングが発生しており、それによる異常信号が発生している。この場合ＯＢ領域１のデジタル・クランプ・データにおける該当ライン付近のデータはその前後のデータよりも高い値を示しており、全体制御ＣＰＵはＯＢ領域１には異常信号が含まれていると判断できる。本実施例では全体処理ＣＰＵがこのＯＢ領域の異常信号検知機能を持っているが、ＯＢクランプ積分回路１６においてハードウェア処理することでＯＢ領域の各画素が異常信号を含んでいないか調査するといった方法でも、各ＯＢ領域に異常信号が含まれているかどうかを調査することができる。

メモリ１７に取り込まれた画像データは所定のタイミングで再度メモリ・コントローラー１８を介して読み出され、ＯＢクランプ回路１９に送られる。ＯＢクランプ回路１９では、全体制御ＣＰＵから画像データに応じたデジタル・クランプ・データを受け取り、デジタル・クランプされる。このとき、通常は図４におけるＯＢ領域１とＯＢ領域２のデジタル・クランプ・データのいずれか１つのデータ、または、より正確なクランプ・レベルを求めるのであれば、その２つの平均値を用いてデジタル・クランプされることになるが、図４のようにどちらかのＯＢ領域、ここではＯＢ領域１にスミア／ブルーミングなどによる異常信号が検知された場合は、異常信号の含まれないＯＢ領域２のデジタル・クランプ・データのみをＯＢクランプ回路１９に転送しデジタル・クランプすることによって、デジタル・クランプによるクランプミスが生じるのを防ぐことができる。

さらに、ＯＢクランプ積分回路１６の積分領域をアナログ・クランプのクランプ領域と違う位置にずらせば、アナログ・クランプで生じたクランプミスを改善することも可能である。

このように、ＯＢ領域に生じた異常信号を検知し、異常信号が発生しているＯＢ領域をデジタル・クランプのデジタル・クランプ・データとして使わないことで、クランプミスを避け、正確な黒レベルを再生することができ、高画質の画像データを得ることができる。

次に、デジタル・クランプされた画像データはカラー処理回路２０で所定のカラー処理(色補間処理やガンマ変換等)を行い、カラー画像データとなる。

次に本発明の第２の実施例について説明する。

図２は本実施例にかかる撮像素子の構造を示した図である。ここで、有効画素部上下のＯＢ領域２とＯＢ領域４は有効画素部と同じ構造の画素をアルミニウム等の遮光幕で遮光しただけの構造となっているが、有効画素部左右のＯＢ領域１とＯＢ領域３は、通常撮影時にオプティカル・ブラック（ＯＢ）画素に強い光が入射した場合に異常信号が発生しないように、ＯＢ画素部はフォトダイオードを省略する等、有効画素部とは違った構造にして、有効画素部と同じ画素構造をもつＯＢ領域２やＯＢ領域４よりも遮光性能をアップさせている。

このような場合、ＯＢ領域１やＯＢ領域２を用いてクランプ動作を行うと、短秒時露光の撮影時や、低ＩＳＯ感度撮影、撮像素子が比較的低温の撮影時にはたとえ強力な光がＯＢ領域１やＯＢ領域３に入射しても、良好な黒レベルを再生し、高画質を得ることが出来るが、反対に、長秒時露光撮影時や、撮像素子の高温駆動時、高ＩＳＯ感度すなわち高ゲインアップ撮影時などには、有効画素部と構造が違うことにより暗電流の発生等によって、有効画素部の黒レベルとＯＢ領域１やＯＢ領域３の出力信号レベルが著しく異なってしまう場合がある。

図５は長秒時露光撮影時のある横１ラインの撮像素子出力信号を模式的に表した図である。長秒時撮影時には有効画素のフォトダイオード部に暗出力信号が蓄積され、レベルが上がるが、ＯＢ領域１やＯＢ領域３にはフォトダイオード部が無いため、暗出力信号が蓄積されない。

このため有効画素部の黒レベルとＯＢ領域１およびＯＢ領域２の出力信号レベルが異なっている。このときにＯＢ領域１やＯＢ領域３の信号を用いてクランプ動作をすると、正確な黒レベルを得ることが出来ず、画質が劣化してしまう。

このような場合には有効画素部と同じ画素構造をもつＯＢ領域２やＯＢ領域４を用いてクランプ動作を行うことで、良好な黒レベルを再生することが出来る。

図３を用いて本実施例を説明する。上述の実施例１と同様にＣＤＳ／ＡＧＣ回路１４およびＡ／Ｄ変換回路１５を通った画像データはＯＢクランプ積分回路１６に入力する。このときＯＢクランプ積分回路１６は、たとえば１／２秒以下のような短秒時撮影時、かつ、低ＩＳＯ感度、かつ、撮像素子ＣＣＤ１１が低温で駆動されているときは、上述の実施例１と同様に、有効画素部の左右にあるＯＢ領域１およびＯＢ領域３を積分し、全体処理ＣＰＵにデジタル・クランプ・データを出力する。

反対に、長秒時露光撮影時、高ＩＳＯ感度、撮像素子ＣＣＤ１１の高温駆動時には、ＯＢクランプ積分回路１６において、有効画素部の上下のＯＢ領域２およびＯＢ領域４を積分し、積分データを全体処理ＣＰＵに出力する。撮像装置が撮影モード切替機能を持つカメラ等であれば、たとえば夜景モード時にはＯＢクランプ積分回路１６はＯＢ領域２とＯＢ領域４とを積分するようにしてもかまわない。

この場合のＯＢクランプ積分回路１６の動作は、ＯＢ領域２およびＯＢ領域４が有効画素部の上下に位置することから、１ライン毎に平均値を求めるような動作ではなく、それぞれのＯＢ領域全体の平均値や中間値を求める動作となる。

全体処理ＣＰＵはＯＢ領域２の平均値とＯＢ領域４の平均値より、デジタル・クランプ・データを作成し、ＯＢクランプ回路１９にセットすることで、デジタル・クランプ動作を行うが、このときデジタル・クランプ・データは縦方向のすべてのラインについてＯＢ領域２およびＯＢ領域４の２つのＯＢ領域の平均値とすることでも良いし、ＯＢ領域２の平均値とＯＢ領域４の平均値から、画像の縦方向ライン位置の１次関数になるようなデジタル・クランプ・データを求めてもかまわないが、画像の縦方向シェーディングに応じたデジタル・クランプ・データを算出することが望ましい。

このようにして撮影条件、撮影モード等に応じてデジタル・クランプ・データを算出するＯＢ領域を切り替えることによって、撮影条件、撮影モードに最適なデジタル・クランプをすることができ、正確な黒レベルを再生し高画質を得ることができる。

このようにデジタル・クランプ処理を行った後、カラー処理回路２０によりカラー処理を行い、カラー画像データを得る。

従来のカメラシステムの全体構成を説明した図である。 本発明の第１実施例および第２実施例に係る撮像素子の構造を表した図である。 本発明の第１実施例および第２実施例にかかるカメラシステムの具体的回路構成を説明した図である。 本発明の第１実施例に係る撮像素子の構造および撮像素子に結像した被写体の様子をあらわした模式図である。 本発明の第２実施例に係る撮像素子の出力信号の具体例を表した図である。

符号の説明

１１ ＣＣＤ
１２ ドライバー手段
１３ ＴＧ／ＳＳＧ
１４ ＣＤＳ／ＡＧＣ
１５ Ａ／Ｄ変換回路
１６ ＯＢクランプ積分回路
１７ メモリ
１８ メモリ・コントローラー
１９ ＯＢクランプ回路
２０ カラー処理部
２１ ＣＰＵ

Claims (3)

1. 複数のオプティカル・ブラック領域を備えた固体撮像素子を用いた撮像装置において、撮影条件および被写体に応じて黒レベルを算出する際に参照するオプティカル・ブラック領域を切り替えることを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、前記撮影条件は、露光秒時、ＩＳＯ感度、温度であることを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、前記複数のオプティカル・ブラック領域は、有効画素領域の上下、および左右のいずれか複数の領域であることを特徴とする撮像装置。

Images