JP2009065642A

JP2009065642A - 撮像装置

Info

Publication number: JP2009065642A
Application number: JP2008175915A
Authority: JP
Inventors: Satoshi Suzuki; 聡史鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-08-09
Filing date: 2008-07-04
Publication date: 2009-03-26
Anticipated expiration: 2028-07-04
Also published as: JP5268454B2; CN101374195A; CN101374195B

Abstract

【課題】撮影条件や撮影環境によらず、より精度の高い垂直ダークシェーディング補正を行う撮像装置を提供する。
【解決手段】遮光されていない複数の画素部を有する有効画素部と遮光された複数の画素部を有する遮光画素部とを有する撮像素子と、前記有効画素部からの出力信号の基準値を設定する信号処理部と、撮影条件又は環境条件に応じて、前記遮光画素部における前記基準値の設定に用いる領域を切り替える制御部とを有する撮像装置を提供する。
【選択図】図５

Description

本発明は、被写体像を撮像する撮像装置に関する。

ＣＣＤ、ＣＭＯＳセンサなどの固体撮像素子で撮像した静止画像や動画像を、記録及び再生する電子カメラ等の撮像装置は多く存在する。

これらの撮像装置おいては、供給する各種の電源の電圧変動などの影響により、出力信号が揺れ、その結果が出力画像に現れてしまうことがある。撮像素子の一行の読み出しに要する時間よりも長い周期の、緩やかな電圧変動の影響を受けた出力信号が生じると、複数行に渡ってそのレベルが変動していく。そのため、出力画像に垂直方向のシェーディングが現れる。電圧変動の周期が早いほど、より細かな垂直シェーディングが発生し、画像に横縞が生じる。

ところで、これらの電圧変動が原因となる垂直シェーディングは、常に決まったパターンで発生するわけではなく、撮影の度に異なった形状で画像に現れる。そのため、予め用意しておいた補正データを使用するということはできない。

そこで、撮像毎にその形状が変化する垂直シェーディングを、撮像素子内で光学的に遮光された水平ＯＢ（オプティカルブラック）領域の出力値を用いて補正することが必要になる（例えば、特許文献１を参照）。

例えば、映像エンジンなどのデジタル信号処理回路において、水平ＯＢ領域における各行ごとの出力の平均値を算出し、その行の有効画素領域の出力に対して、算出した平均値を減算する方法がある。

また、撮像素子の出力に対し、アナログ信号処理回路の水平ＯＢクランプ手段を用いて、各行の水平ＯＢ領域の出力の平均値がその行のダーク基準値となるように、その行の有効画素領域の出力をシフトさせる方法がある。

ここで、水平ＯＢ領域を構成するＯＢ画素としては、次の２種類のＯＢ画素がある（例えば、特許文献２を参照）。

第１のＯＢ画素は、フォトダイオードなどの光電変換素子と、光電変換素子で生成された信号を出力するための層を有しているが、その前面がアルミニウム等によって光学的に遮光されている構成のものである。

第２のＯＢ画素は、そもそも光電変換素子を含まない構成か、もしくは、光電変換素子を有していても、その光電変換素子で生成された信号を出力するための層を備えていない構成のものである。

第２のＯＢ画素から出力された信号には、第１のＯＢ画素から出力された信号と異なり、光電変換素子において発生する暗電流成分が含まれない。そのため、第１と第２のＯＢ画素の両方を備え、これらの出力を比較することで、撮影した環境下での暗電流の量を見積もることができる。また、第２のＯＢ画素からは暗電流に起因するキズが出力されることはなく、また個々の画素で発生するノイズ成分も出力されない。そのため、第２のＯＢ画素から出力される信号は、画素を発生源としない別のノイズ成分の補正に用いることができる。

これに対し、第１のＯＢ画素から出力される信号には、被写体からの光を受光する有効画素部と同じように暗電流が含まれる。そのため、有効画素部から出力された信号の暗電流成分のレベル変動を吸収する垂直ダークシェーディング補正を行うためには、第１のＯＢ画素から出力された信号が必要となる。
特開２００５−１７５９３０号公報特開２００２−６４１９６号公報

しかしながら、第１のＯＢ画素から出力された信号を用いて垂直ダークシェーディング補正を行う場合、いずれかの第１のＯＢ画素に極端なノイズが発生すると、補正の精度に顕著な影響を与える。そのため、撮影条件によっては、精度のよい垂直ダークシェーディング補正ができず、むしろ画像を劣化させてしまうおそれもある。

例えば、例えば入射光量が少ないために蓄積時間が長く設定されると、それぞれの画素から出力された信号に含まれるノイズも増加する。そのため、第１のＯＢ画素から出力された信号も、画素毎のばらつきが大きくなるおそれがある。すると、第１のＯＢ画素から出力された信号から生成される各行の補正データもばらついてしまう。その結果、その補正データを用いて補正を行うことで、補正後の画像出力自体が行によってばらついて、画像に横縞が生じるおそれがある。

また、高温の環境下や長秒撮影時など、暗電流が多く発生する条件下での撮影においては、周囲の画素よりも暗電流を大量に発生するいわゆるキズ画素が発生する確率が高くなる。キズ画素が存在すると、そのキズ画素が存在する行の第１のＯＢ画素の出力の平均値が、そのキズ画素によって引っ張られてしまい、その行の補正値が他の行の補正値と大きく離れた値となってしまう。したがって、その補正データを用いて水平ダークシェーディング補正を行うと、第１のＯＢ画素にキズ画素が含まれる行だけ不適切な補正が行われ、その結果、補正後の画像に横線が生じてしまうおそれがある。

ただし、いずれの場合であっても、各行に十分な数の第１のＯＢ画素を配置し、補正データの作成のための平均値の演算に使用する第１のＯＢ画素の数を多く確保できれば、行毎の第１のＯＢ画素の平均値のばらつきを抑制することは可能である。

しかしながら、第１のＯＢ画素を配置する領域をむやみに大きくすることは、チップサイズが拡大し、コストアップにつながる。そのため、第１のＯＢ画素を配置する水平ＯＢ領域の大きさは制限される。

したがって、従来の垂直ダークシェーディングの補正においては、ノイズ成分の影響を除去するために、補正データの平滑化を行うことが望ましい。しかしながら、補正データの平滑化を行うと、緩やかな垂直ダークシェーディングは補正できるものの、先に述べた横縞のような、高周波の垂直シェーディング成分を適切に補正できなくなってしまう。

このように、撮影条件や撮影環境によらず、精度の高い垂直ダークシェーディング補正を行うという点において、更なる改良の余地が残されている。

上記課題を解決するため、本願発明にかかる撮像装置は、被写体像を受光して画像信号を生成する有効画素部と、遮光された複数の画素部を有する遮光画素部とを有する撮像素子と、前記有効画素部からの出力信号の基準値を設定する信号処理部と、前記撮像素子の蓄積時間、前記撮像素子の環境温度、および、前記撮像素子から出力された信号のゲインの少なくともいずれかに応じて前記遮光画素部における前記基準値の設定に用いる領域を切り替える制御部を有しており、前記遮光画素部が構成の異なる第１の遮光画素部と第２の遮光画素部を備え、前記制御部が前記基準値の設定に用いる領域として、第１の遮光画素部を用いる場合と、前記第１の遮光画素部と前記第２の遮光画素部との両方を用いる場合を切り替える。

本発明によれば、撮像素子のサイズを拡大することなく、ダークシェーディング補正の精度を向上させることを可能とする撮像装置を提供することが可能となる。

以下で、図面を用いながら、本発明の好適な実施形態について詳細に説明する。

図１は、撮像装置の構成を示すブロック図である。
図１において、１０１はレンズおよび絞りからなる光学系である。１０２はメカニカルシャッタである。１０３は入射光を電気信号に変換する撮像素子である。１０４は撮像素子１０３から出力される画像信号に対してアナログ信号処理を行うアナログ信号処理回路である。１０５はアナログ信号処理回路１０４の内部において相関二重サンプリングを行うＣＤＳ回路である。１０６はアナログ信号処理回路１０４の内部においてアナログ信号を増幅させる信号増幅器である。１０７はＯＢクランプを行うクランプ回路である。１０８はアナログ信号処理回路１０４の内部においてアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１１０は撮像素子１０３およびアナログ信号処理回路１０４を動作させる信号を発生するタイミング信号発生回路である。１１１は光学系１０１、メカニカルシャッタ１０２および撮像素子１０３の駆動回路である。１１２は撮影した画像データに必要なデジタル信号処理を行うデジタル信号処理回路である。１１３は信号処理された画像データを記憶する画像メモリである。１１４は撮像装置から取り外し可能な記録媒体である。１１５は信号処理された画像データを記録媒体１１４に記録する記録回路である。１１６は信号処理された画像データを表示する画像表示装置である。１１７は画像表示装置１１６に画像を表示するための制御を行う表示回路である。１１８は撮像装置全体を制御するシステム制御部である。このシステム制御部１１８は、タイミング信号発生回路１１０、駆動回路１１１、デジタル信号処理回路１１２、画像メモリ１１３、記録回路１１５、表示回路１１７、不揮発性メモリ１１９、および、揮発性メモリ１２０の動作を制御する。１１９はシステム制御部１１８で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータ、および、キズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）である。１２０は不揮発性メモリ１１９に記憶されたプログラム、制御データおよび補正データを必要に応じて記憶する揮発性メモリ（ＲＡＭ）である。１２１は撮像素子１０３あるいはその周辺回路の温度を検出する温度検出部である。１２２は撮像素子１０３の蓄積時間を設定する蓄積時間設定部である。システム制御部１１８は、蓄積時間設定部１２２で設定された蓄積時間に応じて、タイミング信号発生回路１１０に撮像素子１０３の駆動の指示を送る。１２３はＩＳＯ感度設定などの撮影条件設定や、静止画撮影と動画撮影の切り替えなどを行う、撮影モード設定部である。

以下、上述のように構成された撮像装置による撮影動作について説明する。撮像装置の電源が投入されると、システム制御部１１８が動作を開始し、不揮発性メモリ１１９から必要なプログラム、制御データおよび補正データを揮発性メモリ１２０に転送して記憶させておく。また、これらのプログラムやデータは、システム制御部１１８が撮像装置を制御する際に使用する。そして、必要に応じて、追加のプログラムやデータを不揮発性メモリ１１９から揮発性メモリ１２０に転送したり、システム制御部１１８が不揮発性メモリ１１９内のデータを読み出して使用したりする。

光学系１０１は、システム制御部１１８からの制御信号により、絞りとレンズを駆動して、輝度を調整した被写体像を撮像素子１０３上に結像させる。

メカニカルシャッタ１０２は、静止画像撮影の際には、撮像素子１０３の電子シャッタ動作と共同して撮像素子１０３の露光時間を制御するために駆動される。また、メカニカルシャッタ１０２は、動画像撮影の際には、撮影中は常に撮像素子１０３が露光されているように、開放状態で維持される。

撮像素子１０３は、タイミング信号発生回路１１０が発生する動作パルスから生成される駆動パルスで駆動される。そして、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。

ＣＤＳ回路１０５は、タイミング信号発生回路１１０が発生する動作パルスに応じて、撮像素子１０３から出力されたアナログ画像信号からクロック同期性ノイズを除去する。信号増幅器１０６はＣＤＳ回路１０５から出力されたアナログ画像信号に対して、入射光量に応じて設定された増幅率のゲインをかける。クランプ回路１０７は、信号増幅器１０６で増幅されたアナログ画像信号に対して、撮像素子１０３の水平ＯＢ領域の出力信号を基準電圧としてクランプする。そして、Ａ／Ｄ変換器１０８がアナログ画像信号をデジタル画像信号に変換する。

次に、デジタル信号処理回路１１２は、デジタル画像信号中の水平ＯＢ領域の信号の平均処理による垂直ダークシェーディングの補正データの作成及び、その補正データを用いた垂直シェーディング補正処理を行う。また、デジタル信号処理回路１１２は、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ１１３は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。デジタル信号処理回路１１２で解像度変換処理された画像データは、表示回路１１７において、画像表示装置１１６に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置１１６に表示される。あるいは、デジタル信号処理回路１１２で信号処理された画像データや、画像メモリ１１３に記憶されている画像データは、記録回路１１５において記録媒体１１４に適したデータ（例えば階層構造を持つデータ）に変換されて記録媒体１１４に記録される。

システム制御部１１８は、デジタル信号処理回路１１２に信号処理をさせずに、デジタル画像信号をそのまま画像データとして画像メモリ１１３や記録回路１１５に出力させるよう制御してもよい。

デジタル信号処理回路１１２は、システム制御部１１８から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１１８に出力する。例えば、情報として、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報がある。さらに、記録回路１１５は、システム制御部１１８から要求があった場合に、記録媒体１１４の種類や空き容量等の情報をシステム制御部１１８に出力する。

さらに、記録媒体１１４に画像データが記録されている場合の再生動作について説明する。システム制御部１１８からの制御信号により、記録回路１１５は、記録媒体１１４から画像データを読み出す。同じくシステム制御部１１８からの制御信号により、デジタル信号処理回路１１２は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ１１３に記憶する。画像メモリ１１３に記憶されている画像データは、デジタル信号処理回路１１２で解像度変換処理を実施された後、表示回路１１７において画像表示装置１１６に適した信号に変換されて画像表示装置１１６に表示される。

図２は撮像素子１０３の画素領域の構成を説明するための図である。

図２において、２０１は垂直ＯＢ部である。２０２は第１の水平ＯＢ部（第１の遮光画素部）、２０３は第２の水平ＯＢ部（第２の遮光画素部）であり、この第１の水平ＯＢ部２０２と第２の水平ＯＢ部２０３で、水平ＯＢ部を構成している。垂直ＯＢ部２０１、第１の水平ＯＢ部２０２、第２の水平ＯＢ部２０３は、いずれも画素の前面をアルミニウム等により遮光された複数の画素で構成されている。そのうち垂直ＯＢ部２０１と第１の水平ＯＢ部２０２は、フォトダイオードなどの光電変換素子で構成された第１のＯＢ画素で構成されている。これに対し、第２の水平ＯＢ部２０３は、フォトダイオードなどの光電変換素子を含まない画素で構成されている。もしくは、第２のＯＢ画素は、光電変換素子を含んではいるが、その光電変換素子で生成された電気信号を撮像素子の出力部へと転送する手段を有さない、すなわち、光電変換素子の信号の出力を抑制する手段を持つ画素で構成されている。２０４は遮光されておらず、被写体像を受光して信号電荷を生成する有効画素で構成される有効画素部である。２０５は、第１の水平ＯＢ部２０２の全体もしくは一部で構成される第１の演算領域である。２０６は、第２の水平ＯＢ部２０３の全体もしくは一部で構成される第２の演算領域である。

（第１の実施形態）
図３は本発明の第１の実施形態におけるアナログ信号処理回路１０４を詳細に説明するためのブロック図である。

本実施形態では、このアナログ信号処理回路１０４の水平ＯＢクランプ機能を用いて、垂直ダークシェーディング補正を行う。

図３において、撮像素子１０３、アナログ信号処理回路１０４、ＣＤＳ回路１０５、信号増幅器１０６、クランプ回路１０７、および、Ａ／Ｄ変換器１０８は図１を用いて説明したものと同じである。３０１は信号増幅器１０６の出力側とクランプ回路１０７の入力側の間に挿入されるコンデンサである。３０２はＡ／Ｄ変換器１０８の出力側とクランプ回路１０７とを繋ぐフィードバック方式のクランプ電圧生成回路である。

撮像素子１０３より出力された画像信号は、アナログ信号処理回路１０４に入力される。アナログ信号処理回路１０４に入力された画像信号は、ＣＤＳ回路１０５にてサンプルホールドされ、信号増幅器１０６にて所定のゲインがかけられる。そして信号増幅器１０６から出力された画像信号は、コンデンサ３０１を通すことによって直流分が除去された画像信号になってクランプ回路１０７に入力される。クランプ回路１０７は、クランプ電圧生成回路３０２から出力されたクランプ制御電圧を基準電圧として、入力された画像信号に対してクランプを行う。

クランプされたアナログ画像信号は、Ａ／Ｄ変換器１０８に入力されてデジタル画像信号に変換される。デジタル画像信号はアナログ信号処理回路１０４の出力信号として出力されるとともに、クランプ電圧生成回路３０２に入力される。クランプ電圧生成回路３０２では、デジタル画像信号の水平ＯＢ領域の出力信号を、１行毎、あるいは、予め設定された間隔毎に積分し、その積分値が一定値となるようにクランプ制御電圧を生成する。

このように、クランプ回路１０７、Ａ／Ｄ変換器１０８、および、クランプ電圧生成回路３０２との間で閉ループが構成される。そして、クランプ電圧生成回路３０２は、フィードバックの際の時定数（フィードバックゲイン）を設定し、アナログ信号処理回路１０４から出力されるデジタル画像信号のＯＢレベルが一定になるようにフィードバック制御が行われる。

図５は本実施形態における垂直ダークシェーディング補正の手順を説明するフローチャートである。静止画撮影を行うための撮影モードが設定されると、ステップＳ５０１の処理が開始される。

ステップＳ５０１では、まず、信号増幅器１０６がゲインを設定し、絞り値、露光時間などの撮影条件が初期設定される。

ステップＳ５０２では、システム制御部１１８は、温度検出部１２１にて検出された撮像素子１０３、あるいは、その周囲の回路の温度が閾値以上であるか否か判定する。検出された温度が閾値以上であった場合は、ステップＳ５１０に進み、閾値未満であればステップＳ５０３に進む。

ステップＳ５０３では、蓄積時間設定部１２２で設定された撮像素子１０３の蓄積時間が閾値以上であるか否か判定する。設定された蓄積時間が閾値以上であり、長秒撮影であると判定された場合は、ステップＳ５１０に進み、そうでなければステップＳ５０４に進む。

ステップＳ５０４では、信号増幅器１０６に設定されたゲインが閾値未満であるか否かを判定する。設定されたゲインが閾値未満であると判定された場合は、ステップＳ５１０に進み、ゲインが閾値以上であると判定された場合は、ステップＳ５０５に進む。

このように、撮像素子１０３の環境温度が閾値よりも低く、撮像素子１０３の蓄積時間が蓄積時間よりも短ければ、有効画素部２０４にはわずかな暗電流しか発生していない可能性が高いと判断される。この場合は、ステップＳ５０５に進む。反対に、そうでないならば、有効画素部２０４には大きな暗電流が発生している可能性が高いと判断される。この場合は、ステップＳ５１０に進む。なお、判断対象とする値のいずれか１つでも閾値を超えている場合にステップＳ５１０に進む例をあげたが、これに限られるものではない。判断対象とする値の２つ以上が閾値を超えた場合にステップＳ５１０に進む構成としてもよいし、それぞれの値に点数を与え、その点数の総和が閾値を超えた場合にステップＳ５１０に進むようにしてもよい。

ステップＳ５０５では、システム制御部１１８は、第１の演算領域２０５と第２の演算領域２０６の両方を、クランプ電圧生成回路３０２がクランプ制御電圧を生成するために参照する領域として設定する。

暗電流があまり生じない状況であるならば、暗電流を出力信号に含む第１のＯＢ画素で構成された第１の演算領域２０５と、暗電流を出力信号に含まない第２のＯＢ画素で構成された第２の演算領域２０６の、レベル差が小さく抑えられる。そのため、第１の演算領域２０５と第２の演算領域２０６の両方の出力信号を、１行毎、あるいは、予め設定された間隔毎に積分し、その積分値が一定値となるようにクランプ制御電圧を生成することができる。その結果、クランプ電圧を作成するために用いる水平ＯＢ領域の画素の数を多く確保でき、行毎のクランプ電圧のばらつきを抑制することができる。

ステップＳ５０６では、システム制御部１１８は、クランプ電圧生成回路３０２のフィードバックゲインを後述するステップＳ５１１で設定するフィードバックゲインよりも高い値に設定する。これは、暗電流があまり生じていない状況であると推定されるため、水平ＯＢ領域にも暗電流に起因するキズが生じる可能性が少なく、フィードバックゲインを高くしても、画像に横線が発生する可能性は低いと判断できるためである。

また、信号増幅器１０６で設定されたゲインが大きいほど、高周波の垂直ダークシェーディングが発生する可能性が高くなる。そこで、ステップＳ５０４にてゲインが閾値以上であると判定された場合には、ステップＳ５０５、Ｓ５０６へと進み、フィードバックゲインを高い値に設定する。

ステップＳ５０７では、システム制御部１１８からの指令に応じて、駆動回路１１１がメカニカルシャッタ１０２を制御し、タイミング信号発生回路１１０が撮像素子１０３を制御して撮影を行う。そして、撮像素子１０３で得られたアナログ画像信号が、アナログ信号処理回路１０４に入力される。アナログ信号処理回路１０４のクランプ電圧生成回路３０２が、第１の演算領域２０５と第２の演算領域２０６の両方の出力信号を用いて、クランプ電圧を生成し、垂直方向のダークシェーディング成分を補正する。そしてダークシェーディング補正が行われた画像信号がデジタル画像信号に変換され、デジタル信号処理回路１１２に入力される。

ステップＳ５０８では、デジタル信号処理回路１１２は、撮像素子１０３の第１の演算領域２０５の出力信号の平均値を算出する。

ステップＳ５０９では、ステップＳ５０８で求めた平均値がダークレベルの基準値となるように、有効画素部から出力された画像信号に対して一律にオフセット補正を行い、ステップＳ５１３に進む。

ステップＳ５１３では、デジタル信号処理回路１１２が補正後のデジタル画像信号を画像メモリ１１３、記録回路１１５、もしくは表示回路１１７に出力し、撮影した画像データの表示処理や記録処理を行う。

これに対し、ステップＳ５１０では、システム制御部１１８は、第１の演算領域２０５のみを、クランプ電圧生成回路３０２がクランプ制御電圧を生成するために参照する領域として設定する。

ある程度の暗電流が生じる状況であるならば、暗電流を出力信号に含む第１のＯＢ画素で構成された第１の演算領域２０５と、暗電流を出力信号に含まない第２のＯＢ画素で構成された第２の演算領域２０６の、レベル差が大きくなってしまう。そのため、第１の水平ＯＢ部２０２と同様に、ある程度の暗電流が生じている有効画素部２０４の出力信号を補正する際には、暗電流が含まれていない第２の水平ＯＢ部２０３の出力信号を用いることは適切ではない。そのため、クランプ電圧生成回路３０２は、第１の水平ＯＢ部２０２の第１の演算領域２０５のみを用いてクランプ制御電圧を生成する必要がある。

ステップＳ５１１では、システム制御部１１８は、クランプ電圧生成回路３０２のフィードバックゲインをステップＳ５０６で設定するフィードバックゲインよりも低い値に設定する。これは、ある程度の暗電流が生じている状況であると推定されるため、暗電流に起因するキズ画素によって、安易にクランプ制御電圧が引っ張られないようにするためである。

ステップＳ５１２では、システム制御部１１８からの指令に応じて、駆動回路１１１がメカニカルシャッタ１０２を制御し、タイミング信号発生回路１１０が撮像素子１０３を制御して撮影を行う。そして、撮像素子１０３で得られたアナログ画像信号が、アナログ信号処理回路１０４に入力される。クランプ電圧生成回路３０２が、第１の演算領域２０５のみの出力信号を、１行毎、あるいは、予め設定された間隔毎に積分し、その積分値が一定値となるようにクランプ制御電圧を生成し、垂直方向のダークシェーディング成分を補正する。ダークシェーディング補正が行われた画像信号がデジタル画像信号に変換され、デジタル信号処理回路１１２に入力される。そして、上述したステップＳ５１３へ進み、撮影した画像データの表示処理や記録処理を行う。

以上説明したように、本実施形態によれば、アナログ信号処理回路１０４は、撮像素子１０３あるいはその周辺回路の温度、撮像素子１０３の蓄積時間、および、信号増幅器１０６のゲインに応じて、クランプ制御電圧を求めるために参照する水平ＯＢ領域を切り替えている。

また、図１から図５を用いて第１の実施形態にかかる撮像装置について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。

例えば、クランプ電圧生成回路３０２のフィードバックゲインの設定値は、クランプ制御電圧を生成するために参照する領域の広さに応じて、ゲインを変更する構成としてもよい。クランプ制御電圧を生成するために参照する水平ＯＢ領域を広く設定するほど、フィードバックゲインを高く、水平ＯＢ領域を狭く設定するほど、フィードバックゲインを低く設定するようにしてもよい。

あるいは、クランプ制御電圧を生成するために参照する水平ＯＢ領域を狭く設定された場合であっても、ゲインが低く、水平ＯＢ領域の出力信号が安定していると想定できる場合には、フィードバックゲインを高く設定しても構わない。

（第２の実施形態）
図４は本発明の第２の実施形態におけるデジタル信号処理回路１１２を詳細に説明するためのブロック図である。

本実施形態では、このデジタル信号処理回路１１２を用いて、デジタル垂直シェーディング補正動作、および、ダークオフセットクランプ動作を行う。

図４において、デジタル信号処理回路１１２は、第１のデジタル信号処理部４０１、ダークオフセットクランプ回路４０２、および、第２のデジタル信号処理部４０３を備えている。

第１のデジタル信号処理部４０１は、アナログ信号処理回路１０４より出力された画像信号に対し、各種シェーディング補正などの補正を行う。

ダークオフセットクランプ回路４０２は、第１のデジタル信号処理部４０１から出力される画像信号に対し、ダークレベルを適正にするべくオフセット補正を行う。このダークオフセットクランプ回路４０２は、第１のデジタル信号処理部４０１の出力側に並列に接続されるメモリ４０４及びスイッチ４０５を有する。また、そのスイッチ４０５を介して第１のデジタル信号処理部４０１に接続される平均化回路４０６を有する。また、メモリ４０４及び平均化回路４０６の両出力側に接続される減算器４０７、及びこの減算器４０７の出力側に接続される加算器４０８を有する。

第２のデジタル信号処理部４０３は、ダークオフセットクランプ回路４０２の加算器４０８から出力される画像信号に対しガンマ処理やホワイトバランス処理などを行う。

アナログ信号処理回路１０４から出力されたデジタル画像信号は、まず第１のデジタル信号処理部４０１に入力される。第１のデジタル信号処理部４０１は、入力されたデジタル画像信号に対して、水平ダークシェーディング補正や垂直ダークシェーディング補正などの各種補正を行う。

この垂直ダークシェーディング補正は、具体的には、次のように行われる。アナログ信号処理回路１０４から出力されたデジタル画像信号は、行毎に、第１のデジタル信号処理部４０１に入力される。第１のデジタル信号処理部４０１は、各行のデジタル画像信号のうち、水平ＯＢ領域の出力信号の平均値を算出し、必要に応じて平滑化したものを垂直シェーディング補正に用いる補正データとする。

そして、各行の有効画素部２０４から出力される画像信号から、それぞれの行に対応した補正データを減算する。同様の補正を全ての行に対し行うことで、垂直ダークシェーディング補正が完了する。

第１のデジタル信号処理部４０１から出力された画像信号は、続けて、ダークオフセットクランプ回路４０２に入力される。このダークオフセットクランプ回路４０２は、画像信号に対してダークレベルのオフセット補正を施す。先ず、メモリ４０４が、第１のデジタル信号処理部４０１から出力される有効画素部２０４の画像信号を記憶する。

ダークオフセットクランプ回路４０２は第１の演算領域２０５の出力信号が読み出されている間は、スイッチ４０５をＯＮ状態にし、第１の演算領域２０５の出力信号を平均化回路４０６に入力する。この平均化回路４０６では、第１の演算領域２０５の出力信号の平均値を算出する。ここで算出された平均値は、減算器４０７に入力され、メモリ４０４から出力される画像信号から減算される。そして、第１の演算領域２０５の平均値が減算された画像信号は、加算器４０８に入力され、ここで予め定められたオフセット値が加算される。これにより、第１の演算領域２０５の出力信号の平均値をもとに、全ての有効画素部２０４の画像信号の直流成分が決定される。

ダークオフセットクランプ回路４０２から出力される画像信号は、第２のデジタル信号処理部４０３に入力される。この第２のデジタル信号処理部４０３は、画像信号に対してガンマ処理やホワイトバランス処理などのいわゆる現像処理を施す。

なお、この第２のデジタル信号処理部４０３が、第１のデジタル信号処理部４０１の代わりに、デジタル垂直シェーディング補正を行うようにしてもよい。第２のデジタル信号処理部４０３がデジタル垂直シェーディング補正を行う際には、第２のデジタル信号処理部４０３内の不図示のメモリ回路に、まず撮像素子１０３の全画素領域の画像信号を記憶する。そして、第２のデジタル信号処理部４０３は、その画像信号の水平ＯＢ部の画像信号を抽出し、その垂直写像を演算したものを補正データとすればよい。

図７は本実施形態における垂直ダークシェーディング補正の手順を説明するフローチャートである。静止画撮影を行うための撮影モードが設定されると、ステップＳ７０１の処理が開始される。

ステップＳ７０１では、まず、信号増幅器１０６がゲインを設定し、絞り値、露光時間などの撮影条件が初期設定される。

ステップＳ７０２では、システム制御部１１８からの指令に応じて、駆動回路１１１がメカニカルシャッタ１０２を制御し、タイミング信号発生回路１１０が撮像素子１０３を制御して撮影を行う。

ステップＳ７０３では、システム制御部１１８は、温度検出部１２１にて検出された撮像素子１０３、あるいは、その周囲の回路の温度が閾値以上であるか否か判定する。検出された温度が閾値以上であった場合は、ステップＳ７１０に進み、閾値未満であればステップＳ７０４に進む。

ステップＳ７０４では、蓄積時間設定部１２２で設定された撮像素子１０３の蓄積時間が閾値以上であるか否か判定する。設定された蓄積時間が閾値以上であり、長秒撮影であると判定された場合は、ステップＳ７１０に進み、そうでなければステップＳ７０５に進む。

ステップＳ７０５では、信号増幅器１０６に設定されたゲインが閾値未満であるか否かを判定する。設定されたゲインが閾値未満であると判定された場合は、ステップＳ７１０に進み、ゲインが閾値以上であると判定された場合は、ステップＳ７０６に進む。

このように、撮像素子１０３、あるいは、その周辺回路の温度が閾値よりも低く、撮像素子１０３の蓄積時間が蓄積時間よりも短ければ、有効画素部２０４にはわずかな暗電流しか発生していない可能性が高いと判断される。この場合は、ステップＳ７０６に進む。反対に、そうでないならば、有効画素部２０４には大きな暗電流が発生している可能性が高いと判断される。この場合は、ステップＳ７１０に進む。なお、判断対象とする値のいずれか１つでも閾値を超えている場合にステップＳ７１０に進む例をあげたが、これに限られるものではない。判断対象とする値の２つ以上が閾値を超えた場合にステップＳ７１０に進む構成としてもよいし、それぞれの値に点数を与え、その点数の総和が閾値を超えた場合にステップＳ７１０に進むようにしてもよい。

ステップＳ７０６では、システム制御部１１８は、第１の演算領域２０５と第２の演算領域２０６の両方を、第１のデジタル信号処理部４０１が水平ＯＢ領域の出力信号の平均値を算出するために参照する領域として設定する。第１のデジタル信号処理部４０１は、各行のデジタル画像信号における第１の演算領域２０５と第２の演算領域２０６の出力信号の平均値を求め、これを補正データとする。

暗電流があまり生じない状況であるならば、暗電流を出力信号に含む第１のＯＢ画素で構成された第１の演算領域２０５と、暗電流を出力信号に含まない第２のＯＢ画素で構成された第２の演算領域２０６の、レベル差が小さく抑えられる。そのため、第１の演算領域２０５と第２の演算領域２０６の両方の出力信号の平均値を用いて補正データを生成することができる。その結果、補正データを作成するために用いる水平ＯＢ領域の画素の数を多く確保でき、行毎の補正データのばらつきを抑制することができる。また、後述するステップＳ７１２における補正データの平滑化を行わないことで、高周波の垂直シェーディングも補正することが可能となる。

なお、信号増幅器１０６で設定されたゲインが大きいほど、高周波の垂直ダークシェーディングが発生する可能性が高くなる。そこで、ステップＳ７０５にてゲインが閾値以上であると判定された場合には、ステップＳ７０６へと進み、後述するステップＳ７１２における補正データの平滑化を行わずに補正データを作成する。

ステップＳ７０７では、第１のデジタル信号処理部４０１が、有効画素部２０４から出力される画像信号から補正データを減算し、垂直ダークシェーディング補正を行う。

ステップＳ７０８では、ダークオフセットクランプ回路４０２の平均化回路４０６が第１の演算領域２０５の出力信号の平均値を算出する。

ステップＳ７０９では、ダークオフセットクランプ回路４０２の減算器４０７がステップＳ７０８で求めた平均値を画像信号から減算し、加算器４０８がこの画像信号に対して予め定められたオフセット値を加算する。なお、ステップＳ７０９にてクランプを行うのは、ステップＳ７０６で画像データから減算した補正データには、暗電流が含まれていない第２の演算領域２０５の出力信号が含まれているため、これを補償する必要があるためである。

ステップＳ７１５では、第２のデジタル信号処理部４０３が画像信号にガンマ処理やホワイトバランス処理などを行って画像データを生成し、これを画像メモリ１１３、記録回路１１５、もしくは表示回路１１７に出力して記録処理や表示処理を行う。

これに対し、ステップＳ７１０では、システム制御部１１８は、第１の演算領域２０５のみを、第１のデジタル信号処理部４０１が水平ＯＢ領域の出力信号の平均値を算出するために参照する領域として設定する。第１のデジタル信号処理部４０１は、各行のデジタル画像信号における第１の演算領域２０５の出力信号の平均値を求め、補正データとする。

ある程度の暗電流が生じる状況であるならば、暗電流を出力信号に含む第１のＯＢ画素で構成された第１の演算領域２０５と、暗電流を出力信号に含まない第２のＯＢ画素で構成された第２の演算領域２０６の、レベル差が大きくなってしまう。そのため、第１の水平ＯＢ部２０２と同様に、ある程度の暗電流が生じている有効画素部２０４の出力信号を補正する際には、暗電流が含まれていない第２の水平ＯＢ部２０３の出力信号を用いることは適切ではない。そのため、第１のデジタル信号処理部は、第１の水平ＯＢ部２０２の第１の演算領域２０５のみを用いて補正データを生成する必要がある。

ステップＳ７１１では、システム制御部１１８が、その画像信号を生成したときの撮像素子１０３の蓄積時間が閾値以上であるか判定し、閾値以上であるならばステップＳ７１２へ、閾値未満であるならばステップＳ７１４へ進む。

ステップＳ７１２では、第１のデジタル信号処理部４０１が、複数行の補正データを平均化することで、補正データを平滑化する。撮像素子１０３の蓄積時間が長いと、暗電流に起因するキズ画素が発生する可能性が高くなる。そこで、複数行の補正データを用いて補正データを平滑化することで、キズ画素が生じている行に対してのみ過補正を行うことを抑止している。

図６は補正データの平滑化の一例を説明するための図である。

図６Ａは、水平ＯＢ部の画素領域の構成を簡略化した図である。説明の簡略化のため、この図６Ａは、演算領域内に周囲の画素より大きな出力となるキズ画素を１つだけ有し、その他の画素はノイズ成分を含まない一律の出力値となるような構成としている。

図６Ｂは、図６Ａの水平ＯＢ部から生成された垂直写像データであり、各行の画素の平均出力値で構成されている。図６Ｂからわかるように、キズ画素が存在する行の垂直写像データだけ、他の行に比べて値が大きくなる。そして、この垂直写像データをそのまま垂直シェーディング補正に使用してしまうと、このキズ画素を有する行に対しては、本来補正すべき値よりも大きな補正をかけてしまうことになる。その結果、補正後の画像に、本来の値よりも低い値となる横線が生じてしまうことになる。

図６Ｃ、図６Ｄは、図６Ｂの垂直写像データを平滑化した例である。図６Ｃは補正対象の行を中心として、前後３行の平均をとることで平滑化した垂直写像データであり、図６Ｄは前後５行の平均をとることで平滑化した垂直写像データである。いずれもキズ画素による影響は緩和され、より多くの行を用いて平滑化している垂直写像データの方が緩和の程度が大きいことがわかる。この平滑化の処理を全ての行の補正データに対して行う。

但し、むやみに平滑化に用いる行数を増やすと、細かい横縞など、平滑化に使用する行数よりも狭い周期で発生する高周波の垂直シェーディングについては補正できなくなるという弊害が生じる。

そのため、大きなキズの発生しやすい高温時や、長秒露光時のみ平滑化に使用する行数を増やすなど、撮影条件に応じて平滑化の程度を変えることにより、より効果的な垂直シェーディング補正を達成することができる。

ステップＳ７１３では、第１のデジタル信号処理部４０１が、平均化した補正データに対して所定の係数を掛け、新たな補正データとする。

ステップＳ７１４では、第１のデジタル信号処理部４０１が、有効画素部２０４から出力される画像信号から、ステップＳ７１１あるいはステップＳ７１３で求めた補正データを減算し、ダークシェーディング補正を行う。このステップＳ７１４のダークシェーディング補正では、暗電流を含まない第２の演算領域２０６の出力信号を用いていないため、ステップＳ７０９のようなオフセット補正は不要である。したがって、ステップＳ７１４でダークシェーディング補正を行うと、ステップＳ７１５に進む。

以上説明したように、本実施形態によれば、第１のデジタル信号処理部４０１は、撮像素子１０３あるいはその周辺回路の温度、撮像素子１０３の蓄積時間、および、信号増幅器１０６のゲインに応じて、ダークシェーディングの補正値を求めるために参照する水平ＯＢ領域を切り替えている。

なお、第２の実施形態では、ステップＳ７０６で算出された補正データに対しては平滑化を行わなかったが、平滑化を行っても構わない。ただし、周波数の高い垂直シェーディングを補正するためには、平滑化のために用いる補正データの行数を、ステップＳ７１２よりも少なくする必要がある。

また、上述した第１、第２の実施形態では、撮像素子１０３、あるいは、その周辺回路の温度、撮像素子１０３の蓄積時間、および、信号増幅器１０６のゲインの値に基づいて、参照する水平ＯＢ領域を決定していたが、これに限られるものではない。例えば、撮像装置に備えられた液晶モニタを長時間使用した場合など、他の要因によって撮像素子１０３の暗電流が大きくことが推定できるのであれば、これらの要因に応じてダークシェーディング補正に用いる水平ＯＢ領域を切り替えることも可能である。

撮像装置の構成を示すブロック図である。撮像素子の画素領域の構成を説明するための図である。本発明の第１の実施形態におけるアナログ信号処理回路を詳細に説明するためのブロック図である。本発明の第２の実施形態におけるデジタル信号処理回路を詳細に説明するためのブロック図である。本発明の第１の実施形態における垂直ダークシェーディング補正の手順を説明するフローチャートである。本発明の第２の実施形態における補正データの平滑化の一例を説明するための図である。本発明の第２の実施形態における垂直ダークシェーディング補正の手順を説明するフローチャートである。

符号の説明

１０１光学系
１０２メカニカルシャッタ
１０３撮像素子
１０４アナログ信号処理回路
１０５ＣＤＳ回路
１０６信号増幅器
１０７クランプ回路
１０８Ａ／Ｄ変換器
１１０タイミング信号発生回路
１１１駆動回路
１１２デジタル信号処理回路
１１３画像メモリ
１１４記録媒体
１１５記録回路
１１６画像表示装置
１１７表示回路
１１８システム制御部
１１９不揮発性メモリ
１２０揮発性メモリ
１２１温度検出部
１２２蓄積時間設定部
１２３撮影モード設定部

Claims

被写体像を受光して画像信号を生成する有効画素部と、遮光された複数の画素部を有する遮光画素部とを有する撮像素子と、
前記有効画素部からの出力信号の基準値を設定する信号処理部と、
前記撮像素子の蓄積時間、前記撮像素子の環境温度、および、前記撮像素子から出力された信号のゲインの少なくともいずれかに応じて、前記遮光画素部における前記基準値の設定に用いる領域を切り替える制御部を有し、
前記遮光画素部は、構成の異なる第１の遮光画素部と第２の遮光画素部を備え、
前記制御部は、前記基準値の設定に用いる領域として、第１の遮光画素部を用いる場合と、前記第１の遮光画素部と前記第２の遮光画素部との両方を用いる場合を、切り替えることを特徴とする撮像装置。
第１の遮光画素部と前記第２の遮光画素部のうち、前記第１の遮光画素部のみが光電変換素子を有することを特徴とする請求項１に記載の撮像装置。
第１の遮光画素部と前記第２の遮光画素部は光電変換素子を有し、
第１の遮光画素部と前記第２の遮光画素部のうち、前記第１の遮光画素部のみが光電変換素子にて生成された電荷を出力するための層を有することを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記撮像素子の蓄積時間が閾値未満であれば、前記第１の遮光画素部と前記第２の遮光画素部との両方の出力信号を用いて前記基準値を設定し、前記撮像素子の蓄積時間が閾値以上であれば、前記第１の遮光画素部のみの出力信号を用いて前記基準値を設定することを特徴とする請求項２または３に記載の撮像装置。
前記制御部は、前記撮像素子の出力信号のゲインが閾値以上であれば、前記第１の遮光画素部と前記第２の遮光画素部との両方の出力信号を用いて前記基準値を設定し、前記撮像素子の蓄積時間が閾値未満であれば、前記第１の遮光画素部のみの出力信号を用いて前記基準値を設定することを特徴とする請求項２または３に記載の撮像装置。
前記制御部は、前記撮像素子の環境温度が閾値未満であれば、前記第１の遮光画素部と前記第２の遮光画素部との両方の出力信号を用いて前記基準値を設定し、前記撮像素子の環境温度が閾値以上であれば、前記第１の遮光画素部のみの出力信号を用いて前記基準値を設定することを特徴とする請求項２または３に記載の撮像装置。
前記信号処理部は、前記遮光画素部の信号に基づいて、前記有効画素部の信号の基準値を調整するフィードバック方式のクランプ回路で構成されており、
前記撮像素子の蓄積時間、前記撮像素子の環境温度、および、前記撮像素子から出力された信号のゲインの少なくともいずれかに応じて、フィードバックゲインを切り替えることを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
前記クランプ回路は、前記撮像素子の蓄積時間が閾値未満であれば、閾値以上である場合に比較して、前記フィードバックゲインを高く設定することを特徴とする請求項７に記載の撮像装置。
前記クランプ回路は、前記撮像素子の環境温度が閾値未満であれば、閾値以上である場合に比較して、前記フィードバックゲインを高く設定することを特徴とする請求項７に記載の撮像装置。
前記クランプ回路は、前記撮像素子の出力信号のゲインが閾値以上であれば、閾値未満である場合に比較して、前記フィードバックゲインを高く設定することを特徴とする請求項７に記載の撮像装置。
前記信号処理部は、前記撮像素子の行毎に前記有効画素部の信号の基準値を算出し、
前記撮像素子の蓄積時間、前記撮像素子の環境温度、および、前記撮像素子から出力された信号のゲインの少なくともいずれかに応じて、前記基準値を平滑化するか否かを切り替えることを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
前記信号処理部は、前記撮像素子の蓄積時間が閾値未満であれば、前記基準値の平滑化を行わず、前記撮像素子の蓄積時間が閾値以上であれば、前記基準値の平滑化を行うことを特徴とする請求項１１に記載の撮像装置。
前記信号処理部は、前記撮像素子の環境温度が閾値未満であれば、前記基準値の平滑化を行わず、前記撮像素子の環境温度が閾値以上であれば、前記基準値の平滑化を行うことを特徴とする請求項１１に記載の撮像装置。
前記信号処理部は、前記撮像素子の出力信号のゲインが閾値以上であれば、前記基準値の平滑化を行わず、前記撮像素子の出力信号のゲインが閾値未満であれば、前記基準値の平滑化を行うことを特徴とする請求項１１に記載の撮像装置。