JP2015035774A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】 撮像素子で得られた信号に対するゲインの切り替え時に補正データにあらわれるショック（画像のちらつき等）を低減する。
【解決手段】 アナログゲインの各設定値に対応する３つの縦線補正演算ＲＡＭ１０５〜１０７を撮像装置に設ける。縦線補正演算ＲＡＭ１０５〜１０７には、アナログゲインの切り替えの指示がなされたタイミングの次の垂直同期期間が経過するまでに縦線補正データＹｎが収束するように、アナログゲインの各設定値に応じた各列の縦線補正データの初期値をそれぞれ記憶する。アナログゲインが切り替わると判断されたときに、切り替え後のアナログゲインに対応する縦線補正演算ＲＡＭ１０５、１０６または１０７を選択する。そして、選択した縦線補正演算ＲＡＭ１０５、１０６または１０７に記憶されている縦線補正データの初期値を用いて、縦線補正データＹｎを求める。
【選択図】 図１

Description

本発明は、撮像装置および撮像装置の制御方法に関し、特に、撮像素子で得られた信号を増幅するために用いて好適なものである。

ＣＣＤ、ＣＭＯＳ等の固体撮像素子を用いたデジタルビデオカメラでは、撮影シーンの輝度に応じてカメラの感度を自動でコントロールし、適切な露光で撮影可能なＡＥ（Auto Exposure）機能を有するものがほとんどである。ＡＥ機能は、絞り制御等による撮像素子への光学的な入射光量の制御と、電子シャッタ等による時間的な入射光量の制御と、カメラ内部の電気的なゲインの制御（増幅）と、の３つをコントロールすることで実現される。

電気的なゲインの制御を行うと、信号レベルと同時にノイズレベルも増幅してしまうため、ＡＥ制御では、絞り制御と電子シャッタでの制御を優先的に行うのが一般的である。但し、絞り制御と電子シャッタでの制御では十分な光量が得られない場合には電気的なゲインの制御が必須である。この電気的なゲイン制御の方法にはいくつか方法がある。一般的に、前段でゲインをかけた方が、後段でゲインをかけるよりもノイズが少ない高画質の画像を得ることができる。従って、ゲインを撮像素子の内部に持たせることが望ましい。しかしながら、撮像素子内のレイアウトの制約のため、撮像素子の内部のゲインの設定値は、１倍、２倍、４倍、８倍等の離散的な設定値であることが多い。動画像の撮像時のゲイン制御では、なめらかに輝度を変化させる必要があるため、撮像素子の内部の離散的なゲインと後段のデジタルゲインとを組み合わせることで連続的なゲインの制御を可能とする。

ここで、撮像素子の内部に配置された列アンプや出力アンプ等、アナログ信号に対するアンプのゲインをアナログゲインと称することとする。また、当該アナログ信号に対するＡＤ変換に得られたデジタル信号に対するアンプのゲインをデジタルゲインと称することとする。アナログゲインとデジタルゲインとの合計が制御ゲインに等しくなるように、制御ゲインは、アナログゲインとデジタルゲインとに割り振られる。
特許文献１には、撮像素子の内部の離散的なアナログゲインを、後段のデジタルゲインよりも優先的にかけ、かつ、デジタルゲインを細かく制御する技術が開示されている。

特開２００９−４９９８１号公報

しかしながら、特許文献１に記載の技術では、アナログゲインの切り替え時の縦線補正データのショック（画像のちらつき等）を低減するために、輝度の変化に応じて、アナログゲインとデジタルゲインとの配分を制御する。このため、アナログゲインとデジタルゲインとの間に縦線補正等のシステムがある場合は、アナログゲインの切り替わり時に、当該切り替わりに起因して縦線補正データにあらわれるショックにより、画像に縦線が残ってしまうという問題がある。
本発明は、このような問題点に鑑みてなされたものであり、撮像素子で得られた信号に対するゲインの切り替え時に補正データにあらわれるショックにより発生する画質の劣化を低減することを目的とする。

本発明の撮像装置は、２次元マトリックス状に配置された複数の画素からなる有効画素部と、前記有効画素部に隣接して配置された複数の画素からなる遮光画素部と、を有し、被写体の光学像を電気信号に変換する画素部と、前記電気信号を、所定の刻み幅で変更することが可能な第１のゲインで増幅する第１の増幅手段と、前記第１の増幅手段により増幅された電気信号のうち前記遮光画素部に対応する電気信号である遮光画素電気信号の、列ごと又は行ごとの平均値を算出し、当該算出した平均値に基づいて、列ごと又は行ごとの補正データを生成する生成手段と、前記補正データを用いて、前記第１の増幅手段により増幅された電気信号のうち前記有効画素部に対応する電気信号である有効画素電気信号を、列ごと又は行ごとに補正する補正手段と、を有し、前記生成手段は、処理対象の画素に対応する前記遮光画素電気信号の値と、当該画素と同じ列または同じ行において既に生成された仮の前記補正データである生成済み仮補正データの値と、時定数と、を変数として含む計算式に従って、仮の前記補正データである仮補正データを算出することを、少なくとも当該仮補正データの値が収束するまで、前記処理対象の画素を異ならせて行い、その結果に基づいて、当該列または当該行の前記補正データを生成し、前記第１のゲインの変更が指示されたタイミングの次の垂直同期期間では、当該垂直同期期間が経過するまでに前記仮補正データが収束するように、前記変数を設定することを特徴とする。

本発明によれば、撮像素子で得られた信号に対するゲインの切り替え時に補正データにあらわれるショックにより発生する画質の劣化を低減することができ、Ｓ／Ｎ比の高い画像を得ることができる。

撮像装置の構成の第１の例を示す図である。 各ゲインと撮像素子への入射光量との関係を示す図である。 縦線補正の概要を説明する図である。 従来のＩＩＲフィルタの出力値と時間との関係を示す図である。 本実施形態のＩＩＲフィルタの出力値と時間との関係を示す図である。 撮像装置の動作を説明するフローチャートである。 縦線補正演算ＲＡＭの変形例を示す図である。 撮像装置の構成の第２の例を示す図である。 ＩＩＲフィルタのフィルタ時定数の切り替えタイミングを示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。
＜第１の実施形態＞
まず、本発明の第１の実施形態について説明する。
図１は、撮像装置の構成の一例を示す図である。尚、図１では、本実施形態の説明に必要のない構成の図示を省略している。

撮像素子１０１は、被写体の光学像を電気信号に変換して出力する。撮像素子１０１は、その内部に、入射光を電気信号に変換する光電変換部１０２と、光電変換部１０２で得られた電気信号（アナログ信号）を増幅するアナログゲイン部１０３とを有する。第１の増幅手段の一例であるアナログゲイン部１０３は、第１のゲインの一例として、離散的な所定のゲイン、例えば０ｄＢ、６ｄＢ、１２ｄＢといったようなゲインを設定することが可能である。撮像素子１０１がＣＭＯＳ撮像素子である場合、アナログゲイン部１０３は例えば、２次元マトリックス状に配置された光電変換部１０２（画素）の各列に設けられた列アンプや、列アンプと水平出力線を介して接続された出力アンプ等により構成される。以下の説明では、この離散的なゲインを必要に応じてアナログゲインと称する。

撮像素子１０１からの出力信号は、水平ＯＢクランプ回路１０４で黒レベルが合わせられた後に、ＡＤ変換されて縦線補正回路１０８に出力される。縦線補正回路１０８は、入力された信号に対して、縦線補正を実施する。この縦線補正は、ＣＭＯＳセンサのように撮像素子１０１が列ごとに個別の列アンプを持つ場合に、オフセット性の縦線レベルを補正することをいう。縦線補正の詳細については後述する。

第２の増幅回路の一例であるデジタルゲイン回路１１０は、第２のゲインの一例として、アナログゲイン部１０３のゲインよりも細かな刻み幅でゲインを設定可能である。以下の説明では、このデジタルゲイン回路１１０のゲインを、必要に応じてデジタルゲインと称する。

次に、アナログゲインとデジタルゲインの制御方法の一例について述べる。
ＡＥブロック１１１は、適切な露出となるように絞り制御等による撮像素子１０１への光学的な入射光量の制御を行う。さらに、ＡＥブロック１１１は、電子シャッタ等による時間的な入射光量の制御を行う。ＡＥブロック１１１は、これらの露出制御（入射光量の制御）を行っても適切な光量が得られない場合に、アナログゲイン部１０３とデジタルゲイン回路１１０で電気信号を増幅するように、ゲイン制御回路１１２に対して制御ゲイン２０１を出力する。

光電変換部１０２で得られた電気信号をアナログゲイン部１０３及びデジタルゲイン回路１１０で増幅することにより、その信号レベルは増幅されるが、これと同時にノイズレベルも増幅されてしまう。このため、アナログゲインおよびデジタルゲインによる露出制御は、ＳＮ比の劣化につながるが、低照度の撮影時に必要な機能である。ゲイン制御回路１１２は、アナログゲインとデジタルゲインの合計が制御ゲイン２０１になるように、制御ゲイン２０１を、アナログゲインとデジタルゲインに割り振る。

図２は、各ゲインと撮像素子１０１への入射光量との関係の一例を示す図であり、制御ゲイン２０１と、アナログゲインおよびデジタルゲインと、の関係を説明する図である。
図２において、制御ゲイン２０１は、撮像素子１０１への入射光量に比例する。前述したように、制御ゲイン２０１は、アナログゲイン２０２とデジタルゲイン２０３の合計に一致する。

図２に示す例では、アナログゲイン２０２は、０ｄＢ、６ｄＢ、１２ｄＢと３段階の離散的な値をとる。一方、デジタルゲイン２０３は、アナログゲイン２０２と比較して、細かな刻み幅での制御が可能である。ところで、最終的に得られる画像の画質について考えると、アナログゲイン部１０３とデジタルゲイン回路１１０のうち、どの増幅器でゲインをかけたかにより、最終的な画像信号のＳＮ比が異なる。アナログゲイン２０２をデジタルゲイン２０３よりも優先的にかけることにより、デジタルゲイン２０３が小さくなり、結果として最終的な画像信号におけるノイズの量は小さくなる。デジタルゲイン回路１１０に至るまでの系で発生した全てのノイズがデジタルゲイン２０３によって増幅されるので、前段のアナログゲイン部１０３でなるべく多くのゲインをかけることで、最終的な画像信号におけるＳＮ比を改善できるからである。

次に、縦線補正回路１０８について説明をする。図３は、縦線補正回路１０８による縦線補正の概要を説明する図である。図３（ａ）に、縦線が発生している画像（左図）と縦線が補正された画像（右図）を示す。
列ごとに列アンプを有するＣＭＯＳ撮像素子では、列アンプ毎のオフセット成分のバラつきにより、図３（ａ）の左図に示すように、画像に縦線３０１が発生する場合がある。このようなオフセット性の縦線を除去するための技術として、複数のフレームにおけるＶＯＢ（垂直ＯＢ）部３０２の画素値を列ごとにクランプし、それらの平均値をとることで列アンプ毎のオフセット成分を除去する技術がある。遮光画素部の一例であるＶＯＢ部３０２は、例えば、有効画素部（図３の左図の白抜きの領域）の列方向の端部に位置する。図３（ａ）に示す例では、白抜きで示す有効画素部の列方向の上端部に隣接するｐライン（ｐは正の整数であり例えば１６）の領域が、ＶＯＢ部３０２として設定される。ＶＯＢ部３０２に配置される光電変換部１０２に対し、当該光電変換部１０２に光が当たらないように遮光膜が配置される。

図３（ｂ）に、複数のフレームにおけるＶＯＢ部３０２の一例を概念的に示す。
各列アンプのオフセットデータを生成するために、一般的に、デジタルＩＩＲフィルタが用いられる。このデジタルＩＩＲフィルタを用いることにより、複数のフレームにおけるＶＯＢ部３０２の画素値の列ごとの平均値をリアルタイムに演算する。
具体的なデジタルＩＩＲフィルタの一例として、以下の（１）式の計算式で表すことができるデジタルフィルタが挙げられる。
Ｙｎ＝１／Ｋ×Ｘｎ＋（１−１／Ｋ）×Ｙｎ−１，Ｋ＝２５６ ・・・（１）
Ｋは、フィルタ時定数である。Ｘｎは、処理対象の列におけるＶＯＢ部３０２の信号（画素値）である。Ｙｎは、仮補正データおよび補正データの一例である、フィルタ出力（縦線補正データ（画素値））である。Ｙｎ−１は、生成済み仮補正データの一例である、処理対象の列の１ライン前のフィルタ出力（画素値）である。（１）式の計算は、では、フィルタ時定数Ｋ、処理対象の列におけるＶＯＢ部３０２の信号（画素値）Ｘｎ、および処理対象の列の１ライン前のフィルタ出力（縦線補正データ（画素値））Ｙｎ−１のそれぞれの変数を入力することにより実行される。

フィルタ時定数Ｋの値が小さいほど（例えばＫ＝１６であると）、フィルタの収束時間は短くなる。しかしながら、画像信号はノイズの影響を受けやすくなり、オフセット補正後の画像信号に縦線ノイズがのってしまう。したがって、フィルタ時定数Ｋを余り小さくすることはできない。列アンプの縦線補正データ（オフセットデータ）を求めるフィルタ演算は、列ごとに行う必要があり、（１）式に示すように、１ライン前のフィルタ出力（縦線補正データ）Ｙｎ−１を記憶しておく補正ＲＡＭが、画素の列の数分だけ必要となる。ここでポイントとなるのは、後述する縦線補正演算ＲＡＭ１０５〜１０７がなければ、列ごとの縦線補正データの演算に、複数のフレームのＶＯＢ部３０２の画素値が必要であるという点である。

以下に、列ごとの縦線補正データの演算の方法の一例について簡単に説明する。
まず、縦線補正回路１０８は、水平ＯＢクランプ回路１０４から、遮光画素電気信号の一例である、処理対象の列Ｌ０のＶＯＢ信号Ｘｎ（ＶＯＢ部３０２の画素値）が入力されると、列Ｌ０に対応する現在の縦線補正データＹｎ−１をメモリから読み出す。そして、縦線補正回路１０８は、（１）式の演算を行うことにより、新たな縦線補正データＹｎを算出する。このメモリには、各列Ｌ０〜Ｌａの縦線補正データの更新値（１ライン前の縦線補正データＹｎ−１）が記憶される。

フィルタ時定数Ｋが２５６であると、縦線補正データＹｎが収束するのに約２５６個のＶＯＢ信号が必要になる。仮に、１フレームにおけるＶＯＢ部３０２が１０ラインである場合には、約２５フレームのＶＯＢ信号が必要になる。縦線補正回路１０８で算出された新たな縦線補正データＹｎは、次のラインの縦線補正データＹｎの算出の際のＹｎ−１として利用するために前記メモリに書き戻される。すなわち、前記メモリの縦線補正データは更新される。

更に、縦線補正回路１０８は、列Ｌ０の次の列Ｌ１のＶＯＢ信号Ｘｎが入力されると、列Ｌ０に対する処理と同様に、列Ｌ１に対応して現在格納されている縦線補正データＹｎ−１をメモリから読み出す。そして、縦線補正回路１０８は、前述した（１）式の演算により求めた新たな縦線補正データＹｎに前記メモリの縦線補正データを更新する。

以上の処理を繰り返し行い、最後の列Ｌａに対応する縦線補正データＹｎに前記メモリの値が更新され、ＶＯＢ部３０２の１ライン目における縦線補正データの生成処理が終了する。
この１ライン目における縦線補正データの生成処理と同様に、ＶＯＢ部３０２の２ライン目について、列Ｌ０〜Ｌａに対応する列ごとの縦線補正データを更新する。

以上の処理を繰り返し行い、例えば２５フレーム分（すなわち、各列２５０程度）のＶＯＢ信号が縦線補正回路１０８に入力されて、縦線補正データが更新されると、縦線補正データとして適性な値に収束する。これにより、各列Ｌ０〜Ｌａの縦線補正データが得られる。尚、収束した後も、縦線補正データの計算を継続することができる。
縦線補正回路１０８は、処理対象の列Ｌｒの縦線補正データＹｎ（最終的に前記メモリに記憶された縦線補正データＹｎ）を読み出す。そして、縦線補正回路１０８は、有効画素電気信号の一例である、列Ｌｒの有効画素のデータと、読み出した縦線補正データＹｎとの差分をとる。このような処理を有効画素の全ての列について行うことで、列ごとの輝度レベルのバラツキが補正されて、図３（ａ）の右図に示すように、縦線３０１が補正された画素が得られる。

図４は、従来のデジタルＩＩＲフィルタの出力値と時間との関係の一例を概念的に示す図である。具体的に図４では、縦線補正を行うに際し、アナログゲインを切り替えた瞬間のデジタルＩＩＲフィルタの出力値の様子の一例を概念的に示す図である。図４の横軸は時間ｔを示し、縦軸はデジタルＩＩＲフィルタの出力値を示す。

アナログゲインを切り替えた瞬間に補正すべきオフセット値は、アナログゲインの切り替えの影響を受けて変化する。図４に示すように、時刻ｔ１にアナログゲインを切り替えたとすると、デジタルＩＩＲフィルタの出力値（縦線補正データ）は、フィルタ時定数Ｔを持つために、収束するまでに時間を有する（図４の収束時間４０１を参照）。
収束時間４０１は、ＶＯＢ部３０２のライン数と、フィルタ時定数Ｔと、フィルタに与える縦線補正データの初期値（（１）式において、１ライン目の縦線補正データＹｎを算出する際に使用するＹｎ−１）に依存する。一般的に、デジタルＩＩＲフィルタの出力値（縦線補正データ）が収束するまでに、複数のフレームのＶＯＢ信号を用いる必要があるため、アナログゲインを切り替えた瞬間に一瞬ではあるが縦線補正の補正残りが見えてしまう。したがって、発明が解決しようとする課題の欄で述べたように、動画像の撮影では、このアナログゲインの切り替え時に発生する縦線補正データのショックが問題となる。

そこで、本実施形態では、縦線補正演算ＲＡＭ１０５〜１０７を複数持つ構成をとり、アナログゲインの設定値ごとに、フィルタに与える縦線補正データの初期値を予め保持しておく構成とする。
前述したメモリとして、従来は、アナログゲインの設定値によらず、各列における縦線補正データの初期値を一種類だけ記憶するメモリが採用されていた。

本実施形態では、図２に示したように、アナログゲイン部１０３におけるアナログゲインの設定値が０ｄＢ、６ｄＢ、１２ｄＢの３段階の離散的な値を有する。そこで、本実施形態では、アナログゲインの各設定値に対応する３つの縦線補正演算ＲＡＭ１０５〜１０７を撮像装置に設ける。例えば、縦線補正演算ＲＡＭ１０５は、アナログゲインが０ｄＢであるときの各列における縦線補正データの初期値が記憶されるメモリである。縦線補正演算ＲＡＭ１０６は、アナログゲインが６ｄＢであるときの各列における縦線補正データの初期値が記憶されるメモリである。縦線補正演算ＲＡＭ１０７は、アナログゲインが１２ｄＢであるときの各列における縦線補正データの初期値が記憶されるメモリである。

図５は、本実施形態のデジタルＩＩＲフィルタの出力値と時間との関係の一例を概念的に示す図である。図５は、図４に対応する図である。
切り替え回路１０９は、アナログゲインが切り替わると判断されたときに、変更後のアナログゲインに対応する縦線補正演算ＲＡＭ１０５、１０６または１０７を選択する。そして、縦線補正回路１０８は、切り替え回路１０９で選択された縦線補正演算ＲＡＭ１０５、１０６または１０７に記憶されている縦線補正データの初期値を（１）式のＹｎ−１に入力して、前述した演算を行う。

アナログゲインの設定値ごとに縦線補正データの初期値を持つことにより、図５に示すように、アナログゲインの切り替えに、縦線補正データの初期値が連動して変化するため、縦線補正データが収束するまでに時間を有することがなくなる。したがって、アナログゲインを切り替えた瞬間の縦線補正も正常に動作することが可能となり、アナログゲインの切り替えにより縦線補正データにあらわれるショックを抑制することができる。

アナログゲインの設定値の各々に対応した縦線補正データの初期値は、例えば、撮像装置の電源を立ち上げたときに、撮像素子１０１を遮光状態にして取得することができる。この他、予め工場調整で取得した値をＲＯＭに記憶しておき、撮像装置の電源の立ち上げ時に、縦線補正演算ＲＡＭ１０５、１０６および１０７にＲＯＭに記憶した値を設定してもよい。

ここで、アナログゲインの切り替えが指示されたときの次の垂直同期（１Ｖ）期間内（次のフレーム）で、縦線補正データ（（１）式）が収束するように、各縦線補正演算ＲＡＭ１０５〜１０７に記憶される縦線補正データの初期値が設定されるようにする。各縦線補正演算ＲＡＭ１０５〜１０７に記憶される縦線補正データの初期値は、撮像素子１０１を遮光状態にして、撮像装置に備わる列アンプを通して得られたＶＯＢ信号を用いて計算される。したがって、縦線補正データの初期値は、実際の縦線補正データの値に近い値になる。よって、１フレームにおけるＶＯＢ信号だけで、縦線補正データを収束させることができる。

図６は、縦線補正演算ＲＡＭ１０５〜１０７を選択してゲインを切り替える際の撮像装置の動作の一例を説明するフローチャートである。尚、図６は、縦線補正演算ＲＡＭ１０５〜１０７を選択してゲインを切り替える動作に特化したフローチャートであり、撮像装置は、この他の動作も行う。
まず、撮像装置は、電源がＯＮされるまで待機する（ステップＳ６０１）。
電源がオンされると、縦線補正回路１０８は、撮像素子１０１を遮光状態にして、アナログゲインを各設定値にしたときのＶＯＢ信号（または、ＶＯＢ信号と有効画素の信号の両方）を順次取得する。そして、縦線補正回路１０８は、アナログゲインの設定値のそれぞれに対応した縦線補正演算ＲＡＭ１０５〜１０７（縦線補正データ）の初期値を前述した（１）式に基づいて求める（ステップＳ６０２）。

次に、ＡＥブロック１１１は、制御ゲイン２０１を決定する（ステップＳ６０３）。
次に、ゲイン制御回路１１２は、アナログゲインとデジタルゲインの合計が制御ゲイン２０１になるように、アナログゲインとデジタルゲインを決定する（ステップＳ６０４）。
次に、切り替え回路１０９は、ステップＳ６０４で決定されたアナログゲインに対応した縦線補正演算ＲＡＭ１０５、１０６または１０７を選択する（ステップＳ６０５）。また、ゲイン制御回路１１２は、縦線補正演算ＲＡＭ１０５、１０６、１０７の切り替えに同期して、アナログゲインとデジタルゲインを切り替える（ステップＳ６０５）。

以上のように本実施形態では、アナログゲインの各設定値に対応する３つの縦線補正演算ＲＡＭ１０５〜１０７を撮像装置に設ける。縦線補正演算ＲＡＭ１０５〜１０７には、アナログゲインの切り替えの指示がなされたタイミングの次の垂直同期期間が経過するまでに縦線補正データＹｎが収束するように、アナログゲインの各設定値に応じた各列の縦線補正データの初期値をそれぞれ記憶する。アナログゲインが切り替わると判断されたときに、切り替え後のアナログゲインに対応する縦線補正演算ＲＡＭ１０５、１０６または１０７を選択する。そして、選択した縦線補正演算ＲＡＭ１０５、１０６または１０７に記憶されている縦線補正データの初期値を用いて、縦線補正データＹｎを求める。
したがって、アナログゲインとデジタルゲインとの間に縦線補正等のシステムがある場合でも、アナログゲインの切り替え時のショックを低減することができる。したがって、縦線が残ることによる画質の劣化を低減し、Ｓ／Ｎ比の高い動画像の撮影が可能になる。

本実施形態では、アナログゲインの設定値の数に対応する数の縦線補正演算ＲＡＭ１０５、１０６または１０７を設ける場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。
図７は、縦線補正演算ＲＡＭの変形例を示す図である。尚、図７は、図１に対応する図であり、図７で不図示の部分の構成は、図１に示した構成と同じである。
例えば、図７に示すように、縦線補正演算ＲＡＭ７０５を１つだけ設け、アナログアンプの設定値に応じたそれぞれの初期値７０２、７０３、７０４を、ＲＯＭ７０１に記憶しておく。アナログゲインの切り替え時にＲＯＭ７０１から切り替え後のアナログゲインに対応する初期値を縦線補正演算ＲＡＭ７０５にロードする。このような構成にすれば、縦線補正演算ＲＡＭを複数もつ構成と比較して、回路規模に与える影響を小さくすることができる。但し、ＲＯＭ７０１から縦線補正演算ＲＡＭ７０５へのデータのロードが１垂直同期期間以内で完了（アナログゲインの切り替えの指示があったタイミングの次の垂直同期信号ＶＤが入力されるまでにロードが完了）することが条件である。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。前述した第１の実施形態では、アナログゲインの各設定値に応じた各列の縦線補正データの初期値をそれぞれ記憶することにより、アナログゲインの切り替えが指示されたタイミングの次の垂直同期期間内で、縦線補正データＹｎが収束するようにした。これに対し、本実施形態では、アナログゲインの切り替えが指示されたタイミングの次の垂直同期期間（フレーム）だけ、フィルタ時定数Ｋの値を小さくして、アナログゲインの切り替えが指示された次の垂直同期期間内で、縦線補正データＹｎを収束させる。このように本実施形態と第１の実施形態とは、アナログゲインの切り替えが指示されたタイミングの次の垂直同期期間内で、縦線補正データＹｎを収束させるための構成が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付す等して詳細な説明を省略する。

図８は、撮像装置の構成の一例を示す図である。尚、図８でも図１と同様に、本実施形態の説明に必要のない構成の図示を省略している。
本実施形態の撮像装置では、図１に示した第１の実施形態の撮像装置に対し、縦線補正演算ＲＡＭ８０２を１つに変更するとともに、時定数制御回路８０１を追加したものである。

前述したように本実施形態では、アナログゲインの切り替え時に縦線補正データの切り替えショックを緩和するために、縦線演算補正ＲＡＭ（縦線補正データ）の初期値を切り替えるのではなく、デジタルＩＩＲフィルタのフィルタ時定数Ｋを切り替える。したがって、縦線補正演算ＲＡＭ８０２には、アナログゲインの設定値によらず、各列における縦線補正データの初期値が一種類だけ記憶される。

図９は、デジタルＩＩＲフィルタのフィルタ時定数Ｋの切り替えタイミングの一例を示す図である。
図９において、タイミングｔ１でアナログゲインの切り替え制御信号が発生したとする。この場合、タイミングｔ１の次の垂直同期信号ＶＤの開始のタイミング（パルスの立下りのタイミング）ｔ２に同期してアナログゲインが切り替わる。このアナログゲインの切り替えに連動して、時定数制御回路８０１は、当該垂直同期信号ＶＤで定まる垂直同期期間（次のフレーム）でのみ、（１）式におけるフィルタ時定数Ｋを規定値よりも小さい値に設定する（図９に示す例では５１２から１６に変更する）。そして、時定数制御回路８０１は、さらにその次の垂直同期信号ＶＤの開始のタイミングｔ３に同期して、フィルタ時定数Ｋを元の値（図９に示す例では５１２）に設定する。

但し、有効画素９０１の前に読み出されるＶＯＢ部３０２の画素９０２が十分に多い場合にのみ、１垂直同期（１Ｖ）期間以内で（１）式の計算を収束させることができる。図９に示すように、フィルタ時定数Ｋを１６に変更する場合には、１フレーム（１画面）におけるＶＯＢ部３０２のライン数は最低でも１６画素（１６ライン）必要になる。すなわち、フィルタ時定数Ｋよりも、１フレーム（１画面）におけるＶＯＢ部３０２のライン数を大きくする必要がある。

以上のように本実施形態では、アナログゲインの切り替えの指示がなされたタイミングの次の垂直同期期間内（次のフレーム）で、縦線補正データＹｎが収束するように、当該垂直同期期間におけるフィルタ時定数Ｋを変更する。したがって、第１の実施形態で説明した効果に加え、回路規模を小さくするという効果が得られる。
尚、列と行とを置き換えても第１、第２の実施形態を適用することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１０１ 撮像素子、１０８ 縦線補正回路、１０５〜１０７ 縦線補正演算ＲＡＭ、１１０ デジタルゲイン回路、１１２ ゲイン制御回路

Claims (14)

1. ２次元マトリックス状に配置された複数の画素からなる有効画素部と、前記有効画素部に隣接して配置された複数の画素からなる遮光画素部と、を有し、被写体の光学像を電気信号に変換する画素部と、
   前記電気信号を、所定の刻み幅で変更することが可能な第１のゲインで増幅する第１の増幅手段と、
   前記第１の増幅手段により増幅された電気信号のうち前記遮光画素部に対応する電気信号である遮光画素電気信号の、列ごと又は行ごとの平均値を算出し、当該算出した平均値に基づいて、列ごと又は行ごとの補正データを生成する生成手段と、
   前記補正データを用いて、前記第１の増幅手段により増幅された電気信号のうち前記有効画素部に対応する電気信号である有効画素電気信号を、列ごと又は行ごとに補正する補正手段と、を有し、
   前記生成手段は、処理対象の画素に対応する前記遮光画素電気信号の値と、当該画素と同じ列または同じ行において既に生成された仮の前記補正データである生成済み仮補正データの値と、時定数と、を変数として含む計算式に従って、仮の前記補正データである仮補正データを算出することを、少なくとも当該仮補正データの値が収束するまで、前記処理対象の画素を異ならせて行い、その結果に基づいて、当該列または当該行の前記補正データを生成し、
   前記第１のゲインの変更が指示されたタイミングの次の垂直同期期間では、当該垂直同期期間が経過するまでに前記仮補正データが収束するように、前記変数を設定することを特徴とする撮像装置。
2. 複数の前記第１のゲインの設定値のそれぞれに対応する前記生成済み仮補正データの初期値を記憶する記憶手段を有し、
   前記生成手段は、前記第１のゲインの変更が指示されると、変更後の前記第１のゲインに対応する前記生成済み仮補正データの初期値を読み出して、前記仮補正データの算出を開始することを特徴とする請求項１に記載の撮像装置。
3. 前記生成手段は、前記第１のゲインの変更が指示されると、当該指示がなされた次の垂直同期期間で使用する前記時定数の値を、その他の垂直同期期間で使用する前記時定数の値よりも小さくすることを特徴とする請求項１に記載の撮像装置。
4. 前記生成手段は、前記その他の垂直同期期間では、前記遮光画素電気信号の、列ごと又は行ごとの平均値を、複数のフレームにおける前記遮光画素電気信号を用いて算出することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の増幅手段は、前記画素部の列ごとに配置された列アンプであり、
   前記生成手段は、前記処理対象の画素に対応する前記遮光画素電気信号の値と、当該画素と同じ列の１つ前のラインにおいて既に生成された仮補正データである生成済み仮補正データの値と、時定数と、を変数として含む計算式に従って、仮の前記補正データである仮補正データを算出することを、当該仮補正データが収束するまで、前記処理対象の画素を１ラインずつ異ならせて行い、当該収束したときに算出した前記仮補正データを、当該列の前記補正データとすることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記補正手段により補正された前記電気信号を、前記第１のゲインよりも細かい刻み幅で変更することが可能な第２のゲインで増幅する第２の増幅手段と、
   前記第１のゲインと前記第２のゲインとの合計を、前記画素部への入射光量の制御の結果に基づいて決定する決定手段と、をさらに有することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記第１の増幅手段により増幅された電気信号をデジタルの電気信号に変換するＡＤ変換手段を有し、
   前記遮光画素電気信号は、前記ＡＤ変換手段により変換されたデジタルの電気信号のうち前記遮光画素部に対応する電気信号であり、
   前記有効画素電気信号は、前記ＡＤ変換手段により変換されたデジタルの電気信号のうち前記有効画素部に対応する電気信号であることを特徴とする請求項１〜６のいずれか１項に記載の撮像装置。
8. ２次元マトリックス状に配置された複数の画素からなる有効画素部と、前記有効画素部に隣接して配置された複数の画素からなる遮光画素部と、を有する画素部により、被写体の光学像を電気信号に変換する光電変換工程と、
   前記電気信号を、所定の刻み幅で変更することが可能な第１のゲインで増幅する第１の増幅工程と、
   前記第１の増幅工程により増幅された電気信号のうち前記遮光画素部に対応する電気信号である遮光画素電気信号の、列ごと又は行ごとの平均値を算出し、当該算出した平均値に基づいて、列ごと又は行ごとの補正データを生成する生成工程と、
   前記補正データを用いて、前記第１の増幅工程により増幅された電気信号のうち前記有効画素部に対応する電気信号である有効画素電気信号を、列ごと又は行ごとに補正する補正工程と、を有し、
   前記生成工程は、処理対象の画素に対応する前記遮光画素電気信号の値と、当該画素と同じ列または同じ行において既に生成された仮の前記補正データである生成済み仮補正データの値と、時定数と、を変数として含む計算式に従って、仮の前記補正データである仮補正データを算出することを、当該仮の補正データの値が収束するまで、前記処理対象の画素を異ならせて行い、その結果に基づいて、当該列または当該行の前記補正データを生成し、
   前記第１のゲインの変更が指示されたタイミングの次の垂直同期期間では、当該垂直同期期間が経過するまでに前記仮補正データが収束するように、前記変数を設定することを特徴とする撮像装置の制御方法。
9. 複数の前記第１のゲインの設定値のそれぞれに対応する前記生成済み仮補正データの初期値を記憶する記憶工程を有し、
   前記生成工程は、前記第１のゲインの変更が指示されると、変更後の前記第１のゲインに対応する前記生成済み仮補正データの初期値を読み出して、前記仮補正データの算出を開始することを特徴とする請求項８に記載の撮像装置の制御方法。
10. 前記生成工程は、前記第１のゲインの変更が指示されると、当該指示がなされた次の垂直同期期間で使用する前記時定数の値を、その他の垂直同期期間で使用する前記時定数の値よりも小さくすることを特徴とする請求項８に記載の撮像装置の制御方法。
11. 前記生成工程は、前記その他の垂直同期期間では、前記遮光画素電気信号の、列ごと又は行ごとの平均値を、複数のフレームにおける前記遮光画素電気信号を用いて算出することを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 前記第１の増幅工程は、前記画素部の列ごとに配置された列アンプにより、前記電気信号を、所定の刻み幅で変更することが可能な第１のゲインで増幅し、
    前記生成工程は、前記処理対象の画素に対応する前記遮光画素電気信号の値と、当該画素と同じ列の１つ前のラインにおいて既に生成された仮補正データである生成済み補正データの値と、時定数と、を変数として含む計算式に従って、仮の前記補正データである仮補正データを算出することを、少なくとも当該仮補正データが収束するまで、前記処理対象の画素を１ラインずつ異ならせて行い、当該収束したときに算出した前記仮補正データを、当該列の前記補正データとすることを特徴とする請求項８〜１１のいずれか１項に記載の撮像装置の制御方法。
13. 前記補正工程により補正された前記電気信号を、前記第１のゲインよりも細かい刻み幅で変更することが可能な第２のゲインで増幅する第２の増幅工程と、
    前記第１のゲインと前記第２のゲインとの合計を、前記画素部への入射光量の制御の結果に基づいて決定する決定工程と、をさらに有することを特徴とする請求項８〜１２のいずれか１項に記載の撮像装置の制御方法。
14. 前記第１の増幅工程により増幅された電気信号をデジタルの電気信号に変換するＡＤ変換工程を有し、
    前記遮光画素電気信号は、前記ＡＤ変換工程により変換されたデジタルの電気信号のうち前記遮光画素部に対応する電気信号であり、
    前記有効画素電気信号は、前記ＡＤ変換工程により変換されたデジタルの電気信号のうち前記有効画素部に対応する電気信号であることを特徴とする請求項８〜１３のいずれか１項に記載の撮像装置の制御方法。

Images