JP2011004321A - 撮像装置、その制御方法 - Google Patents

Abstract

【課題】縞状のノイズをより好適に低減する。
【解決手段】有効画素領域５３の各水平ラインについて、有効画素領域５３の左右に形成された左水平ＯＢ領域５１ＨＬと右水平ＯＢ領域５１ＨＲから得られる画素信号の出力差を算出する。そして、この画素信号の出力差を用いて、有効画素領域５３の各画素から得られる画素信号を、水平ライン毎に補正する。
【選択図】図１

Description

本発明は、撮像装置、その制御方法に関し、特に、撮像素子から出力される撮像信号の補正処理技術に関する。

ディジタルカメラやビデオカメラ等の撮像装置では、撮像素子としてＣＭＯＳ撮像素子、ＣＣＤ撮像素子等の固体撮像素子が広く利用されている。これら撮像素子は、多画素化が進み、個々の画素サイズが小さくなって光信号も小さくなっている。

また、多画素化のためには画素の縮小化のみならず、ノイズ配線幅の縮小化が必要となるため、配線のインピーダンスが増加し、微小な電気信号変動（例えば電源変動）等の影響を受けやすくなってしまう。

この状況を図９〜１２に基づいて説明する。図９はＣＭＯＳ撮像素子全体の概略構成を示している。図９において、５１は水平オプティカルブラック（以下、ＨＯＢと称する）、５２は垂直オプティカルブラック（以下、ＶＯＢと称する）であり、これらの領域は、画素が遮光されている基準画素領域である。５３は遮光されていない通常の有効画素領域である。

図１０は、ＣＭＯＳ撮像素子の単位画素（１画素分）６０の回路例を示している。図１０において、６１はフォトダイオード（以下、ＰＤと称する）であり、不図示の撮影レンズによって結像された光画像を光電変換して電荷を発生し、蓄積する。６２は転送スイッチ（以下ＴＸと称する）であり、ＭＯＳトランジスタで構成されている。６４はフローティングディフージョン（以下、ＦＤと称する）であり、コンデンサになっている。

ＰＤ６１で光電変換された電荷は、ＴＸ６２によりＦＤ６４に転送されて電圧に変換される。この電圧信号は、アンプ６５を介して、ソースフォロワで画素信号として出力される。６６は行選択スイッチであり、当該行の画素信号を垂直出力線６７に出力するタイミングを決定するものである。６３はリセットスイッチであり、ＦＤ６４、及びＰＤ６１の電位をリセットするものである。

図１１は、ＣＭＯＳ撮像素子における全体のレイアウト例を示している。図１１に示したように、図１０に示した構成の単位画素がマトリックス状に多数〔画素６０（１−１）乃至６０（ｎ−ｍ）〕配置されている。各画素における電荷蓄積制御は、垂直走査回路７７から出力される転送スイッチ６２制御信号φＴＸ、リセットスイッチ６３制御信号φＲＥＳ、及び選択スイッチ６６制御信号φＳＥＬにより行なわれる。

また、垂直出力線６７〔６７（１）乃至６７（ｍ）〕は、各画素を垂直方向に接続する形態で各画素に共通で接続されると共に、信号成分Ｓとノイズ成分Ｎとの差分を出力するＳ−Ｎ回路７５〔７５（１）乃至７５（ｍ）〕に、１ライン毎に接続されている。ただし、垂直出力線６７は、１ライン毎に交互に奇数列の画素に係るＳ−Ｎ回路７５ａ〔７５（１）乃至７５（ｍ−１）〕、又は偶数列の画素に係るＳ−Ｎ回路７５ｂ〔７５（２）乃至７５（ｍ）〕に接続されている。

Ｓ−Ｎ回路７５ａ〔７５（１）乃至７５（ｍ−１）〕の出力選択等の制御は、水平走査回路７６ａにより行なわれ、Ｓ−Ｎ回路７５ｂ〔７５（２）乃至７５（ｍ）〕の出力選択等の制御は、水平走査回路７６ｂにより行なわれる。Ｓ−Ｎ回路７５ａ〔７５（１）乃至７５（ｍ−１）〕の出力信号は、出力アンプ７４ａ〔７４（１），（３）〕を介して後段の処理回路（ＡＦＥ等）へ出力される。Ｓ−Ｎ回路７５ｂ〔７５（２）乃至７５（ｍ）〕の出力信号は、出力アンプ７４ｂ〔７４（２），（４）〕を介して後段の処理回路（ＡＦＥ等）へ出力される。

このＣＭＯＳ撮像素子においては、高速処理等に対応するために、４個の出力アンプ７４を備え、水平方向の４行の画素信号を並行して出力するように構成されている。さらに、この構成を効率的にレイアウトするために、上記の奇数列の画素に係るＳ−Ｎ回路７５ａ〔７５（１）乃至７５（ｍ−１）〕は上側に配置し、偶数列の画素に係るＳ−Ｎ回路７５ｂ〔７５（２）乃至７５（ｍ）〕は下側に配置している。

Ｓ−Ｎ回路７５ａ，７５ｂは、ＣＭＯＳ撮像素子に固有のノイズを除去するものであり、例えば、ノイズ成分Ｎと、信号成分Ｓにノイズ成分Ｓが重畳された画素信号（Ｓ＋Ｎ）を入力・保持し、その差分信号をノイズの無い画素信号Ｓとして出力するものである。これにより、ＣＣＤ撮像素子と同等のＳ／Ｎ比とすることができる。

具体的には、行選択スイッチ６６で選択された行の画素信号に対して、それぞれ信号成分Ｓとノイズ成分Ｎを保持し、出力アンプ７４ａ，７４ｂにより各画素の画素信号（Ｓ＋Ｎ）からノイズ成分Ｎを減算して、ノイズの無い画素信号Ｓが出力される。

ノイズ成分Ｎは、ＴＸ６２をオフした状態で、リセットスイッチ６３によりＦＤ６４をリセットし、そのＦＤ６４の信号をアンプ６５、行選択スイッチ６６、及び垂直出力線６７を介してＳ−Ｎ回路７５に保持したものである。このノイズ成分Ｎには、ＦＤ６４のリセットノイズ、アンプ６５のゲートソース間電圧の画素間ばらつき等がある。

信号成分Ｓは、ＴＸ６２をオンにすることにより、ＰＤ６４の電荷をＦＤ６４により電圧に変換し、Ｓ−Ｎ回路７５に保持したものである。この場合、信号成分Ｓには、上記のＦＤ６４をリセットしたときのノイズ成分Ｎが加算されるが、このノイズ成分Ｎは、画素信号の読み出し時に、アンプ７４により除去される。

ところで、ノイズには画素毎、即ち画像位置（画素位置）毎に変化するランダム状のノイズと、電源等の変動によって時間的に徐々に変動するノイズがある。時間的に変動するノイズは、画像では、画素の行間で変化する縞状のノイズとなって現れる。

この縞状のノイズの周波数は、Ｓ−Ｎ回路７５上のノイズが加わる位置に依存する。例えば、Ｓ−Ｎ回路７５の前段の垂直出力線にノイズが乗った場合、ノイズ成分Ｎと、信号成分Ｓ＋ノイズ成分（Ｓ＋Ｎ）が短時間に変動したとする。この場合、Ｎのみをサンプリングする際のノイズ量と、Ｓ＋Ｎをサンプリングする際のノイズ量に差が生じるため、前述の差分では十分にノイズ成分を除去することができず、素子の垂直方向に見ると、比較的短い周期（高周波）の縞状ノイズとなる。

一方、電源系の変動に起因して、Ｓ−Ｎ回路７５の後段（例えば、Ｓ−Ｎ回路７５と出力アンプ７４の間）でノイズが加わったとする。この場合、電源は、通常、コンデンサ等により高周波成分のノイズを除去する対策が施されており、長い周期で変動するため、長い周期（低周波）の縞状ノイズとなる。

これら高周波、低周波の縞状ノイズについては、画像にする場合は、通常、高周波成分はフィルタリング処理で除去されるので、低周波成分のノイズが目立ってくる。

縞状ノイズの低減化に関しては、様々な提案がなされている。例えば、特許文献１では、縞状ノイズを低減させるため、遮光された画素の出力からオフセットを求め、このオフセットに係数をかけて補正することが提案されている。

また、特許文献２では、撮像素子の構成により信号出力経路を複数備えた撮像装置においては、出力経路毎に複数の補正値を持たせ、構成の違いにより発生する補正残りに対しての改善を行なうことが提案されている。

これら特許文献１、特許文献２の補正概要を図１２（ａ），（ｂ）に基づいて説明する。図１２（ａ）は、補正前の垂直方向の各画素位置（画像位置）における垂直シェーディングを示している。図１２（ａ）では、基準画素領域である水平ＯＢ領域と、左右の有効画素領域（ａ），（ｂ）の垂直シェーディング、すなわち縞状ノイズの強度は、ほぼ同じレベルとなっている。

図１２（ｂ）は、補正後の垂直方向の各画素位置（画像位置）における垂直シェーディングを示している。図１２（ｂ）では、補正前の水平ＯＢ領域のシェーディングデータに基づいて補正値を求め、その補正値を減算する等の補正を行なうことで、有効画素領域（ａ），（ｂ）共に、垂直シェーディングが低減されている。

しかしながら、特許文献１，２では、撮像素子の有効画素領域の４辺のうち、１辺に隣接して設けられた基準画素領域（水平ＯＢ領域）は、各行の始めに読み出される箇所に配置されている。従って、特許文献１，２では、有効画素領域の画素信号に先んじて読み出した水平ＯＢ領域の画素信号のみを記憶し、水平ＯＢ領域の画素信号の読出しが完了した時点で、後段の信号処理回路においてオフセット補正量の演算が行われる。

このような撮像素子の有効画素領域の４辺のうち、１辺に隣接して設けられた基準画素領域（水平ＯＢ領域）だけに基づいて行うオフセット補正では、当該水平Ｂ領域付近では良好な補正効果が得られる、当該水平Ｂ領域から離れた場所では補正効果が低減する。

この問題を図１２（ｃ），（ｄ）に基づいて説明する。

図１２（ｃ）は、補正前の垂直方向の各画素位置（画像位置）における垂直シェーディングを示している。図１２（ｃ）では、基準画素領域である水平ＯＢ領域と、有効画素領域（ａ）との間では垂直シェーディング、すなわち縞状ノイズの強度の差は小さくなっている。しかしながら、有効画素領域（ａ）と有効画素領域（ｂ）との間では、縞状ノイズの強度の差が大きくなっている。

図１２（ｄ）は、補正後の垂直方向の各画素位置（画像位置）における垂直シェーディングを示している。図１２（ｄ）では、補正前の水平ＯＢ領域のシェーディングデータに基づいて補正値を求め、その補正値を減算する等の補正を行なうことで、有効画素領域（ａ）では充分に縞状ノイズが低減されている。しかしながら、有効画素領域（ｂ）では、縞状ノイズの強度が大きいので、縞状ノイズを完全には除去（補正）することができず、縞状ノイズが残存することとなる。

このような、１つの読出し方向においてノイズのレベル差が生じている場合の補正方法として、特許文献３に係る方法が提案されている。この特許文献３では、ＣＣＤ撮像素子について、有効画素領域の上方と下方にＯＢ領域を配し、上下のＯＢ領域の信号に基づいて有効画素領域のノイズ成分を推定演算し、そのノイズ成分を画像信号から減算している。

特開２００８−６７０６０号公報 特開２００８−６７０６１号公報 特登録２８８００２６号公報

しかしながら、特許文献３は、推定したノイズ成分を減算するための補正データは、撮像面全体を補正する補正データであるため、図１２（ａ）、（ｃ）に示したような各行毎に変化する縞状ノイズについては、充分に低減することができない。

本発明は、このような従来技術の背景の下になされたもので、その目的は、縞状ノイズをより好適に低減できるようにすることにある。

上記目的を達成するため、本発明は、基準信号を得るために有効画素領域の対向する２辺に隣接して形成された第１の基準画素領域および第２の基準画素領域を有する撮像素子と、前記有効画素領域の各水平ラインについて、前記第１の基準画素領域から出力される第１の基準画素信号および前記第２の基準画素領域から出力される第２の基準画素信号に基づいて傾き補正値を算出する算出手段と、前記算出手段により算出された前記傾き補正値を用いて、前記有効画素領域から出力される有効画素信号の傾きを水平ライン毎に補正する補正手段と、を有することを特徴とする。

また、基準信号を得るために有効画素領域の対向する２辺に隣接して形成された第１の基準画素領域および第２の基準画素領域を有する撮像素子を備えた撮像装置の制御方法であって、前記有効画素領域の各水平ラインについて、前記第１の基準画素領域から出力される第１の基準画素信号および前記第２の基準画素領域から出力される第２の基準画素信号に基づいて前記傾き補正値を算出する算出工程と、前記算出工程により算出された前記傾き補正値を用いて、前記有効画素領域から出力される有効画素信号の傾きを水平ライン毎に補正する補正工程と、を有することを特徴とする。

本発明によれば、縞状のノイズをより好適に低減することが可能となる。

本発明の実施の形態に係る撮像装置に搭載された撮像素子の画素領域を示概念図である。 上記の撮像装置の概略構成を示すブロック図である。 上記の撮像装置での第１の実施の形態における撮像動作の撮影動作を示すフローチャートである。 図３のＳ１０４〜Ｓ１０９の処理を詳細に説明するための概念図である。 図３のＳ１０９における傾き補正によるシェーディング補正処理を説明するための概念図である。 本発明の第２の実施の形態における撮影動作を示すフローチャートである。 上記の第２の実施の形態に係る補正データ取得領域を説明するための概念図である。 応用変形例に係る補正データ取得領域を説明するための概念図である。 従来の撮像素子の画素領域を示す概念図である。 撮像素子の単位画素の回路を示す図である。 撮像素子の全体のレイアウトを示す図である。 従来の縞状ノイズの補正処理を説明するための図である。

［第１の実施の形態］
図１は、本発明の実施の形態に係る撮像装置に搭載された撮像素子の画素領域を示す図である。図１に示したように撮像素子１は、左水平ＯＢ領域５１ＨＬ（第１の基準画素領域）、右水平ＯＢ領域５１ＨＲ（第２の基準画素領域）、及び垂直ＯＢ領域５２ＶからなるＯＢ領域と、有効画素領域５３を有している。

左水平ＯＢ領域５１ＨＬと右水平ＯＢ領域５１ＨＲは、有効画素領域５３の左右の対向する２辺に隣接して形成され、垂直ＯＢ領域５２Ｖは、有効画素領域５３の上辺に隣接して形成されている。これらＯＢ領域は、オプティカルブラック部と呼ばれる領域であり、有効画素領域５３の画素信号に対する基準信号を得るために形成され、何れも画素の前面をアルミニウム等により遮光された複数の画素で構成されている。

左水平ＯＢ領域５１ＨＬと右水平ＯＢ領域５１ＨＲは、有効画素領域５３の垂直方向のシェーディング成分を水平ライン毎に補正するために用いられる。この水平ライン毎に行う垂直方向のシェーディング成分の補正処理については、後で詳細に説明する。

垂直ＯＢ領域５２Ｖは、黒レベルを検出して、暗電流、温度変動による画素信号のオフセット変動を補正するために利用される。有効画素領域５３は、有効な画素信号を取り出すための領域であり、遮光されていない複数の有効画素で構成されている。

図２は、図１の撮像素子１を搭載した撮像装置の概略構成を示すブロック図である。撮像素子１は、ＣＭＯＳ撮像素子として構成されている。撮像素子１から出力された画素信号は、アナログフロントエンド（ＡＦＥ）２に入力される。ＡＦＥ２は、ゲインコントロールアンプを備え、水平ＯＢクランプを行なうことにより、各ラインのＯＢ出力と黒レベルとのオフセットに係数をかけて徐々に追随させる機能を備えている。このＡＦＥ２は、出力時にアナログデジタル変換（Ａ／Ｄ変換）を行なう。

デジタルフロントエンド（ＤＦＥ）３は、ＡＦＥ２から出力された各画素のデジタル出力を受けて、演算処理、補正処理、判定処理等を行なう。ＡＦＥ２、ＤＦＥ３の出力信号は、メモリ４により保持される。また、ＤＦＥ３の出力信号は画像処理部５に入力されて、補正処理、現像処理等の各種の画像処理が施される。なお、撮像素子１、ＡＦＥ２，ＤＦＥ３は、制御部６の制御の下に、タイミング信号発生部１０により発生される駆動タイミング信号に基づいて駆動制御される。

制御部６は、操作部７からの操作信号に基づいて、画像処理装置５等の各ブロックの動作等を制御する。操作部７は、撮影開始スイッチ、電源スイッチ、各種モード（ＡＦモード、ストロボモード、連写モード等）の切替スイッチ等を有している。画像処理装置５により現像処理等の画像処理が施された画像データは、表示部８に表示されると共に記録部９により記憶媒体に記録される。

次に、図２の撮像装置での第１の実施の形態における撮像動作の概要を、図３、図４に基づいて説明する。図４は、図３のＳ１０４〜Ｓ１０９の処理を詳細に説明するための概念図である。なお、図３のフローチャートでは、撮像動作で通常行なわれる測光処理、測距処理、及び上記の垂直ＯＢ領域５２Ｖの出力に基づく画素信号のオフセット変動補正等の処理動作に係る処理ステップは、割愛している。

制御部６は、タイミング信号発生部１０を介して、撮像素子１での信号電荷の蓄積動作を開始させる（Ｓ１０１）。この蓄積動作では、制御部６は、まず、不図示のメカニカルシャッタを開き、撮像素子１を画像光で露光させることで有効画素領域５３、及び基準画素領域５１ＨＬ，５１ＨＲ，５２Ｖに信号電荷を蓄積させる（Ｓ１０２）。そして、制御部６は、メカニカルシャッタを閉じると共に、撮像素子１０３での信号蓄積動作を終了させる（Ｓ１０３）。

次に、制御部６は、撮像素子１からの画素信号の読み出しを開始し、後段のＡＦＥ２等へ出力させる（Ｓ１０４）。

この画素信号の読み出しにおいては、有効画素領域５３の画素信号だけでなく、基準画素領域（左水平ＯＢ領域５１ＨＬ、右水平ＯＢ領域５１ＨＲ、及び垂直ＯＢ領域５２Ｖ）の画素信号、即ち、光学的黒画素の画素信号も読み出される。また、Ｓ１０４での画素信号の読み出し動作は、１行（１水平ライン）単位で行われる。例えば、図４（ａ）に示した注目行の左水平ＯＢ領域５１ＨＬの各画素の画素信号（第１の基準画素信号）、有効画素領域５３の各画素の画素信号（有効画素信号）、右水平ＯＢ領域５１ＨＲの各画素の画素信号（第２の基準画素信号）の順に読み出される。また、ＡＦＥ２は、水平ＯＢのクランプ動作、Ａ／Ｄ変換等を行ない、後段のＤＦＥ３に出力する。

次に、制御部６は、ＤＦＥ３により、撮像素子１の水平ラインにおける左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓをメモリ４の領域Ｌ１に一時記憶させる（Ｓ１０５）。実際の動作においては、撮像素子１からの画素信号の読み出し中に、ＤＦＥ３は、ＡＦＥ２から出力された１水平ライン分の画素信号をメモリ４に格納し続ける。この場合、ＤＦＥ３は、左水平ＯＢ領域５１ＨＬからの画素信号の読み出し時には、図４（ｃ）に示すＤＦＥ３内のスイッチＳＷ１をＯＮして、左水平ＯＢ領域５１ＨＬの画素信号をメモリ４の領域Ｌ１に格納する。

次に、制御部６は、ＤＦＥ３により、左水平ＯＢ領域５１ＨＬの画素信号の読み出しが終了する際に、図４（ｃ）に示すスイッチＳＷ１をＯＦＦすることで、有効画素領域５３の画素信号Ｍ１ｓをメモリ４の領域Ｍ１に一時記憶させる（Ｓ１０６）。

次に、制御部６は、ＤＦＥ３により、有効画素領域５３の画素信号の読み出しが終了し、右水平ＯＢ領域５１ＨＲの画素信号の読み出しが開始されると、図４（ｃ）に示すスイッチＳＷ２をＯＮする。これにより、撮像素子１の１水平ラインにおける右水平ＯＢ領域５１ＨＲの画素信号Ｒ１ｓをメモリ４の領域Ｒ１に一時記憶する（Ｓ１０７）。

すなわち、Ｓ１０５〜Ｓ１０７では、図４（ｂ）に示すように、左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓ、有効画素領域５３の画素信号Ｍ１ｓ、右水平ＯＢ領域５１ＨＲの画素信号Ｒ１ｓが、順次、メモリ４の領域Ｌ１，Ｍ１，Ｒ１に一時記憶される。

そして、制御部６は、ＤＦＥ３により、メモリ４内の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓの平均値と、右水平ＯＢ領域５１ＨＲの画素信号Ｒ１ｓの平均値を算出させ、それら平均値に基づいて、当該水平ラインにおける傾き補正値Ｘを算出させる（Ｓ１０８）。

具体的には、ＤＦＥ３は、右水平ＯＢ領域５１ＨＲの画素信号の読み出しが終了する際に、図４（ｃ）に示すスイッチＳＷ２をＯＦＦすると同時に、スイッチＳＷ３，ＳＷ４をＯＮする。このスイッチＳＷ３，ＳＷ４のＯＮにより、メモリ４の領域Ｌ１，Ｒ１の左右のＯＢ領域に係る画素信号がＤＦＥ３内の演算用メモリＬ１Ｍ，Ｒ１Ｍに転送される。
この転送が終了すると、ＤＦＥ３は、スイッチＳＷ３，ＳＷ４をＯＦＦし、演算用メモリＬ１Ｍ，Ｒ１Ｍに転送された左右ＯＢ領域の画素信号の平均値Ｌ１ｓ，Ｒ１ｓを算出し、その平均値Ｌ１ｓ，Ｒ１ｓに基づいて、当該水平ラインの傾き補正値Ｘを算出する。

次に、制御部６は、ＤＦＥ３により、当該水平ラインにおける傾き補正値Ｘを用いて、有効画素領域５３の画素信号Ｍ１ｓに対する傾き補正が行われる（Ｓ１０９）。すなわち、ＤＦＥ３は、当該注目行の有効画素領域５３の画素信号Ｍ１ｓをメモリ４のメモリ領域Ｍ１から順次出力し、その有効画素領域５３の画素信号Ｍ１ｓを傾き補正値Ｘに基づいて補正する。この傾き補正により、注目行のシェーディングが補正される。その補正に係る有効画素領域５３の画素信号を撮像信号として画像処理装置５へ出力させる。

制御部６は、Ｓ１０４〜Ｓ１０９の処理を最終行まで実行するように制御する（Ｓ１１０）。そして、制御部６は、画像処理装置５により、全行に亘って傾き補正がなされた撮像信号に対する欠陥画素の補間処理、現像処理等の各種の画像処理を行なわせ、映像信号として出力させる（Ｓ１１１）。

このように第１の実施の形態では、左水平ＯＢ領域５１ＨＬ、有効画素領域５３、右水平ＯＢ領域５１ＨＲの順に各領域から画素信号を読み出し、有効画素領域５３の画素信号Ｍ１ｓの傾き補正処理は、同一水平ライン上のＯＢ領域の画素信号を用いて行っている。

次に、図３のＳ１０９における傾き補正による垂直シェーディング補正処理を、図５に基づいて説明する。図５（ｂ）は、図５（ａ）に示した左水平ＯＢ領域５１ＨＬ、有効画素領域５３（５３ａ，５３ｂ）、右水平ＯＢ領域５１ＨＲの補正前の垂直シェーディングを示し、図５（ｃ）は、当該各領域の補正後の垂直シェーディングを示している。

図５（ｂ）に示した傾き補正前の垂直シェーディングは、左水平ＯＢ領域５１ＨＬ≒有効画素領域５３a＜有効画素領域５３ｂ≒右水平ＯＢ領域５１ＨＲとなっている。これに対し、図５（ｃ）に示した傾き補正後の垂直シェーディングは、左水平ＯＢ領域５１ＨＬ≒有効画素領域５３a≒有効画素領域５３ｂ≒右水平ＯＢ領域５１ＨＲとなっている。

すなわち、傾き補正による垂直シェーディング補正処理により、全ての画素領域において垂直シェーディングが補正されると共に、左右の画素領域でのノイズ差も低減され、好適に補正された状態となる。

換言すれば、有効画素領域の画素信号のオフセット強度が水平方向で異なる場合においても、注目行で良好な傾き補正が行なわれ、その傾き補正を各行で順次行なうことにより、垂直方向のノイズ量（縞状ノイズ）も左右均等に低減されていく。

［第２の実施の形態］
第１の実施の形態では、左水平ＯＢ領域５１ＨＬ、有効画素領域５３、右水平ＯＢ領域５１ＨＲの順に、各領域から画素信号を読み出し、有効画素領域５３の画素信号Ｍ１ｓの傾き補正処理は、同一行の各ＯＢ領域の画素信号の平均値を用いて行っていた。このため、第１の実施の形態では、傾き補正を行うために、１行分の全領域の画素信号を蓄積するだけのメモリ領域Ｌ１，Ｍ１，Ｒ１をメモリ４に確保する必要があり、ある程度大きなメモリ容量を要するため、スペース及びコストの面で改善する余地があった。

一方、本発明で改善したい縞状ノイズは、電源変動等に起因する緩やかな周期であり、隣接する行間での縞状ノイズの変化は、無視できるほど小さい。そこで、第２の実施の形態では、補正対象となる注目行よりも前の行（ライン上）の右水平ＯＢ領域５１ＨＲの画素信号の平均値と、当該注目行の左水平ＯＢ領域５１ＨＬの画素信号の平均値を用いて、傾き補正値Ｘを算出することとしている。

次に、第２の実施の形態における撮像動作の概要を、図６、図７に基づいて説明する。図７は、図６のＳ２０４〜Ｓ２１１の処理を詳細に説明するための概念図である。なお、図６のフローチャートでは、撮像動作で通常行なわれる測光処理、測距処理、及び上記の垂直ＯＢ領域５２Ｖの出力に基づく画素信号のオフセット変動補正等の処理動作に係る処理ステップは、割愛している。

制御部６は、タイミング信号発生部１０を介して、撮像素子１での信号電荷の蓄積動作を開始させる（Ｓ２０１）。この蓄積動作では、制御部６は、まず、不図示のメカニカルシャッタを開き、撮像素子１を画像光で露光させることで有効画素領域５３、及び基準画素領域５１ＨＬ，５１ＨＲ，５２Ｖに信号電荷を蓄積させる（Ｓ２０２）。そして、制御部６は、メカニカルシャッタを閉じると共に、撮像素子１０３での蓄積動作を終了させる（Ｓ２０３）。

次に、制御部６は、撮像素子１から画素信号の読み出しを開始する（Ｓ２０４）。この場合、制御部６は、まず、図７（ａ）に示すように、注目行（ここでは、２行目）の直前の行（補正前行）、すなわち先頭行Ｖ０の左水平ＯＢ領域５１ＨＬの各画素、有効画素領域５３の各画素、右水平ＯＢ領域５１ＨＲの各画素の順に、各領域から画素信号を読み出す（Ｓ２０４）。

そして、制御部６は、ＤＦＥ３により、読み出した直前の行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ０ｓをメモリ４の領域Ｌ０（図７（ｂ）参照）に一時記憶させる（Ｓ２０５）。次に、制御部６は、ＤＦＥ３により、読み出した直前の行の右水平ＯＢ領域５１ＨＲの画素信号Ｒ０ｓをメモリ４の領域Ｒ０に一時記憶させる（Ｓ２０６）。

次に、制御部６は、ＤＦＥ３により、メモリ４に記憶した注目行の直前の行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ０ｓの平均値と、注目行の直前の行の右水平ＯＢ領域５１ＨＲの画素信号Ｒ０ｓの平均値を算出させる（Ｓ２０７）。そして、制御部６は、ＤＦＥ３により、それら平均値に基づいて、注目行の直前の行の傾き補正値Ｘを算出させる（Ｓ２０７）。

次に、制御部６は、注目行の左水平ＯＢ領域５１ＨＬの各画素の画素信号（第１の基準画素信号）、有効画素領域５３の各画素の画素信号（有効画素信号）、右水平ＯＢ領域５１ＨＲの各画素の画素信号（第２の基準画素信号）の順に、各領域から画素信号を読み出す処理を開始する（Ｓ２０８）。

そして、制御部６は、ＤＦＥ３により、次の傾き補正値Ｘの算出に備えて注目行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓをメモリ４の領域Ｌ０（図７（ｂ）参照）に一時記憶する（Ｓ２０９）。この場合、ＤＦＥ３は、メモリ４の領域Ｌ０に現在記憶されている注目行の直前の行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ０ｓの上に上書きする形態で、注目行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓを当該領域Ｌ０に書き込む。

次に、制御部６は、ＤＦＥ３により、注目行の直前の行の傾きＸ０と、注目行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓとに基づいて、注目行の有効画素領域５３の水平方向の位置に応じた水平方向の傾き・オフセットの補正値を算出する（Ｓ２１０）。

そして、制御部６は、ＤＦＥ３により、図７（ｃ）に示す減算処理部３ａに順次入力される当該注目行の有効画素領域５３の各画素信号Ｍ１ｓについて、注目行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓを基準として、線形補正及びオフセット補正、すなわち傾き・オフセットの補正を行う（Ｓ２１１）。この傾き・オフセットの補正により、第１の実施の形態と同様に、注目行のシェーディングが補正される。

実際の動作においては、図７（ｃ）に示すように、撮像素子１からの画素信号の読み出し中に、ＤＦＥ３は、ＡＦＥ２から出力された１水平ライン分の画素信号を、減算処理部３ａに出力し続ける。この場合、ＤＦＥ３は、補正前行の左水平ＯＢ領域５１ＨＬからの画素信号の読み出し時には、ＤＦＥ３内のスイッチＳＷ２１をＯＮして、左水平ＯＢ領域５１ＨＬの画素信号Ｌ０ｓをメモリ４の領域Ｌ０に格納する。

そして、ＤＦＥ３は、左水平ＯＢ領域５１ＨＬからの画素信号の読み出しが終了する際に、スイッチＳＷ２１をＯＦＦする。次に、ＤＦＥ３は、補正前行の右水平ＯＢ領域５１ＨＲからの画素信号の読み出し時には、ＤＦＥ３内のスイッチＳＷ２２をＯＮして、右水平ＯＢ領域５１ＨＲの画素信号Ｒ０ｓをメモリ４の領域Ｒ０に格納する。

そして、ＤＦＥ３は、当該補正前行の右水平ＯＢ領域５１ＨＲからの画素信号の読み出しが終了する際に、スイッチＳＷ２２をＯＦＦすると同時に、スイッチＳＷ２３，ＳＷ２４をＯＮする。このスイッチＳＷ２３，ＳＷ２４のＯＮにより、メモリ４の領域Ｌ０，Ｒ０に記憶されている補正前行の左右のＯＢ領域に係る画素信号Ｌ０ｓ、Ｒ０ｓがＤＦＥ３内の演算用メモリＬ０Ｍ，Ｒ０Ｍに転送される。

この場合、ＤＥＥ３では、補正前行の画素信号Ｌ０ｓ、Ｒ０ｓが転送されてくると、直ちに、前述の傾きＸ０を算出しておくのが望ましい。なお、ＤＦＥ３は、画素信号Ｌ０ｓ、Ｒ０ｓの転送が終了すると、スイッチＳＷ２３，ＳＷ２４をＯＦＦする。

次に、ＤＦＥ３は、次の行である補正行の左水平ＯＢ領域５１ＨＬからの画素信号の読み出しが開始されると、スイッチＳＷ２１，ＳＷ２５をＯＮする。このスイッチＳＷ２１のＯＮにより、補正行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓが、次の行での補正処理に備えてメモリ４の領域Ｌ０に上書きされる。また、スイッチＳＷ２５のＯＮにより、メモリ４の領域Ｌ１に、補正行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓが記憶される。そして、この上書き、転送が終了すると、ＤＦＥ３は、スイッチＳＷ２１，ＳＷ２５をＯＦＦする。

次に、ＤＦＥ３は、先に算出しておいた補正前行の傾きＸ０と、補正行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓとに基づいて、補正行の有効画素領域５３の水平方向の位置に応じた水平方向の傾き・オフセットの補正値を算出する。

そして、ＤＦＥ３は、補正行の有効画素領域５３の各画素の素信号Ｍ１ｓが減算処理部３ａに入力されるのに同期して、対応する画素の傾き・オフセットの補正値を減算処理部３ａに出力する。

この傾き・オフセットの補正は、図７（ｃ）に示した減算処理部３ａに注目行の有効画素領域５３の各画素信号Ｍ１ｓが入力される時にはすでに算出されているため、各画素信号Ｍ１ｓをメモリに保存することなく、読み出しながら減算処理を行うことができる。すなわち、注目行の有効画素領域５３の各画素信号Ｍ１ｓは、当該減算処理部３ａに入力しながら、各画素信号Ｍ１ｓの傾き・オフセットの補正を行うことができる。

制御部６は、Ｓ２０６〜Ｓ２１１の処理を最終行まで行っていない場合は（Ｓ２１２）、Ｓ２０６に戻る。これにより、Ｓ２０６では、Ｓ２２１で傾き・オフセットを補正した注目行の有効画素領域５３の右隣の右水平ＯＢ領域５１ＨＲの画素信号Ｒ１ｓが、メモリ４の領域Ｒ０に記憶される。

制御部６は、Ｓ２０６〜Ｓ２１１の処理を最終行まで行った後は、画像処理装置５により、全行に亘って傾き・オフセットの補正がなされた撮像信号に対する欠陥画素の補間処理、現像処理等の各種の画像処理を行わせ、映像信号として出力させる（Ｓ２１３）。

このように、第２の実施の形態では、有効画素領域５３の画素信号Ｍ１ｓの傾き・オフセットの補正処理は、補正対象行の直前の行のＯＢ領域の画素信号を用いて行っている。これにより、メモリ４には直前の行の左右のＯＢ領域の画素信号Ｌ０ｓ，Ｒ０ｓと、補正対象行の左の水平ＯＢ領域の画素信号Ｌ１ｓを記憶するだけで済み、データ量が多い有効画素領域５２の１行分の画素信号を記憶する必要がなくなる。従って、第２の実施の形態では、第１の実施の形態に比べてメモリ容量を低減し、コストダウンを図ることができる。

［第３の実施の形態］
第２の実施の形態では、補正対象行より１行前の行（水平ラインＶ０）の左右のＯＢ領域の画素信号Ｌ０ｓ，Ｒ０ｓに基づいて当該１行前の傾きＸ０を求め、その傾きＸ０が補正対象行の傾きであるものと見做して、補正対象行の傾き・オフセットを補正していた。その際、次の行の傾き・オフセットの補正に備えて、メモリ４には、１行前の行の左右のＯＢ領域の画素信号Ｌ０ｓ，Ｒ０ｓを記憶する領域Ｌ０，Ｒ０の他に、領域Ｌ１を確保していた。

これに対し、第３の実施の形態では、より一層、メモリ領域を削減するために、図８のように構成している。すなわち、第３の実施の形態では、図８に示すように、補正対象行の１行前の行（水平ラインＶ０）の右水平ＯＢ領域５１ＨＲの画素信号Ｒ０ｓと、補正対象行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓを用いて傾きを求めている。要するに、第３の実施の形態では、１つのラインの画素信号の傾きを求める場合、異なるライン上にある右水平ＯＢ領域と左水平ＯＢ領域の基準画素信号を１つずつ用いている。

実際の動作においては、ＤＦＥ３は、補正対象行の１行前の行の右水平ＯＢ領域５１ＨＲの信号電荷を読み出し時には、スイッチＳＷ３１をＯＮし、メモリ４の領域Ｒ０に当該１行前の行の右水平ＯＢ領域５１ＨＲの画素信号Ｒ０ｓを記憶する。

次に、ＤＦＥ３は、補正対象行の左水平ＯＢ領域５１ＨＬから画素信号が読み出され始めると、スイッチ３２をＯＮし、当該補正対象行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓをメモリ４の領域Ｌ１に記憶する。この補正対象行の左水平ＯＢ領域５１ＨＬから画素信号の読み出しが終了する際に、ＤＦＥ３は、スイッチＳＷ３２をＯＦＦし、それとほぼ同時に、スイッチＳＷ３３、ＳＷ３４をＯＮする。

これにより、メモリ４の領域Ｒ０，Ｌ１の記憶データである１行前の右水平ＯＢ領域５１ＨＲの画素信号Ｒ０ｓと、補正対象行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓが、それぞれ、ＤＦＥ３内の演算用メモリＲ０Ｍ，Ｌ１Ｍに転送される。

この転送が終了すると、ＤＦＥ３は、スイッチＳＷ３３，ＳＷ３４をＯＦＦし、転送された画素信号Ｒ０ｓ，Ｌ１ｓに基づいて傾き補正値Ｘ０を算出する。

この傾き補正値Ｘ０の算出が終了すると、ＤＦＥ３は、左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓを基準として、傾き補正値Ｘ０に基づく傾き補正を開始する。この場合の傾き補正の対象は、補正対象行である水平ラインＶ１の有効画素領域Ｍ１から得られる各画素信号Ｍ１ｓである。

従って、補正対象行である水平ラインＶ１の有効画素領域Ｍ１の各画素信号Ｍ１ｓは、その読み出し開始時点から順次補正することが可能であるため、有効画素領域Ｍ１の画素信号Ｍ１ｓをメモリ４で保持する必要はなく、メモリ容量を低減することができる。すなわち、第３の実施の形態では、補正対象行の左水平ＯＢ領域５１ＨＬの画素信号Ｌ１ｓを記憶するための領域Ｌ１が不要であり、この分だけ第２の実施の形態よりも一層、メモリ容量を低減することができる。

なお、本発明は、上記の第１〜第３の実施の形態に限定されることなく、種々、応用変形することが可能である。例えば、第１の実施の形態のように、補正対象行の直前の１行（１水平ライン）の左右のＯＢ領域の画素信号に基づいて傾きを算出するのではなく、補正対象行の直前の複数行（水平ライン上）の左右のＯＢ領域の画素信号に基づいて傾きを算出することも可能である。

また、有効画素領域の画素信号の傾き補正は、必ずしも、左水平ＯＢ領域の画素信号、左右の水平ＯＢ領域の画素信号の強度差、すなわち傾きだけを用いて行う必要はない。例えば、有効画素領域とＯＢ領域の容量差（画素数の差）に起因する信号レベルの差やゲインの差を補正する係数を加味して、有効画素領域の画素信号の傾き補正を行ってもよい。

１…ＣＭＯＳ撮像素子
２…アナログフロントエンド（ＡＦＥ）
３…デジタルフロントエンド（ＤＦＥ）
４…メモリ
５１ＨＬ…左水平ＯＢ領域
５１ＨＲ…右水平ＯＢ領域
６…制御部

Claims (5)

1. 基準信号を得るために有効画素領域の対向する２辺に隣接して形成された第１の基準画素領域および第２の基準画素領域を有する撮像素子と、
   前記有効画素領域の各水平ラインについて、前記第１の基準画素領域から出力される第１の基準画素信号および前記第２の基準画素領域から出力される第２の基準画素信号に基づいて傾き補正値を算出する算出手段と、
   前記算出手段により算出された前記傾き補正値を用いて、前記有効画素領域から出力される有効画素信号の傾きを水平ライン毎に補正する補正手段と、
   を有することを特徴とする撮像装置。
2. 前記算出手段は、前記補正手段により傾きを補正する前記有効画素領域と同一水平ライン上にある前記第１および第２の基準画素領域から出力される前記第１および第２の基準画素信号に基づいて傾き補正値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記算出手段は、前記第１の基準画素領域から出力される前記第１の基準画素信号と、前記第１の基準画素領域と異なるライン上にある前記第２の基準画素領域から出力される前記第２の基準画素信号に基づいて傾き補正値を算出することを特徴とする請求項１に記載の撮像装置。
4. 前記算出手段は、同一の複数の水平ライン上にある前記第１の基準画素領域および第２の基準画素領域から出力される前記第１の基準画素信号および前記第２の基準画素信号を算出することを特徴とする請求項１に記載の撮像装置。
5. 基準信号を得るために有効画素領域の対向する２辺に隣接して形成された第１の基準画素領域および第２の基準画素領域を有する撮像素子を備えた撮像装置の制御方法であって、
   前記有効画素領域の各水平ラインについて、前記第１の基準画素領域から出力される第１の基準画素信号および前記第２の基準画素領域から出力される第２の基準画素信号に基づいて前記傾き補正値を算出する算出工程と、
   前記算出工程により算出された前記傾き補正値を用いて、前記有効画素領域から出力される有効画素信号の傾きを水平ライン毎に補正する補正工程と、
   を有することを特徴とする撮像装置の制御方法。