JP2010147785A - 固体撮像素子及び撮像装置並びにその画像補正方法 - Google Patents

Abstract

【課題】有効画素領域の上辺，下辺のＯＢ（オプティカルブラック）部の検出信号を用いることなく、暗電流ノイズ等を高精度に補正する。
【解決手段】固体撮像素子の有効画素領域１１ａに設ける画素５１のうち離散的位置の画素をＯＢ画素５５とし、ＯＢ画素５５の位置から読み出される信号をノイズ量として検出し、検出されたノイズ量の電荷転送路に沿う方向の分布からノイズ補正量を求め、入射光を受光する画素から読み出された信号からノイズ補正量を減算する。
【選択図】図２

Description

本発明は、固体撮像素子の暗電流ノイズを精度良く補正することができる固体撮像素子及び撮像装置並びにその画像補正方法に関する。

近年の多画素化が図られたＣＣＤ型固体撮像素子は、数百万画素以上を搭載するため１画素当たりの面積が微小となり、検出できる信号量が低下してきている。即ち、感度が低下してきている。

一方、画素（フォトダイオード）から読み出された信号電荷を転送する垂直電荷転送路では、信号量に対する暗電流が多画素化の進展に伴って増えてきており、Ｓ／Ｎが劣化している。これは、画素数増大に起因してフォトダイオードの面積に対する垂直転送路の面積の割合が大きくなっているためと、信号電荷の転送時間が長くなってきているためである。

垂直電荷転送路で重畳される暗電流は、水平電荷転送路から遠い箇所で読み出され転送されてきた信号電荷ほど垂直電荷転送路上に滞在する時間が長くなるため、大きくなってしまうという特徴がある。

有効画素領域の上辺，下辺に設けられたＯＢ（オプティカルブラック）部の暗電流量から、信号に重畳された暗電流を検出する方法もあるが、近年の様に多画素化が図られた固体撮像素子では、信号量の低下に伴って固体撮像素子出力段のアンプノイズや、その後段の回路系ノイズの影響も大きくなり、これらのランダムノイズも考慮して暗電流ノイズ補正を行わないと、精度の高い補正ができない。

その為、有効画素領域の上辺，下辺に設けるＯＢ部の水平ライン数を数多く設け、検出する画素数を増やし上記ランダムノイズを軽減する方法が考えられるが、有効画素領域の上辺，下辺に設けるＯＢ部の水平ライン数を数多くすると読み出し時間が長くなるため、更なる暗電流増加や、カメラの速写・連写速度に影響するため好ましくない。

半導体基板に形成した複数の画素（フォトダイオード）の各々で入射光量を検出する固体撮像素子ではないが、半導体基板の上方に形成した光電変換膜で入射光量に応じた信号電荷を発生させる固体撮像素子では、有効画素領域内の半導体基板上に無信号電荷蓄積領域を設け、無信号電荷だけを検出する従来技術が、下記の特許文献１に記載されている。この様な無信号電荷蓄積領域を有効画素領域内に設ければ、暗電流ノイズも検出可能である。

しかし、この従来技術では、信号電荷の検出は光電変換膜で行うため、無信号電荷蓄積領域を半導体基板の有効画素領域内に設けても、被写体画像の信号が無信号電荷蓄積領域の箇所で欠けてしまうということが無く、熱等で発生した無信号電荷を検出するための蓄積領域を、赤色（Ｒ）信号蓄積領域，緑色（Ｇ）信号蓄積領域，青色（Ｂ）信号蓄積領域の３つの領域毎に１つ設けることが可能になっている。

この様な従来技術を、半導体基板に形成した画素で被写体の光像を検出するＣＣＤ型固体撮像素子に適用すると、信号が欠ける箇所（無信号電荷蓄積領域）が多数出てきてしまい、暗電流分は補正できても、信号欠損箇所の被写体光像の信号を、周りの検出信号で補間演算して求めることになり、画質劣化が発生してしまう。

特開２００６―２１０５６０号公報の段落〔００４２〕，図１

本発明の目的は、半導体基板の表面部に形成したフォトダイオード（画素）で被写体からの入射光量を検出するＣＣＤ型固体撮像素子において、暗電流ノイズを精度良く補正することを可能にするＣＣＤ型固体撮像素子を提供し、また、出力段アンプのノイズ，その後段の回路系ノイズ等の影響を受けずに暗電流ノイズを精度良く補正することができる撮像装置及びその画像補正方法を提供することにある。

本発明の固体撮像素子は、半導体基板の有効画素領域に二次元アレイ状に配列形成され被写体からの入射光を受光する画素であって各々が受光量に応じた信号電荷を蓄積する複数の画素と、該画素により構成される複数の画素列の各々に沿って設けられる電荷転送路とを備え、前記画素列の各々に設けられ各画素列を構成する前記画素のうち離散的位置の画素をオプティカルブラック画素としたことを特徴とする。

本発明の撮像装置は、上記記載の固体撮像素子と、該固体撮像素子の前記画素から読み出される信号のうち前記オプティカルブラック画素の位置から読み出される信号をノイズ量として検出する手段と、検出された前記ノイズ量の前記電荷転送路に沿う方向の分布からノイズ補正量を求める手段と、該ノイズ補正量を前記入射光を受光する画素から読み出された前記信号から減算する手段とを備えることを特徴とする。

本発明の撮像装置の画像補正方法は、上記記載の固体撮像素子の前記画素から読み出される信号のうち前記オプティカルブラック画素の位置から読み出される信号をノイズ量として検出し、検出された前記ノイズ量の前記電荷転送路に沿う方向の分布からノイズ補正量を求め、該ノイズ補正量を前記入射光を受光する画素から読み出された前記信号から減算することを特徴とする。

本発明によれば、有効画素領域内にＯＢ画素を設け、そのＯＢ画素が検出したノイズ分布からノイズ補正量を求めるため、暗電流ノイズを精度良く補正することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本実施形態の撮像装置のブロック構成図である。この撮像装置（この例ではデジタルスチルカメラ）１０は、ＣＣＤ型の固体撮像素子１１と、固体撮像素子１１の前段に置かれた撮影レンズ１３，絞り（アイリス）１４と、固体撮像素子１１の出力信号（撮像画像信号）をアナログ信号処理するＣＤＳＡＭＰ（相関二重サンプリング（ＣＤＳ），利得制御増幅器（ＡＭＰ））１５と、ＣＤＳＡＭＰ１５の出力信号をデジタル信号に変換するアナログデジタル（Ａ／Ｄ）変換器１６とを備える。

撮像装置１０は、更に、Ａ／Ｄ変換器１６から出力されるデジタル信号でなる撮像画像信号を取り込む画像入力コントローラ２１と、この撮像装置１０の全体を統括制御する制御手段（ＣＰＵ）２２と、撮像画像信号を画像処理する画像信号処理回路２３と、固体撮像素子１１から出力されるスルー画像データ（シャッタボタンが押されていない状態で固体撮像素子１１から出力される画像データ）を解析して焦点位置を自動検出するＡＦ検出回路２４と、スルー画像データから露出量，ホワイトバランスを検出するＡＥ＆ＡＷＢ検出回路２５と、詳細は後述するＯＢ（オプティカルブラック）画素の検出信号を積算処理するＯＢ積算回路２６と、画像処理用ワークメモリとして使用するＳＤＲＡＭ２７と、画像処理後の撮像画像データをＪＰＥＧ画像やＭＰＥＧ画像に圧縮する圧縮処理回路２８と、外部機器とＵＳＢ接続するＵＳＢインタフェース（Ｉ／Ｆ）２９と、カメラ背面等に設けられた液晶表示装置３０に撮像画像やスルー画像を表示するビデオエンコーダ３１と、記録メディア３２に撮像画像データを保存するメディアコントローラ３３と、画像合成回路３４と、これらを相互接続するバス３５とを備える。

この撮像装置１０は、更に、撮影レンズ１３のフォーカスレンズ位置を駆動するモータ１３ａに駆動パルスを供給するモータドライバ４１と、絞り１４の絞り位置制御を行う駆動モータ１４ａに駆動パルスを供給するモータドライバ４２と、固体撮像素子１１に駆動タイミングパルス（電子シャッタパルス，読み出しパルス，転送パルス等）を供給するタイミングジェネレータ４３及びこのタイミングジェネレータ４３に与えるクロック信号を切り替えるクロック切替回路４４とを備え、これらは、ＣＰＵ２２からの指令に基づいて動作する。また、ＣＤＳＡＭＰ１５もＣＰＵ２２からの指令に基づいて動作する。

ＣＰＵ２２には、更に、撮影モード／再生モードを切り換えるスイッチ４６と、２段シャッタのシャッタレリーズボタン４７と、撮像装置１０のモード切換ボタン４８とが接続され、これらスイッチ４６，４７，４８から入力されるユーザ指示に基づき、ＣＰＵ２２は撮像装置１０を制御する。

図２は、図１に示すＣＣＤ型の固体撮像素子１１の表面模式図である。この固体撮像素子１１は、中央部分に有効画素領域１１ａが設けられ、その周辺部にＯＢ部が設けられている。図２では、有効画素領域１１ａの上辺部に設けられたＯＢ部１１ｂと下辺部に設けられたＯＢ部１１ｃとを図示している。

固体撮像素子１１の有効画素領域１１ａ内に設けられた各画素を覆う遮光膜には、通常は全て、個々の画素対応に「開口」が設けられ、その開口を通して入射光が各画素内に入射する様になっている。これに対し、ＯＢ部１１ｂ，１１ｃの画素に設けられた遮光膜には「開口」は設けられず、ＯＢ部１１ｂ，１１ｃの画素は被写界からの光が入射しない構成になっている。

近年の多画素化が図られた固体撮像素子１１では、ＯＢ部１１ｂ，１１ｃは、それぞれ数ライン程度しか設けるスペースが無くなっているため、このＯＢ部１１ｂ，１１ｃを用いてノイズ判定を行うと、ノイズの誤判定が起きる可能性がある。このため、本実施形態では、このＯＢ部１１ｂ，１１ｃの検出信号をノイズ補正に用いない例を説明する。

図示する固体撮像素子１１には、半導体基板の表面部に、複数の画素（フォトダイオード：８角形で示す部分）５１が二次元アレイ状に配列形成されている。

偶数行のフォトダイオード群を第１画素群とし、奇数行のフォトダイオード群を第２画素群としたとき、第１画素群と第２画素群とは、１／２画素ピッチづつずらして形成され、全体として、所謂ハニカム画素配列となっている。

第１画素群だけ見れば各画素５１は正方格子配列され、各画素上に、赤（Ｒ），緑（Ｇ），青（Ｂ）の三原色のカラーフィルタがベイヤ配列されている。第２画素群だけ見ても各画素５１は正方格子配列され、各画素上に、赤（ｒ），緑（ｇ），青（ｂ）の三原色のカラーフィルタがベイヤ配列されている。「Ｒ，Ｇ，Ｂ」と「ｒ，ｇ，ｂ」は夫々同じ色であるが、第１画素群と第２画素群とを識別するために、カラーフィルタの色を大文字と小文字で表している。

各画素列に沿って垂直電荷転送路（ＶＣＣＤ）５２が蛇行して形成され、各垂直電荷転送路５２の転送方向端部に沿って図示省略した水平電荷転送路（ＨＣＣＤ）が形成され、水平電荷転送路の出力端部に、転送されてきた信号電荷の電荷量に応じた電圧値信号を撮像画像信号として出力するアンプが設けられている。

本実施形態の固体撮像素子１１が、例えば有効画素として１２００万画素を搭載していれば、横（水平）方向４０００画素，縦（垂直）方向３０００画素となる。そこで各垂直方向の画素列毎に、例えば１００画素に１画素程度、その画素をＯＢ画素５５とする（図中、黒で塗りつぶした画素）。つまり、各画素列毎に、３０画素程度、有効画素領域１１ａ内に均等にバラツク様に、離散的配置位置となる様に、ＯＢ画素５５を設ける。

図示する例では、第１画素群の本来Ｇ画素とする画素と、その右斜め下位置となる第２画素群の本来ｇ画素とする画素とを、ペアとしてＯＢ画素５５としている。このＯＢ画素５５は、ＯＢ部１１ｂ，１１ｃのＯＢ画素と同様に、遮光膜開口を設けない画素としても良く、あるいは、遮光膜開口は設けるがその下部にフォトダイオードを設けない擬似的画素としても良い。

本実施形態では、ＯＢ画素５５を、本来のＧ画素，ｇ画素となる位置に設けている。これは、有効画素領域１１ａに設ける画素数の半数が緑色（Ｇ，ｇ）画素であり数が多いため、受光量に応じた信号が欠損しても、補間演算で用いるＧ，ｇ画素が周囲近隣に多数存在するためである。勿論、Ｒ，ｒ画素やＢ，ｂ画素を設ける位置にＯＢ画素５５を設けても良い。

次に、上述した固体撮像素子１１を搭載した撮像装置１０による撮像処理とその画像補正方法について説明する。

撮像装置１０で、例えば広ダイナミックレンジの被写体画像を撮像する場合、２段シャッタボタン４７を半押したとき露出量を決定し、第１画素群の露光時間ｔ１を算出する。そして、要求されるダイナミックレンジ量に応じて、露光時間ｔ１に対する第２画素群の露光時間ｔ２を決定し、電子シャッタを「開」にする。

露光開始から露光時間ｔ２が経過したとき、第２画素群の各画素の検出電荷を垂直電荷転送路５２に読み出し転送して撮像画像データとして出力すると共に露光は継続し、露光開始から露光時間ｔ１が経過した時点で露光を終了する。例えば、図１には図示省略したメカニカルシャッタを「閉」にして露光を終了する。そして、第１画素群の各画素の検出電荷を垂直電荷転送路５２に読み出し転送し、撮像画像データとして出力する。

この様にして固体撮像素子１１から出力された第１画素群，第２画素群の各々の撮像画像データを画像処理し、図２に示す第１画素群の或る色の画素の画像データと、これとペア（図２の場合には右斜め下位置）になる第２画素群の同色の画素の画像データとを、図１に示す画像合成回路３４で合成処理することで、広ダイナミックレンジの被写体画像を生成することができる。

この様な被写体画像を生成するとき、固体撮像素子１１の第１，第２画素群の各々の画素から垂直電荷転送路５２に読み出した蓄積電荷（信号電荷）を、垂直電荷転送路５２に沿って転送することになる。この転送時に、信号電荷中に、暗電流ノイズが混入することになる。

近年の多画素化が進展した固体撮像素子では、１画素が検出できる信号電荷量の容量自体が小さくなったため、相対的に暗電流ノイズの影響が増えてきている。また、検出される暗電流ノイズ量も微小となり、垂直転送段毎の暗電流ノイズ量のバラツキも大きくなってきている。また、水平電荷転送路出力段のアンプノイズやその後段の図１に示すＣＤＳＡＭＰ１５のノイズの影響も大きくなってきている。

そこで、本実施形態の撮像装置１０では、有効画素領域１１ａ内にＯＢ画素５５を設けた固体撮像素子１１を用い、垂直電荷転送路５２毎に、各ＯＢ画素５５の垂直転送段位置におけるノイズを検出する。この検出は、各垂直電荷転送路５２を用いた被写体画像データの転送と同時に検出できるため、暗電流検出のための専用の時間を設ける必要はない。

図３は、ノイズの補正処理手順を示すフローチャートである。先ず、各垂直ライン（垂直電荷転送路）毎の有効画素領域１１ａ内のＯＢ画素５５位置における夫々のノイズ量を、図１のＯＢ積算回路２６が検出する（ステップＳ１）。検出点をグラフ上にプロットすると、図４に例示する様にばらついて分布することになる。勿論、このグラフ上に、上辺，下辺のＯＢ部１１ｂ，１１ｃの検出データを一緒にプロットしても良い。

そして、次のステップＳ２で、各垂直ライン毎に、各検出点（黒丸）の近似直線Ａを、例えば最小二乗法等で求め、その「傾き係数」すなわち垂直電荷転送路に沿って単調増加するノイズ量を算出する。各検出点のノイズ量は、暗電流ノイズにアンプノイズ，回路系ノイズが重畳したノイズとなるが、近似直線Ａを求めることで、アンプノイズ，回路系ノイズの影響を受けない暗電流ノイズ分だけを取り出す。

次のステップＳ３では、ステップＳ２で求めた「傾き係数」にある所定係数値を掛けて補正係数とする。この所定係数値は、過補正抑制のための係数である。

デジタルカメラを高感度で動作させる程、ノイズの影響が大きくなり、図４の近似直線Ａの傾きと実際のノイズの傾きとにズレが生じてしまう。このズレを無視して、近似直線Ａだけで暗電流ノイズ補正を行うと、過補正になり、出力されたデータ量（信号＋暗電流ノイズ）から暗電流ノイズ分を減算したつもりでも、過大なノイズ値を減算してしまい、これが画面上で黒スジとして見えてしまう。黒スジは白スジより目立つため避ける必要があり、このステップＳ３で、或る所定係数値を「傾き係数」に掛け、過補正を抑制する。

次のステップＳ４では、図２に示す各画素位置におけるデータ量を補正する。この補正は、
補正後データ量＝〔補正前データ量〕−〔傾き係数×ａ〕
で行う。〔補正前のデータ量〕が、上記の出力されたデータ量つまり〔信号量＋暗電流ノイズ量〕であり、〔傾き係数〕が図４の近似直線Ａの傾き係数、ａがステップＳ３で用いた所定係数値である。即ち、傾き係数×ａ＝暗電流ノイズ量となる。この所定係数値ａは固定値であり、固体撮像素子の設計時に決まる値である。

この様にして、図２に示す各Ｒ，Ｇ，Ｂ，ｒ，ｇ，ｂ画素の信号量をノイズ補正して算出するが、ＯＢ画素５５は受光量に応じた出力データが無い。ＯＢ画素５５は、本来この位置に設ける画素がＧ画素，ｇ画素であるため、ＯＢ画素５５の本来の受光量に応じた信号量を、ステップＳ４でノイズ補正して求めた周囲のＧ画素、ｇ画素の信号量を用いて夫々補間演算し算出することになる。

多画素化が図られた固体撮像素子１１では、有効画素領域１１ａの上辺，下辺に設けるＯＢ画素の水平ライン数が少なく、このＯＢ画素を用いた高精度のノイズ補正ができない場合でも、本実施形態では、有効画素領域１１ａ内に設けたＯＢ画素５５の検出信号を用いてノイズ補正を行うため、ノイズの誤判定を避けることができ、有効画素領域１１内の各画素が検出する受光量に応じた信号に重畳するノイズに即したノイズ量をＯＢ画素５５を用いて精度良く検出でき、高精度のノイズ補正が可能になる。

図５は、図３の実施形態に代わる暗電流ノイズの補正処理手順を示すフローチャートである。図３の実施形態では近似直線Ａを求め、垂直ライン毎に、垂直ラインに沿う方向の暗電流ノイズ量の増大を、１本の直線で近似している。

しかし、更に高精度にきめ細かな暗電流ノイズ補正を行いたい場合には、垂直ラインに沿う暗電流ノイズ量の、バラツキのある増大に対応した暗電流ノイズ補正を行えば良い。つまり、図５の実施形態では、ステップＳ１１で有効画素領域内のＯＢ画素５５のノイズ量を検出し、図４の各検出点（黒丸）が求まったとき、ステップＳ１２で、垂直ライン方向上下数点ごと、例えば２点毎の移動平均を求める。これにより、アンプノイズ，回路系ノイズ等のノイズを除去した暗電流ノイズ分だけを取り出すことができる。

そして、ステップＳ１３で、各移動平均値毎に、ある所定係数値（上記のａ）を掛けて補正係数とし、ステップＳ１４で、各画素位置における暗電流ノイズ補正を行う。これにより、図３の実施形態に比較して撮像装置１０のＣＰＵ２２等の処理負荷は高くなるが、垂直ラインに沿う方向で発生する暗電流ノイズ量のバラツキに対応したノイズ補正が可能となる。

以上述べた様に、実施形態の固体撮像素子は、半導体基板の有効画素領域に二次元アレイ状に配列形成され被写体からの入射光を受光する画素であって各々が受光量に応じた信号電荷を蓄積する複数の画素と、該画素により構成される複数の画素列の各々に沿って設けられる電荷転送路とを備え、前記画素列の各々に設けられ各画素列を構成する前記画素のうち離散的位置の画素をオプティカルブラック画素としたため、ノイズの検出を高精度に行うことが可能になる。

また、実施形態の撮像装置またはその画像補正方法は、上記記載の固体撮像素子と、該固体撮像素子の前記画素から読み出される信号のうち前記オプティカルブラック画素の位置から読み出される信号をノイズ量として検出し、検出された前記ノイズ量の前記電荷転送路に沿う方向の分布からノイズ補正量を求め、該ノイズ補正量を前記入射光を受光する画素から読み出された前記信号から減算するため、ノイズ補正を高精度に行うことが可能となる。

上記において、前記ノイズ補正量は、前記検出された前記ノイズ量の前記電荷転送路に沿う方向の移動平均から求めると、精度の高いノイズ補正が可能となる。

また、上記において、前記ノイズ補正量は、前記検出された各ノイズ量の近似直線から求めると、処理負荷の小さく且つ精度の高いノイズ補正が可能となる。

また、上記において、前記ノイズ補正量は、ノイズの過補正を抑制する所定係数値を乗算した補正量とすると、過補正による黒スジのない品質の高い被写体画像を得ることが可能となる。

本発明に係る撮像装置は高精度のノイズ補正ができるため、多画素化を図った固体撮像素子を搭載するデジタルカメラ（デジタルスチルカメラやデジタルビデオカメラ，カメラ付携帯電話機等）に適用すると有用である。

本発明の一実施形態に係る撮像装置のブロック構成図である。 図１に示す固体撮像素子の表面模式図である。 図１に示す撮像装置が実行する画像補正方法の処理手順を示すフローチャートである。 図３の処理で検出されたＯＢ画素の検出信号をプロットした一例のグラフである。 図３の実施形態に代わる実施形態の処理手順を示すフローチャートである。

符号の説明

１０ 撮像装置
１１ 固体撮像素子
１１ａ 有効画素領域
１５ ＣＤＳＡＭＰ
２２ ＣＰＵ
２３ 画像信号処理回路
２６ ＯＢ積算回路
５１ 画素
５２ 垂直電荷転送路
５５ ＯＢ画素

Claims (9)

1. 半導体基板の有効画素領域に二次元アレイ状に配列形成され被写体からの入射光を受光する画素であって各々が受光量に応じた信号電荷を蓄積する複数の画素と、該画素により構成される複数の画素列の各々に沿って設けられる電荷転送路とを備え、前記画素列の各々に設けられ各画素列を構成する前記画素のうち離散的位置の画素をオプティカルブラック画素とした固体撮像素子。
2. 請求項１に記載の固体撮像素子と、該固体撮像素子の前記画素から読み出される信号のうち前記オプティカルブラック画素の位置から読み出される信号をノイズ量として検出する手段と、検出された前記ノイズ量の前記電荷転送路に沿う方向の分布からノイズ補正量を求める手段と、該ノイズ補正量を前記入射光を受光する画素から読み出された前記信号から減算する手段とを備える撮像装置。
3. 請求項２に記載の撮像装置であって、前記ノイズ補正量は、前記検出された前記ノイズ量の前記電荷転送路に沿う方向の移動平均から求める撮像装置。
4. 請求項２に記載の撮像装置であって、前記ノイズ補正量は、前記検出された各ノイズ量の近似直線から求める撮像装置。
5. 請求項２乃至請求項４のいずれかに記載の撮像装置であって、前記ノイズ補正量は、ノイズの過補正を抑制する所定係数値を乗算した補正量とする撮像装置。
6. 請求項１に記載の固体撮像素子の前記画素から読み出される信号のうち前記オプティカルブラック画素の位置から読み出される信号をノイズ量として検出し、検出された前記ノイズ量の前記電荷転送路に沿う方向の分布からノイズ補正量を求め、該ノイズ補正量を前記入射光を受光する画素から読み出された前記信号から減算する撮像装置の画像補正方法。
7. 請求項６に記載の撮像装置の画像補正方法であって、前記ノイズ補正量は、前記検出された前記ノイズ量の前記電荷転送路に沿う方向の移動平均から求める撮像装置の画像補正方法。
8. 請求項６に記載の撮像装置の画像補正方法であって、前記ノイズ補正量は、前記検出された各ノイズ量の近似直線から求める撮像装置の画像補正方法。
9. 請求項６乃至請求項８のいずれかに記載の撮像装置の画像補正方法であって、前記ノイズ補正量は、ノイズの過補正を抑制する所定係数値を乗算した補正量とする撮像装置の画像補正方法。

Images