JP2005303592A - 固体撮像装置及びその信号処理方法 - Google Patents

Abstract

【課題】露光時間にかかわらず安定した光学的黒レベルを得る固体撮像装置および信号処理方法を提供する。
【解決手段】固体撮像装置１００は、遮光膜の下に形成され光電変換機能を有しない第１の光学的黒レベル画素４と、遮光膜の下に形成され光電変換機能を有する第２の光学的黒レベル画素部５とを含む受光面を有し、光学的黒レベルを決定する信号処理方法は、第１の光学的黒レベル画素４からの出力信号と、第２の光学的黒レベル画素５からの出力信号の何れかを、露光時間や２つの黒レベルに応じて選択的にクランプする。
【選択図】図１

Description

本発明は固体撮像装置およびその信号処理方法に関する。

近年、固体撮像装置はビデオカメラやデジタルスチルカメラに広く用いられており、固体撮像装置の出力信号を精度よく記録するために、デジタル信号処理やアナログ信号処理が用いられている。

固体撮像装置から出力された画像信号の品質を落とすことなく処理、記録するために光学的黒レベルの直流再生方法（オプティカルブラック部クランプ、ＯＢクランプと呼ばれる）も信号処理回路の重要な役割を担っている。

以下に従来の固体撮像装置における光学的黒レベルの信号処理方法について説明する。
図８は従来の固体撮像装置の構成を示す図である。同図に示す固体撮像装置５０において撮像面１１には、垂直ＣＣＤ１２、フォトダイオード（受光部）１３、光学的黒レベル画素１４が形成されている。このうち光学的黒レベル画素１４は、遮光膜で遮光されており、高輝度光入射時の遮光膜の光の透過による、光学的黒レベルの変動や、シリコン基板の結晶欠陥から発生する暗信号成分の影響を無くすため、フォトダイオードを構成していない。

図９は従来の固体撮像装置におけるダーク撮像状態（光学レンズを遮光した状態）での通常露光時間撮影時の１水平期間の映像を示す出力信号のタイミングチャートを示す。同図において、固体撮像装置からの出力信号の期間には、映像信号期間ｔ８と光学的黒レベル信号を出力する期間ｔ９がある。上記のダーク撮像状態では、出力信号のうち信号基準レベルＳ１３と、期間ｔ８及び期間ｔ９における映像信号Ｓ１２とのそれぞれの差分は、いわゆる暗信号を示す。光学的黒レベルは、期間ｔ９の信号出力をＯＢクランプパルスＰ１１でクランプすることにより決定される。

また、光学的黒レベル信号を出力する期間９において信号出力をＯＢクランプパルス１１でクランプする技術については、特許文献１等にフィードバック方式の同期クランプ形クランプ回路として記載されている。

上記の固体撮像装置および信号処理により、固体撮像装置の光学的黒部分の光透過やその他の欠陥による異常なレベルが発生しても、ビデオカメラやデジタルスチルカメラの信号処理において映像信号の光学的黒レベルを一定に保つようにしている。
特許３２８９２９３号公報

しかしながら、上記従来の固体撮像装置の構成および信号処理方法では、低照度被写体撮影時やダーク画像に対して数秒以上の長時間露光撮影を行った場合、映像信号出力における本来の黒レベルと、検出される光学的黒レベル出力との間に差が発生するため、ビデオカメラやデジタルスチルカメラの信号処理で光学的黒レベルのクランプを行うと、映像信号が黒レベルにならないという問題を有していた。

より具体的に図１０を用いて説明する。同図は、従来の固体撮像装置におけるダーク撮像状態（光学レンズを遮光した状態）での長時間露光撮影時の１水平期間の映像を示す出力信号のタイミングチャートを示す。同図において、映像信号の期間ｔ８における映像信号Ｓ１２ａと期間ｔ９における黒レベル信号との差分ｄ１は露光時間が長いほどが大きくなる。その結果、撮像面のフォトダイオード３に溜まった暗信号成分が映像信号として検出されるため、ダーク画像時や低照度撮影時に光量の多い明るい画像のようになり、ダーク画像上で黒レベルが白く浮いたように見え、画質が劣化する。

本発明は上記従来の問題点を解決するもので、露光時間にかかわらず安定した光学的黒レベルを得る固体撮像装置およびその信号処理方法を提供することを目的とする。

この目的を達成するために本発明の固体撮像装置は、遮光膜の下に形成され光電変換機能を有しない第１の光学的黒レベル画素部と、遮光膜の下に形成され光電変換機能を有する第２の光学的黒レベル画素部とを有する。

ここで、前記固体撮像装置は、さらに、第１の光学的黒レベル画素部からの第１の光学的黒レベル信号と、第２の光学的黒レベル画素部からの第２の光学的黒レベル信号とを出力する出力アンプを有する。

この構成によれば、第１の光学的黒レベル画素部からは通常露光に適した光学的黒レベルを、第２の光学的黒レベル画素部からは長時間露光に暗信号の影響を受けない光学的黒レベルを出力するので、露光時間にかかわらず安定した光学的黒レベルを得ることができる。

また、本発明の信号処理方法は、前記受光面を露光する露光ステップと、第１の光学的黒レベル画素部からの出力信号と、第２の光学的黒レベル画素部からの出力信号の何れかを光学的黒レベルとして選択する選択ステップとを有する。

この構成によれば、第１の光学的黒レベル画素部からは通常露光に適した光学的黒レベルを、第２の光学的黒レベル画素部からは長時間露光に適した光学的黒レベルを選択的に得ることができる。

ここで、前記選択ステップにおいて、露光時間に応じて選択する構成としてもよい。
また、前記選択ステップにおいて、第２の光学的黒レベル画素部からの出力信号レベルに応じて選択する構成としてもよい。

ここで、前記選択ステップにおいて、第１の光学的黒レベル画素部からの出力信号レベルと第２の光学的黒レベル画素部からの出力信号レベルとの差に応じて選択する構成としてもよい。

また、前記選択ステップにおいて、第２の光学的黒レベル画素部からの出力信号レベル及び露光時間に応じて選択する構成としてもよい。
ここで、前記選択ステップにおいて、第１の光学的黒レベル画素部からの出力信号レベルと第２の光学的黒レベル画素部からの出力信号レベルとの差及び露光時間に応じて選択する構成としてもよい。

以上のように本発明の固体撮像装置および信号処理方法によれば、露光時間による影響や、高輝度光透過による影響や、暗信号の影響などによる光学的黒レベルの異常変動による影響を受けず、映像信号の光学的黒レベルを安定に保つことができる。

図１は、本発明の実施の形態における固体撮像装置及び信号処理部の主要な構成図を示す。同図において固体撮像装置１００の撮像面１には、垂直転送ＣＣＤ２、フォトダイオード（受光部）３、第１の光学的黒レベル画素４（以下ＯＢ画素４と略す）、第２の光学的黒レベル画素５（以下ＯＢ画素５と略す）、出力アンプ６、水平転送ＣＣＤ７が形成されている。また、信号処理部１０１は、クランプ回路１０２と、選択部１０３とを有する。

垂直転送ＣＣＤ２は、フォトダイオード３、ＯＢ画素４及びＯＢ画素５の各列に対応して設けられる。各垂直転送ＣＣＤ２は、フォトダイオード３、ＯＢ画素４又はＯＢ画素５から１列分の信号電荷を読み出して、水平転送ＣＣＤ７に向けて転送する。

フォトダイオード（受光部）３は、例えばシリコン基板にｎ型不純物をイオン注入することにより形成され、光電変換機能を有する。
ＯＢ画素４の各々は、遮光膜により覆われており、フォトダイオードを構成しない。つまり、ｎ型不純物をイオン注入されずに形成され光電変換機能を有しない。このＯＢ画素４は、高輝度光入射時の遮光膜の光透過による光学的黒レベルの変動や、シリコン基板の結晶欠陥にから発生する暗信号成分の影響を無くすために備えられる。

ＯＢ画素５の各々は、遮光膜により覆われており、フォトダイオードを構成する。つまり、不純物をイオン注入されて形成され光電変換機能を有する。ＯＢ画素５とフォトダイオード３との違いは、遮光膜の有無である。ＯＢ画素５と第１の光学的黒レベル画素との違いは、光電変換機能の有無（イオン注入の有無）である。このＯＢ画素５は、ＯＢ画素４と比べて、高輝度光入射時の遮光膜の光透過による光学的黒レベルの変動や、シリコン基板の結晶欠陥から発生する暗信号成分の影響を受けやすい。

水平転送ＣＣＤ７は、各垂直転送ＣＣＤ２から転送された１行分の信号電荷を出力アンプ６に向けて順次転送する。

図１の構成例では、フォトダイオードを構成しないＯＢ画素４とフォトダイオードを構成するＯＢ画素５を水平方向に配置しており、全ＯＢ画素の半分をＯＢ画素４とし、全ＯＢ画素の残る半分をＯＢ画素５で構成している。現在、ビデオカメラやデジタルスチルカメラで使用されている固体撮像装置のフォトダイオードは、イオン注入によるｎ型不純物によって構成される。フォトダイオードを構成しないＯＢ画素４の領域と、フォトダイオードを構成するＯＢ画素５の領域は、ｎ型不純物をイオン注入する部分としない部分をマスクレイアウトすることによって設定することが可能である。

クランプ回路１０２は、水平転送ＣＣＤ７から出力アンプを介して出力される映像信号のうちＯＢ画素４からの光学的黒レベル信号（第１のＯＢ信号と略す）とＯＢ画素５からの光学的黒レベル信号（第２のＯＢ信号と略す）の何れかを、選択部１０３からのクランプパルスのタイミングでクランプする。クランプ回路１０２の構成は、上記特許文献１のような相関二重サンプリング回路と同様でよい。

選択部１０３は、第１のＯＢ信号のクランプタイミングを示すＯＢクランプパルス１１と、第２のＯＢ信号のクランプタイミングを示すＯＢクランプパルス１５のうち何れかを選択して、クランプ回路１０２に出力する。選択部１０３における選択基準は、例えば、露光時間がしきい値より短い場合はＯＢクランプパルス１１を選択し、露光時間がしきい値より長い場合はＯＢクランプパルス１５を選択する。

図２は本実施の形態における、固体撮像装置１００におけるダーク撮像状態（光学レンズを遮光した状態）でのＯＢ画素４とＯＢ画素５の蓄積時間（カメラの露光時間に相当する）と暗信号出力の関係の例を示している。

同図において、横軸は固体撮像装置の露光時間を示し、縦軸はＯＢ画素から出力される信号出力を示している。また、図中のＡはフォトダイオードを構成しないＯＢ画素４の信号出力を示し、Ｂはフォトダイオードを構成するＯＢ画素の信号出力を示している。Ｂのフォトダイオードを構成するＯＢ画素５では、シリコン基板の結晶欠陥から発生する暗信号成分の影響を受けるため、蓄積時間に比例して、暗信号出力が大きくなる。フォトダイオードを構成するＯＢ画素５では数十ｍｓｅｃ以上の蓄積時間で数ｍＶの出力が発生するのに対して、フォトダイオードを構成しないＯＢ画素４では数十ｍｓｅｃ以上の蓄積時間で１ｍＶ以下の出力となる。

図３はダーク撮像状態での固体撮像装置から出力される通常露光時間撮影時の１水平期間の映像信号タイミングチャートを示す。同図において固体撮像装置からの出力信号の期間には、映像信号期間ｔ８とＯＢ画素レベルを出力するＯＢ期間ｔ９がある。ＯＢ期間ｔ９のうち、Ａはフォトダイオードを構成しないＯＢ画素４の出力期間、Ｂはフォトダイオードを構成するＯＢ画素５の出力期間である。Ｐ１１はＯＢクランプパルス、Ｓ２は暗信号出力、Ｓ３は信号基準レベルを示す。

同図のような通常露光時間撮影時にはフォトダイオードの暗信号成分の量が少ないので、撮像面のフォトダイオード３とフォトダイオードを構成しないＯＢ画素４とフォトダイオードを構成するＯＢ画素５の信号出力にほとんど差は発生しない。

このため、ＯＢクランプパルス１１のタイミングはフォトダイオードを構成しないＯＢ画素４の出力タイミングである出力期間Ａのタイミングで発生させる。この理由は、フォトダイオードを構成しないＯＢ画素４では、遮光膜の下にフォトダイオードが構成されていないので、高輝度光入射時の遮光膜の光透過による光学的黒レベルの変動や、シリコン基板の結晶欠陥にから発生する暗信号成分の影響を受けず、安定した光学的黒レベルのクランプによる信号処理ができ、ＳＮＲ（信号対雑音比）の良い信号が得られるためである。

もし、フォトダイオードを構成したＯＢ画素５のタイミングでＯＢクランプパルス１１を発生させると、太陽などの高輝度光入射時での遮光膜の光透過やシリコン基板の結晶欠陥から発生する暗信号成分の影響による光学的黒レベルの変動の影響を受けるため、安定した光学的黒レベルのクランプによる信号処理ができない。

図４はダーク撮像状態での固体撮像装置から出力される長時間露光撮影時の１水平期間の映像信号タイミングチャートを示す。
同図のような長時間露光撮影時ではフォトダイオードの暗信号成分の量が多くなり、撮像映像信号に占める暗信号成分の割合が大きくなる。フォトダイオードを構成しないＯＢ画素４の信号出力に比べて、撮像面のフォトダイオード３とフォトダイオードを構成するＯＢ画素５の暗信号成分出力が大きくなり無視できなくなるため、フォトダイオード３あるいはフォトダイオードを構成するＯＢ画素５の信号出力と、フォトダイオードを構成しないＯＢ画素４の信号出力に差が発生する。

したがって、長時間露光時には、暗電流によるオフセットを抑圧するためフォトダイオードを構成するＯＢ画素の信号を０レベルとして使用する。ＯＢクランプパルス１５は、図４に示すようにフォトダイオードを構成するＯＢ画素５の出力タイミングＢに発生させる。この理由は、通常露光時間では、フォトダイオードを構成するＯＢ画素５では、遮光膜の下にフォトダイオードが構成されているので、高輝度光入射時の遮光膜の光透過による光学的黒レベルの変動の影響を受けるので、安定した光学的黒レベルのクランプによる信号処理ができないが、長時間露光撮影時には、高輝度光入射時の遮光膜の光透過による光学的黒レベルの変動の影響よりも、露光時間が長いことによるフォトダイオードに溜まる暗信号成分の影響の方が大きくなるので、これによる信号オフセットの影響を抑えるためである。

長時間露光撮影時には、撮像面のフォトダイオード３にも、暗信号成分が溜まるので、フォトダイオードを構成するＯＢ画素５を光学的黒レベルのクランプに使うことで、信号処理上で撮像面のフォトダイオード３の暗信号成分がキャンセルされることになる。

もし、フォトダイオードを構成しないＯＢ画素４のタイミングでＯＢクランプパルス１５を発生させると、撮像面のフォトダイオード３に溜まった暗信号成分が映像信号として検出されるため、ダーク画像時や低照度撮影時に光量の多い明るい画像のようになり、安定した光学的黒レベルのクランプによる信号処理ができない。これは、ダーク画像上で黒レベルが白く浮いたように見える。

上記のように固体撮像装置の露光時間に応じて、フォトダイオードを構成しないＯＢ画素４の出力期間Ａをクランプする方法と、フォトダイオードを構成するＯＢ画素５の出力期間Ｂをクランプする方法を信号処理で選択することで、固体撮像装置の露光時間が変わっても安定した光学的黒レベルのクランプが可能である。

図５は、信号処理部１０１におけるクランプ処理例を示すフローチャートである。同図において信号処理部１０１は、固体撮像装置１００に入力される露光を制御する信号等から露光時間ｔを入力し（Ｓ５１）、露光時間ｔがしきい値Ｔｔよりも小さい否かを判定する（Ｓ５２）。ここで、しきい値Ｔｔは固体撮像装置の特性等に応じて定めればよい。

さらに信号処理部１０１は、露光時間ｔがしきい値Ｔｔよりも小さいと判定された場合、選択部１０３においてＯＢクランプパルスＰ１１を選択し（Ｓ５３）、露光時間ｔがしきい値Ｔｔ以上であると判定された場合、選択部１０３においてＯＢクランプパルスＰ１５を選択する（Ｓ５４）。クランプ回路１０２は、選択されたＯＢクランプパルスＰ１１又はＰ１５のタイミングでＯＢ画素信号をクランプする。このように、図５のクランプ処理によれば、露光時間に応じて第１の光学的黒レベル信号と第２の光学的黒レベル信号を適切に選択することができる。

なお、クランプ処理は図５の例に限らず、以下にその例を示す。
図６は、信号処理部１０１におけるクランプ処理の第２の例を示すフローチャートである。信号処理部１０１は、ＯＢ画素４の出力期間（図３、４における期間Ａ）で選択部１０３においてＯＢクランプパルスＰ１１を選択し、クランプ回路１０２においてＯＢ画素４からの第１の光学的黒レベル信号（ＬＡと略す）をクランプし（Ｓ６１）、ＯＢ画素５の出力期間（図３、４における期間Ｂ）で選択部１０３においてＯＢクランプパルスＰ１５を選択し、クランプ回路１０２においてＯＢ画素５からの第２の光学的黒レベル信号（ＬＢと略す）をクランプする（Ｓ６２）。さらに、信号処理部１０１は、第２の光学的黒レベル信号ＬＢがしきい値Ｌｔよりも小さいか否かを判定し（Ｓ６３）、小さい場合にはＬＡを（Ｓ６４）、小さくない場合にはＬＢを光学的黒レベルと決定する（Ｓ６５）。ここで、しきい値Ｌｔは予め定めればよい。このように、図６のクランプ処理によれば、第２の光学的黒レベル信号の大きさに応じて第１の光学的黒レベル信号と第２の光学的黒レベル信号を適切に選択することができる。しかも、特性の異なる固体撮像装置に対して容易に適用することができる。すなわちＯＢ画素５の暗信号出力特性（図２のＢ）が異なる固体撮像装置であっても、その特性差を吸収することができる。

図７は、信号処理部１０１におけるクランプ処理の第３の例を示すフローチャートである。同図のクランプ処理は、図６と比べて、Ｓ６３、Ｓ６４の代わりにＳ７１、Ｓ７２のステップを有する点が異なっている。同じステップは説明を省略して、異なる点を中心に説明する。信号処理部１０１は、ＬＡとＬＢの差分Ｄを算出し（Ｓ７１）、差分Ｄがしきい値Ｄｔよりも小さいか否かを判定する（Ｓ７２）。このように、図７のクランプ処理によれば、ＬＡとＬＢの差の大きさに応じて第１の光学的黒レベル信号と第２の光学的黒レベル信号を適切に選択することができる。しかも、特性の異なる固体撮像装置に対して容易に適用することができる。すなわちＯＢ画素５の暗信号出力特性（図２のＢ）とＯＢ画素４の暗信号出力特性（図２のＡ）が異なる固体撮像装置であっても、その特性差を吸収することができる。

なお、クランプ処理は図５〜図７に限らない。例えば、図５の露光時間の判定と図６のＬＢの大きさの判定とを組み合わせてもよい。図５の露光時間の判定と図７の差Ｄの判定とを組み合わせてもよい。図５〜７を組み合わせてもよい。ＬＡとＬＢと演算処理することにより光学的黒レベルを算出するようにしてもよい。また、光学的黒レベルとしてＬＡを適用した画像と、ＬＢを低要した画像とを生成し、最適な画像を選択する構成としてもよい。

また、本実施の形態では、フォトダイオードを構成しないＯＢ画素４とフォトダイオードを構成するＯＢ画素５を水平方向のＯＢ画素領域内に構成して説明したが、撮像面の垂直方向のＯＢ画素領域内に構成することも可能である。

フォトダイオードを構成しないＯＢ画素４と、フォトダイオードを構成するＯＢ画素５の配列方法や画素数についても任意であることは言うまでもない。
ＯＢクランプパルスＰ１１とＯＢクランプパルスＰ１５の切り替え制御は、マイコン、タイミングジェネレーターなど固体撮像装置の駆動ＬＳＩで制御でき、映像信号処理におけるデジタル信号処理のＡ／Ｄコンバータの前後何れでも構成可能であり、またアナログ信号処理にも適用可能である。

また、固体撮像装置の構造についてもＣＣＤイメージセンサー、ＣＭＯＳイメージセンサー等あらゆる構造の固体撮像装置やその他の撮像素子の黒基準レベル決定に応用できる。

なお、上記実施の形態では固体撮像装置からの映像信号で説明したが、映像信号は固体撮像装置からの映像信号に限らないことは、言うまでもない。
また、上記実施の形態では、固体撮像装置１００と信号処理部１０１は別チップであることを前提としたが、両者を１チップ上に形成してもよい。

本発明は、複数のフォトダイオードを有する固体撮像装置、その信号処理方法に適しており、例えば、イメージセンサー、デジタルスチルカメラ、カメラ付き携帯電話機、ノートパソコンに内蔵するカメラ、監視用カメラ、放送用カメラ、情報処理機器に接続されるカメラユニット等に適している。

本発明の実施の形態における固体撮像装置の構成を示すブロック図である。 固体撮像装置のフォトダイオードの蓄積時間と暗信号成分との関係グラフである。 固体撮像装置のダーク撮像状態での通常露光時間撮影時の１水平期間の映像信号タイミングチャートである。 固体撮像装置のダーク撮像状態での長時間露光撮影時の１水平期間の映像信号タイミングチャートである。 信号処理部におけるクランプ処理の第１の例を示すフローチャートである。 信号処理部におけるクランプ処理の第２の例を示すフローチャートである。 信号処理部におけるクランプ処理の第３の例を示すフローチャートである。 従来技術における固体撮像装置の構成図である。 従来技術における固体撮像装置のダーク撮像状態での通常露光時間撮影時の１水平期間の映像信号タイミングチャートである。 従来技術における固体撮像装置のダーク撮像状態での長時間露光撮影時の１水平期間の映像信号タイミングチャートである。

符号の説明

１ 撮像面
２ 垂直転送ＣＣＤ
３ フォトダイオード
４ 第１の光学的黒画素
５ 第２の光学的黒画素
６ 出力アンプ
７ 水平転送ＣＣＤ
８ 映像信号出力期間
９ ＯＢ期間
１００ 固体撮像装置
１０１ 信号処理部
１０２ クランプ回路
１０３ 選択部
Ｐ１１ ＯＢクランプパルス
Ｐ１５ ＯＢクランプパルス

Claims (8)

1. 遮光膜の下に形成され光電変換機能を有しない第１の光学的黒レベル画素部と、
   遮光膜の下に形成され光電変換機能を有する第２の光学的黒レベル画素部と
   を有することを特徴とする固体撮像装置。
2. 前記固体撮像装置は、さらに、第１の光学的黒レベル画素部からの第１の光学的黒レベル信号と、第２の光学的黒レベル画素部からの第２の光学的黒レベル信号とを出力する出力アンプを有することを特徴とする請求項１記載の固体撮像装置。
3. 固体撮像装置の出力信号を処理する信号処理方法であって、
   前記固体撮像装置は、遮光膜の下に形成され光電変換機能を有しない第１の光学的黒レベル画素部と、遮光膜の下に形成され光電変換機能を有する第２の光学的黒レベル画素部とを含む受光面を有し、
   前記信号処理方法は、
   前記受光面を露光する露光ステップと、
   第１の光学的黒レベル画素部からの出力信号と、第２の光学的黒レベル画素部からの出力信号の何れかを光学的黒レベルとして選択する選択ステップと
   を有することを特徴とする信号処理方法。
4. 前記選択ステップにおいて、露光時間に応じて選択する
   ことを特徴とする請求項３記載の信号処理方法。
5. 前記選択ステップにおいて、第２の光学的黒レベル画素部からの出力信号レベルに応じて選択する
   ことを特徴とする請求項３記載の信号処理方法。
6. 前記選択ステップにおいて、第１の光学的黒レベル画素部からの出力信号レベルと第２の光学的黒レベル画素部からの出力信号レベルとの差に応じて選択する
   ことを特徴とする請求項３記載の信号処理方法。
7. 前記選択ステップにおいて、第２の光学的黒レベル画素部からの出力信号レベル及び露光時間に応じて選択する
   ことを特徴とする請求項３記載の信号処理方法。
8. 前記選択ステップにおいて、第１の光学的黒レベル画素部からの出力信号レベルと第２の光学的黒レベル画素部からの出力信号レベルとの差及び露光時間に応じて選択する
   ことを特徴とする請求項３記載の信号処理方法。

Images