JP2008294698A - 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置 - Google Patents

Abstract

【課題】ブルーミングによる非線形性を抑えて画質の向上を可能にする。
【解決手段】ＤＳＰ回路４０Ａにおいて、輝度値判定部４１３で注目する画素がブルーミングの影響を受けているかを判定し、ブルーミングの影響を受けていると判定された画素を補正する画素として、補正量演算部４１４で周辺の画素の中で参照輝度値２を超えている画素の輝度値から補正量を演算する。そして、補正部４１５において、輝度値判定部４１３から入力された広ダイナミックレンジ映像信号から、補正量演算部４１４で求められた補正量を差し引くことによってブルーミング量の補正を行う。
【選択図】図３

Description

本発明は、固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置に関する。

近年、ビデオカメラやデジタルスチルカメラなどの応用に適した固体撮像素子として知られるＣＣＤ(Charge Coupled Device)イメージセンサや増幅型のイメージセンサは、高感度での画素数の増加やイメージサイズの縮小による画素サイズの縮小化が進んでいる。

一方で、一般にＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は、屋内や野外、昼間や夜間といった多様な環境下で使用される傾向がある。このような環境下で固体撮像素子を使用する場合は、外光の変化等に応じて、光電変換素子における電荷蓄積時間を制御するなどして露光時間を調整し、感度を最適値にする必要がある。

ところで、ＣＭＯＳイメージセンサにおいて、そのダイナミックレンジを拡大する手法として、図１９（Ａ），（Ｂ）に示すように、複数の露光時間で撮影した複数のフレームから合成する手法（例えば、特許文献１参照）や、図２０（Ａ），（Ｂ）に示すように、画素配列の行ごとに異なる露光時間を適用してダイナミックレンジを拡大する手法（例えば、非特許文献１参照）などが提案されている。

以下、前者の手法を広ダイナミックレンジ手法１、後者の手法を広ダイナミックレンジ手法２と呼ぶ。これらの広ダイナミックレンジ手法１，２では、感度の異なる画像を、第１の映像信号、第２の映像信号、……として複数取得し、一例として、これら取得した複数の映像信号を加算処理して合成することによってダイナミックレンジの広い画像を得るようにしている。

なお、図１９および図２０において、横軸Ｐｏが入射した光の強度を示し、縦軸Ｙ_L がセンサ（受光部）の出力を示している。また、ＦＳはセンサの飽和レベルであり、１つの映像信号では飽和レベルＦＳ以上の出力信号を得ることはできない。

特開２００４−３６３６６６号公報 "High Dynamic Range Imaging: Spatially Varying Pixel Exposures"IEEE Conference on Computer Vision and Pattern Recognition 2000

上述した広ダイナミックレンジ手法１，２では、低輝度の信号を取得する際に、その周辺に高輝度で飽和している画素が存在する可能性がある。飽和している高輝度画素は、別の読み出しで信号を得ることができるが、飽和状態である間に電荷が溢れ出し、ブルーミングとして低輝度の画素に漏れ込むという問題が発生する。

ブルーミング発生の状態を図２１に示す。隣接する画素の一方に強い光が入射し、他方に弱い光が入射し、強い光が入射している受光部１が飽和状態となっている場合、受光部１に入射した光によって発生した電荷が受光部１に蓄積されず、その一部が隣接する受光部２に漏れ込む。この現象をブルーミングと呼ぶ。ここでは、ブルーミングを発生させる画素をＡｇｇｒｅｓｓｏｒ、ブルーミングを受ける画素をＶｉｃｔｉｍとして画素を区別する。

それぞれの広ダイナミックレンジ手法１，２におけるブルーミングの発生タイミングの一例を図２２に示す。

広ダイナミックレンジ手法１の場合を示す図２２（Ａ）では、高輝度の画素と低輝度の画素が隣接していた場合、最初の第１映像信号を得る段階では高輝度の画素は飽和状態となっている。一方で、低輝度の画素は飽和せずに信号を蓄積しているため、高輝度の画素がＡｇｇｒｅｓｓｏｒとしてブルーミングを発生し、第１映像信号の低輝度の画素がＶｉｃｔｉｍとしてブルーミングの影響を被る。光の入射強度によって、第２、第３の映像信号でもブルーミングが発生する可能性がある。

広ダイナミックレンジ手法２の場合の一例を示す図２２（Ｂ）では、２行を１組として異なる露光時間を設定している。例えば、ｎ行目とｎ＋１行目にそれぞれ異なる露光時間を、ｎ＋２行目とｎ＋３行目に同様に異なる露光時間を適用する。ｎ行目およびｎ＋１行目の組に高輝度の入射光があった場合、ｎ行目は飽和状態となる。また、ｎ＋１行目も信号読み出しのための露光期間が開始する前は飽和状態となっている可能性がある。これらの画素がＡｇｇｒｅｓｓｏｒとしてブルーミングを発生し、低輝度の入射光がある隣接する画素、例えばｎ＋２行目がＶｉｃｔｉｍとしてブルーミングを被る。

このブルーミングの影響により、低輝度画素の信号が周辺の高輝度画素の状態によって光電荷の漏れ込みを受けることで、低輝度領域で周辺画素の状態に依存した非線形な特性が発生するため、画質の劣化を引き起こす。

また、広ダイナミックレンジの画像を合成したときに、低輝度領域の信号が周辺画素の状態によって、図２３に示すように、入出力の関係が崩れてしまい、輝度ズレや色ズレとして画質を劣化させる。

特に、カラー画像の場合は、入射光の波長や画素のカラーフィルタの種類による感度差からブルーミング量も異なるため、色ズレとして画質劣化となる。また、周辺の画素の状態によって発生量が異なるため、色ごとに異なるゲイン係数を掛けるホワイトバランス処理では、この色ズレの問題は回避できない。

そこで、本発明は、ブルーミングによる非線形性を抑えて画質の向上を可能にした固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は、光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に配置された画素アレイ部を具備する固体撮像装置において、第１の感度で撮像した第１の映像信号と第２の感度で撮像した第２の映像信号を得て、これら第１，第２の映像信号を合成する処理を行うに当たり、前記画素アレイ部における注目画素の前記第１の映像信号の輝度値および前記第２の映像信号の輝度値の参照輝度値に対する大小を比較することによって当該注目画素が露光期間中に飽和状態となる画素であるかを判定し、飽和状態となる画素であると判定した注目画素を補正画素とする。そして、補正画素の周辺画素の第２の映像信号の輝度値に基づいて補正量を演算し、この演算で求めた補正量を補正画素の第１の映像信号の輝度値に適用ことによって前記周辺画素から前記補正画素へ漏れ込む光電荷に起因するノイズ信号量を補正することを特徴とする。

第１，第２の映像信号を合成する処理を行う広ダイナミックレンジ化の動作により、露光期間中に飽和状態となる画素（Ａｇｇｒｅｓｓｏｒ）の入射光の輝度値を取得し、飽和画素からのブルーミング量（漏れ込む光電荷に起因するノイズ信号量）が飽和画素の感度に比例することを利用して、飽和画素（Ａｇｇｒｅｓｓｏｒ）の第２の映像信号の輝度値からブルーミング量を予測し、当該ブルーミング量から補正量を求める。そして、この補正量を、ブルーミングを被った画素（Ｖｉｃｔｉｍ）の第１の映像信号の輝度値に適用ことで、当該補正画素（Ｖｉｃｔｉｍ）のブルーミング量を補正することができる。

本発明によれば、ブルーミングを被った画素のブルーミング量を補正することによってブルーミングによる非線形性を抑えることが可能になり、画像の階調を正確に表現できるため、画質を向上できる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

[第１実施形態]
図１は、本発明の第１実施形態に係る固体撮像素子、例えばＣＭＯＳイメージセンサの構成例を示すシステム構成図である。

図１に示すように、本実施形態に係るＣＭＯＳイメージセンサ１０Ａは、光電変換素子を含む単位画素（以下、単に「画素」と記述する場合もある）２０が行列状に２次元配置されてなる画素アレイ部１１と、その周辺回路とを有する構成となっている。

画素アレイ部１１の周辺回路は、例えば、垂直走査回路１２、カラム回路１３、水平走査回路１４およびカラム信号選択回路１５等であり、画素アレイ部１１と同じチップ（半導体基板）３０上に集積されている。また、チップ３０外には、信号処理回路、例えばＤＳＰ(Digital Signal Processor)回路４０が設けられている。

画素アレイ部１１の行列状の画素配列に対して、画素列毎に垂直信号線１１１が配線され、画素行毎に駆動制御線、例えば転送制御線１１２、リセット制御線１１３および選択制御線１１４が配線されている。

垂直走査回路１２は、シフトレジスタあるいはアドレスデコーダ等によって構成され、画素アレイ部１１の各画素２０を電子シャッタ行と読み出し行それぞれについて行単位で垂直方向（上下方向）に走査しつつ、電子シャッタ行に対してはその行の画素２０の信号掃き捨てを行うための電子シャッタ動作を行うとともに、読み出し行に対してはその行の画素２０の信号読み出しを行うための読み出し動作を行う。

ここでは、図示を省略するが、垂直走査回路１２は、画素２０を行単位で順に選択しつつ、読み出し行の各画素２０の信号を読み出す読み出し動作を行うための読み出し走査系と、当該読み出し走査系による読み出し走査よりもシャッタ速度に対応した時間分だけ前に同じ行（電子シャッタ行）に対して電子シャッタ動作を行うための電子シャッタ走査系とを有する構成となっている。

そして、電子シャッタ走査系によるシャッタ走査によって光電変換部の不要な電荷がリセットされたタイミングから、読み出し走査系による読み出し走査によって画素２０の信号が読み出されるタイミングまでの期間が、画素２０における信号電荷の一単位の蓄積期間（露光期間）となる。すなわち、電子シャッタ動作とは、光電変換部に蓄積された信号電荷のリセット（掃き捨て）を行い、そのリセット後から新たに信号電荷の蓄積を開始する動作である。

カラム回路１３は、画素アレイ部１１の画素配列の例えば画素列ごとに、即ち画素列に対して１対１の対応関係をもって配置された例えば信号処理回路１３１を含む単位カラム回路１３０の集合によって構成され、垂直走査回路１２による垂直走査によって選択された読み出し行の各画素２０から垂直信号線１１１を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。

なお、ここでは、単位カラム回路１３０を画素アレイ部１１の画素配列の単位列ごとに設けるとしたが、複数列ごとに設ける構成を採ることも可能である。

単位カラム回路１３０において、信号処理回路１３１は、例えば、選択行の各画素２０から垂直信号線１１１を通して出力される画素信号に対して、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)処理によってリセットノイズや増幅トランジスタ２４（図２参照）の閾値ばらつき等の画素固有の固定パターンノイズを低減するノイズ低減処理や、広ダイナミックレンジ化のための信号の合成処理や、アナログ信号をデジタル信号に変換するＡＤ変換処理等の各種の信号処理を行う。

水平走査回路１４は、シフトレジスタあるいはアドレスデコーダ等によって構成され、画素アレイ部１１の画素列ごとに配されたカラム回路１３の単位カラム回路１３０を順に水平走査する。

カラム信号選択回路１５は、水平選択スイッチや水平信号線等によって構成され、カラム回路１３に一時的に保持されている画素の信号を、水平走査回路１４による水平走査に同期してチップ３０の外部へ順次出力する。

垂直走査回路１２、カラム回路１３および水平走査回路１４等の動作の基準となるタイミング信号や制御信号は、図示せぬタイミング制御回路で生成される。

ＤＳＰ回路４０は、カメラ処理に関する種々の信号処理に加えて、本実施形態の特徴とする補正処理、即ち広ダイナミックレンジ化の動作によって飽和画素（Ａｇｇｒｅｓｓｏｒ）の入射光の輝度値を取得し、ブルーミング量が飽和画素の感度に比例することを利用して、ブルーミングを被った画素（Ｖｉｃｔｉｍ）の値を補正する補正処理を行う。この補正処理の詳細については後述する。

なお、本例では、ＤＳＰ回路４０をチップ３０の外部に設けるとしたが、垂直走査回路１２、カラム回路１３、水平走査回路１４およびカラム信号選択回路１５等と同様に、画素アレイ部１１と同じチップ３０上に、補正処理機能を持つＤＳＰ回路４０等の信号処理回路を集積することも可能である。

（画素回路）
図２は、単位画素２０の回路構成の一例を示す回路図である。

本回路例に係る単位画素２０は、光電変換素子、例えば埋め込み型フォトダイオード２１に加えて、例えば転送トランジスタ(転送素子)２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５の４つのトランジスタを有する画素回路となっている。ここでは、これらトランジスタ２２〜２５として、例えばＮチャネルのＭＯＳトランジスタを用いているが、これに限られるものではない。

転送トランジスタ２２は、フォトダイオード２１のカソード電極と浮遊拡散容量（以下、ＦＤ部と記述する）２６との間に接続され、フォトダイオード２１で光電変換され、ここに蓄積された信号電荷（ここでは、電子）を、ゲート電極（制御電極）に転送パルスＴＲＧが与えられることによってＦＤ部２６に転送する。ＦＤ部２６は、信号電荷を電圧信号に変換する電荷電圧変換部として機能する

リセットトランジスタ２３は、電源電圧ＶＤＤの画素電源にドレイン電極が、ＦＤ部２６にソース電極がそれぞれ接続され、フォトダイオード２１からＦＤ部２６への信号電荷の転送に先立って、ゲート電極にリセットパルスＲＳＴが与えられることによってＦＤ部２６の電位を電源電圧ＶＤＤにリセットする。

増幅トランジスタ２４は、ＦＤ部２６にゲート電極が、電源電圧ＶＤＤの画素電源にドレイン電極がそれぞれ接続され、リセットトランジスタ２３によってリセットされた後のＦＤ部２６の電位をリセットレベルとして出力し、さらに転送トランジスタ２２によって信号電荷が転送された後のＦＤ部２６の電位を信号レベルとして出力する。

選択トランジスタ２５は、例えば、ドレイン電極が増幅トランジスタ２４のソース電極に、ソース電極が垂直信号線１１１にそれぞれ接続され、ゲート電極に選択パルスＳＥＬが与えられることによって画素２０を選択状態として増幅トランジスタ２４から出力される信号を垂直信号線１１１に出力する。選択トランジスタ２５については、画素電源と増幅トランジスタ２４のドレイン電極との間に接続した構成を採ることも可能である。

なお、ここでは、転送トランジスタ２２、リセットトランジスタ２３、増幅トランジスタ２４および選択トランジスタ２５を有する４トランジスタ構成の単位画素２０を有するＣＭＯＳイメージセンサに適用する場合を例に挙げたが、この適用例に限られるものではない。

具体的には、選択トランジスタ２５を省略し、電源電圧ＶＤＤの電圧値を切り替え可能な構成とすることにより、増幅トランジスタ２４に選択トランジスタ２５の機能を持たせた３トランジスタ構成の単位画素を有するＣＭＯＳイメージセンサなどにも適用可能である。

（補正処理）
続いて、広ダイナミックレンジ化の動作によって飽和画素（Ａｇｇｒｅｓｓｏｒ）の入射光の輝度値を取得し、ブルーミング量が飽和画素の感度に比例することを利用して、ブルーミングを被った画素（補正画素）へのその周辺画素からのブルーミング量（即ち、周辺画素から補正画素へ漏れ込む光電荷に起因するノイズ信号量）を補正する補正処理の詳細について説明する。

ここで、上記補正処理における補正量は、蓄積期間中に飽和状態となる画素（Ａｇｇｒｅｓｓｏｒ）の、広ダイナミックレンジ化の動作によって得られた画素値（輝度値）から入射光輝度を得て演算する。ブルーミングは画素が飽和するまでは発生しないため、輝度値から飽和レベルに相当する輝度値を差し引いた値、即ち飽和レベルをどれだけ超えたかを定量的に得て、その飽和レベルを超えた値の一定の割合で周辺画素へ漏れ込むブルーミング量を、係数をかけることで得る。

周囲の画素からブルーミングが発生するため、隣接する１画素あるいはそれ以上の周囲複数の画素から得られたブルーミング量の和を補正値とする。ブルーミングを被っている画素（Ｖｉｃｔｉｍ）の輝度値から、そのブルーミング補正値を差し引くことによって補正がなされる。

この補正処理は、先述したように、ＤＳＰ回路４０において信号処理の一つとして実行される。以下に、ＤＳＰ回路４０において実行される補正処理の具体的な実施例について説明する。

＜実施例１＞
図３は、実施例１に係るＤＳＰ回路４０Ａの補正処理の機能例を示す機能ブロック図である。

図３に示すように、本実施例１に係るＤＳＰ回路４０Ａは、映像信号記憶領域４１１、広ダイナミックレンジ映像信号合成部４１２、輝度値判定部４１３、補正量演算部４１４および補正部４１５を有する構成となっている。

ここでは、特許文献１に係る広ダイナミックレンジ手法１、非特許文献１に係る広ダイナミックレンジ手法２、あるいは本願出願人が特願２００６−２８０９５９にて提案済みの広ダイナミックレンジ手法、即ち高輝度画素を露光期間中に部分的に読み出してこれらを加算処理することによってダイナミックレンジを拡大する手法（以下、広ダイナミックレンジ手法３と呼ぶ）の適用により、これら広ダイナミックレンジ化の動作によって画素アレイ部１１の各画素２０から異なる感度の第１および第２映像信号が得られるものとする。

図３において、映像信号記憶領域４１１は、例えばフレームメモリからなり、注目する画素から出力される第１および第２の映像信号を一旦記憶する。広ダイナミックレンジ映像信号合成部４１２は、一例として、第１および第２の映像信号を加算するなどして合成することによって広ダイナミックレンジ映像信号を得る。

輝度値判定部４１３は、広ダイナミックレンジ映像信号の輝度値を参照輝度値１と比較することにより、注目する画素（注目画素）がブルーミングの影響を受けているかを判定し、その判定信号を補正量演算部４１４に与え、広ダイナミックレンジ映像信号についてはそのまま補正部４１５に送る。

輝度値判定部４１３では、輝度値が参照輝度値１を下回る映像信号である場合に、ブルーミングを受けていると判定する。ここで、参照輝度値１は、露光期間中に一時的にでも飽和状態となる最低入射光輝度に相当する出力値とする。参照輝度値１の設定の詳細については後述する。映像信号の輝度値が参照輝度値１を下回るということは、露光期間中に飽和状態となっていないということである。

補正量演算部４１４は、輝度値判定部４１３から判定信号が与えられた画素を補正する画素（補正画素）とし、当該画素の周辺の画素の中で参照輝度値２を超えている画素の映像信号の輝度値から補正量を演算する。参照輝度値２は、参照輝度値１と同様、飽和状態となる出力値相当とし、露光期間中に一時的にでも飽和状態となっている画素の映像信号を補正量演算の対象として検出する。

補正部４１５は、輝度値判定部４１３から入力された広ダイナミックレンジ映像信号の輝度値に補正量演算部４１４で求められた補正量（ブルーミング補正値）を適用する、例えば広ダイナミックレンジ映像信号の輝度値から補正量を差し引く（減算する）ことによってブルーミング量の補正を行い、補正後映像信号として出力する。

＊参照輝度値１の設定
参照輝度値１の設定についてより具体的に説明する。図４に示すように、長い蓄積時間と短い蓄積時間で、感度の異なる第１、第２の映像信号を得る場合、入射光輝度によっては図５（Ａ）に示すように一時的に飽和状態となる。この場合に飽和状態となる最低入射輝度は図５（Ｂ）に示すようになり、これに相当する出力値ＲＥＦ１やＲＥＦ２が参照輝度値１となる。

第１の映像信号と比較する場合出力値ＲＥＦ１が参照輝度値１となり、映像信号２と比較する場合は出力値ＲＥＦ２が参照輝度値１となる。この参照輝度値１を下回っている場合は、露光期間中に飽和状態となっていないと判定する。ただし、参照輝度値１は余裕を考慮し、出力値ＲＥＦ１やＲＥＦ２よりも若干低く設定することが好ましい。

図６に示すように、異なる露光時間を画素ごとや行ごとに適用する場合は、例えば短い蓄積時間を適用した画素においては、図７（Ａ）に示すように短い蓄積時間を開始する前に画素が飽和状態になる場合もある。図７（Ｂ）が飽和状態となる最低入射光輝度の場合であり、ＲＥＦ３が参照輝度値１として設定される。

＜実施例２＞
図８は、実施例２に係るＤＳＰ回路４０Ｂの補正処理の機能例を示す機能ブロック図であり、図中、図３と同等部分には同一符号を付して示している。

本実施例２に係るＤＳＰ回路４０Ｂでは、広ダイナミックレンジ手法１や２のように、長い露光時間に相当する高感度の画像フレームと、短い露光時間に相当する低感度の画像フレームが、交互にチップ３０から出力されることを前提としている。

そして、チップ３０から先に出力されるどちらか一方を、フレームメモリ等からなる映像信号記憶領域４１１に一旦記憶する。本例では、低感度画像（短い露光時間の画像）である第２の映像信号がチップ３０から先に出力され、映像信号記憶領域４１１に一旦記憶される。

広ダイナミックレンジ映像信号合成部４１２は、高感度画像（長い露光時間の画像）である第１の映像信号がチップ３０から読み出されると、当該第１の映像信号と映像信号記憶領域４１１に一旦記憶している第２の映像信号を加算するなどして合成することによって広ダイナミックレンジ映像信号を得る。

輝度値判定部４１３は、チップ３０から第１の映像信号が順次読み出されるごとに、広ダイナミックレンジ映像信号の輝度値を参照輝度値１と比較することによってブルーミングを被った画素（Ｖｉｃｔｉｍ）であるか否かを判定し、その判定信号を補正量演算部４１４に与え、広ダイナミックレンジ映像信号についてはそのまま補正部４１５に送る。

補正量演算部４１４は、輝度値判定部４１３から判定信号が与えられた画素を補正する画素とし、当該画素の周辺の画素の中で参照輝度値２を超えている画素の輝度値から補正量（ブルーミング補正値）を演算する。補正部４１５は、輝度値判定部４１３から入力された広ダイナミックレンジ映像信号から、補正量演算部４１４で求められた補正量を差し引くことによってブルーミング量の補正を行い、補正後映像信号として出力する。

なお、本実施例１では、低感度画像である第２の映像信号が先に読み出される場合を例に挙げたが、高感度画像である第１の映像信号が先に読み出される場合は、その画像フレームをフレームメモリに保持し、次に読み出される低感度画像は複数行の画素値を一時的に記憶媒体に保持して、周辺の画素値からブルーミング量を予測するのに用いるようにすればよい。

また、第１の映像信号および第２の映像信号が、フレームごとに交互ではなく、画素ごとや行ごとに交互に出力される場合は、演算に必要な映像信号のみを映像信号記憶領域４１１に保持すればよく、必ずしもフレーム全てを保持する必要はない。

＜実施例３＞
図９は、実施例３に係るＤＳＰ回路４０Ｃの補正処理の機能例を示す機能ブロック図であり、図中、図８と同等部分には同一符号を付して示している。

図９に示すように、本実施例３に係るＤＳＰ回路４０Ｃは、広ダイナミックレンジ映像信号合成部４１２を補正部４１５の後段に配置し、補正部４１５で補正された第１の映像信号に対して映像信号記憶領域４１１に一旦記憶している第２の映像信号を加算するなどして合成することによって広ダイナミックレンジ映像信号を得る構成を採っている。

このように、広ダイナミックレンジ映像信号の合成処理を、映像信号に対してブルーミング量の補正を行った後に実行するようにしても、実施例２の場合と同じ補正処理を実現できる。

上述した実施例１〜３のように、ＤＳＰ回路４０において、広ダイナミックレンジ化の動作によって飽和画素（Ａｇｇｒｅｓｓｏｒ）の入射光の輝度値を取得し、ブルーミング量が飽和画素の感度に比例することを利用して、飽和画素の第２の映像信号の輝度値からブルーミング量を予測し、当該ブルーミング量から補正量を求めてブルーミングを被った画素（Ｖｉｃｔｉｍ）のブルーミング量を補正することにより、ブルーミングによる非線形性（図２３参照）を抑えることが可能になるため、画像の階調を正確に表現できることによって画質を向上できるとともに、カラー画像にあっては輝度によって実際と異なる色が発生する色ズレの問題を解決できる。

図１０に、実験によって得られた補正処理による効果を示す。緑（Ｇ）の波長を透過するＧフィルタを介した入射光に対して、感度の高いＧ画素から、感度の低いＲ（赤）画素にブルーミングが発生する。

高感度なＧ画素において、低輝度領域を出力する第１映像信号が飽和している場合に、即ち当該第１映像信号の輝度値が参照輝度値２（Ｄｒｅｆ２）を超えている場合に、ブルーミングがＲ画素に発生する。さらに低感度なＲ画素の第１映像信号が飽和していない場合に、即ち第１映像信号の輝度値が参照輝度値１（Ｄｒｅｆ１）を下回っている場合において、ブルーミング量による誤差が線形性を損なっている。

ここで、先述した実施例１〜３に係る補正処理（信号処理）を適用して、周辺の高感度なＧ画素からブルーミング補正量を演算し、当該ブルーミング補正量によってＲ画素の出力を補正することで、理想的な線形特性に近い出力特性に補正することができる。

（変形例）
なお、上記実施形態では、ブルーミングを被った画素（Ｖｉｃｔｉｍ）のブルーミング量を補正する補正処理をＤＳＰ回路４０で実行するとしたが、マイクロコンピュータによる制御の下に、当該補正処理のための一連の処理をソフトウェアにて実行することも可能である。

ここで、補正処理をソフトウェアにて実行する場合の処理手順について、図１１のフローチャートおよび図１２の処理説明図を用いて説明する。ここでは、広ダイナミックレンジ手法１，２，３等を適用することによって得られる異なる感度の第１および第２映像信号を取得してから、補正後映像信号を出力するまでの一連の処理手順を示している。

注目する画素ｉの第１映像信号の輝度値Ｄｌｏｗ＿ｉおよび第２映像信号の輝度値Ｄｈｉｇｈ＿ｉを取得したら、先ず、低感度画素の飽和レベルである参照輝度値Ｄｒｅｆ１を第１映像信号の輝度値Ｄｌｏｗ＿ｉが下回るか否かを判断することにより、注目する画素ｉがブルーミングを被っている画素（Ｖｉｃｔｉｍ）であるか否かを判定する（ステップＳ１１）。

図１２（Ａ）に示すように、ブルーミングを受ける画素（Ｖｉｃｔｉｍ）ｉにおいて、第１映像信号の輝度値Ｄｌｏｗ＿ｉが参照輝度値Ｄｒｅｆ１を下回っている場合（Ｄｌｏｗ＿ｉ＜Ｄｒｅｆ１）、第１映像信号の輝度値Ｄｌｏｗ＿ｉは飽和しておらず、周辺画素が飽和している場合のブルーミングを被っていると判定される。

ステップＳ１１において、注目する画素ｉがブルーミングを被っていない画素であると判定した場合は補正処理を実行せず、注目する画素ｉがブルーミングを被っている画素（Ｖｉｃｔｉｍ）であると判定した場合は、注目する画素ｉを補正する画素とし、当該補正画素ｉの周辺画素から、露光期間中あるいは電荷蓄積期間中に飽和状態となる画素（Ａｇｇｒｅｓｓｏｒ）ｊを検出する（ステップＳ１２）。

図１２（Ｂ）に示すように、周辺画素ｊの第２の映像信号の輝度値Ｄｈｉｇｈ＿ｊが、高感度画素の飽和レベルである参照輝度値Ｄｒｅｆ２を超えている場合（Ｄｈｉｇｈ＿ｊ＞Ｄｒｅｆ２）、第１の映像信号の輝度値Ｄｌｏｗ＿ｊでは飽和状態となっているため、補正画素ｉに隣接する周辺画素ｊにブルーミングが発生している。

次に、ブルーミングを発生する周辺画素（Ａｇｇｒｅｓｓｏｒ）ｊの画素値Ｄｈｉｇｈ＿ｊから、当該画素ｊを飽和状態とする輝度に相当する画素値Ｄｒｅｆ２を減算し（Ｄｈｉｇｈ＿ｊ−Ｄｒｅｆ２）、その減算結果にブルーミングとして漏れ込む割合の補正係数Ａ＿ｊを掛けた値を、画素ｊからのブルーミング量とする（ステップＳ１３）。

すなわち、ここでは、ブルーミング量が飽和画素の感度に比例することに鑑みて、画素ｊの画素値Ｄｈｉｇｈ＿ｊの参照輝度値Ｄｒｅｆ２を超過した分に補正係数Ａ＿ｊを掛けた値Ａ＿ｊ（Ｄｈｉｇｈ＿ｊ−Ｄｒｅｆ２）を、画素ｊからのブルーミング量として予測する。

次に、図１２（Ｃ）に示すように、周辺画素ｊからのブルーミング量Ａ＿ｊ（Ｄｈｉｇｈ＿ｊ−Ｄｒｅｆ２）の和が補正画素ｉに含まれるブルーミング量となることから、当該和を補正画素ｉの補正量（ブルーミング補正量）Ｄｂｌｍ＿ｉとして求める（ステップＳ１４）。

そして、図１２（Ｄ）に示すように、ブルーミングを被っている画素（Ｖｉｃｔｉｍ）ｉから、ステップＳ１４で求めたブルーミング補正量Ｄｂｌｍ＿ｉを差し引くことによってブルーミングに対する補正を行い、補正後の第１の映像信号Ｄｏｕｔ＿ｉとして出力する（ステップＳ１５）。

上述したように、ブルーミングを被った画素（Ｖｉｃｔｉｍ）のブルーミング量を補正する補正処理を、マイクロコンピュータによる制御の下にソフトウェアにて実行するようにしても、当該補正処理をＤＳＰ回路４０で実行する場合と同様に、ブルーミングによる非線形性を抑えることが可能になるため、画像の階調を正確に表現できることによって画質を向上できるとともに、カラー画像にあっては輝度によって実際と異なる色が発生する色ズレの問題を解決できる。

なお、上記実施形態およびその変形例において、ブルーミングを被っている画素（補正画素）のブルーミング量を予測するのに用いる注目画素の周辺画素としては、より多くの画素を用いてブルーミング量を予測することによって補正精度を高めることができるが、隣接１画素、左右の２画素、上下の２画素、上下左右の４画素、上下左右斜めの８画素など、少なくとも１画素あれば、補正の効果を得ることができる。

また、ブルーミング量を予測する際に、漏れ込む割合に応じた補正係数Ａ＿ｊを掛けるが、この補正係数Ａ＿ｊについては、補正画素に対する周辺画素の位置関係、即ち周辺画素が配置されている方向や補正画素との物理的な距離、またはカラーフィルタなどの画素特性の違いに応じて異なる係数値を適用することで補正精度を高めることもできる。これは、補正画素の左右上下に隣接する画素と斜めに隣接する画素とではブルーミング量が異なったり、画素特性の違いによってブルーミング量が異なったりするためである。

[第２実施形態]
図１３は、本発明の第２実施形態に係る固体撮像素子、例えばＣＭＯＳイメージセンサの構成例を示すシステム構成図であり、図中、図１と同等部分には同一符号を付して示している。

本実施形態に係るＣＭＯＳイメージセンサ１０Ｂは、ブルーミングを被った画素（Ｖｉｃｔｉｍ）のブルーミング量を補正する補正機能を、カラム回路１３に持たせた構成を採っており、それ以外の構成は第１実施形態に係るＣＭＯＳイメージセンサ１９Ａの場合と同様である。したがって、以下では、カラム回路１３の構成および動作を中心に説明し、それ以外の説明については重複するので省略する。

カラム回路１３は、画素アレイ部１１の例えば画素列ごとに、即ち画素列に対して１対１の対応関係をもって配置された例えば信号処理回路１３１および補正処理回路１３２を含む単位カラム回路１３０の集合によって構成され、垂直走査回路１２による垂直走査によって選択された読み出し行の各画素２０から垂直信号線１１１を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。

単位カラム回路１３０において、信号処理回路１３１は、例えば、選択行の各画素２０から垂直信号線１１１を通して出力される画素信号に対して、ＣＤＳ処理によってリセットノイズや増幅トランジスタ２４（図２参照）の閾値ばらつき等の画素固有の固定パターンノイズを低減するノイズ低減処理や、広ダイナミックレンジ化のための信号の合成処理や、アナログ信号をデジタル信号に変換するＡＤ変換処理等の各種の信号処理を行う。

（補正処理回路）
補正処理回路１３２は、ブルーミングを被った画素（Ｖｉｃｔｉｍ）のブルーミング量を補正する補正処理を行う。以下に、補正処理回路１３２の詳細について、具板的な実施例をもって説明する。

以下に説明する各実施例では、広ダイナミックレンジ手法１あるいは３を適用する場合において、ＣＭＯＳイメージセンサ１０Ｂが画素の浮遊拡散容量を用いて、あるいは画素にアナログメモリを付加することにより、先に読み出される画像フレームを画素内に保持する構成を有し、高感度画素と低感度画素を画素単位あるいは行単位で順次出力する構成となっているか、または、広ダイナミックレンジ手法２を適用する場合において、高感度画素と低感度画素が画素配列内に混在していて、画素値を読み出すときに画素単位あるいは行単位で交互に出力する構成となっていることを前提としている。

＜実施例１＞
図１４は、実施例１に係る補正処理回路１３２Ａの構成例を示すブロック図である。

図１４に示すように、本実施例１に係る補正処理回路１３２Ａは、輝度値判定回路１３２１、補正量演算回路１３２２および補正回路１３２３を有する構成となっている。

輝度値判定回路１３２１は、第１実施形態における輝度値判定部４１３と同様の機能を持ち、信号処理回路１３１で広ダイナミックレンジ化のための信号の合成処理が行われた映像信号（広ダイナミックレンジ映像信号）の輝度値を参照輝度値１と比較することにより、注目する画素がブルーミングの影響を受けているかを判定し、その判定信号を補正量演算回路１３２２に与え、映像信号についてはそのまま補正回路１３２３に送る。

輝度値判定回路１３２１では、輝度値が参照輝度値１を下回る映像信号である場合に、ブルーミングを受けていると判定する。ここで、参照輝度値１は、露光期間中に一時的にでも飽和状態となる最低入射光輝度に相当する出力値とする。映像信号が参照輝度値１を下回るということは、露光期間中に飽和状態となっていないということである。参照輝度値１の設定については、第１実施形態の場合と同様である。

補正量演算回路１３２２は、第１実施形態における補正量演算部４１４と同様の機能を持ち、輝度値判定回路１３２１から判定信号が与えられた画素を補正する画素とし、当該画素の周辺の画素の中で参照輝度値２を超えている画素の映像信号の輝度値から補正量を演算する。

補正量演算回路１３２２においては、例えば図１５に示すように、補正される画素（注目する画素）の左右の２画素を、補正量演算に使われる周辺画素とする。また、参照輝度値２は、参照輝度値１と同様、飽和状態となる出力値相当とし、露光期間中に一時的にでも飽和状態となっている画素の映像信号を補正量演算の対象として検出する。

補正回路１３２３は、第１実施形態における補正部４１５と同様の機能を持ち、輝度値判定回路１３２１から入力された広ダイナミックレンジ映像信号の輝度値に、補正量演算回路１３２２で求められた補正量（ブルーミング補正値）を適用する、例えば広ダイナミックレンジ映像信号の輝度値から補正量を差し引くことによってブルーミング量の補正を行い、補正後映像信号として出力する。

＜実施例２＞
図１６は、実施例２に係る補正処理回路１３２Ｂの構成例を示すブロック図であり、図中、図１４と同等部分には同一符号を付して示している。

本実施例２に係る補正処理回路１３２Ｂでは、図１７に示すように、補正される画素の上下左右の４画素を、補正量演算に使われる周辺画素とする。そのため、補正処理回路１３２Ｂは、輝度値判定回路１３２１、補正量演算回路１３２２および補正回路１３２３に加えて、３つの記憶回路（Ａ）１３２４，（Ｂ）１３２５，（Ｃ）１３２６を有する構成となっている。

記憶回路（Ａ）１３２４には、補正される画素Ｂの上の画素Ａの信号が記憶される。記憶回路（Ｂ）１３２５には、補正される画素Ｂの信号が記憶される。記憶回路（Ｃ）１３２６には、補正される画素Ｂの下の画素Ｃの信号が記憶される。

輝度値判定回路１３２１は、信号処理回路１３１で広ダイナミックレンジ化のための信号の合成処理が行われた画素Ｂについての広ダイナミックレンジ映像信号の輝度値を参照輝度値１と比較することにより、当該画素Ｂがブルーミングの影響を受けているかを判定し、その判定信号を補正量演算回路１３２２に与え、広ダイナミックレンジ映像信号についてはそのまま補正回路１３２３に送る。

補正量演算回路１３２２は、画素Ｂについて輝度値判定回路１３２１から判定信号が与えられたとき、画素Ｂを補正する画素とし、当該画素Ｂの左右の画素の各信号、記憶回路（Ａ）１３２４に記憶されている画素Ａの信号および記憶回路（Ｃ）１３２６に記憶されている画素Ｃの信号の各輝度値を照輝度値２と比較し、当該参照輝度値２を超えている画素の信号を用いて補正量を演算する。

補正回路１３２３は、輝度値判定回路１３２１から入力された画素Ｂの広ダイナミックレンジ映像信号から、補正量演算回路１３２２で求められた補正量を差し引くことによってブルーミング量の補正を行い、補正後映像信号として出力する。

上述した実施例１，２のように、カラム回路１３において、広ダイナミックレンジ化の動作によって飽和画素（Ａｇｇｒｅｓｓｏｒ）の入射光の輝度値を取得し、ブルーミング量が飽和画素の感度に比例することを利用して、飽和画素の第２の映像信号の輝度値からブルーミング量を予測し、当該ブルーミング量から補正量を求めてブルーミングを被った画素のブルーミング量を補正することにより、ブルーミングによる非線形性を抑えることが可能になるため、画像の階調を正確に表現できることによって画質を向上できるとともに、カラー画像にあっては輝度によって実際と異なる色が発生する色ズレの問題を解決できる。

なお、ブルーミングを被っている画素（補正画素）のブルーミング量を予測するのに用いる補正画素の周辺画素を、実施例１では左右の２画素、実施例２では左右上下の４画素としたが、これに限られるものではなく、隣接１画素、上下左右斜めの８画素など、少なくとも１画素あれば、補正の効果を得ることができる。ただし、より多くの画素を用いてブルーミング量を予測することで補正精度を高めることができる。

また、第１実施形態の場合と同様に、ブルーミング量を予測する際に、漏れ込む割合に応じた補正係数を掛けるが、この補正係数については、補正画素に対する周辺画素の位置関係、即ち周辺画素が配置されている方向や補正画素との物理的な距離、またはカラーフィルタなどの画素特性の違いに応じて異なる係数値を適用することで補正精度を高めることもできる。

［変形例］
なお、上記各実施形態では、高感度と低感度の２つの感度で撮像した第１，第２の映像信号の輝度値から補正量を演算するとしたが、これに限られるものではない。すなわち、第１の感度で撮像した第１の映像信号と、第１の感度よりも低く、互いに異なる複数の第２の感度で撮像した複数の第２，第３，……，第Ｎの映像信号を得て、第１，第２，……，第Ｎの映像信号のそれぞれに対して、感度がより低い一つまたは複数の映像信号の輝度値から補正量を演算するようにしてもよい。

また、上記各実施形態では、可視光の光量に応じた信号電荷を物理量として検知する単位画素が行列状に配置されてなるＣＭＯＳイメージセンサに適用した場合を例に挙げて説明したが、本発明はＣＭＯＳイメージセンサへの適用に限られるものではなく、広ダイナミックレンジ手法１〜３など、ダイナミックレンジを拡大する手法を採る固体撮像装置全般に対して適用可能である。

また、本発明は、可視光の入射光量の分布を検知して画像として撮像する固体撮像装置への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像装置や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像装置（物理量分布検知装置）全般に対して適用可能である。

さらに、本発明は、画素アレイ部の各単位画素を行単位で順に走査して各単位画素から画素信号を読み出す固体撮像装置に限らず、画素単位で任意の画素を選択して、当該選択画素から画素単位で信号を読み出すＸ−Ｙアドレス型の固体撮像装置に対しても適用可能である。

なお、固体撮像装置はワンチップとして形成された形態であってもよいし、撮像部と、信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。

また、本発明は、固体撮像装置への適用に限られるものではなく、撮像装置にも適用可能である。ここで、撮像装置とは、デジタルスチルカメラやビデオカメラ等のカメラシステムや、携帯電話機などの撮像機能を有する電子機器のことを言う。なお、電子機器に搭載される上記モジュール状の形態、即ちカメラモジュールを撮像装置とする場合もある。

［撮像装置］
図１８は、本発明に係る撮像装置の構成の一例を示すブロック図である。図１８に示すように、本発明に係る撮像装置５０は、レンズ群５１を含む光学系、固体撮像装置５２、カメラ信号処理回路であるＤＳＰ回路５３、フレームメモリ５４、表示装置５５、記録装置５６、操作系５７および電源系５８等を有し、ＤＳＰ回路５３、フレームメモリ５４、表示装置５５、記録装置５６、操作系５７および電源系５８がバスライン５９を介して相互に接続された構成となっている。

レンズ群５１は、被写体からの入射光（像光）を取り込んで固体撮像装置５２の撮像面上に結像する。固体撮像装置５２は、レンズ群５１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像装置５２として、先述した第１，第２実施形態に係るＣＭＯＳイメージセンサ１０Ａ，１０Ｂが用いられる。

表示装置５５は、液晶表示装置や有機ＥＬ(electro luminescence)表示装置等のパネル型表示装置からなり、固体撮像装置５２で撮像された動画または静止画を表示する。記録装置５６は、固体撮像装置５２で撮像された動画または静止画を、ビデオテープやＤＶＤ(Digital Versatile Disk)等の記録媒体に記録する。

操作系５７は、ユーザによる操作の下に、本撮像装置が持つ様々な機能について操作指令を発する。電源系５８は、ＤＳＰ回路５３、フレームメモリ５４、表示装置５５、記録装置５６および操作系５７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。

上述したように、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置において、その固体撮像装置５２として先述した第１，第２実施形態に係るＣＭＯＳイメージセンサ１０Ａ，１０Ｂを用いることにより、これらＣＭＯＳイメージセンサ１０Ａ，１０Ｂでは、ブルーミングを被った画素のブルーミング量を補正し、ブルーミングによる非線形性を抑えることによって画像の階調を正確に表現できるため、高画質な撮像装置を実現できる。

本発明の第１実施形態に係るＣＭＯＳイメージセンサの構成例を示すシステム構成図である。 単位画素の回路構成の一例を示す回路図である。 実施例１に係るＤＳＰ回路の補正処理機能を示す機能ブロック図である。 参照輝度値１の設定の一例の説明図（その１）である。 参照輝度値１の設定の一例の説明図（その２）である。 参照輝度値１の設定の他の例の説明図（その１）である。 参照輝度値１の設定の他の例の説明図（その２）である。 実施例２に係るＤＳＰ回路の補正処理機能を示す機能ブロック図である。 実施例３に係るＤＳＰ回路の補正処理機能を示す機能ブロック図である。 実験によって得られた補正処理による効果を示す入出力特性図である。 補正処理をソフトウェアにて実行する場合の処理手順の一例を示すフローチャートである。 補正処理をソフトウェアにて実行する場合の処理説明図である。 本発明の第２実施形態に係るＣＭＯＳイメージセンサの構成例を示すシステム構成図である。 実施例１に係る補正処理回路の構成を示すブロック図である。 補正される画素とその周辺画素との関係を示す図（その１）である。 実施例２に係る補正処理回路の構成を示すブロック図である。 補正される画素とその周辺画素との関係を示す図（その２）である。 本発明に係る撮像装置の構成の一例を示すブロック図である。 広ダイナミックレンジ手法１の説明図である。 広ダイナミックレンジ手法２の説明図である。 ブルーミング発生の状態を示す図である。 ブルーミングの発生タイミングの一例を示す図である。 広ダイナミックレンジの画像を合成したときに、低輝度領域の信号が周辺画素の状態によって入出力の関係が崩れることについての説明図である。

符号の説明

１０Ａ，１０Ｂ…ＣＭＯＳイメージセンサ、１１…画素アレイ部、垂直走査回路、１３…カラム回路、１４…水平走査回路、１５…カラム信号選択回路、２０…単位画素、２１…フォトダイオード、２２…転送トランジスタ、２３…リセットトランジスタ、２４…増幅トランジスタ、２５…選択トランジスタ、３０…チップ（半導体基板）、４０，４０Ａ，４０Ｂ，４０Ｃ…ＤＳＰ回路、１３０…単位カラム回路、１３１…信号処理回路、１３２，１３２Ａ，１３２Ｂ…補正処理回路

Claims (19)

1. 光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に配置された画素アレイ部と、
   第１の感度で撮像した第１の映像信号と第２の感度で撮像した第２の映像信号を得てこれら第１，第２の映像信号を合成する処理を行う信号処理回路とを備え、
   前記信号処理回路は、
   前記画素アレイ部における注目画素の前記第１の映像信号の輝度値および前記第２の映像信号の輝度値の参照輝度値に対する大小を比較することによって当該注目画素が露光期間中に飽和状態となる画素であるかを判定する判定手段と、
   前記判定手段が飽和状態となる画素であると判定した前記注目画素を補正画素とし、当該補正画素の周辺画素の前記第２の映像信号の輝度値に基づいて補正量を演算する演算手段と、
   前記演算手段が演算した前記補正量を前記補正画素の前記第１の映像信号の輝度値に適用することによって前記周辺画素から前記補正画素へ漏れ込む光電荷に起因するノイズ信号量を補正する補正手段とを有する
   ことを特徴とする固体撮像装置。
2. 前記第１の感度は、前記第２の感度よりも高い
   ことを特徴とする請求項１記載の固体撮像装置。
3. 前記演算手段は、前記第１の感度で撮像した第１の映像信号と、前記第１の感度よりも低く、互いに異なる複数の第２の感度で撮像した複数の第２，第３，……，第Ｎの映像信号を得て、前記第１，第２，……，第Ｎの映像信号のそれぞれに対して、感度がより低い一つまたは複数の映像信号の輝度値から前記補正量を演算する
   ことを特徴とする請求項１記載の固体撮像装置。
4. 前記判定手段は、前記第１の感度および前記第２の感度で撮像した際に、露光期間終了時点または露光期間中一時的に飽和状態となる画素の入射光輝度に相当する出力値を前記参照輝度値とする
   ことを特徴とする請求項１記載の固体撮像装置。
5. 前記演算手段は、前記周辺画素の前記第２の映像信号の輝度値から前記参照輝度値を減算し、その減算結果に補正係数を掛けた値を前記補正量とする
   ことを特徴とする請求項１記載の固体撮像装置。
6. 前記演算手段は、前記補正量を演算するに当たって、前記補正画素に対する前記周辺画素の位置関係または画素特性の違いに応じて前記補正係数として異なる係数値を適用する
   ことを特徴とする請求項５記載の固体撮像装置。
7. 前記周辺画素が複数であり、
   前記演算手段は、前記複数の周辺画素の各々について、前記周辺画素の前記第２の映像信号の輝度値から前記参照輝度値を減算し、その減算結果に補正係数を掛けた値を求め、当該値の総和を前記補正量とする
   ことを特徴とする請求項５記載の固体撮像装置。
8. 前記信号処理回路は、前記画素アレイ部が形成された基板の外部に設けられている
   ことを特徴とする請求項１記載の固体撮像装置。
9. 前記信号処理回路は、前記画素アレイ部の画素配列の単位列ごとまたは複数列ごとに設けられている
   ことを特徴とする請求項１記載の固体撮像装置。
10. 前記信号処理回路は、１画素以上の画素の輝度値を記憶する記憶回路を有する
    ことを特徴とする請求項９記載の固体撮像装置。
11. 光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に配置された画素アレイ部を具備する固体撮像装置において、第１の感度で撮像した第１の映像信号と第２の感度で撮像した第２の映像信号を得てこれら第１，第２の映像信号を合成する処理を行う信号処理回路であって、
    前記画素アレイ部における注目画素の前記第１の映像信号の輝度値および前記第２の映像信号の輝度値の参照輝度値に対する大小を比較することによって当該注目画素が露光期間中に飽和状態となる画素であるかを判定する判定手段と、
    前記判定手段が飽和状態となる画素であると判定した前記注目画素を補正画素とし、当該補正画素の周辺画素の前記第２の映像信号の輝度値に基づいて補正量を演算する演算手段と、
    前記演算手段が演算した前記補正量を前記補正画素の前記第１の映像信号の輝度値に適用することによって前記周辺画素から前記補正画素へ漏れ込む光電荷に起因するノイズ信号量を補正する補正手段と
    を備えたことを特徴とする固体撮像装置の信号処理回路。
12. 光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に配置された画素アレイ部を具備する固体撮像装置において、第１の感度で撮像した第１の映像信号と第２の感度で撮像した第２の映像信号を得てこれら第１，第２の映像信号を合成する処理を行う信号処理方法であって、
    前記画素アレイ部における注目画素の前記第１の映像信号の輝度値および前記第２の映像信号の輝度値の参照輝度値に対する大小を比較することによって当該注目画素が露光期間中に飽和状態となる画素であるかを判定する判定ステップと、
    前記判定ステップで飽和状態となる画素であると判定した前記注目画素を補正画素とし、当該補正画素の周辺画素の前記第２の映像信号の輝度値に基づいて補正量を演算する演算ステップと、
    前記演算ステップで演算した前記補正量を前記補正画素の前記第１の映像信号の輝度値に適用することによって前記周辺画素から前記補正画素へ漏れ込む光電荷に起因するノイズ信号量を補正する補正ステップと
    を有することを特徴とする固体撮像装置の信号処理方法。
13. 前記第１の感度は、前記第２の感度よりも高い
    ことを特徴とする請求項１２記載の固体撮像装置の信号処理方法。
14. 前記演算ステップでは、前記第１の感度で撮像した第１の映像信号と、前記第１の感度よりも低く、互いに異なる複数の第２の感度で撮像した複数の第２，第３，……，第Ｎの映像信号を得て、前記第１，第２，……，第Ｎの映像信号のそれぞれに対して、感度がより低い一つまたは複数の映像信号の輝度値から前記補正量を演算する
    ことを特徴とする請求項１２記載の固体撮像装置の信号処理方法。
15. 前記判定ステップでは、前記第１の感度および前記第２の感度で撮像した際に、露光期間終了時点または露光期間中一時的に飽和状態となる画素の入射光輝度に相当する出力値を前記参照輝度値とする
    ことを特徴とする請求項１２記載の固体撮像装置の信号処理方法。
16. 前記演算ステップでは、前記周辺画素の前記第２の映像信号の輝度値から前記参照輝度値を減算し、その減算結果に補正係数を掛けた値を前記補正量とする
    ことを特徴とする請求項１２記載の固体撮像装置の信号処理方法。
17. 前記演算ステップでは、前記補正量を演算するに当たって、前記補正画素に対する前記周辺画素の位置関係または画素特性の違いに応じて前記補正係数として異なる係数値を適用する
    ことを特徴とする請求項１６記載の固体撮像装置の信号処理方法。
18. 前記周辺画素が複数であり、
    前記演算ステップでは、前記複数の周辺画素の各々について、前記周辺画素の前記第２の映像信号の輝度値から前記参照輝度値を減算し、その減算結果に補正係数を掛けた値を求め、当該値の総和を前記補正量とする
    ことを特徴とする請求項１６記載の固体撮像装置の信号処理方法。
19. 光信号を信号電荷に変換する光電変換素子を含む単位画素が行列状に配置された画素アレイ部と、第１の感度で撮像した第１の映像信号と第２の感度で撮像した第２の映像信号を得てこれら第１，第２の映像信号を合成する処理を行う信号処理回路とを備えた固体撮像装置と、
    入射光を前記固体撮像装置の撮像面上に結像する光学系とを具備し、
    前記信号処理回路は、
    前記画素アレイ部における注目画素の前記第１の映像信号の輝度値および前記第２の映像信号の輝度値の参照輝度値に対する大小を比較することによって当該注目画素が露光期間中に飽和状態となる画素であるかを判定する判定手段と、
    前記判定手段が飽和状態となる画素であると判定した前記注目画素を補正画素とし、当該補正画素の周辺画素の前記第２の映像信号の輝度値に基づいて補正量を演算する演算手段と、
    前記演算手段が演算した前記補正量を前記補正画素の前記第１の映像信号の輝度値に適用することによって前記周辺画素から前記補正画素へ漏れ込む光電荷に起因するノイズ信号量を補正する補正手段とを有する
    ことを特徴とする撮像装置。

Images