JP2006014163A - 固体撮像装置およびスミア補正方法 - Google Patents

Abstract

【課題】 新たな遮光手段を備えることなく、スミアによる影響を効果的に除去する固体撮像装置およびスミア補正方法を提供する。
【解決手段】 ディジタルプロセス回路１４は、固体撮像素子１のブランキング期間における画像信号を複数の水平ラインの画素の形で入力し、画像信号の平均値を、画素の水平アドレスごとに求める。また、固体撮像素子１のブランキング期間における画像信号から算出された輝度レベルをもとに、利得量を算出し、ＡＧＣ１２等の制御を行う。システムコントローラ１５は、この利得量を所定のしきい値と比較し、利得量がしきい値より大きい場合はスミア補正を行わないよう制御し、利得量がしきい値以上である場合は、求めた平均値を、撮像画像の画像信号の同じ水平アドレスの画素から減算することによってスミア補正を実現する。
【選択図】 図２

Description

この発明は、効果的に、スミアによる影響を除去するためにスミア補正を行う固体撮像装置、およびスミア補正方法に関する。

従来、ＣＣＤ撮像素子のような固体撮像素子においては、強烈な光が入射したときに発生するスミア現象による画質劣化が問題となっている。スミアは、たとえばＣＣＤ撮像素子を用いた固体撮像装置で、太陽や夜間における明るい照明などの強い光源が含まれる静止画、あるいは動画を撮った際に、垂直方向に筋のような光が発生するという現象のことである。

このようなＣＣＤ撮像素子で電子シャッターを用いる場合、ＣＣＤ撮像素子は、いつも光にさらされており、その状態で、所定のボタンが押されると、超高速で電子シャッターを開き、受光素子で光を電荷に変換し、最終的には、それらが画像信号として保存される。

この電子シャッターは、ＣＣＤ撮像素子単体の動きを利用するので、シャッター速度が速いというメリットがある反面、電荷の垂直転送中にＣＣＤ撮像素子が強い光に晒されると、その光がＣＣＤ撮像素子に入射し、その光による電荷が蓄積されていた電荷に加えられる。そうすると、垂直レジスタに電荷が漏れ出し、このことによってスミア、すなわち垂直方向の光の筋が発生する。

上記スミアを補正する方法として、特許文献１の方法が提案されている。

特開平７−６７０３８号公報

上記特許文献１の方法は、スミアが撮像素子の垂直方向にほぼ同レベルで生じることに着目して、垂直ブランキング期間における垂直方向の、光学的黒の画素部分、または画素蓄積部が無い部分の出力レベルをスミア除去基準信号として、これを有効画像信号から減じる方法である。

しかしながら、上記特許文献１の方法では、被写体の輝度レベルが低い場合は、固体撮像装置の自動利得制御により、撮像素子出力信号のアナログゲインが増加し、垂直ブランキング期間の信号のノイズ成分が増加する。また、スミア成分が極めて小さい場合、またはスミアが発生していない場合、垂直ブランキング期間の信号は、ノイズ成分の占める割合が大きくなる。そのため、これらの場合には、算出されるスミア除去基準信号はノイズを多く含むことになり、この信号を有効画像信号から減算すると縦筋状のノイズとして撮像画像に現れ、却って画質の劣化を招く。

また、スミアの発生を防止するために、上記電子シャッターに加えて、メカニカルシャッターを併用することも考えられる。メカニカルシャッターは、レンズに当たる光を板等によって物理的に遮って、ＣＣＤ撮像素子に光りが入射しないようにする機構である。

しかしながら、たとえば、カメラ付き携帯電話のように、こうしたメカニカルシャッター等の遮光手段を備えることが物理的に困難なカメラシステムも存在するため、メカニカルシャッター等を利用せずにスミアによる影響を除去する仕組みが依然として求められている。

したがって、この発明の目的は、新たな遮光手段を備えることなく、スミアによる影響を効果的に除去する固体撮像装置およびスミア補正方法を提供することにある。

第１の実施態様に係る発明は、固体撮像素子と、前記固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出手段と、前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出手段と、前記スミア成分を、前記第２の画像信号から減ずることによってスミア補正を行う補正手段と、前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御手段とを有するように構成される固体撮像装置である。

第２の実施態様に係る発明は、第１の実施態様に係る発明において、固体撮像素子がＣＣＤ撮像素子であるように構成される固体撮像装置である。

第３の実施態様に係る発明は、第１の実施態様に係る発明において、前記第１の画像信号は、それぞれが複数の画素を有する少なくとも１つの水平ラインから提供され、前記スミア成分検出手段は、前記第１の画像信号から、前記画素の水平アドレスごとに１画素分の信号値を求め、前記信号値を前記水平アドレスに関するスミア成分とするように構成される固体撮像装置である。

第４の実施態様に係る発明は、第３の実施態様に係る発明において、補正手段が、スミア成分を、同じ水平アドレスの第２の画像信号から減ずるように構成される固体撮像装置である。

第５の実施態様に係る発明は、第１の実施態様に係る発明において、制御手段が、輝度レベルが所定のレベルより小さい場合は、スミア補正を行わず、輝度レベルが所定のレベル以上の場合は、スミア補正を行うように決定するよう構成される固体撮像装置である。

第６の実施態様に係る発明は、第１の実施態様に係る発明において、輝度レベルに基づいて利得量が決定され、利得量が所定のレベルより大きい場合は、スミア補正を行わず、利得量が所定のレベル以下の場合は、スミア補正を行うように決定するよう構成される固体撮像装置である。

第７の実施態様に係る発明は、固体撮像素子と、前記固体撮像素子の水平方向に延びる光学的黒の画素部分から得られる第１の画像信号に基づいてスミア成分を検出するスミア成分検出手段と、前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出手段と、前記スミア成分を、前記第２の画像信号から減ずることによってスミア補正を行う補正手段と、前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御手段とを有するように構成される固体撮像装置である。また、この実施態様に係る発明は、上述の第２ないし第６の実施態様に係る発明における特徴を加えた構成とすることができる。

第８の実施態様に係る発明は、固体撮像素子と、固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出手段と、スミア成分の大きさに応じて補正値を生成する補正値生成手段と、補正値を固体撮像素子の有効画素部分から得られる第２の画像信号から減ずることによってスミア補正を行う補正手段とを有するように構成される固体撮像装置である。

第９の実施態様に係る発明は、第８の実施態様に係る発明において、固体撮像素子がＣＣＤ撮像素子であるように構成された固体撮像装置である。

第１０の実施態様に係る発明は、第８の実施態様に係る発明において、前記第１の画像信号は、それぞれが複数の画素を有する少なくとも１つの水平ラインから提供され、前記スミア成分検出手段は、前記第１の画像信号から、前記画素の水平アドレスごとに１画素分の信号値を求め、前記信号値を前記水平アドレスに関するスミア成分とするように構成された固体撮像装置である。

第１１の実施態様に係る発明は、第１０の実施態様に係る発明において、補正手段が、補正値を、対応するスミア成分の水平アドレスと同じ水平アドレスの第２の画像信号から減ずるように構成される固体撮像装置である。

第１２の実施態様に係る発明は、第８の実施態様に係る発明において、補正値生成手段が、スミア成分の絶対値が所定の値以下の場合には、補正値を０とするように構成される固体撮像装置である。

第１３の実施態様に係る発明は、第１２の実施態様に係る発明において、補正値生成手段が、スミア成分の絶対値が所定の値より大きい場合には、スミア成分の絶対値を所定の値だけ減じて補正値とするように構成される固体撮像装置である。

第１４の実施態様に係る発明は、固体撮像素子と、固体撮像素子の水平方向に延びる光学的黒の画素部分から得られる第１の画像信号に基づいてスミア成分を検出するスミア成分検出手段と、スミア成分の大きさに応じて補正値を生成する補正値生成手段と、補正値を固体撮像素子の有効画素部分から得られる第２の画像信号から減ずることによってスミア補正を行う補正手段とを有するように構成される固体撮像装置である。また、この実施態様に係る発明は、上述の第９ないし第１３の実施態様に係る発明における特徴を加えた構成とすることができる。

第１５の実施態様に係る発明は、固体撮像素子と、前記固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出手段と、前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出手段と、前記スミア成分の大きさに応じて補正値を生成する補正値生成手段と、前記補正値を、前記第２の画像信号から減ずることによってスミア補正を行う補正手段と、前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御手段とを有するように構成される固体撮像装置である。

第１６の実施態様に係る発明は、固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出ステップと、前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出ステップと、前記スミア成分を、前記第２の画像信号から減ずることによってスミア補正を行う補正ステップと、前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御ステップとを有するように構成されるスミア補正方法である。

第１７の実施態様に係る発明は、第１６の実施態様に係る発明において、固体撮像素子がＣＣＤ撮像素子であるように構成される補正方法である。

第１８の実施態様に係る発明は、第１６の実施態様に係る発明において、前記第１の画像信号は、それぞれが複数の画素を有する少なくとも１つの水平ラインから提供され、前記スミア成分検出ステップは、前記第１の画像信号から、前記画素の水平アドレスごとに１画素分の信号値を求め、前記信号値を前記水平アドレスに関するスミア成分とするように構成されるスミア補正方法である。

第１９の実施態様に係る発明は、第１８の実施態様に係る発明において、補正ステップが、スミア成分を、同じ水平アドレスの第２の画像信号から減ずるように構成されるスミア補正方法である。

第２０の実施態様に係る発明は、第１６の実施態様に係る発明において、制御ステップが、輝度レベルが所定のレベルより小さい場合は、スミア補正を行わず、輝度レベルが所定のレベル以上の場合は、スミア補正を行うように決定するよう構成されるスミア補正方法である。

第２１の実施態様に係る発明は、第１６の実施態様に係る発明において、輝度レベルに基づいて利得量が決定され、利得量が所定のレベルより大きい場合は、スミア補正を行わず、利得量が所定のレベル以下の場合は、スミア補正を行うように決定するよう構成されるスミア補正方法である。

第２２の実施態様に係る発明は、固体撮像素子の水平方向に延びる光学的黒の画素部分から得られる第１の画像信号に基づいてスミア成分を検出するスミア成分検出ステップと、前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出ステップと、前記スミア成分を、前記第２の画像信号から減ずることによってスミア補正を行う補正ステップと、前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御ステップとを有するように構成されるスミア補正方法である。また、この実施態様に係る発明は、上述の第１７ないし第２１の実施態様に係る発明における特徴を加えた構成とすることができる。

第２３の実施態様に係る発明は、固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出ステップと、スミア成分の大きさに応じて補正値を生成する補正値生成ステップと、補正値を固体撮像素子の有効画素部分から得られる第２の画像信号から減ずることによってスミア補正を行う補正ステップとを有するように構成されるスミア補正方法である。

第２４の実施態様に係る発明は、第２３の実施態様に係る発明において、固体撮像素子がＣＣＤ撮像素子であるように構成されるスミア補正方法である。

第２５の実施態様に係る発明は、第２３の実施態様に係る発明において、前記第１の画像信号は、それぞれが複数の画素を有する少なくとも１つの水平ラインから提供され、前記スミア成分検出ステップは、前記第１の画像信号から、前記画素の水平アドレスごとに１画素分の信号値を求め、前記信号値を前記水平アドレスに関するスミア成分とするように構成されるスミア補正方法である。

第２６の実施態様に係る発明は、第２５の実施態様に係る発明において、補正ステップが、補正値を、対応するスミア成分の水平アドレスと同じ水平アドレスの第２の画像信号から減ずるように構成されるスミア補正方法である。

第２７の実施態様に係る発明は、第２３の実施態様に係る発明において、補正値生成ステップが、スミア成分の絶対値が所定の値以下の場合には、補正値を０とするように構成されるスミア補正方法である。

第２８の実施態様に係る発明は、第２７の実施態様に係る発明において、補正値生成ステップが、スミア成分の絶対値が所定の値より大きい場合には、スミア成分の絶対値を所定の値だけ減じて補正値とするように構成されるスミア補正方法である。

第２９の実施態様に係る発明は、固体撮像素子の水平方向に延びる光学的黒の画素部分から得られる第１の画像信号に基づいてスミア成分を検出するスミア成分検出ステップと、スミア成分の大きさに応じて補正値を生成する補正値生成ステップと、補正値を固体撮像素子の有効画素部分から得られる第２の画像信号から減ずることによってスミア補正を行う補正ステップとを有するように構成されるスミア補正方法である。また、この実施態様に係る発明は、上述の第２４ないし第２８の実施態様に係る発明における特徴を加えた構成とすることができる。

第３０の実施態様に係る発明は、固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出ステップと、前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出ステップと、前記スミア成分の大きさに応じて補正値を生成する補正値生成ステップと、前記補正値を、前記第２の画像信号から減ずることによってスミア補正を行う補正ステップと、前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御ステップとを有するように構成されるスミア補正方法である。

このような発明により、検出された被写体の輝度レベルが低い場合に、スミア補正が行われないように制御される。また、検出されたスミア成分が極めて小さい場合、およびスミアが実質的に発生していない場合にも、スミア補正が行われないように制御される。

この発明によって、被写体の輝度レベルが低い場合、スミア成分が極めて小さい場合、およびスミアが発生していない場合に、垂直ブランキング期間の信号から算出される算出されるスミア除去基準信号によってスミア補正を行うことを抑止し、縦筋状のノイズが撮像画像に現れるといった、スミア補正による悪影響を防止する。

最初に、この発明の一実施形態に係る固体撮像装置で用いるＣＣＤ撮像素子の構成について、図１を参照して説明する。ＣＣＤ撮像素子１のセンサー領域は、撮像エリアである有効画素部分２、垂直方向の黒基準を判定するための画素部分３、および水平方向の黒基準を判定するための画素部分５から成る。

この例では、画素部分３は、有効画素部分２の上側に配置され、たとえば、垂直方向に隣接する１２本の水平ライン４から構成される。一方、画素部分５は、有効画素部分２の右側に配置され、たとえば、各ラインにおいて、水平方向に隣接する４０個の画素から構成される。

画素部分３および画素部分５は、センサー上に遮光幕を設けた構造となっており、いずれも、光学的黒の画素部分となる。垂直ブランキング期間中の信号（光学的黒信号、もしくは空転送信号）にもスミア成分が現れるが、これは、有効画素部分２の画像信号の垂直転送中に強い光があたった場合に電荷が漏れ込むためである。

有効画素部分２の下部には、水平シフトレジスタ６が設けられる。水平シフトレジスタ６には、垂直転送された各画素からの電荷が提供され、これらの電荷は、水平シフトレジスタ６を介して水平転送される。

次に、この発明の第１の実施形態に係る固体撮像装置の構成を、図２のブロック図を参照して説明する。図示した固体撮像装置１０は、図１で示したようなＣＣＤ撮像素子１、Ｓ／Ｈ（サンプルホールド回路：Sample/Hold）１１、ＡＧＣ（アナログ信号の利得回路）１２、ＡＤＣ（アナログ−ディジタル変換回路）１３、ディジタルプロセス回路１４、システムコントローラ１５、記録部１６、および表示部１７を備えている。

システムコントローラ１５は、固体撮像装置１０の全体制御を行っている。また、システムコントローラ１５は、ディジタルプロセス回路１４を制御して、ＣＣＤ撮像素子１に駆動信号を送信し、ＣＣＤ撮像素子１の動作を制御する。

ＣＣＤ撮像素子１から出力される画像信号は、Ｓ／Ｈ１１に送信され、そこでサンプルホールド処理が行われる。Ｓ／Ｈ１１から出力されたアナログ信号は、ＡＧＣ１２によって増幅され、ＡＤＣ１３によってディジタル化される。ＡＤＣ１３から出力された画像ディジタル信号は、次にディジタルプロセス回路１４に入力され、そこで、各種信号処理が行われた後、必要に応じて、記録部１６に記録され、または表示部１７に表示される。

ここで、記録部１６は、たとえば、ＲＡＭ（Random Access Memory）のようなメモリ、ハードディスクのような外部記憶装置、またはＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disk）のような外部記録媒体であり、表示部１７は、たとえばＬＣＤ（Liquid Crystal Display）のような表示装置である。

この発明では、主として、ディジタルプロセス回路１４、およびシステムコントローラ１５が協働して、スミア検出およびスミア補正のための処理を行う。また、ディジタルプロセス回路１４は、画像ディジタル信号から各画素に関する輝度を検出し、システムコントローラ１５は、出力画像の輝度レベルが最適となるように、この輝度の検出値に基づいて固体撮像装置１０全体の利得量を算出する。この利得量、すなわち、出力画像の輝度補正ゲインは、たとえば、輝度の検出値が小さい場合は大きな値をとり、輝度の検出値が大きい場合は小さい値をとるように制御される。

こうして算出された利得量が得られるように、システムコントローラ１５はＡＧＣ１２を制御する。また、ＣＣＤ撮像素子１のシャッタスピード等の、ＡＧＣ１２以外の利得もシステムコントローラ１５で制御される。ディジタルプロセス回路１４は、輝度の検出値を用いてシステムコントローラ１５により算出された値をもとに、制御信号を出力して設定を行う。

スミア検出は、ＡＤＣ１３から出力された画像ディジタル信号のうち、画素部分３、すなわち、光学的黒の画素部分からの信号を用いて行われる。こうした画素部分３の信号は、垂直ブランキング期間内にＣＣＤ撮像素子１から提供されたものである。一方、スミア補正は、スミア検出によって得られたスミア成分を、所定の条件を満たす場合に、有効画像信号から減算することにより実現される。

スミア検出においては、上述した特許文献１の方法と同様、垂直ブランキング期間中の複数の信号（各水平ライン４の信号）について、それぞれ同じ水平アドレスの画素データを積算し、それぞれの積算値を蓄積した信号の数で割る。このことによって、ＣＣＤ撮像素子１の各水平アドレスの画素について平均値が求まり、これをスミア成分（スミア検出値）とする。複数の信号（水平ライン）の平均値をとっているのは、スミア成分の値のバラツキを防止するためである。

上述の平均値は、画素部分３のすべての水平ライン４を用いて行う必要は必ずしもなく、一部の水平ラインについて平均をとるように設計することもでき、場合によっては、積算および平均をせずに、所定の１本の水平ライン４についてのみ、スミア成分（信号値）を求めるようにすることも可能である。

図１に示す例では、画素部分３は１２本の水平ライン４からなり、１本の水平ライン４は、たとえば１２８０の画素から構成される。スミア検出では、これらの１２本の水平ライン４の信号をそれぞれ入力し、水平アドレスごとに画素データを積算する。すなわち、１本の水平ライン４には、１番目から１２８０番目までの画素があり、第１の水平ライン４の信号を入力した際に、１番目の画素の値は、対応する１番目の積算領域に記憶され、２目番目の画素の値は、対応する２番目の積算領域に記憶され、以降同様の処理が行われて、１２８０番目の画素の値は、対応する１２８０番目の積算領域に記憶される。

次に、第２の水平ライン４の信号を入力した際に、１番目の画素の値は、対応する１番目の積算領域に積算され、１番目の積算領域では第１の水平ライン４の１番目の画素の値と、第２の水平ライン４の１番目の画素の値が加算されることになる。以降、同様の処理が繰り返され、１２８０番目の画素の値は、対応する１２８０番目の積算領域に積算される。

上記のような、水平ライン４ごとの処理が第１２の水平ライン４まで繰り返される。その結果、１番目の積算領域には第１から第１２の水平ライン４の１番目の画素の値の合計が記憶される。以降、同様に、２番目から１２８０番目の積算領域には、１２の水平ライン４の該当する画素の値の合計が記憶される。

図３は画素ごとの画像信号の大きさ（輝度レベル）を表したグラフであり、縦軸は、画像信号の大きさであり、横軸は、画素の水平アドレス（１番目の画素から１２８０番目の画素まで）を表している。上記積算処理の結果、図３の線Ａは、１２本の水平ライン４の画像信号が累積されたものを示しており、この累積は、上述のように画素ごとに行われる。線Ｂは、線Ａで示された信号値を、累積した水平ライン４の数（すなわち、この場合１２）で割ったものであり、これによって、画像信号の平均値が求められ、これを、水平アドレスの画素についてのスミア成分とする。

この発明の第１の実施形態においては、システムコントローラ１５によって算出された固体撮像装置１０全体の利得量に基づき、スミア補正の制御を行う。この利得量が、あらかじめ設定された所定のしきい値より大きい場合はスミア補正を行わない、すなわち、スミア補正処理における減算値を０とする。

一方、利得量が上記所定のしきい値以下の場合は、通常のスミア補正を実施する。これは、利得量が大きい、すなわち被写体の輝度レベルが小さい場合は、スミアを引き起こす強烈な光がＣＣＤ撮像素子１に入射していないと判断できるからである。

ここで、図４を参照して、スミア検出とスミア補正をより詳細に説明する。図４は、ディジタルプロセス回路１４内の構成を示すブロック図である。ディジタルプロセス回路１４は、積分回路２１、ラインメモリ２２、平均値算出回路２３、補正値選択回路２４、遅延回路２５、および減算回路２６を備えている。

ディジタルプロセス回路１４は、垂直ブランキング期間中に、ＡＤＣ１３から、ＣＣＤ撮像素子１の画素部分３に含まれる水平ライン４の画素ディジタル信号を受け取り、積分回路２１に渡す。水平ライン４の各画素データは、たとえば、垂直ブランキング期間中に、１２ライン分送信され、積分回路２１は順にこれを受信する。積分回路２１は、画素データを１ライン分受信すると、画素の水平アドレスごとにラインメモリ２２に累積する。これによって、ＣＣＤ撮像素子１の１２本の水平ライン４の左端の画素（１番目の画素）が合計され、右端（たとえば、１２８０番目の画素）まで、同様の累積が行われる。

積分回路２１による画素ごとの累積が終了すると、各累積値は平均値算出回路２３に渡され、そこで、各画素の水平アドレスの累積値が、累積した水平ライン４の数（ここでは、１２）で除算され、平均値が求められる。平均値は、画素ごとに行われるので、この場合は１２８０個の平均値が存在する。これらの平均値をスミア成分（スミア検出値）とする。垂直ブランキング期間中に入力する画像信号は、光学的黒の画素部分であるため、上記の平均値は０となるのが通常であるが、スミア発生時はあるレベルの信号が発生する。

ここで、最終的に補正値（減算値）として、どのような値を使用するかは、システムコントローラ１５の制御による。そこで、システムコントローラ１５の処理を、図５のフローチャートを参照して説明する。最初に、システムコントローラ１５は、出力画像の輝度レベルが最適となるように、ディジタルプロセス回路１４によって検出された輝度に基づいて固体撮像装置１０全体の利得量を算出する（ステップＳ１）。そして、システムコントローラ１５は、その算出された利得量を所定のしきい値と比較し（ステップＳ２）、その利得量が所定のしきい値より大きい場合（ステップＳ２のＹＥＳ）は、補正値選択回路２４に対し、補正値を０とするよう制御信号を送信する（ステップＳ３）。逆に、利得量が上記所定のしきい値以下の場合（ステップＳ２のＮＯ）は、補正値選択回路２４に対し、補正値として、平均値算出回路２３からの出力を使用するよう制御信号を送信する（ステップＳ４）。

その後、補正値選択回路２４において選択された補正値は、減算回路２６に提供される。補正値選択回路２４で、平均値算出回路２３からの出力を使用するように制御されている場合、補正値は画素ごとに異なったものである。これは、スミア成分と判定された平均値が画素（水平アドレス）ごとに異なるからである。

また、ＡＤＣ１３からは、遅延回路２５を介して、ＣＣＤ撮像素子１の有効画素部分２の画素データがディジタル信号として減算回路２６に提供される。ここで、減算回路２６は、補正値選択回路２４から与えられた補正値を、遅延回路２５を介して提供された画素データから減算する。ここで、画素データは、画素の水平アドレスによって水平ライン上の各画素に対応付けられ、それぞれ、ＣＣＤ撮像素子１の画素から得られる電荷および、垂直転送中に垂直レジスタに漏れ出した電荷に基づいて生成される。

減算回路２６は、ある水平アドレスに関する補正値を受信した場合、その水平アドレスに対応する画素データから、当該補正値を減算する。たとえば、図３の例では、水平ライン上６００番目付近の画素データにおいてスミアによる影響が認められ、これらの画素データの信号が大きくなっている。この場合、上述のように、画素部分３の画像信号から、水平ライン上６００番目の画素付近に対応する補正値が補正値選択回路２４から与えられ、これらを、遅延回路２５からされる有効画素部分２の画素データから減算することによって、効果的なスミア補正が行われる。

補正の対象は、ＣＣＤ撮像素子１の有効画素部分２の画素データであるが、補正値を求めた垂直ブランキング期間の前の期間に送信された有効画素部分２の画素データを補正の対象とするか、後の期間に送信された有効画素部分２の画素データを補正の対象とするかは任意に決定されうる。また、垂直ブランキング期間の前後の有効画素部分２の画素データ双方に対して、所定の割合の補正値を減算するよう制御することもできる。

また、補正値として０が指定されている場合、遅延回路２５を介して提供された各画素のデータはそのまま出力される。

減算回路２６から出力された画像信号（データ）は、各種信号処理が施された後に、記録部１６に記録され、または表示部１７に表示される。

なお、このようなスミア補正の有無を判定する基準としては、システムコントローラ１５で制御する他のパラメータ、たとえば、ＡＧＣ１２の設定利得量や、ＣＣＤ撮像素子１のシャッター時間等を利用することもできる。ＡＧＣ１２の利得量が、設定したしきい値より大きい場合、または、ＣＣＤ撮像素子１のシャッター時間が、設定したしきい値より長い場合には、スミア補正処理における減算値を０とする。これは、ＡＧＣ１２の利得量が、設定したしきい値より大きい場合、または、ＣＣＤ撮像素子１のシャッター時間が、設定したしきい値より長い場合には、被写体の輝度が低く、スミアを引き起こす強烈な光が入射していないと判断できるからである。

これらの制御により、実質的にスミアが発生していない場合に、スミア補正を行わないようにすることができ、これによりスミア検出手段による検出値がノイズ成分を多く含む場合に検出値を有効画像信号から減算することによる縦筋ノイズの発生を防ぐことが可能である。

このように、平均値算出回路２３から提供された平均値を補正値として採用するか否かは、実質的に、システムコントローラ１５によって把握される画像信号の輝度レベルに応じて行われる。輝度レベルが所定のレベルより小さければ、補正自体が行われないように制御される。

これまで、図２および図４に示す構成例に基づいて、スミア検出およびスミア補正について説明してきたが、この発明の処理が、他の多くの構成によって実現可能である。したがって、この発明の範囲を例示の構成のみに限定して判断すべきではない。

また、この発明の第２の実施形態に係る固体撮像装置の構成は、前述した第１の実施形態の構成と同様のものである。しかしながら、第２の実施形態においては、検出したスミア成分の絶対値が小さい場合に、スミア補正を行わないように制御し、これによって、同様に低輝度時の縦筋ノイズの発生を防ぐことができる。

図６の点線Ｃは、スミア検出値が、そのままスミア補正の補正値として使用されることを示している。一方、実線Ｄは、スミア検出値が、設定した２つのしきい値Ｅ１とＥ２の間にある場合は、スミア補正の補正値を０とし（すなわち、スミア補正は行われない）、それ以外の場合、スミア検出値がしきい値Ｅ１より大きい場合は、スミア検出値からしきい値Ｅ１の値を減算した値を補正値とし、スミア検出値がしきい値Ｅ２より小さい場合は、スミア検出値からしきい値Ｅ２を減算した値を補正値とする。言い換えれば、スミア検出値の絶対値が所定の値より小さい場合は、補正値を０とし、そうでない場合は、スミア検出値の絶対値から所定の値を減じた値（スミア検出値の符号はそのまま）を補正値とする。

こうした補正値の生成パターンには、このほかにもいくつか変形例が考えられる。たとえば、スミア検出値の絶対値が所定の値以上の場合は、所定の値を減じることなくそのまま補正値とすることができる。また、上述した図６の例では、しきい値Ｅ１は正の数、しきい値Ｅ２は負の数で、たがいに絶対値が等しいものとして示されているが、異なる絶対値をとるように設定することもできる。

このような制御は、主としてディジタルプロセス回路１４によって行われる。しかしながら、この実施形態においては、ディジタルプロセス回路１４内の補正値選択回路は、前述した第１の実施形態の補正値選択回路とは異なる機能を有する。図７には、当該異なる機能を有した補正値選択回路２８を含んだディジタルプロセス回路１４’が示されている。この補正値選択回路２８は、平均値算出回路２３から受信した平均値（スミア検出値）をもとに補正値を決定し、これを減算回路２６に提供する。

次に、補正値選択回路２８が、平均値算出回路２３からの平均値をもとに補正値を決定する処理を、図８のフローチャートを参照して説明する。最初に、平均値算出回路２３から平均値を取得し（ステップＳ１１）、この平均値が、第１のしきい値より大きいかどうか判定する（ステップＳ１２）。第１のしきい値は、ここでは、小さい正の数であり、これ以下（０以上）のレベルでスミア補正の必要がないという数に設定されている。

平均値が第１のしきい値より大きい場合（ステップＳ１２のＹＥＳ）、平均値から第１のしきい値を減算し、こうして求められた値を補正値とする（ステップＳ１３）。平均値が第１のしきい値以下である場合（ステップＳ１２のＮＯ）、さらに、平均値が、第２のしきい値より小さいかどうか判定する（ステップＳ１４）。第２のしきい値は、ここでは、小さい負の数であり、これ以上（０以下）のレベルでスミア補正の必要がないという数に設定されている。

平均値が第２のしきい値より小さい場合（ステップＳ１４のＹＥＳ）、平均値から第２のしきい値を減算し、こうして求められた値を補正値とする（ステップＳ１５）。平均値が第２のしきい値以上である場合（ステップＳ１４のＮＯ）、すなわち、平均値が第１のしきい値以下で、第２のしきい値以上である場合、補正値を０と設定する（ステップＳ１６）。補正値が算出されたら、ステップＳ１７に進み、そこで、補正値を減算回路２６に送信する。

上記制御により、スミアが発生しないと判断される被写体、または発生したスミア成分の絶対値が小さいと判断される被写体については、スミア補正を行わないようにする。このことで、ノイズを多く含むスミア検出値を、一様に減算することによって発生していた縦筋上のノイズの発生を防ぐことができる。一方、それ以外の場合は、従来技術と同様にスミア検出値を有効画像信号より減算することにより、スミアが補正された良好な画像を得ることができる。

これまで、この発明について、第１の実施形態および第２の実施形態を説明してきたが、両方の実施形態を組み合わせるよう構成することも可能である。すなわち、第１のしきい値と撮像画像の輝度情報に基づいてスミア補正を行うか否かの判定を行い、さらに、スミア補正を行うと判定された場合に、第２のしきい値（対）を用いて、所定の範囲の補正値によるスミア補正を行わないように制御することができる。また、ディジタルプロセス回路およびシステムコントローラは、両方の実施形態に対応できるように調整される必要がある。

ＣＣＤ撮像素子の構成を表した略線図である。 この発明の第１の実施形態に係る固体撮像装置の構成例を示すブロック図である。 画素の水平アドレスごとに、画素の画像信号の大きさを表したグラフである。 この発明の第１の実施形態に係る固体撮像装置のディジタルプロセス回路の構成例を示すブロック図である。 この発明の第１の実施形態に係る固体撮像装置のシステムコントローラの処理の流れを示したフローチャートである。 スミア検出値と、そのスミア検出値から生成される補正値との関係を表したグラフである。 この発明の第２の実施形態に係る固体撮像装置のディジタルプロセス回路の構成例を示すブロック図である。 この発明の第２の実施形態に係る固体撮像装置のシステムコントローラの処理の流れを示したフローチャートである。

符号の説明

１・・・ＣＣＤ撮像素子、２・・・有効画素部分、３・・・画素部分、４・・・水平ライン、５・・・有効画素部分、６・・・水平シフトレジスタ、１１・・・Ｓ／Ｈ、１２・・・ＡＧＣ、１３・・・ＡＤＣ、１４・・・ディジタルプロセス回路、１５・・・システムコントローラ、１６・・・記録部、１７・・・表示部、２１・・・積分回路、２２・・・ラインメモリ、２３，２７・・・平均値算出回路、２４，２８・・・補正値選択回路、２６・・・減算回路

Claims (30)

1. 固体撮像素子と、
   前記固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出手段と、
   前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出手段と、
   前記スミア成分を、前記第２の画像信号から減ずることによってスミア補正を行う補正手段と、
   前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御手段とを有することを特徴とする固体撮像装置。
2. 請求項１に記載の固体撮像装置において、
   前記固体撮像素子がＣＣＤ撮像素子であることを特徴とする固体撮像装置。
3. 請求項１に記載の固体撮像装置において、
   前記第１の画像信号は、それぞれが複数の画素を有する少なくとも１つの水平ラインから提供され、
   前記スミア成分検出手段は、前記第１の画像信号から、前記画素の水平アドレスごとに１画素分の信号値を求め、前記信号値を前記水平アドレスに関するスミア成分とすることを特徴とする固体撮像装置。
4. 請求項３に記載の固体撮像装置において、
   前記補正手段は、前記スミア成分を、同じ水平アドレスの前記第２の画像信号から減ずることを特徴とする固体撮像装置。
5. 請求項１に記載の固体撮像装置において、
   前記制御手段は、前記輝度レベルが所定のレベルより小さい場合は、前記スミア補正を行わず、前記輝度レベルが前記所定のレベル以上の場合は、前記スミア補正を行うように決定することを特徴とする固体撮像装置。
6. 請求項１に記載の固体撮像装置において、
   前記輝度レベルに基づいて利得量が決定され、前記利得量が所定のレベルより大きい場合は、前記スミア補正を行わず、前記利得量が前記所定のレベル以下の場合は、前記スミア補正を行うように決定することを特徴とする固体撮像装置。
7. 固体撮像素子と、
   前記固体撮像素子の水平方向に延びる光学的黒の画素部分から得られる第１の画像信号に基づいてスミア成分を検出するスミア成分検出手段と、
   前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出手段と、
   前記スミア成分を、前記第２の画像信号から減ずることによってスミア補正を行う補正手段と、
   前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御手段とを有することを特徴とする固体撮像装置。
8. 固体撮像素子と、
   前記固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出手段と、
   前記スミア成分の大きさに応じて補正値を生成する補正値生成手段と、
   前記補正値を前記固体撮像素子の有効画素部分から得られる第２の画像信号から減ずることによってスミア補正を行う補正手段とを有することを特徴とする固体撮像装置。
9. 請求項８に記載の固体撮像装置において、
   前記固体撮像素子がＣＣＤ撮像素子であることを特徴とする固体撮像装置。
10. 請求項８に記載の固体撮像装置において、
    前記第１の画像信号は、それぞれが複数の画素を有する少なくとも１つの水平ラインから提供され、
    前記スミア成分検出手段は、前記第１の画像信号から、前記画素の水平アドレスごとに１画素分の信号値を求め、前記信号値を前記水平アドレスに関するスミア成分とすることを特徴とする固体撮像装置。
11. 請求項１０に記載の固体撮像装置において、
    前記補正手段は、前記補正値を、対応するスミア成分の水平アドレスと同じ水平アドレスの前記第２の画像信号から減ずることを特徴とする固体撮像装置。
12. 請求項８に記載の固体撮像装置において、
    前記補正値生成手段は、前記スミア成分の絶対値が所定の値以下の場合には、前記補正値を０とすることを特徴とする固体撮像装置。
13. 請求項１２に記載の固体撮像装置において、
    前記補正値生成手段は、前記スミア成分の絶対値が前記所定の値より大きい場合には、前記スミア成分の絶対値を前記所定の値だけ減じて前記補正値とすることを特徴とする固体撮像装置。
14. 固体撮像素子と、
    前記固体撮像素子の水平方向に延びる光学的黒の画素部分から得られる第１の画像信号に基づいてスミア成分を検出するスミア成分検出手段と、
    前記スミア成分の大きさに応じて補正値を生成する補正値生成手段と、
    前記補正値を前記固体撮像素子の有効画素部分から得られる第２の画像信号から減ずることによってスミア補正を行う補正手段とを有することを特徴とする固体撮像装置。
15. 固体撮像素子と、
    前記固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出手段と、
    前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出手段と、
    前記スミア成分の大きさに応じて補正値を生成する補正値生成手段と、
    前記補正値を、前記第２の画像信号から減ずることによってスミア補正を行う補正手段と、
    前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御手段とを有することを特徴とする固体撮像装置。
16. 固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出ステップと、
    前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出ステップと、
    前記スミア成分を、前記第２の画像信号から減ずることによってスミア補正を行う補正ステップと、
    前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御ステップとを有することを特徴とするスミア補正方法。
17. 請求項１６に記載のスミア補正方法において、
    前記固体撮像素子がＣＣＤ撮像素子であることを特徴とするスミア補正方法。
18. 請求項１６に記載のスミア補正方法において、
    前記第１の画像信号は、それぞれが複数の画素を有する少なくとも１つの水平ラインから提供され、
    前記スミア成分検出ステップは、前記第１の画像信号から、前記画素の水平アドレスごとに１画素分の信号値を求め、前記信号値を前記水平アドレスに関するスミア成分とすることを特徴とするスミア補正方法。
19. 請求項１８に記載のスミア補正方法において、
    前記補正ステップは、前記スミア成分を、同じ水平アドレスの前記第２の画像信号から減ずることを特徴とするスミア補正方法。
20. 請求項１６に記載のスミア補正方法において、
    前記制御ステップは、前記輝度レベルが所定のレベルより小さい場合は、前記スミア補正を行わず、前記輝度レベルが前記所定のレベル以上の場合は、前記スミア補正を行うように決定することを特徴とするスミア補正方法。
21. 請求項１６に記載のスミア補正方法において、
    前記輝度レベルに基づいて利得量が決定され、前記利得量が所定のレベルより大きい場合は、前記スミア補正を行わず、前記利得量が前記所定のレベル以下の場合は、前記スミア補正を行うように決定することを特徴とするスミア補正方法。
22. 固体撮像素子の水平方向に延びる光学的黒の画素部分から得られる第１の画像信号に基づいてスミア成分を検出するスミア成分検出ステップと、
    前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出ステップと、
    前記スミア成分を、前記第２の画像信号から減ずることによってスミア補正を行う補正ステップと、
    前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御ステップとを有することを特徴とするスミア補正方法。
23. 固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出ステップと、
    前記スミア成分の大きさに応じて補正値を生成する補正値生成ステップと、
    前記補正値を前記固体撮像素子の有効画素部分から得られる第２の画像信号から減ずることによってスミア補正を行う補正ステップとを有することを特徴とするスミア補正方法。
24. 請求項２３に記載のスミア補正方法において、
    前記固体撮像素子がＣＣＤ撮像素子であることを特徴とするスミア補正方法。
25. 請求項２３に記載のスミア補正方法において、
    前記第１の画像信号は、それぞれが複数の画素を有する少なくとも１つの水平ラインから提供され、
    前記スミア成分検出ステップは、前記第１の画像信号から、前記画素の水平アドレスごとに１画素分の信号値を求め、前記信号値を前記水平アドレスに関するスミア成分とすることを特徴とするスミア補正方法。
26. 請求項２５に記載のスミア補正方法において、
    前記補正ステップは、前記補正値を、対応するスミア成分の水平アドレスと同じ水平アドレスの前記第２の画像信号から減ずることを特徴とするスミア補正方法。
27. 請求項２３に記載のスミア補正方法において、
    前記補正値生成ステップは、前記スミア成分の絶対値が所定の値以下の場合には、前記補正値を０とすることを特徴とするスミア補正方法。
28. 請求項２７に記載のスミア補正方法において、
    前記補正値生成ステップは、前記スミア成分の絶対値が前記所定の値より大きい場合には、前記スミア成分の絶対値を前記所定の値だけ減じて前記補正値とすることを特徴とするスミア補正方法。
29. 固体撮像素子の水平方向に延びる光学的黒の画素部分から得られる第１の画像信号に基づいてスミア成分を検出するスミア成分検出ステップと、
    前記スミア成分の大きさに応じて補正値を生成する補正値生成ステップと、
    前記補正値を前記固体撮像素子の有効画素部分から得られる第２の画像信号から減ずることによってスミア補正を行う補正ステップとを有することを特徴とするスミア補正方法。
30. 固体撮像素子の垂直ブランキング期間に出力される第１の画像信号からスミア成分を検出するスミア成分検出ステップと、
    前記固体撮像素子の有効画素部分から得られる第２の画像信号の輝度レベルを検出する輝度レベル検出ステップと、
    前記スミア成分の大きさに応じて補正値を生成する補正値生成ステップと、
    前記補正値を、前記第２の画像信号から減ずることによってスミア補正を行う補正ステップと、
    前記輝度レベルに応じて、前記スミア補正を行うか否かを決定する制御ステップとを有することを特徴とするスミア補正方法。

Images