JP2007235891A

JP2007235891A - 欠陥補正装置及び欠陥補正方法

Info

Publication number: JP2007235891A
Application number: JP2006058365A
Authority: JP
Inventors: Toshiro Yamaguchi; 利朗山口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-03-03
Filing date: 2006-03-03
Publication date: 2007-09-13
Anticipated expiration: 2026-03-03
Also published as: JP4785564B2

Abstract

【課題】固体撮像素子の画素欠陥の補正をより効果的に且つローコストに行なえるようにする。
【解決手段】欠陥画素列の水平方向アドレスと、欠陥レベルとを検出する欠陥検出部１３，１８と、撮像素子の温度を検出する温度検出センサ１９と、欠陥検出処理時における、撮像素子の感度と、欠陥画素列の水平方向アドレスと、欠陥レベルと、撮像素子の温度とを記憶する記憶部１６と、撮影時における撮像素子の感度と、撮像素子の温度と、記憶部に記憶されている欠陥レベルとに基づいて、撮影時に欠陥画素列において発生すると予想される予想欠陥レベルを算出する演算部１８と、撮像素子を用いた撮影時に、欠陥画素列の信号から予想欠陥レベルの信号を減算する欠陥補正処理を行なう欠陥補正部とを具備する。
【選択図】図１

Description

本発明は、固体撮像素子における画素欠陥を補正する技術に関するものである。

従来の固体撮像素子の画素欠陥の補正方法としては、特開平５−６８２０９号公報（特許文献１）に開示されているような方法が知られている。この方法では、固体撮像素子の画素欠陥部を画素欠陥検出手段により検出し、検出した欠陥画素のアドレスをＲＯＭ、ＲＡＭなどの記憶手段に記憶し、撮影時に欠陥画素部の周辺画素情報により補間を行っている。

また、垂直方向の連続的な画素の補正方法としては、特開２００４−２３６８３号公報（特許文献２）に開示されているような方法が知られている。この方法では、縦線キズの先頭座標のみをＲＯＭに記録しておき、周辺画像領域が輝度変化や色変化の少ない画像特徴を有している場合には、縦線キズが目立ちやすいため、同色の周辺４画素の平均値で当該欠陥画素の値を置換している。

また、撮影画像の垂直方向後方のＯＢ（オプティカルブラック）列あるいはダミー画素列の信号量を検出し、検出した信号量を有効画素部の列から減算する手法も知られている。この手法は、垂直転送路の欠陥による垂直方向の欠陥画素列、すなわち縦線キズの補正方法にも用いられている。
特開平５−６８２０９号公報特開２００４−２３６８３号公報

しかしながら、特許文献１に開示されている手法では、検出したアドレスをＲＯＭ、ＲＡＭなどの記憶手段に記憶させている。そのため、縦線キズのような連続したキズが多数存在する撮像素子においては、欠陥画素のアドレスを保存するＲＯＭ、ＲＡＭの容量が大きく必要になるという問題がある。また、縦線キズに隣接キズがある場合、垂直方向、水平方向どちらからも補間できない場合があるという問題がある。さらに縦線キズは通常の点キズよりもレベルが低い場合が多いため、キズ検出時に検出されにくいという問題もある。

また、特許文献２に開示されている手法では、欠陥画素のアドレスを保存するＲＯＭ、ＲＡＭ容量は小さくなるが、縦線キズに隣接キズがある場合や点キズが同じ箇所に集中した場合、垂直方向、水平方向どちらからも補間できないという問題が同様に発生する。さらに縦線キズと直線状の特定の被写体が重なった場合、補間誤差が発生しやすい。

また、垂直方向の連続的な画素欠陥の補正方法として、撮影画像のＯＢ列あるいはダミー画素列の信号量を検出し、検出した信号量を有効画素部の列の信号から減算することにより補正を行う手法では、次のような問題がある。すなわち、この手法では、縦線キズは補正可能となるが、撮影画像のＯＢ列あるいはダミー画素列の信号量を検出する際、ノイズ除去あるいは平均化のために多くの行のデータが必要となり、フレームレートが低下してしまう。また、高輝度被写体撮影時等にスミアが発生した場合にはスミアも補正することになるため、次のような問題が発生する。すなわち、高輝度被写体が動いたり、固体撮像装置が動いた場合に、補正対象の列に遅れが発生し、補正する必要のない列を補正する過補正が発生することがあり、画像上に黒い縦筋が現れる現象が発生してしまうことがある。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、固体撮像素子の画素欠陥の補正をより効果的に且つローコストに行なえるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる欠陥補正装置は、画面内の垂直方向に延びる欠陥画素列を有する撮像素子の、前記欠陥画素列の信号を補正するための欠陥補正装置であって、前記欠陥画素列の水平方向アドレスと、前記欠陥画素列の欠陥に起因して発生する信号レベルである欠陥レベルとを検出する欠陥検出手段と、前記撮像素子の温度を検出する温度検出手段と、前記欠陥検出手段による欠陥検出処理時における、前記撮像素子の感度と、前記欠陥画素列の水平方向アドレスと、前記欠陥レベルと、前記撮像素子の温度とを記憶する記憶手段と、前記撮像素子を用いた撮影時における前記撮像素子の感度と、前記撮像素子の温度と、前記記憶手段に記憶されている前記欠陥レベルとに基づいて、撮影時に前記欠陥画素列において該欠陥画素列の欠陥に起因して発生すると予想される信号レベルである予想欠陥レベルを算出する演算手段と、前記撮像素子を用いた撮影時に、前記水平方向アドレスに対応する画素列の信号から前記予想欠陥レベルの信号を減算する欠陥補正処理を行なう欠陥補正手段と、を具備することを特徴とする。

また、本発明に係わる欠陥補正方法は、画面内の垂直方向に延びる欠陥画素列を有する撮像素子の、前記欠陥画素列の信号を補正するための欠陥補正方法であって、前記欠陥画素列の水平方向アドレスと、前記欠陥画素列の欠陥に起因して発生する信号レベルである欠陥レベルを検出する欠陥検出工程と、前記撮像素子の温度を検出する温度検出工程と、前記欠陥検出工程における、前記撮像素子の感度と、前記欠陥画素列の水平方向アドレスと、前記欠陥レベルと、前記撮像素子の温度とを記憶する記憶工程と、前記撮像素子を用いた撮影時における前記撮像素子の感度と、前記撮像素子の温度と、前記記憶工程において記憶されている前記欠陥レベルとに基づいて、撮影時に前記欠陥画素列において該欠陥画素列の欠陥に起因して発生すると予想される信号レベルである予想欠陥レベルを算出する演算工程と、前記撮像素子を用いた撮影時に、前記水平方向アドレスに対応する画素列の信号から前記予想欠陥レベルの信号を減算する欠陥補正処理を行なう欠陥補正工程と、を具備することを特徴とする。

本発明によれば、固体撮像素子の画素欠陥の補正をより効果的に且つローコストに行なうことが可能となる。

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる固体撮像装置、ここではデジタルスチルカメラの構成を示すブロック図である。

まず、図１の各部の機能について説明する。図１において、１０は固体撮像装置であり、本実施形態ではデジタルスチルカメラである。固体撮像装置１０の内部の機能を詳述すると、１２は光を電気信号に変換する固体撮像素子であり、本実施形態ではＣＣＤである。１１は被写体からの光をＣＣＤ１２へ集光するレンズ、１３はＣＣＤ１２から出力されるアナログ映像信号をデジタル画像信号へ変換する画像処理回路、１４はＣＣＤ１２を駆動させるパルスを発生するタイミングジェネレーターである。１５は撮影データ、調整データ、画像データ等を記憶する第１の記憶部であり、ここではＲＡＭである。１６は調整データを記憶する第２の記憶部であり、ここではＲＯＭである。１７はデジタルスチルカメラ１０から取り外し可能な撮影画像記録媒体、ここではコンパクトフラッシュ（登録商標）カードで、第１の記憶部１５に一時的に記録された画像データが最終的に記録される。１８は固体撮像装置１０の全機能を制御する制御部であり、ここではＣＰＵである。１９は固体撮像素子１２の周辺温度を測定するサーミスタである。

次に、本実施形態の撮像装置の動作の流れを図３、図４のフローチャートを参照して説明する。

本実施形態では、撮像装置の工場出荷前に固体撮像素子の縦線キズのアドレスとレベルを検出する調整工程が必要となる。図３は調整工程を示したフローチャートである。本実施形態は、ライブビューモード、または動画撮影時の縦線キズ補正に好適であるため、本実施形態では動画撮影の場合を例に挙げて説明する。なお、ライブビューモードにおいても、同様な構成で同様な効果が得られる。

まず、調整を開始すると(ステップＳ１０１)、固体撮像素子１２の縦線キズのアドレス及びレベルを正確に検出するために、スミアの発生しないダーク画像の撮影を開始する(ステップＳ１０２)。

次に、撮影開始時に第１の記憶部１５の撮影データメモリエリアに動画撮影条件を記録する。即座に第１の記憶部１５の撮影データメモリエリアから、撮影感度情報を制御部１８が取得する(ステップＳ１０３)。撮影時の感度は、縦線キズを検出しやすい高感度に設定する方が望ましい。

さらにサーミスタ１９から制御部１８の制御により固体撮像素子１２の周辺温度を取得する(ステップＳ１０４)。サーミスタの位置は固体撮像素子１２の画素部により近い方が好ましい。

次に、動画画像１フレームのＯＢ（オプティカルブラック）部またはダミー画素部の信号を測定することにより、縦線キズのアドレス及びキズレベル（画素の欠陥に起因して発生する信号レベル）の測定を行う(ステップＳ１０５)。縦線キズのアドレス及びキズレベルの測定は、画像処理回路１３と制御部１８により行なわれる。また、これらの測定された縦線キズのアドレス及びキズレベルは、第２の記憶部１６に記憶される。

図２はＯＢ部またはダミー画素部を測定する手法を表した図で、縦線キズが発生した場合の素子構成図である。縦線キズは、垂直転送部の欠陥により発生するもので、図２の様に同列の全画素に同程度のレベルのオフセットが発生する。このオフセット量は同様に下ＯＢ部ｂ、ダミー画素部ｃにも発生する。本実施形態では、各撮影感度毎に予め縦線キズが実使用上問題とならないオフセットの最大値を設定し、その値を基準値Ｓ(ＬＳＢ：Least Significant Bit)とする。そして、動画画像１フレームのダミー画素部ｃの有効画素部全列の内の各列についてダミー画素部加算平均値Ｌcから右ＯＢ部ｄの加算平均値Ｌdを減算する。すなわち、
Ｌc−Ｌd＝Ｌ (ＬＳＢ)
を計算し、その値Ｌと基準値Ｓとを比較する(ステップＳ１０６)。比較の結果、全列がＬ≦Ｓの場合、縦線キズ無しと判定し、縦線キズ調整を終了する(ステップＳ１０７)。比較の結果、Ｌ＞Ｓの列が１つでもある場合、縦線キズ有りと判断し、該当する列全てのＸ軸アドレス（水平方向アドレス）および縦線キズレベルＬ(ＬＳＢ)を調整用の第２の記憶部１６に記憶させる(ステップＳ１０８)。以上により縦線キズの調整は完了となる。

次に、動画撮影時の線キズ補正の第１の実施形態を図４のフローチャートを参照して説明する。

まず撮影者が動画撮影を開始(ステップＳ２０１)すると同時に、撮影時の撮影条件を取得する。具体的には縦線キズのレベルに影響を与える撮影時の感度情報と固体撮像素子１２の温度情報を取得し第１の記憶部１５の撮影データメモリエリアに記憶させる(ステップＳ２０２、ステップＳ２０３)。撮影条件取得後、工場での縦線キズ調整で取得した、調整時の固体撮像素子１２の温度情報、縦線キズのアドレス情報、縦線キズレベル情報を第２の記憶部１６の調整データメモリエリアから読み取る。そして、動画撮影時の撮影感度情報、固体撮像素子１２の温度情報から、現在発生している縦線キズレベルを、キズレベルは温度上昇約１０°で倍に変化するという原理により以下の式で近似的に算出する（ステップＳ２０４）。

すなわち、縦線キズ調整時の固体撮像素子の温度をＴt（℃）、縦線キズ調整時の縦線キズレベルをＬt(ＬＳＢ)、撮影時の固体撮像素子の温度をＴc（℃）とすると、撮影時の縦線キズレベルＬc (ＬＳＢ) は、次のように表わされる。

Ｌc＝２^{(（Ｔc−Ｔt）／１０)}×Ｌt
撮影時の縦線キズレベルＬcを算出後、縦線キズアドレスの有効画素部ａの列の全画素それぞれから縦線キズレベルＬc(ＬＳＢ)を減算することで縦線キズ補正を行う。縦線キズ調整時に縦線キズが複数あった場合、それぞれの縦線キズアドレスに対してステップＳ２０４、ステップＳ２０５を動画撮影が終了するまで継続して行う(ステップＳ２０６、ステップＳ２０７)。

なお、動画撮影の毎フレーム毎にステップＳ２０２〜ステップＳ２０６を行うことが理想であるが、補正に影響を与えない程度に定期的に行っても構わない。

（第２の実施形態）
第１の実施形態では、縦線キズ調整時に検出されたアドレス全てを撮影時の条件にかかわらず常時補正する例を示したが、縦線キズは温度によりレベルが上昇するため、撮影時の固体撮像素子の温度が低い場合には補正が不必要な場合もある。第２の実施形態では、図５のフローチャートを参照してその手法を説明する。

図５のステップＳ３０１〜ステップＳ３０４は第１の実施形態を示す図４のステップＳ２０１〜ステップＳ２０４と同様である。すなわち、撮影時の感度情報と固体撮像素子１２の温度情報を取得し、第１の記憶部１５の撮影データメモリエリアに記憶させる(ステップＳ３０２、ステップＳ３０３)。次に、工場での縦線キズ調整で取得した、調整時の固体撮像素子温度Ｔt（℃）、縦線キズのアドレス情報、縦線キズレベルＬt(ＬＳＢ)を第２の記憶部１６の調整データメモリエリアから読み取る。そして、動画撮影時の撮影感度情報、固体撮像素子の温度Ｔc（℃）から、現在発生している縦線キズレベルＬc (ＬＳＢ)を以下の式で近似的に算出する(ステップＳ３０４)。

Ｌc＝２^{(（Ｔc−Ｔt）／１０)}×Ｌt
撮影時の縦線キズレベルＬc(ＬＳＢ)を算出後、縦線キズレベルＬc(ＬＳＢ)を各撮影感度毎に設定された縦線キズが実使用上問題とならない最大値である基準値Ｓ(ＬＳＢ)と比較する。縦線キズ調整時に縦線キズが検出された全アドレスがＬc≦Ｓの場合、縦線キズ補正は必要無しと判定し、縦線キズ補正を行わずに撮影完了まで撮影を行う(ステップＳ３０７、ステップＳ３０８)。縦線キズ調整時に縦線キズが検出されたアドレスのうち一つでもＬc＞Ｓの場合、対象のアドレスは縦線キズ補正が必要と判定する。そして、第１の実施形態のステップＳ２０５〜ステップＳ２０７を同様に動画撮影終了まで継続的に行い、縦線キズを補正する(ステップＳ３０９)。

（第３の実施形態）
撮像素子によっては、素子の垂直転送路に光が入り込むことにより生じるスミアが発生するものがあり、縦線キズと同様に垂直方向に一定レベルのオフセットが発生する。しかし、縦線キズと高輝度被写体撮影時のスミア発生レベルを比較した場合、縦線キズのレベルは小さく、スミアのレベルは非常に大きくなる可能性がある。そのため、縦線キズが発生している列、スミアが発生している列それぞれを判別し、それぞれの列に適した補正を行う必要がある。第３の実施形態では、スミア発生時の縦線キズ補正方法を図６のフローチャートを参照して説明する。

まず縦線キズ調整時に行った図３のステップＳ１０５と同様に、動画撮影開始時にＯＢ部あるいはダミー画素部の加算平均値算出を行なう。しかし、ステップＳ４０２では縦線キズ調整時に縦検出されたアドレスのみではなく、動画撮影画像の全列それぞれの加算平均値Ｂ(ＬＳＢ)を算出する(ステップＳ４０２)。算出方法は、第１の実施形態と同様で、
Ｂc−Ｂd＝Ｂ(ＬＳＢ)
とする。

次に、図４のステップＳ２０２からステップＳ２０４と同様に、撮影時の感度情報と固体撮像素子の温度情報を取得し、第１の記憶部１５の撮影データメモリエリアに記憶させる(ステップＳ４０３、ステップＳ４０４)。次に、工場での縦線キズ調整で取得した、調整時の固体撮像素子の温度Ｔt（℃）、縦線キズのアドレス情報、縦線キズレベルＬt(ＬＳＢ)を第２の記憶部１６の撮影データメモリエリアから読み取る。そして、動画撮影時の撮影感度情報、固体撮像素子の温度Ｔc（℃）から現在発生している縦線キズレベルＬc (ＬＳＢ)を以下の式で近似的に算出する(ステップＳ４０５)。

Ｌc＝２^{(（Ｔc−Ｔt）／１０)}×Ｌt
縦線キズレベルＬc (ＬＳＢ)を算出後、Ｌc (ＬＳＢ)と全列のＢ(ＬＳＢ)を比較する(ステップＳ４０６)。全列においてＬc≦α×Ｂの場合、スミアが発生していないと判定し、第１の実施形態のステップＳ２０５〜ステップＳ２０７を同様に動画撮影終了まで継続的に行ない、縦線キズ補正対象アドレスの縦線キズ補正を行う(ステップＳ４０７)。なおαはＬc(ＬＳＢ)を近似的に算出する際に発生する誤差を吸収する係数で１.５〜２.０程度が望ましい。

一方、全アドレスのうち一つでもＬc＞α×Ｂの場合、スミアが発生していると判断する(ステップＳ４０８)。そして、縦線キズ補正対象のアドレスでは、（対象アドレスがＬc≦α×Ｂの場合）図４のステップＳ２０５〜ステップＳ２０７と同様に動画撮影終了まで継続的に縦線キズ補正を行い、Ｌc＞α×Ｂである対象のアドレスではスミア補正を行なう。補正方法は、Ｌc＞α×Ｂに該当するスミア補正対象列の有効画素部ａからＢ(ＬＳＢ)を減算することによって行なう(ステップＳ４０９)。ただし、スミア発生時に高輝度被写体が移動した場合、またはデジタルスチルカメラが手ぶれ、移動した場合、本来補正すべき画素列に時間差によるずれが生じる。これにより、画像には過減算による黒い縦スジが発生する。そのため、スミア補正の減算量Ｂは、太陽光源以外の比較的弱い光源で発生するスミアを補正可能とするように、ある程度の上限を持たせる方が好ましい。

以上の動作を本実施形態では動画撮影中の毎フレームで行うが、ステップＳ４０２〜ステップＳ４１０に関しては毎フレームではなく、補正に影響を与えない程度に一定周期で行っても構わない。

以上説明した通り、第１及び第２の実施形態では、縦線キズ調整時の固体撮像素子の温度情報、縦線キズのアドレス情報、縦線キズレベル情報、動画撮影時の撮影感度情報、固体撮像素子の温度情報、から現在発生している縦線キズレベルを算出する。これにより、動画撮影中のＯＢ列あるいはダミー画素列の信号量検出時間によるフレームレートの低下が発生することなく、また縦線キズ補正誤差の少ない良好なライブビュー画像、動画の撮影が可能となる。

また、第３の実施形態によれば、スミアの発生量に応じて縦線キズ補正とスミア補正を切り替えることにより、縦線キズ補正とスミア補正の両立が可能となる。また、高輝度被写体撮影時においても、補正上限値が制限されるため、高輝度被写体が移動した場合、またはデジタルスチルカメラが手ぶれ、移動した場合に発生する黒い縦スジが軽減可能となる。この結果、良好なライブビュー画像、動画の撮影が可能となる。

本発明の実施形態に係わる撮像装置の構成を示す機能ブロック図である。縦線キズ発生例を表す固体撮像素子の構成図である。縦線キズ調整の流れを示すフローチャートである。第１の実施形態における撮影中の補正動作を示すフローチャートである。第２の実施形態における撮影中の補正動作を示すフローチャートである。第３の実施形態における撮影中の補正動作を示すフローチャートである。

符号の説明

１０撮像装置
１１レンズ
１２固体撮像素子
１３画像処理回路
１４タイミングジェネレーター
１５第１の記憶部
１６第２の記憶部
１７記録媒体
１８制御部
１９サーミスタ

Claims

画面内の垂直方向に延びる欠陥画素列を有する撮像素子の、前記欠陥画素列の信号を補正するための欠陥補正装置であって、
前記欠陥画素列の水平方向アドレスと、前記欠陥画素列の欠陥に起因して発生する信号レベルである欠陥レベルとを検出する欠陥検出手段と、
前記撮像素子の温度を検出する温度検出手段と、
前記欠陥検出手段による欠陥検出処理時における、前記撮像素子の感度と、前記欠陥画素列の水平方向アドレスと、前記欠陥レベルと、前記撮像素子の温度とを記憶する記憶手段と、
前記撮像素子を用いた撮影時における前記撮像素子の感度と、前記撮像素子の温度と、前記記憶手段に記憶されている前記欠陥レベルとに基づいて、撮影時に前記欠陥画素列において該欠陥画素列の欠陥に起因して発生すると予想される信号レベルである予想欠陥レベルを算出する演算手段と、
前記撮像素子を用いた撮影時に、前記水平方向アドレスに対応する画素列の信号から前記予想欠陥レベルの信号を減算する欠陥補正処理を行なう欠陥補正手段と、
を具備することを特徴とする欠陥補正装置。
前記欠陥補正手段は、前記予想欠陥レベルが予め定められた閾値レベル以下の場合に、前記補正処理を行なわないことを特徴とする請求項１に記載の欠陥補正装置。
前記撮像素子の垂直方向画素列で発生するスミアを補正するスミア補正手段と、前記撮像素子を用いた撮影時に、前記予想欠陥レベルと、前記撮像素子に設けられているオプティカルブラック部とダミー画素部の信号とに基づいて、前記スミア補正手段によるスミア補正と前記欠陥補正手段による欠陥補正処理とを切り替える制御手段とをさらに具備することを特徴とする請求項１に記載の欠陥補正装置。
画面内の垂直方向に延びる欠陥画素列を有する撮像素子の、前記欠陥画素列の信号を補正するための欠陥補正方法であって、
前記欠陥画素列の水平方向アドレスと、前記欠陥画素列の欠陥に起因して発生する信号レベルである欠陥レベルを検出する欠陥検出工程と、
前記撮像素子の温度を検出する温度検出工程と、
前記欠陥検出工程における、前記撮像素子の感度と、前記欠陥画素列の水平方向アドレスと、前記欠陥レベルと、前記撮像素子の温度とを記憶する記憶工程と、
前記撮像素子を用いた撮影時における前記撮像素子の感度と、前記撮像素子の温度と、前記記憶工程において記憶されている前記欠陥レベルとに基づいて、撮影時に前記欠陥画素列において該欠陥画素列の欠陥に起因して発生すると予想される信号レベルである予想欠陥レベルを算出する演算工程と、
前記撮像素子を用いた撮影時に、前記水平方向アドレスに対応する画素列の信号から前記予想欠陥レベルの信号を減算する欠陥補正処理を行なう欠陥補正工程と、
を具備することを特徴とする欠陥補正方法。
前記欠陥補正工程では、前記予想欠陥レベルが予め定められた閾値レベル以下の場合に、前記補正処理を行なわないことを特徴とする請求項４に記載の欠陥補正方法。
前記撮像素子の垂直方向画素列で発生するスミアを補正するスミア補正工程と、前記撮像素子を用いた撮影時に、前記予想欠陥レベルと、前記撮像素子に設けられているオプティカルブラック部とダミー画素部の信号とに基づいて、前記スミア補正工程によるスミア補正と前記欠陥補正工程による欠陥補正処理とを切り替える制御工程とをさらに具備することを特徴とする請求項４に記載の欠陥補正方法。