JP2008283620A - 固体撮像装置 - Google Patents

Abstract

【課題】比較的広範囲にわたる感度ムラを検出し、感度異常画素の検出および感度補正精度を高めることができる固体撮像装置を得る。
【解決手段】赤外線固体撮像素子１のほぼ均一な温度を有する被写体を撮像したときの画素データに対しオフセット及び感度補正を経て補正後画素データを得る固体撮像装置において、画素の各々について複数フレームに亘り積分して積分画素出力を算出するフレームメモリ積分器８、数画素単位の狭い検出領域を制御してオフセット異常画素のアドレスを特定するオフセット異常検出手段（１０−１４）、数十画素単位の比較的広い検出領域を制御して感度異常画素のアドレスを特定する感度異常検出手段（１５−１９）、前記補正後画素データに対し、特定されたオフセット異常アドレス・感度異常画素アドレスを他の画素の出力から導出した代替値により代替させて補正後の画素データを出力する欠陥補正手段６を備えた。
【選択図】図１

Description

この発明は、撮像用のデバイスとして固体撮像素子を用いた赤外線カメラ等の固体撮像装置に関するものである。

固体撮像素子においては、各画素において感度ばらつき及び欠陥画素が存在し、それぞれの補正回路が存在する。このような感度ばらつき及び欠陥画素を補正するシステムの一例としては、均一温度を有する被写体を撮像し、その結果得られる撮像出力について固体撮像素子における画素間の出力オフセット及び感度差を補正する処理を、複数フレームにわたり実行し、フレーム中における出力値変動の規模または頻度が判定基準を上回った画素を持って点滅欠陥画素として特定する技術が知られている（例えば、特許文献１参照）。

特開２００３−２９８９４９号公報（図１）

しかしながら、上記特許文献１に記載の手法では、オフセット補正、感度補正、固定欠陥補正を実施する際、検出エリアをあるウィンドウ内での平均、標準偏差の閾値を設定し、各画素を比較することにより対象画素の検出を実施してきた。この際、検出エリアは、通常ではシェーディングによる影響を少なくするため数画素単位といった比較的狭いエリアとすることが多い。

このため、数画素単位といった狭いエリアにて検出することにより、検出エリアより大きい比較的広範囲にわたる感度ムラがあった場合、感度異常画素が検出できないことになる。検出できなかった広範囲にわたる感度ムラ部分は、例えば感度補正ズレ量が多くなり、固定パターンノイズが増加することになる。

この発明は上述した従来例における問題点を解消することを課題としてなされたものであり、赤外線カメラ等の固体撮像装置にて使用される固体撮像素子における比較的広範囲にわたる感度ムラを検出し、感度異常画素の検出および感度補正精度を高めることができる固体撮像装置を得ることを目的としている。

この発明に係る固体撮像装置は、２次元的に配置された複数の画素から構成される赤外線固体撮像素子の画角ほぼ全体に亘りほぼ均一な温度を有する被写体を撮像したときの前記赤外線固体撮像素子からの補正前画素データに対しオフセット補正処理及び感度補正処理を経て補正後画素データを得るようにした固体撮像装置において、前記画素の各々について、前記画素が呈する出力を複数フレームに亘り積分して積分画素出力を算出するフレームメモリ積分器と、数画素単位の狭い検出領域を制御して前記積分画素出力を用いてオフセット異常画素のアドレスを特定するオフセット異常検出手段と、数十画素単位の比較的広い検出領域を制御して前記積分画素出力を用いて感度異常画素のアドレスを特定する感度異常検出手段と、前記補正後画素データに対し、前記オフセット異常検出手段及び前記感度異常検出手段により特定されたオフセット異常アドレスおよび感度異常画素アドレスを他の画素の出力から導出した代替値により代替させて補正後の画素データを出力する欠陥補正手段とを備えたことを特徴とする。

この発明によれば、比較的広範囲にわたる感度ムラ部分を検出できるようになり、感度補正による補正ズレ量が少なくなり、固定パターンノイズが減少する。より最適な補正が実施できる。

以下、この発明の好適な実施の形態に関し図面に基づき説明する。各実施の形態同士で同様の構成には互いに同一符号を付し、重複説明を省略する。

実施の形態１．
図１は、この発明の実施の形態１に係る固体撮像装置としての赤外線カメラ１００の構成を示すブロック図である。赤外線カメラ１００は、赤外線固体撮像素子（以下、単に固体撮像素子という）１と、この固体撮像素子１の画角ほぼ全体に亘りほぼ均一な温度を有する被写体（図示せず）を撮像したときの固体撮像素子１からの補正前画素データ１０１を利用して後述するオフセット補正データ記憶手段３に記憶されているオフセット補正データに従い画素間の出力オフセットを補正してオフセット補正後画素撮像出力１０２を出力するオフセット補正手段２と、オフセット補正処理する際のオフセット補正データを予め記憶するオフセット補正データ記憶手段３と、被写体の温度変化による各画素の撮像出力の変化を利用して後述する感度補正データ記憶手段５に記憶されている感度補正データに従い画素間の感度差を補正して感度補正処理を経た感度補正後画素撮像出力１０３を出力する感度補正手段４と、感度補正データを記憶する感度補正データ記憶手段５と、後述する欠陥補正データ記憶手段７に記憶されている欠陥補正データに従い欠陥画素に係る出力を他の画素の出力から導出した代替値により代替して補正後画素データ１０６を出力する欠陥補正手段６と、欠陥補正データを記憶する欠陥補正データ記憶手段７とを備える。

また、赤外線カメラ１００は、オフセット異常画素検出手段として、オフセット補正手段２からの出力オフセット補正が施されたオフセット補正後画素撮像出力１０２が書き込まれたフレームメモリにおいて、それぞれの画素の位置ごとにデータを読み出して全画面分フレーム積分し、積分画素出力１０８を出力するフレームメモリ積分器８と、積分画素出力１０８を用いてオフセット異常画素アドレスデータを求める際に、隣接画素の検出範囲として数画素単位の比較的狭い領域を設定して周辺画素輝度データ１１０を出力する検出領域制御手段１０と、積分画素出力１０８及び周辺画素輝度データ１１０を用いて検出対象画素を除いた周辺画素の平均輝度データ１１１を計算する周辺画素輝度平均値算出手段１１と、周辺画素の平均輝度データ１１１を基準として検出対象画素の輝度差が一定の比率内かどうかを判定するための閾値を計算する輝度閾値算出手段１２と、積分画素出力１０８と周辺画素の平均輝度データ１１１との差分の大きさを、算出した平均値閾値データ１１２と比較して輝度比較／判定データ１１３を出力する周辺画素輝度比較／判定器１３と、輝度比較／判定データ１１３に基づいてオフセット異常画素アドレスデータ１１４を記憶手段７に出力するオフセット異常画素アドレス算出手段１４とを備える。

さらに、赤外線カメラ１００は、感度異常画素検出手段として、フレームメモリ積分器８からの積分画素出力１０８を用いて感度異常画素アドレスデータを求める際に、隣接画素の検出範囲として数十画素単位の比較的広い領域を設定して周辺画素感度データ１１５を出力する検出領域制御手段１５と、積分画素出力１０８及び周辺画素感度データ１１５を用いて検出対象画素を除いた周辺画素の平均感度データ１１６を計算する周辺画素感度平均値算出手段１６と、周辺画素の平均感度データ１１６を基準として検出対象画素の感度差が一定の比率内かどうかを判定するための閾値を計算する感度閾値算出手段１７と、積分画素出力１０８と周辺画素の平均感度データ１１７との差分の大きさを、算出した平均値感値データ１１７と比較して感度比較／判定データ１１８を出力する周辺画素感度比較／判定器１８と、感度比較／判定データ１１８に基づいて感度異常画素アドレスデータ１１９を記憶手段７に出力する感度異常画素アドレス算出手段１９とを備える。

固体撮像素子１を用いる赤外線カメラ１００等の撮像装置では、図１に一例を示すように、オフセット補正手段２、感度補正手段４及び欠陥補正手段６による、オフセット補正、感度補正、欠陥補正等の処理を、赤外線固体撮像素子１からの補正前画素データ１０１に施す。被写体から到来する光線のうち、主として赤外線領域に属する光線が、赤外線固体撮像素子１により捕らえられる。固体撮像素子１は、二次元的に配置された多数の画素から構成され、各画素にはそれぞれの画素の位置（ｘ、ｙ）を示すアドレスが付されており、各画素はそれぞれ赤外線の受光強度に応じた出力を呈する。この各画素出力については、図１の赤外線カメラでは、（１）オフセット補正、（２）感度補正、（３）欠陥補正の順で、補正処理が施される。

まず、画素間には、出力値のずれ（出力オフセット）が生じうる。出力オフセットを示すデータを固体撮像素子１の画素配列に従って配列すると、画素間の出力オフセットが画素配列上でどのようなパターンを有しているかがわかる。出力オフセットが画素配列上で有しているパターンをオフセットパターンと呼ぶ。オフセットパターンは、例えば、赤外線固体撮像素子１の画角のほぼ全体に亘って均一な温度を有する物体を被写体として撮像を行ったときの赤外線固体撮像素子１の出力から得ることができ、製造の初期段階でＲＯＭ（Read Only Memory）等に入れられている。

オフセット補正処理とは、オフセット補正データ記憶手段３に予め記憶させておいたオフセットパターンに従い、通常使用時における赤外線固体撮像素子１の撮像出力から、画素間の出力オフセットを除去又は抑圧する処理であり、オフセット補正手段２により実行される。なお、オフセット補正処理に使用されるオフセットパターンを、オフセット補正パターンと呼ぶ。また、均一温度被写体を撮像しその結果得られるオフセット補正パターンをオフセット補正データ記憶手段３に記憶させる処理をキャリブレーションと呼ぶ。

オフセット補正手段２によりオフセット補正処理を経たオフセット補正後画素撮像出力１０２には、画素間の感度差が残っている。全画面（全画素）に亘り均一な出力特性を実現するため、オフセット補正手段２を経たオフセット補正後画素撮像出力１０２に感度補正係数ΔＶａｖｅ／ΔＶ（ｘ，ｙ）を乗ずる感度補正処理が、感度補正手段４により実行される。ここで、（ｘ，ｙ）は画素の位置、ΔＶ（ｘ，ｙ）は温度による出力変化分即ちオフセット差分値、ΔＶａｖｅはΔＶ（ｘ，ｙ）の全画面平均値である。なお、ΔＶ（ｘ，ｙ）は、例えば、任意温度Ｔを有する物体を被写体としたときのオフセットパターンと、他の任意温度Ｔ＋ΔＴを有する物体を被写体としたときのオフセットパターンから、求めることができる。ΔＶａｖｅは、そのようにして求めたΔＶ（ｘ，ｙ）を全画面（全画素）に亘り平均することにより得ることができ、製造の初期段階でＲＯＭ等に入れられている。

オフセット補正処理及び感度補正処理を経た感度補正後画素撮像出力１０３は、更に、オフセット異常画素検出手段及び感度異常画素検出手段による欠陥画素検出と、欠陥補正手段６による欠陥補正処理が施される。欠陥補正手段６による欠陥補正処理は、異常出力を呈する画素である欠陥画素について、その画素の出力に代えて代替値を後段に供給する処理であり、代替値としては、例えばその欠陥画素を取り巻く周囲の画素の平均出力を用いる。

この欠陥補正処理を行うためには、欠陥画素を検出する必要がある。まず、欠陥画素のうちオフセット異常画素検出手段によるオフセット異常画素の検出について説明する。図３に、オフセット異常画素および感度異常画素を検出する際の周辺画素のイメージ図を示す。

フレームメモリ積分器８は、出力オフセット補正が施されたオフセット補正後画素撮像出力１０２が書き込まれたフレームメモリにおいて、それぞれの画素の位置（ｘ，ｙ）ごとにデータを読み出して全画面分フレーム積分（ここでは、フレーム積分回数ｎを例えばｎ＝１２８回とした）し、積分画素出力Ｖｎ（ｘ，ｙ）１０８を出力する。

隣接画素輝度平均値算出手段１１は、積分画素出力Ｖｎ（ｘ，ｙ）１０８を用いて、それぞれの画素の位置（ｘ，ｙ）に対して、周辺画素の平均輝度データ１１１を計算する。ここで、隣接画素の検出範囲として数画素単位の比較的狭い領域を検出領域制御手段１０にて設定し、例えば周辺画素を検出対象画素の周辺の３×３画素とした場合、隣接画素平均値算出手段１１は、検出対象画素を除いた周辺の８画素の平均輝度データ１１１を計算する。周辺の３×３画素とは、図３で示した周辺画素のイメージ図において検出対象画素の位置を（ｘ_ｉ，ｙ_ｊ）とすると、その周辺のドット部分で示したｓ×ｔ画素領域、８画素のことをいう。検出領域制御手段１０は、隣接画素の検出範囲として画面全体に渡るシェーディング成分の影響を受けにくくするために数画素単位の比較的狭い領域が選定される。

次に、輝度閾値算出手段１２は、周辺画素の平均輝度データ１１１を基準として、検出対象画素の輝度差が一定の比率内かどうかを判定するための閾値を計算する。このときの比率を閾値係数εとすると、例えば、周辺画素平均値に対して５０％を閾値とした場合、閾値は、周辺画素の平均輝度データ１１１×ε（ε＝０．５）となり、ここで算出した閾値を平均値閾値データ１１２として出力する。

次に、周辺画素輝度比較／判定器１３は、積分画素出力Ｖｎ（ｘ，ｙ）１０８と、周辺画素の平均輝度データ１１１との差分の大きさを、算出した平均値閾値データ１１２と比較する。比較の結果、平均値閾値データ１１２範囲内に属していない出力を呈した画素を以て、オフセット異常画素として特定する。また、比較の結果、平均値閾値データ１１２内に属している場合は、次の画素（ｘ_ｉ＋１，ｙ_ｊ＋１）について同様にして判定を行う。

次に、欠陥画素のうち感度異常画素検出手段による異常な感度を有する固定欠陥画素の検出について説明する。フレームメモリ積分器８は、オフセット補正後画素撮像出力１０２が書き込まれたフレームメモリの全画面分フレーム積分（ここでは、フレーム積分回数ｎを例えばｎ＝１２８回とした）し、積分画素出力Ｖｎ（ｘ，ｙ）１０８を出力する。

周辺画素感度平均値算出手段１６は、積分画素出力Ｖｎ（ｘ，ｙ）１０８を用いて、それぞれの画素の位置（ｘ，ｙ）に対して、周辺画素の平均感度データ１１６を計算する。ここで、隣接画素の検出範囲として数十画素単位の比較的広い領域を検出領域制御手段１５にて設定し、例えば周辺画素を検出対象画素の周辺の１５×１５画素とした場合、隣接画素感度平均値算出手段１６は、検出対象画素を除いた周辺の２２４画素の平均感度データ１１６を計算する。周辺の１５×１５画素とは、図３で示した周辺画素のイメージ図において検出対象画素の位置を（ｘ_ｉ，ｙ_ｊ）とすると、その周辺のＰ×Ｑ画素領域、２２４画素のことをいう。検出領域制御手段１５は、隣接画素の検出範囲として広域に渡る感度ムラ領域を検出するために数十画素単位の比較的広い領域が選定される。

次に、感度閾値算出手段１７は、周辺画素の平均感度データ１１６を基準として検出対象画素の感度補正範囲が一定の比率内かどうかを判定するための閾値を計算する。このときの比率を感度異常閾値係数εとすると、例えば、周辺画素平均値に対して５０％を閾値とした場合、閾値は、周辺画素の平均感度度データ１１６×ε（ε＝０．５）となり、ここで算出した閾値を平均値感度データ１１７として出力する。

次に、周辺画素感度比較／判定器１８は、周辺画素の平均感度データ１１６との差分の大きさを、算出した平均値閾値データ１１７と比較する。比較の結果、平均値閾値データ１１７範囲内に属していない感度を呈した画素を以て、感度異常画素として特定する。また、比較の結果、平均値閾値データ１１７内に属している場合は、次の画素（ｘ_ｉ＋１，ｙ_ｊ＋１）について同様にして判定を行う。

この実施の形態によれば、従来の異常画素判別の隣接画素領域と大きさの異なる判別領域（Ｐ画素×Ｑ画素：Ｐ＞ｍ, Ｑ＞ｎ）を追加し、２つの領域で判別を実施することにより、比較的広範囲にわたるシミ上の感度異常画素に対しても判別できるようになる。

実施の形態２．
図２は、この発明の実施の形態２に係る固体撮像装置としての赤外線カメラ１００の構成を示すブロック図である。図２に示す実施の形態２に係る構成において、図１に示す実施の形態１の構成と異なる点は、実施の形態１の構成に対し、多点感度補正アドレス算出手段２０をさらに設けた点である。

感度異常領域に対して、多点感度補正を実施し、感度補正点を増やすことで感度補正精度を高めることが可能となり、撮像素子の歩留まりを改善できる。

ここで、多点感度補正とは、差温度２点間における直線近似で感度補正を実施するところを、例えば更に中間に１点追加して他領域より細かい直線近似にて感度補正を実施することである。

感度閾値算出手段１７は、周辺画素の平均感度データ１１６を基準として、検出対象画素の感度補正範囲が一定の比率内かどうかを判定するための閾値を計算する。このときの比率を多点補正閾値係数λとすると、感度異常閾値係数εよりも大きい値、例えば、周辺画素平均値に対して７０％を閾値とした場合、閾値は、周辺画素の平均感度データ１１１×ε（ε＝０．７）となり、ここで算出した閾値を平均値閾値データ１２０として出力する。

次に、周辺画素感度比較／判定器１８は、周辺画素の平均感度データ１１６との差分の大きさを、算出した平均値閾値データ１２０と比較する。比較の結果、平均値閾値データ１２０範囲内に属していない感度で感度異常閾値係数εを満たす画素を以て、多点感度補正画素として特定する。特定した画素に対しては多点感度補正を実施する。

この発明の実施の形態１に係る固体撮像装置としての赤外線カメラ１００の構成を示すブロック図である。 この発明の実施の形態２に係る固体撮像装置としての赤外線カメラ１００の構成を示すブロック図である。 この発明の実施の形態１に係る点滅欠陥画素を検出する際の周辺画素のイメージ図である。

符号の説明

１ 赤外線固体撮像素子、２ オフセット補正手段、３ オフセット補正データ記憶手段、４ 感度補正手段、５ 感度補正データ記憶手段、６ 欠陥補正手段、７ 欠陥補正データ記憶手段、８ フレームメモリ積分器、１０ 検出領域制御手段、１１ 周辺画素輝度平均値算出手段、１２ 輝度閾値算出手段、１３ 周辺画素輝度比較／判定手段、１４ オフセット異常画素アドレス算出手段、１５ 検出領域制御手段、１６ 周辺画素感度平均値算出手段、１７ 感度閾値算出手段、１８ 周辺画素感度比較／判定手段、１９ 感度異常画素アドレス算出手段、２０ 多点感度補正アドレス算出手段。

Claims (3)

1. ２次元的に配置された複数の画素から構成される赤外線固体撮像素子の画角ほぼ全体に亘りほぼ均一な温度を有する被写体を撮像したときの前記赤外線固体撮像素子からの補正前画素データに対しオフセット補正処理及び感度補正処理を経て補正後画素データを得るようにした固体撮像装置において、
   前記画素の各々について、前記画素が呈する出力を複数フレームに亘り積分して積分画素出力を算出するフレームメモリ積分器と、
   数画素単位の狭い検出領域を制御して前記積分画素出力を用いてオフセット異常画素のアドレスを特定するオフセット異常検出手段と、
   数十画素単位の比較的広い検出領域を制御して前記積分画素出力を用いて感度異常画素のアドレスを特定する感度異常検出手段と、
   前記補正後画素データに対し、前記オフセット異常検出手段及び前記感度異常検出手段により特定されたオフセット異常アドレスおよび感度異常画素アドレスを他の画素の出力から導出した代替値により代替させて補正後の画素データを出力する欠陥補正手段と
   を備えたことを特徴とする固体撮像装置。
2. 請求項１に記載の固体撮像装置において、
   前記オフセット異常検出手段は、数画素単位の狭い検出領域を設定して周辺画素輝度データを出力する輝度検出領域制御手段と、検出対象画素の周辺画素における前記積分画素の輝度平均を算出する周辺画素輝度平均値算出手段と、前記検出対象画素の前記積分画素出力の値と前記検出対象画素の周辺画素における前記積分画素の輝度平均値との差分をとり、差分の値が予め設定した判定基準を上回った画素を以ってオフセット異常画素アドレスを特定する周辺画素輝度比較／判定器とを備え、
   前記感度異常検出手段は、数十画素単位の比較的広い検出領域を設定して周辺画素感度データを出力する感度検出領域制御手段と、検出対象画素の周辺画素における前記積分画素の感度平均を算出する周辺画素感度平均値算出手段と、前記検出対象画素の前記積分画素の感度値と前記検出対象画素の周辺画素における前記積分画素の感度平均値との差分をとり、差分の値が予め設定した判定基準を上回った画素を以って感度異常画素アドレスを特定する周辺画素感度比較／判定器とを備えた
   ことを特徴とする固体撮像装置。
3. 請求項２に記載の固体撮像装置において、
   前記感度異常検出手段は、検出した領域について多点感度補正を実施する多点感度補正アドレス算出手段をさらに備えた
   ことを特徴とする固体撮像装置。

Images