JP2005328134A - 撮像装置および固体撮像素子の欠陥検出方法 - Google Patents

Abstract

【課題】アイリスを閉じた状態で画素欠陥の検出を行うと、欠陥検出の際に画像が欠落することになるため、常時監視し続ける必要がある監視カメラシステムでは問題となる。
【解決手段】ＣＣＤ型やＣＭＯＳ型などの撮像素子１３を用いてなる撮像装置（カメラ装置）において、レンズ１１が非合焦状態にあるときの撮像素子１３の輝度レベルを用いて欠陥検出回路２４で欠陥検出を行い、その検出した欠陥画素のアドレスをシステムコントローラ２６内に保持し、そのアドレス位置で欠陥補正を行うようにする。
【選択図】図１

Description

本発明は、撮像装置および固体撮像素子の欠陥検出方法に関し、特に固体撮像素子を撮像デバイスとして搭載した撮像装置および当該撮像装置に用いる固体撮像素子の欠陥検出方法に関する。

ＣＣＤ(Charge Coupled Device)イメージセンサや、ＭＯＳ(Metal Oxide Semiconductor)型イメージセンサに代表される固体撮像素子においては、暗時白点、白傷やザラツキの原因になる、いわゆる暗電流が存在し、当該暗電流が画像信号に重畳されるため、画質劣化をきたす。そのため、固体撮像素子を撮像デバイスとして用いるカメラ装置（撮像装置）においては、工場出荷前に、暗電流レベルの大きい画素、即ち欠陥画素が存在するか否かを検出（欠陥検出）し、欠陥画素についてはその出力情報は用いずに、近隣の画素の出力情報を用いて補間することによって欠陥補正を行うようにシステムを構築して出荷することが広く行われている。

しかし、画素の欠陥は、固体撮像素子の製造過程での半導体の構造変化（破壊）によって生じるだけではなく、温度に依存し、また経時変化を伴い、固体撮像素子への熱、あるいは宇宙線などの放射線による半導体の構造変化によっても生じる。したがって、カメラ装置の工場出荷前に欠陥検出を行うだけでは、工場出荷後に温度依存や経時変化などによって新たに発生する画素欠陥には対応できないことになる。

このため、従来は、電源投入直後にカメラ装置に装着されているレンズのアイリス（絞り）を閉じることで、固体撮像素子の受光面を遮光し、撮像に先立って暗電流を評価することによって欠陥画素を検出し、当該欠陥画素の情報を補正（欠陥補償）するようにしていた（例えば、特許文献１参照）。また、同一撮像条件下で得られた複数の画像の各画素情報を比較することによって固体撮像素子の欠陥画素のアドレスを検出するようにしていた（例えば、特許文献２参照）。

特開平０６−０３８１１３号公報 特開２００３−３７７８１号公報

特許文献１記載の従来技術では、電源投入直後にのみ欠陥検出を行う構成となっているため、一度システムの電源を投入したら、長期間に亘って通電し続ける監視カメラシステムに用いられるカメラ装置では、経時変化で現れる欠陥画素には対応できないという課題がある。しかも、欠陥検出のためにアイリスを閉じた状態で画素情報をある期間に亘って蓄積する必要があることから、欠陥検出の際に画像が欠落することになるため、常時監視し続ける必要がある監視カメラシステムでは問題となる。

特許文献２記載の従来技術では、複数の画像の各画素情報を比較することによって欠陥画素を検出する構成を採っているため、正常な画素と欠陥画素との区別がつきにくく、微小な被写体を欠陥画素として誤認識する可能性があり、また欠陥画素を検出するまでに時間がかかるという課題がある。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、経時変化で現れる欠陥画素にも対応できるとともに、レンズのアイリスを閉じることなく欠陥画素を精度良く検出することが可能な撮像装置および固体撮像素子の欠陥検出方法を提供することにある。

上記目的を達成するために、本発明では、固体撮像素子と、被写体からの像光を前記固体撮像素子の受光面上に収束させるレンズとを備えた撮像装置において、前記レンズが非合焦状態にあるときの前記固体撮像素子の出力信号に基づいて、前記固体撮像素子の画素の欠陥を検出する構成を採っている。

画素欠陥の検出に当たり、レンズを非合焦状態となる位置に移動させる。レンズが非合焦状態にあるときには、正常な画素の出力レベルは合焦状態のときに比べて低下し、画像としてはいわゆるピンぼけの状態となる。これに対して、欠陥画素については、半導体の構造変化によって生じるものであることから、当該欠陥画素の出力レベルはレンズが合焦状態にあっても、非合焦状態にあっても基本的に変わらない。すなわち、レンズを非合焦状態にしたとき、正常画素の出力レベルが低下するのに対して、欠陥画素の出力レベルは変化しないため、両画素の出力レベルを明確に識別化できる。したがって、レンズが非合焦状態にあるときの固体撮像素子の出力レベルを所定の閾値と比較することで、レンズのアイリスを閉じて画素の情報をある期間に亘って蓄積しなくても、画素の欠陥を確実に検出することができる。

本発明によれば、レンズが非合焦状態にあるときの固体撮像素子の出力信号に基づいて画素欠陥を行うことにより、経時変化で現れる欠陥画素にも対応できるとともに、レンズのアイリスを閉じることなく欠陥画素を精度良く検出することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る撮像装置の構成を示すシステムブロック図である。図１において、被写体（図示せず）から入射した像光は、レンズ１１および光学ローパスフィルタ（ＬＰＦ）1２を通して撮像素子1３の受光面（撮像面）上に結像される。レンズ１１は、後述するレンズ駆動回路２７による駆動により、光軸方向（図の左右方向）において移動可能であり、その移動位置に応じて合焦状態と非合焦状態とを適宜とり得る構成となっている。

撮像素子１３は、レンズ１２および光学ＬＰＦ１２を通して受光面上に結像された像光を画素単位で電気信号に変換して出力する。この撮像素子１３としては、ＣＣＤ型やＣＭＯＳ型などの撮像素子が用いられる。撮像素子１３の出力信号は、アナログフロントエンド（ＡＦＥ）部１４でＣＤＳ(Correlated Double Sampling;相関二重サンプリング)やＡＧＣ(Automatic Gain Control;自動利得制御)などの処理が施された後、ＤＳＰ（デジタル信号処理）回路１５に供給される。

ＤＳＰ回路１５は、Ａ／Ｄ（アナログ／デジタル）変換器１６、輝度（Ｙ）信号処理回路１７、クロマ（Ｃ）信号処理回路１８、Ｄ／Ａ（デジタル／アナログ）変換器１９Ａ，１９Ｂ、ＯＰＤ(Optical Detector;光学検知)回路２０、マイクロコンピュータ２１、タイミングジェネレータ（ＴＧ）２２、ＡＦＤ(Auto Focus Detector;自動フォーカス検知)回路２３および欠陥検出回路２４などを有しており、１つのＬＳＩによって構成されている。

タイミングジェネレータ２２は、撮像素子１３を駆動するためのドライバ２２Ａを内蔵している。このドライバ２２Ａを含むタイミングジェネレータ２２については、ＤＳＰ回路１５の外付けとすることも可能である。Ａ／Ｄ変換器１６は、撮像素子１３からアナログフロントエンド部１４を経由して供給されるアナログ映像信号をデジタル映像信号に変換する。このデジタル映像信号は、輝度信号処理回路１７およびクロマ信号処理回路１８に供給される。

輝度信号処理回路１７は、ローパスフィルタ（ＬＰＦ）１７１、輪郭補正回路１７２、γ補正回路１７３およびアンプ１７４などを有する構成となっている。この輝度信号処理回路１７において所定の信号処理が行われたデジタル輝度信号は、Ｄ／Ａ変換器１９Ａでアナログ輝度信号に変換されてＤＳＰ回路１５外に出力される。クロマ信号処理回路１８は、原色分離回路１８１、ホワイトバランス（ＷＢ）回路１８２、γ補正回路１８３および色差マトリクス回路１８４などを有する構成となっている。このクロマ信号処理回路１８において所定の信号処理が行われたデジタルクロマ信号は、Ｄ／Ａ変換器１９Ｂでアナログクロマ信号に変換されてＤＳＰ回路１５外に出力される。

ＯＰＤ回路２０は、ある一定期間、例えば１フィールド期間（ＮＴＳＣ方式：１／６０［秒］、ＰＡＬ方式：１／５０［秒］）において輝度信号成分あるいはクロマ信号成分を積分（検波）するための回路である。マイクロコンピュータ２１は、ソフトウェアを含んでおり、ＯＰＤ回路２０の積分結果に基づいて自動露光（ＡＥ;Automatic Exposure）制御などを行う。具体的には、タイミングジェネレータ２２に対して撮像デバイス１３での電子シャッターの制御や、アナログフロントエンド部１４に対して電圧制御部２５を介してＡＧＣゲインの制御を行うことによって明るさのコントロールを行う。

ＡＦＤ回路２３は、輝度信号の高周波成分を抜き出す検波回路である。レンズ１１が合焦状態にあるときには、ＡＦＤ回路２３の出力が最も大きくなる。すなわち、レンズ１１の焦点が合っているときは、被写体の空間周波数が最も高いため、輝度信号の高周波成分を抜き出せば、そのときの出力が最も大きいということになる。このＡＦＤ回路２３の検波出力は、システムコントローラ２６に供給される。

システムコントローラ２６は、ＣＰＵ、ＲＡＭ、ＲＯＭなどによって構成されており、ＡＦＤ回路２３の検波出力に基づいてレンズ１１が合焦状態にあるか、非合焦状態にあるかを判定し、通常の撮像時には常に合焦状態になるようにレンズ駆動回路２７を介してレンズ１１の光軸方向（図の左右方向）における位置を制御し、また撮像素子１３の画素の欠陥を検出するときには、非合焦状態になるようにレンズ駆動回路２７を介してレンズ１１を強制的に非合焦位置へ移動させる。

欠陥検出回路２４は、撮像素子１３の画素の欠陥を検出するときに、即ちレンズ１１が非合焦状態にあるときに、撮像素子１４の出力信号、例えば輝度信号に基づいて、画素欠陥の検出を行う。この欠陥検出回路２４における欠陥検出は、次の検出原理の下に行われる。

まず、レンズ１１が合焦状態にあるときには、図２に示すように、正常な画素の輝度レベルが大きいため、たとえ欠陥画素が存在したとしても、当該欠陥画素の輝度レベルは正常画素の輝度レベルの中に埋没してしまい、輝度レベルから欠陥画素を認識することは難しい。レンズ１１が合焦状態にあるときの画像のイメージ例を図４に示す。

一方、レンズ１１が非合焦状態にあるときには、図３に示すように、正常画素の輝度レベルは合焦状態のときに比べて低下し、画像としては、図５に示すようにピンぼけの状態となる。これに対して、欠陥画素については、半導体の構造変化によって生じるものであることから、当該欠陥画素の輝度レベルはレンズ１１が合焦状態にあっても、非合焦状態にあっても基本的に変わらない。すなわち、レンズ１１を非合焦状態にしたとき、正常画素の輝度レベルが低下するのに対して、欠陥画素の輝度レベルは変化しない。

そして、レンズ１１が非合焦状態にあるとき、欠陥画素については、画像上では、図５に示すように、くっきりした白点として明確に認識できる。したがって、レンズ１１が非合焦状態にあるときの撮像素子１３の輝度レベルを所定の閾値と比較することで、画素の欠陥を検出する可能となる。

欠陥検出回路２４は、上記の検出原理の下に、閾値電圧として例えば、白点欠陥を検出するための第１の閾値Ｖｔｈ１と、黒点欠陥を検出するための第２の閾値Ｖｔｈ２とを有し、レンズ１１が非合焦状態にあるときの撮像素子１３の輝度レベルを閾値Ｖｔｈ１，Ｖｔｈ２と比較することによって画素欠陥を検出する。ここで、第１の閾値Ｖｔｈ１としては、レンズ１１が非合焦状態にあるときに、経験的に求めることができる正常画素の輝度レベルの最大値よりも大きなレベルが設定される。また、第２の閾値Ｖｔｈ２としては、第１の閾値Ｖｔｈ１よりも低く、かつレンズ１１が非合焦状態にあるときに、経験的に求めることができる正常画素の輝度レベルの最小値よりも大きなレベルが設定される。

欠陥検出回路２４では具体的には、次のような検出処理が行われる。すなわち、レンズ１１が非合焦状態にあるときの撮像素子１３の輝度レベルが、第１の閾値Ｖｔｈ１よりも大きいとともに、隣り合う画素情報との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が正（プラス）の場合に画素欠陥が白点欠陥であると判定する。また、撮像素子１３の輝度レベルが、第２の閾値Ｖｔｈ２よりも小さいとともに、隣り合う画素情報との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が負（マイナス）の場合に画素欠陥が黒点欠陥であると判定する。この欠陥検出回路２４の判定（検出）結果は、システムコントローラ２６に供給される。

システムコントローラ２６は、撮像素子１３の画素の欠陥を検出するときには、先述したように、ＡＦＤ回路２３の出力に基づいてレンズ駆動回路２７を介してレンズ１１を強制的に非合焦位置へ移動させた状態において、欠陥検出回路２４の検出結果に基づいて欠陥が検出された画素についてそのアドレスを保持し、また通常の撮像動作時には当該アドレスの欠陥画素について欠陥補正を行う処理などを行う。

なお、システムコントローラ２６は、欠陥検出および欠陥補正に当たってのアドレス検出機能や、欠陥画素の画素情報について例えば近隣の正常画素の画素情報を用いて補間する補正機能などの各種の機能を持っているものとする。

また、本例では、ＡＦＤ回路２３および欠陥検出回路２４をＤＳＰ回路１５に内蔵するとしたが、これらＡＦＤ回路２３および欠陥検出回路２４をＤＳＰ回路１５の外付けとすることも可能であり、さらにはＡＦＤ回路２３および欠陥検出回路２４の各機能をシステムコントローラ２６に持たせる構成を採ることも可能である。

続いて、システムコントローラ２６のＣＰＵによって実行される欠陥画素を検出するための具体的な処理手順の一例について、図６のフローチャートを用いて説明する。

なお、欠陥画素の検出処理は、適当なタイミング、例えば撮像装置の電源投入時、電源投入後電源オンの状態が長期間に亘って継続するような使用状態の撮像装置の場合にはある一定の期間ごと、あるいは例えば画像上の目視から画素欠陥の存在が疑われる場合にユーザによる検出指令が発せられたときなどに、本処理ルーチンが呼び出されて実行されるものとする。

本欠陥画素の検出モードに入ったら、先ずレンズ１１の焦点（Ｆｏｃｕｓ）が合っているかずれているか、即ちレンズ１１が合焦状態にあるか、非合焦状態にあるかを判定する（ステップＳ１１）。この判定は、輝度信号の高周波成分を抜き出すＡＦＤ回路２３の検波出力に基づいて行われる。レンズ１１の焦点が合っていれば、合焦位置にあるレンズ１１を、レンズ駆動回路２７を介して強制的に非合焦位置へ移動させ、焦点をずらす（ステップＳ１２）。

次に、欠陥検出回路２４を用いて欠陥検出の処理を行う（ステップＳ１３）。レンズ１１の焦点が合っていない状態では、画像の空間周波数が低く、隣り合う画素間での画素情報の変化も少ない。しかし、欠陥画素が存在する場合は、図３から明らかなように、当該欠陥画素と隣り合う正常画素との間の画素情報の差分（変化）が大きいため、欠陥検出回路２４において、撮像素子１３の輝度レベルを第１，第２の閾値Ｖｔｈ１，Ｖｔｈ２と比較することにより、欠陥画素を検出することができる。

また、画素欠陥には、画像上白点として認識される色点欠陥と、黒点として認識される黒点欠陥の２種類がある。この色点欠陥の画素、黒点欠陥の画素共に、レンズ１１の焦点が合っていないときに、隣り合う正常画素との間の画素情報の差分が大きいため、いずれの画素欠陥についても確実に検出することができる。因みに、レンズ１１のアイリスを閉じて欠陥検出を行う従来技術では、アイリスを閉じることで、全画素の出力が全黒の状態となり、黒点欠陥の画素の出力がその中に埋没してしまうため、黒点欠陥の画素を検出することは不可能に近かった。

欠陥検出回路２４で欠陥画素が検出されると、システムコントローラ２６は、その検出された欠陥画素について、撮像素子１３の画素配列上の画素位置を特定するためのアドレスを検出する。そして、この検出した欠陥画素のアドレスを内蔵のメモリ（例えば、ＲＡＭ）に格納する、または、ＥＥＰＲＯＭなどの外部記憶装置（図示せず）に記録する（ステップＳ１４）。

次に、欠陥画素の時間軸上の位置を特定し、当該欠陥画素に対する欠陥補正を指示するための補正パルスが出力されているか否かを判断する（ステップＳ１５）。このとき、補正パルスが出力されていなければ、本処理で検出した欠陥画素のアドレス位置で補正パルスを出力する。そして、この補正パルスのタイミングで画素欠陥の補正処理を行う（ステップＳ１６）。この欠陥補正では、例えば、近隣の正常画素の情報を用いて補間する一般的に知られている補正手法が用いられる。

画素欠陥の補正処理後、レンズ駆動回路２７を介してレンズ１１を非合焦位置から合焦位置の方向に移動させ、ＡＦＤ回路２３の検波出力が最大になるところ、即ちレンズ１１の合焦位置でレンズ１１を停止させる（ステップＳ１７）。これにより、レンズ１１の焦点が合った状態となる。レンズ１１が合焦状態になったら、本欠陥画素の検出・補正処理のサブルーチンを抜けてメインルーチンの処理へ移行する。

上述したように、ＣＣＤ型やＣＭＯＳ型などの撮像素子１３を用いてなる撮像装置（カメラ装置）において、レンズ１１が非合焦状態にあるときの撮像素子１３の出力信号に基づいて画素欠陥の検出を行うことにより、レンズ１１の非合焦状態では欠陥画素の出力レベルと正常画素の出力レベルとを明確に識別化できるため、レンズ１１のアイリスを閉じて画素情報をある期間（例えば、数１０フレーム相当の期間）に亘って蓄積しなくても、画素欠陥を精度良く検出することができる。そして、この検出結果を基に欠陥補正を行うことで、画質を向上することができる。

また、撮像装置の工場出荷時だけでなく、本撮像装置を使用している期間においても画素欠陥の検出を行うことができるため、製造過程での半導体の構造変化（破壊）によって生じる画素欠陥だけでなく、熱、あるいは宇宙線などの放射線による半導体の構造変化によって生じる画素欠陥についても検出し、補正することができる。特に、レンズ１１のアイリスを閉じることなく、画素欠陥の検出が可能であることにより、撮像中に画像が消失することがないため、画像情報の欠落が認められないような監視カメラシステムにおける撮像装置として用いる場合に有利である。

また、レンズ１１のフォーカスを外し、その状態で撮像素子１３の出力レベルを比較するだけの処理で画素欠陥の検出を行うことができるため、同一の撮像条件下で得られた複数の画像の各画素情報を比較する従来技術に比べて短時間で欠陥検出を行うことができ、しかもレンズ１１のアイリスを閉じることなく、画素欠陥の検出が可能であることで、アイリスを閉じることで欠陥検出を行う従来技術では不可能に近かった黒点欠陥についても検出することができる。

本発明に係る撮像装置（カメラ装置）は、レンズのアイリスを閉じることなく、画素欠陥の検出を行うことができるため、複数の場所に撮像装置を設置し、複数の撮像装置の設置場所ごとの周囲の状況を一つのモニター上で集中して監視する監視カメラシステムに用いて好適なものである。監視カメラシステムでは、画像の欠落が認められないため、画像を消失することがない本発明に係る撮像装置が特に有用なものとなる。

本発明の一実施形態に係る撮像装置の構成例を示すシステムブロック図である。 レンズが合焦状態にあるときの正常画素および欠陥画素の各輝度レベルを示す波形図である。 レンズが非合焦状態にあるときの正常画素および欠陥画素の各輝度レベルを示す波形図である。 レンズが合焦状態にあるときの画像のイメージ例を示す図である。 レンズが非合焦状態にあるときの画像のイメージ例を示す図である。 欠陥画素を検出するための具体的な処理手順の一例を示すフローチャートである。

符号の説明

１１…レンズ、１３…撮像素子、１４…ＡＦＥ（アナログフロントエンド）部、１５…ＤＳＰ（デジタル信号処理）回路、１７…輝度信号処理回路、１８…クロマ信号処理回路、２０…ＯＰＤ（光学検知）回路、２１…マイクロコンピュータ、２２…タイミングジェネレータ（ＴＧ）、２３…ＡＦＤ（自動フォーカス検知）回路、２４…欠陥検出回路、２６…システムコントローラ、２７…レンズ駆動回路

Claims (6)

1. 固体撮像素子と、
   被写体からの像光を前記固体撮像素子の受光面上に収束させるレンズと、
   前記レンズが非合焦状態にあるときの前記固体撮像素子の出力信号に基づいて、前記固体撮像素子の画素の欠陥を検出する欠陥検出手段と
   を備えたことを特徴とする撮像装置。
2. 前記欠陥検出手段は、画像上白点として認識される白点欠陥を検出するための第１の閾値と、画像上黒点として認識される黒点欠陥を検出するための第２の閾値とを有する
   ことを特徴とする請求項１記載の撮像装置。
3. 前記欠陥検出手段は、前記固体撮像素子の出力信号が前記第１の閾値よりも大きいとともに、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が正の場合に前記白点欠陥であると判定し、前記固体撮像素子の出力信号が前記第２の閾値よりも小さいとともに、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が負の場合に前記黒点欠陥であると判定する
   ことを特徴とする請求項２記載の撮像装置。
4. 固体撮像素子と、
   被写体からの像光を前記固体撮像素子の受光面上に収束させるレンズとを備えた撮像装置において、
   前記レンズが非合焦状態にあるときの前記固体撮像素子の出力信号に基づいて、前記固体撮像素子の画素の欠陥を検出する
   ことを特徴とする固体撮像素子の欠陥検出方法。
5. 前記固体撮像素子の出力信号を、画像上白点として認識される白点欠陥を検出するための第１の閾値および画像上黒点として認識される黒点欠陥を検出するための第２の閾値比較する
   ことを特徴とする請求項４記載の固体撮像素子の欠陥検出方法。
6. 前記固体撮像素子の出力信号が前記第１の閾値よりも大きいとともに、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が正の場合に前記白点欠陥であると判定し、前記固体撮像素子の出力信号が前記第２の閾値よりも小さいとともに、隣り合う画素の信号との差分があらかじめ設定した差幅よりも大きく、かつ当該差分が負の場合に前記黒点欠陥であると判定する
   ことを特徴とする請求項５記載の固体撮像素子の欠陥検出方法。