JP2005123946A - 欠陥画素検出方法、検出装置および撮像装置 - Google Patents

Abstract

【課題】 固体撮像素子の欠陥画素を撮像時などにリアルタイムに検出することができ、かつ、その誤検出をより少なくして、撮像画像の画質を向上させる。
【解決手段】 固体撮像素子上の注目画素Ｘの周辺範囲に存在し、注目画素Ｘと同色の色フィルタに対応する画素Ｘ１〜Ｘ８の出力レベルの分散値を基に、注目画素Ｘの信号レベルとその周辺範囲の同色の画素Ｘ１〜Ｘ８の平均出力レベルとの差分値を正規化することで、その周辺範囲における注目画素Ｘの出力レベルの突出度合いを示す突出度Ｔ１を算出する。そして、突出度Ｔ１の値が所定の範囲内にあるか否かにより、欠陥画素の検出判定を行う。
【選択図】 図３

Description

本発明は、固体撮像素子における欠陥画素を検出するための欠陥画素検出方法、検出装置およびこれを用いた撮像装置に関し、特に、画像の撮像時などにリアルタイムに欠陥画素を検出するのに適した欠陥画素検出方法、検出装置およびこれを用いた撮像装置に関する。

一般に、デジタルスチルカメラやデジタルビデオカメラなどに搭載されて被写体を撮像するための撮像素子では、多数の画素のうちの一部に欠陥が生じることがある。このような欠陥は、暗電流の発生やフォトダイオードの異常などの様々な原因により発生する。

欠陥が生じた画素は、異常なレベルの信号を出力する。例えば、欠陥画素の出力レベルが本来の出力レベルより高い場合は白欠陥と呼ばれ、低い場合は黒欠陥と呼ばれる。このような欠陥画素を有する撮像素子の出力信号を基に画面表示すると、欠陥画素の情報は本来被写体に存在しない誤った情報であるため、不自然な画像が表示されてしまう。従って、欠陥画素の位置を検出してその出力信号を補正する技術が必要とされている。

従来、製造過程において発生した欠陥画素を検出し、その画素を補正する技術として、撮像素子の受光面を遮光した状態で得られた出力信号から、出力レベルが突出した画素を検出して、その位置を撮像装置内のＲＯＭ（Read Only Memory）に記憶しておき、実際に撮影するときにＲＯＭから欠陥画素の位置を読み出して、その画素情報を周囲の画素の情報を用いて補間することが行われていた。このような方法により、白欠陥の生じた画素について補正することができる。また、黒欠陥が生じた画素を検出して補正するためには、撮像素子に一様な明るい被写体を撮像させ、周囲の画素より突出して暗い画素を欠陥画素とみなして、その位置をＲＯＭに記憶し、実際の撮影時にその位置を読み出して同様に補間すればよい。

しかし、上記の方法では、撮像素子の使用環境に応じて発生する欠陥画素を検出することができない。撮像素子の欠陥は、一般に、温度や光の蓄積時間などの影響により増加するため、上記の方法により製品出荷時までに欠陥とされなかった画素も、使用環境の変化により欠陥が生じ、その画素が出力画面に現れてしまうことがある。なお、製品出荷後に生じた欠陥を、後発欠陥と呼称することにする。

このような後発欠陥に対処するために、近年では、注目画素とそれに隣接する画素の各出力信号を比較することにより、欠陥が生じているか否かを例えば撮像時などにリアルタイムに判断し、欠陥画素の出力を補正することが考えられている。例えば、所定の画素とその周囲の複数の画素との信号出力レベルの差分値を算出し、この差分値が、注目画素のレベルが極端に高い場合に適用するしきい値や、画素のパターンが複雑である場合に適用する周辺画素のレベル幅に基づくしきい値より大きい場合に欠陥画素と判定して、その画素の信号出力レベルを補正する固体撮像素子の自動欠陥検出補正装置があった（例えば、特許文献１参照）。また、注目画素、およびこれと空間的に連続する同色画素について画素信号間の相関をとり、所定の条件式に当てはまった場合に欠陥画素と判定し、その画素信号を補正するカラー画像処理装置があった（例えば、特許文献２参照）。
特開２００２−２２３３９１号公報（段落番号〔００２５〕〜〔００３３〕、図４） 特開２００２−１０２７４号公報（段落番号〔００２４〕〜〔００３２〕、図４）

しかし、上記の特許文献１に開示された方法で欠陥画素の検出を行った場合、欠陥のない通常の被写体、特に高周波成分を含む被写体を撮影したときに、欠陥でない画素を欠陥と判定してしまうことが多い。例えば、注目画素の信号レベルｘ＝１００、その画素の周囲の９つの画素の信号レベルｘ１〜ｘ８＝１０のとき、注目画素と周辺画素とのレベルの差分値は９０である。一方、ｘ＝１０００、ｘ１〜ｘ８＝９１０のとき、差分値は同じ９０となる。しかし、前者が欠陥画素であり、後者が通常画素である場合には、このことを検出することはできず、双方とも欠陥と判断してしまう。また、特許文献２に開示された方法でも、同様に欠陥画素を誤って検出してしまうことが多い。

このように、従来の方法では、被写体による正しい画素信号と欠陥画素の信号との区別がつきにくく、欠陥でない画素を欠陥と認識する、あるいは欠陥画素を認識できない事態が多く発生してしまうので、満足のできる撮像画像の画質を得ることができなかった。

本発明はこのような点に鑑みてなされたものであり、固体撮像素子の欠陥画素を撮像時などにリアルタイムに検出することができ、かつ、その誤検出をより少なくして、撮像画像の画質を向上させることが可能な欠陥画素検出方法を提供することを目的とする。

また、本発明の他の目的は、固体撮像素子の欠陥画素を撮像時などにリアルタイムに検出することができ、かつ、その誤検出をより少なくして、撮像画像の画質を向上させることが可能な欠陥画素検出装置を提供することである。

さらに、本発明の他の目的は、固体撮像素子の欠陥画素を撮像時などにリアルタイムに検出することができ、かつ、その誤検出をより少なくして、撮像画像の画質が向上された撮像装置を提供することである。

本発明では上記課題を解決するために、固体撮像素子における欠陥画素を検出するための欠陥画素検出方法において、前記固体撮像素子上の注目画素を中心とする一定範囲に存在する画素の出力レベルの分散値を基に、前記注目画素と前記一定範囲に存在する画素との相関をとることにより、前記注目画素が前記欠陥画素であるか否かを検出することを特徴とする欠陥画素検出方法が提供される。

このような欠陥画素検出方法では、注目画素を中心とした一定範囲に存在する画素の出力レベルの分散値を基に、注目画素と、上記の一定範囲に存在する画素の各出力レベルの相関をとることにより、注目画素に対する欠陥画素の判定を行う。これにより、欠陥画素の判定基準が、上記の一定範囲に存在する画素の出力レベルのバラツキ度合いに応じて適切に変化し、欠陥判定の正確性が高められる。また、欠陥画素の判定は、撮像時において固体撮像素子からの出力信号を基に順次演算することで行うことができる。

より具体的には、例えば、注目画素の出力レベルと上記の一定範囲に存在する画素の平均出力レベルとの差分値を、上記の分散値を基に正規化することで得られる突出度を欠陥画素の検出基準として用いる。このような突出度は、上記の一定範囲に存在する画素に対する注目画素の出力レベルの突出度合いを示し、その一定範囲に存在する画素の出力レベルのバラツキ度合いに応じて変化する。これにより、上記の差分値が同じ値の場合でも、上記の一定範囲に存在する画素の出力レベルのバラツキが大きいときは突出度が小さくなり、バラツキが小さいときは突出度が大きくなるので、突出度を基準とすることで欠陥判定の正確性をより高められる。

また、本発明では、固体撮像素子における欠陥画素を検出する欠陥画素検出装置において、前記固体撮像素子上の注目画素を中心とした一定範囲に存在する画素の出力レベルの分散値を基に、前記注目画素と前記一定範囲に存在する画素との相関をとる演算手段と、前記演算手段による演算結果に基づいて、前記注目画素が前記欠陥画素であるか否かを判定する判定手段とを有することを特徴とする欠陥画素検出装置が提供される。

ここで、演算手段は、注目画素を中心とした一定範囲に存在する画素の出力レベルの分散値を基に、注目画素と、上記の一定範囲に存在する画素の各出力レベルの相関をとる。そして、判定手段は、この演算結果に基づいて、注目画素に対する欠陥画素の判定を行う。これにより、欠陥画素の判定基準が、上記の一定範囲に存在する画素の出力レベルのバラツキ度合いに応じて適切に変化し、欠陥判定の正確性が高められる。また、欠陥画素の判定は、撮像時において固体撮像素子からの出力信号を基に順次演算することで行うことができる。

より具体的には、例えば、演算手段は、注目画素の出力レベルと上記の一定範囲に存在する画素の平均出力レベルとの差分値を、上記の分散値を基に正規化することで得られる突出度を算出し、判定手段は、この突出度を欠陥画素の検出基準として用いる。このような突出度は、上記の一定範囲に存在する画素に対する注目画素の出力レベルの突出度合いを示し、この一定範囲に存在する画素の信号レベルのバラツキ度合いに応じて変化する。これにより、上記の差分値が同じ値の場合でも、上記の一定範囲に存在する画素の出力レベルのバラツキが大きいときは突出度が小さくなり、バラツキが小さいときは突出度が大きくなるので、突出度を基準とすることで欠陥判定の正確性をより高められる。

本発明の欠陥画素検出方法によれば、注目画素と、これを中心とした一定範囲に存在する画素の各信号レベルについて、この一定範囲に存在する画素の信号レベルの分散値を基に相関をとることで欠陥画素を判定するので、この一定範囲に存在する画素の信号レベルのバラツキ度合いに応じて、欠陥画素の判定基準を適切に変化させ、欠陥判定の正確性をより高めることができる。また、固体撮像素子からの出力信号を順次用いて欠陥検出を行うことができる。従って、例えば出荷時などに欠陥画素の位置をメモリなどに記憶させておくことなく、使用時に増加した欠陥画素をより正確に検出することができ、その検出位置を基に適切な画像補正を行うことで、より高画質な撮像画像を得ることができる。

また、本発明の欠陥画素検出装置によれば、注目画素と、これを中心とした一定範囲に存在する画素の各信号レベルについて、この一定範囲に存在する画素の信号レベルの分散値を基に相関をとることで欠陥画素が判定されるので、この一定範囲に存在する画素の信号レベルのバラツキ度合いに応じて、欠陥画素の判定基準を適切に変化させ、欠陥判定の正確性をより高めることができる。また、固体撮像素子からの出力信号を順次用いて欠陥検出を行うことができる。従って、例えば出荷時などに欠陥画素の位置をメモリなどに記憶させておくことなく、使用時に増加した欠陥画素をより正確に検出することができ、その検出位置を基に適切な画像補正を行うことで、より高画質な撮像画像を得ることができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、以下の実施の形態では、画像を撮像して記録する撮像装置に本発明を適用した場合を例に挙げて説明する。また、撮像装置としては、デジタルビデオカメラを想定する。

〔第１の実施の形態〕
図１は、本発明の第１の実施の形態に係るデジタルビデオカメラの構成を示すブロック図である。

図１に示すデジタルビデオカメラは、光学ブロック１１、撮像素子１２、ＣＤＳ（Corelated Double Sampling）／ＡＧＣ（Auto Gain Controller）１３、Ａ／Ｄ（アナログ／デジタル）変換回路１４、欠陥画素検出回路２１、ラインメモリ２２、欠陥画素補正回路２３、カメラ信号処理回路２４、ビデオ処理回路２５、画像メモリ２６、オーディオ処理回路３０、マイクロフォン３１、スピーカ３２、制御回路４０、入力部５０、ＬＣＤ（Liquid Crystal Display）コントローラ６０、ＬＣＤ６１、およびテープデッキ部７０を具備している。

光学ブロック１１は、被写体からの反射光を集光するレンズ群やこれらを駆動するための駆動機構等からなり、入射光を撮像素子１２に集光する。撮像素子１２は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどからなり、光学ブロック１１において集光された光を電気信号に変換する。ＣＤＳ／ＡＧＣ１３は、撮像素子１２から供給されたアナログ画像信号に対するノイズ低減処理とゲイン調整とを行う。Ａ／Ｄ変換回路１４は、ＣＤＳ／ＡＧＣ１３からの出力信号を、デジタル画像信号に変換する。

欠陥画素検出回路２１は、デジタル変換された画像信号をラインメモリ２２に一時的に記憶させ、この画像信号から欠陥画素の位置を検出する。ラインメモリ２２は、内部のメモリ領域が撮像素子１２の各ラインに対応するように設けられた半導体メモリであり、Ａ／Ｄ変換回路１４からの出力画像信号を一時的に記憶して、欠陥画素検出回路２１に供給する。なお、ラインメモリ２２は、後述するように、欠陥画素検出回路２１における処理に必要なデータとして少なくとも数ライン分の記憶容量を具備すればよい。欠陥画素補正回路２３は、欠陥画素検出回路２１による検出結果に基づき、欠陥画素検出回路２１からの画像信号を補正する。例えば、欠陥画素の位置に対応する画像信号を、その周囲の画素信号を用いて補間する。

カメラ信号処理回路２４は、欠陥画素補正回路２３からの画像信号を画像メモリ２６に格納するとともに、この画像信号に対して、歪み補正やホワイトバランス補正などの画質補正処理を行う。ビデオ処理回路２５は、カメラ信号処理回路２４により処理された画像信号を、所定のビデオデータフォーマットに従って圧縮符号化し、制御回路４０に供給する。また、制御回路４０から供給された画像データを、所定のビデオデータフォーマットに従って伸張復号化する。画像メモリ２６は、例えばＤＲＡＭ（Dynamic Random Access Memory）など半導体メモリからなる。

オーディオ処理回路３０は、マイクロフォン３１により収音された音声信号を、所定のオーディオデータフォーマットに従って圧縮符号化し、制御回路４０に供給する。また、制御回路４０から供給された音声データを、所定のオーディオデータフォーマットに従って伸張復号化し、スピーカ３２から再生出力させる。

制御回路４０は、入力部５０からの制御信号に応じて、このデジタルビデオカメラ内の各ブロックを制御する。ＬＣＤコントローラ６０は、制御回路４０から供給された画像信号から、ＬＣＤ６１に表示させるための画像信号を生成して、ＬＣＤ６１に画像を表示させる。

テープデッキ部７０には、ビデオカセット７１が装填される。テープデッキ部７０は、制御回路４０から供給された画像データおよび音声データを変調して、ビデオカセット７１内の図示しない磁気テープに書き込む。また、この磁気テープから記録データを読み出して復調し、制御回路４０に供給する。

ここで、上記のデジタルビデオカメラの基本的な動作について説明する。
被写体からの反射光は、光学ブロック１１によって撮像素子１２に集光され、光電変換される。撮像素子１２からのアナログ画像信号は、ＣＤＳ／ＡＧＣ１３によってノイズ低減およびゲイン調整が施され、Ａ／Ｄ変換回路１４によってデジタル変換される。

デジタル化された画像信号は、ラインメモリ２２に一旦記憶されるとともに、欠陥画素検出回路２１に読み出される。これにより、欠陥が生じている画素が検出され、検出結果と画像信号とが欠陥画素補正回路２３に供給され、欠陥画素の画素信号が補正される。

補正された画像信号は、画像メモリ２６に一旦格納されるとともに、カメラ信号処理回路２４によって所定の画質補正処理が施される。カメラ信号処理回路２４からの出力画像信号は、制御回路４０を介してＬＣＤコントローラ６０に供給され、これによりＬＣＤ６１にカメラスルー画像が表示される。

また、入力部５０での操作入力に基づいて画像記録が開始されると、カメラ信号処理回路２４からの出力画像信号が、ビデオ処理回路２５において圧縮符号化処理され、符号化された画像データが制御回路４０に供給される。また、このときオーディオ処理回路３０では、マイクロフォン３１からの音声信号が圧縮符号化され、制御回路４０は、ビデオ処理回路２５からの画像データとオーディオ処理回路３０からの音声データとからデータストリームを生成し、テープデッキ部７０に供給する。これにより、撮像画像のデータが音声データとともにビデオカセット７１内の磁気テープに記録される。

一方、磁気テープに記録されたデータは、テープデッキ部７０により読みとられ、制御回路４０に供給される。制御回路４０は、供給されたデータから画像データと音声データとを抽出し、ビデオ処理回路２５およびオーディオ処理回路３０にそれぞれ供給する。画像データはビデオ処理回路２５において伸張復号化されて、制御回路４０を介してＬＣＤコントローラ６０に供給され、これにより再生画像がＬＣＤ６１に表示される。また、音声データはオーディオ処理回路３０によって伸張復号化され、これによりスピーカ３２から音声が再生出力される。

次に、上記のデジタルビデオカメラにおいて用いられる撮像素子１２の例を挙げる。図２は、撮像素子１２として補色ＣＣＤを用いた場合の画素配列の例を示す図である。
本実施の形態では、撮像素子１２の例として、いわゆる補色ＣＣＤを用いている。この補色ＣＣＤは、図２に示すように、素子上の各画素（図中の画素単位Ａ）に対して図２に示すようにＣｙ（シアン）、Ｙｅ（イエロー）、Ｇ（グリーン）、Ｍｇ（マゼンダ）の各色の色フィルタが対応付けられており、これらのうち２色ずつの出力信号の組み合わせにより、ＲＧＢの各色要素が生成される。具体的には、図２でＣｒライン、Ｃｂラインと示したように、２ライン分の画像信号が混合されることにより、垂直方向に隣接する２画素ずつの出力信号から、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｍｇ）、（Ｃｙ＋Ｍｇ）、（Ｙｅ＋Ｇ）の４色に対応する信号が生成される。

なお、図２では理解しやすいように、例として（Ｃｙ＋Ｇ）の色に対応する画素単位を斜線で示している。また、インタレース方式で読み出しが行われる場合には、奇数フィールドにおいて図２のように画素が組み合わされると、偶数フィールドでは、垂直方向に１画素分ずらした状態で画素が組み合わされて、上記の４色が生成される。

欠陥画素検出回路２１および欠陥画素補正回路２３では、上記のように、垂直方向に隣接する２画素を１つの画素単位（図中の画素単位Ｂ）として、欠陥画素の検出および信号補正を行うものとする。ここで、上記のように垂直方向２画素を画素単位とした場合、同色の画素単位は水平方向、垂直方向ともにそれぞれ１画素単位おきに配置されることになる。このように同色が１画素おきに現れる配列は、例えば、各画素にＲＧＢの各色の色フィルタが対応付けられた、ベイヤ配列などのいわゆる原色ＣＣＤでも同様になっており、以下で説明する欠陥画素検出回路２１および欠陥画素補正回路２３の処理は、同様の色配列を有する単板の撮像素子を用いた場合にはすべて適用することが可能である。

なお、以下の説明では、上位の画素単位Ｂを１つの画素として説明することにする。
次に、欠陥画素の検出、およびその画素出力の補正の処理について説明する。
ＣＣＤなどの固体撮像素子では、暗電流の発生やフォトダイオードの異常などにより、画素に欠陥が生じる場合がある。また、このような欠陥は、温度や光の蓄積時間などの影響により増加するため、使用環境に応じて欠陥画素の数が増加していく場合がある。このため、上記のデジタルビデオカメラでは、製品出荷後の使用時に、撮像した画像信号から欠陥画素をリアルタイムに検出し、検出した画素の画素信号を補正することにより、欠陥画素が増加した場合の画質劣化を防止する。

欠陥画素検出回路２１は、Ａ／Ｄ変換回路１４から出力される画像信号について、常時、欠陥画素の検出を行い、検出結果を欠陥画素補正回路２３に通知する。また、入力部５０での入力操作に応じて、画像の記録が行われている間のみ、欠陥画素の検出を行うようにしてもよい。このとき、欠陥画素検出回路２１は、例えばすべてのフレームの画像信号から欠陥画素を検出し、欠陥画素補正回路２３は、検出された画素の画素信号を、例えばその周囲の画素の画素信号を用いて補間する。あるいは、欠陥画素検出回路２１は、画像の開始時を先頭に、一定時間あるいは一定数のフレーム（またはフィールド）ごとに欠陥画素を検出してもよい。ただし、この場合にも、欠陥画素補正回路２３は、最新の検出結果に基づいてすべてのフレームについて欠陥画素の信号補正を行う必要がある。なお、画像信号がインタレース方式で読み出される場合には、後述するように、一方のフィールド（例えば奇数フィールド）のみから欠陥画素を検出するようにしてもよい。

ところで、従来の欠陥画素検出では、基本的に、注目画素の信号レベルが、その周辺の画素の信号レベルと極端に異なる場合に、その注目画素を欠陥と判断していた。例えば、欠陥画素のうち、異常に高レベルの信号を発する状態は白欠陥と呼ばれ、低レベルの信号を発する状態は黒欠陥と呼ばれるが、白欠陥を判定する場合には、注目画素の信号レベルと、周辺の画素の信号レベル（例えばその平均値など）との差分があるしきい値より大きい場合に、白欠陥の発生を検出していた。しかし、同じ差分値が算出された場合でも、その周辺における信号レベルのバラツキ度合いによっては、欠陥である場合とない場合があり、上記の方法ではこれらを区別することができず、欠陥でない画素を欠陥と判定してしまう場合が少なくなかった。

従って、このような誤判定を少なくするためには、周辺の画素の信号レベルのバラツキ度合いに応じて、検出基準値を変化させることが望ましい。このために、本発明では、注目画素の周辺に存在する同色のフィルタに対応する画素の信号レベルの分散の値を基にして、周辺の画素と注目画素との信号レベルの相関をとり、欠陥の有無を判定する。より具体的には、注目画素の信号レベルと、その周辺範囲内の同色画素の平均信号レベルとの差分を、分散値を用いて正規化し、欠陥の検出基準値とする。分散値は周辺の画素の信号レベルのバラツキ度合いに応じて変化するので、この分散値を用いて欠陥画素の検出基準値を算出することにより、検出基準値をバラツキ度合いに応じて変化させることができる。

図３は、本発明の第１の実施の形態において、欠陥画素の検出のために使用する画素とその信号レベルの分布を示す図である。
なお、以下の説明では、注目画素の周辺に位置して、注目画素と同色のフィルタに対応する画素を周辺画素と呼称することにする。

図３（Ａ）は、注目画素に対する欠陥検出を行うために使用する周辺画素の例を示している。ある色に対応する注目画素の欠陥検出を行うためには、これと同色に対応する周辺画素を用いる必要がある。上述したように、同色に対応する画素（実際には画素単位）は、水平方向、垂直方向ともに１画素おきに配置されることから、本実施の形態では、図３（Ａ）に示すように、注目画素Ｘに対して、この周囲の８画素（周辺画素Ｘ１〜Ｘ８）を用いて欠陥検出を行うようにする。

そして、欠陥検出の基準値として、周辺画素Ｘ１〜Ｘ８の信号レベルの分散値を求め、さらにその平方根をとる。この値は、すなわち、標準偏差となる。標準偏差σ１は、以下の式（１）により算出される。

ただし、周辺画素Ｘ１〜Ｘ８の信号レベルをそれぞれｘ１〜ｘ８、これらの平均出力レベルをＡｖｅ（ｘ）とする。
次に、標準偏差σ１を基に、注目画素Ｘの出力レベルがその周囲の出力レベルと比較してどれだけ突出しているかを示す突出度を算出する。注目画素Ｘの出力レベルをｘとすると、この画素の突出度Ｔ１は以下の式（２）により算出される。

ここで、図３（Ｂ）を参照すると、突出度Ｔ１は、注目画素Ｘの出力レベルｘと、周辺画素Ｘ１〜Ｘ８の平均値Ａｖｅ（ｘ）との差分値が、標準偏差σ１の何倍であるかを示している。ところで、標準偏差σ１は、注目画素Ｘの周辺における同色画素の信号レベルのバラツキ度合いを示している。周辺におけるレベルのバラツキが大きい場合（すなわち、この範囲の画像が高周波画像である場合）、標準偏差σ１は高い値となるので、突出度Ｔ１は低くなる。逆に、バラツキが小さい場合（低周波画像である場合）には標準偏差σ１は低い値となるので、突出度Ｔ１は高くなる。

従って、欠陥画素であるか否かの判定を、突出度Ｔ１の値を用いて行うことにより、注目画素Ｘの周囲のレベルのバラツキ度合いに応じて、より正確な欠陥判定を行うことが可能となる。具体的には、突出度Ｔ１が所定の上限値より大きいときに、白欠陥であると判定し、所定の下限値より小さい場合に、黒欠陥であると判定すればよい。

例えば、高周波の画像領域においては、出力レベルの差が大きい画素が混在するため、注目画素Ｘの出力レベルｘが、周辺画素の平均出力レベルＡｖｅ（ｘ）と比較的離れている場合でも、それが欠陥画素である可能性は低い。このような場合に、突出度Ｔ１を用いて欠陥判定をすると、出力レベルｘと平均出力レベルＡｖｅ（ｘ）とが極端に離れている場合のみ、欠陥画素であると判定されることになる。

逆に、低周波の画像領域においては、その領域内の画素の出力レベル差が比較的小さいため、出力レベルｘと平均出力レベルＡｖｅ（ｘ）とがあまり離れていなくても欠陥画素である可能性が比較的高くなる。このような場合に、突出度Ｔ１を用いると、出力レベルｘと平均出力レベルＡｖｅ（ｘ）とが比較的近づいている場合にも、欠陥画素であると判定されることになる。

このように、突出度Ｔ１を用いて欠陥判定をすることにより、周辺画素の出力レベルのバラツキ度合いに応じて欠陥判定の判定基準が適正化されるので、欠陥でない画素を欠陥であると判定する事態や、欠陥画素を見逃す事態の発生確率が低くなる。従って、検出された欠陥画素の信号を欠陥画素補正回路２３において補正することで、生成される画像の画質を高めることができる。

ところで、欠陥画素検出回路２１は、Ａ／Ｄ変換回路１４から転送される画像信号をラインメモリ２２に順次記憶することにより、上記の検出処理を撮像時にリアルタイムで実行することが可能である。このラインメモリ２２の部品コストや設置面積、消費電力を縮小するためには、ラインメモリ２２は、上記の検出処理に必要なライン数分の記憶容量を具備していればよい。

図４は、欠陥画素検出処理時におけるラインメモリ２２の書き込み・読み出し動作について説明する図である。なお、図４では、上述したように２画素を画素単位とした場合を想定して、実際の撮像素子１２上の２ライン分を１ラインとして表している。

上述したように、同色の画素は１ラインおきに配置されるので、ある注目画素に対する欠陥検出を行うためには、その２ライン前の画像信号と、２ライン後の画像信号とが必要となる。また、このうちの１ライン分は、Ａ／Ｄ変換回路１４から直接取得することができるため、各ライン上の注目画素に対して順次欠陥検出を行うためには、ラインメモリ２２に少なくとも４ライン分の画像信号を常時蓄積しておけばよい。

例えば、撮像素子１２上のラインＬ３の画素を注目画素として順次欠陥検出を行う場合は、ラインＬ１、Ｌ３およびＬ５の画像信号を使用する必要がある。従って、図４（Ａ）に示すように、ラインメモリ２２にはラインＬ１〜Ｌ４の画像信号を蓄積しておき、ここからラインＬ１およびＬ３の画像信号を読み出すとともに、Ａ／Ｄ変換回路１４から出力されたラインＬ５の画像信号を直接取得して、欠陥検出を順次行う。このとき、欠陥画素であると判定した画素については、取得していた各ラインの画素信号を欠陥画素補正回路２３に転送して、欠陥画素の画素信号を補正すればよい。

次に、注目画素がラインＬ４に移動すると、ラインＬ２、Ｌ４およびＬ６の画像信号が必要となる。このとき、図４（Ｂ）のように、前ラインの処理で取得したラインＬ５の画像信号を、ラインメモリ２２上のラインＬ１の記憶領域に上書きして更新する。そして、ラインＬ２およびＬ４の画像信号をラインメモリ２２から読み出すとともに、Ａ／Ｄ変換回路１４からラインＬ６の画像信号を取得して、ラインＬ３上の画素に対する欠陥検出および信号補正を行う。この後、ラインＬ６の画像信号により、ラインメモリ２２上のラインＬ２の記憶領域を更新して、次のラインの処理に移行する。

このように、ラインメモリ２２上の画像信号を順次更新していくことにより、撮像された画像の各画素の欠陥検出をリアルタイムに行うことが可能である。また、ラインメモリ２２は、少なくとも４ライン分の記憶容量を具備すればよいため、メモリの部品コストや設置面積、消費電力を抑制することができるとともに、撮像からその画像信号を記録するまでの遅延を短くすることができ、高速な画像記録動作が可能となる。

図５は、以上の第１の実施の形態において、１フィールド分の欠陥画素検出および欠陥画素補正処理の流れを示すフローチャートである。
ステップＳ５１において、欠陥画素検出回路２１は、Ａ／Ｄ変換回路１４から１ライン分、ラインメモリ２２から２ライン分の画像信号を順次取得する。なお、１フィールド分を処理する初期状態では、Ａ／Ｄ変換回路１４からの当該フィールドの画像信号をラインメモリ２２上に２ライン分蓄積した後、欠陥検出の処理が開始される。そして、注目画素が先頭ラインあるいは２番目のラインとなっている場合は、２ライン分の画像信号を用いて欠陥検出が行われるので、ラインメモリ２２からは注目画素を含む１ライン分の画像信号のみ読み出す。一方、注目画素が最終ラインあるいは最終から２番目のラインとなっている場合は、同様に２ライン分の画像信号を用いて欠陥検出が行われるが、このときＡ／Ｄ変換回路１４からは次のフィールドの画像信号が出力されているので、欠陥画素検出回路２１は、ラインメモリ２２からの２ライン分の読み出しのみ行う。なお、このとき、Ａ／Ｄ変換回路１４からの画像信号は、ラインメモリ２２上の最も古いデータが記憶された領域に順次上書きされていく。

ステップＳ５２において、欠陥画素検出回路２１は、取得した画像信号から必要な画素の画素信号を抽出して、突出度Ｔ１を算出する。
ステップＳ５３において、算出した突出度Ｔ１について、所定の上限値および下限値の範囲内にあるか否かを判定する。範囲外である場合は欠陥画素であると判断し、ステップＳ５４に進む。ステップＳ５４において、欠陥画素補正回路２３は、当該注目画素の画像信号を補正する。例えば、突出度Ｔ１の算出に使用した周辺画素の画素信号を欠陥画素検出回路２１から取得して補間演算を行い、算出結果を注目画素の画素信号としてカメラ信号処理回路２４に出力する。また、ステップＳ５３で、突出度Ｔ１が範囲内である場合は欠陥画素でないと判断し、ステップＳ５５に進む。このとき、当該注目画素の画素信号について補正処理を行わずにそのままカメラ信号処理回路２４に転送する。

ステップＳ５５において、１ライン中の全画素について欠陥検出処理が終了したか否かを判断する。終了していない場合はステップＳ５２に戻り、次の画素を注目画素として突出度Ｔ１を算出する。また、全画素の処理が終了した場合はステップＳ５６に進む。

ステップＳ５６において、１フィールド中の全ラインについて欠陥検出処理が終了したか否かを判断し、終了した場合は次のフィールドの処理に移行し、終了していない場合はステップＳ５７に進む。ステップＳ５７において、ステップＳ５１でＡ／Ｄ変換回路１４から取得した画像信号により、ラインメモリ２２上の最も古いデータの記憶領域を更新する。そして、ステップＳ５１に戻り、注目画素を１ライン分移動させて処理を続行する。

以上の処理により、欠陥画素の検出を画像の撮像時にリアルタイムで行うことが可能となり、後発欠陥を検出し、その画素信号を補正することができるとともに、検出性能を向上させ、より高画質な画像を生成することが可能となる。また、例えば欠陥画素の位置をメモリに記憶させておく必要がなく、欠陥検出に必要なラインメモリの記憶容量も比較的少なくて済むので、部品コストや設置面積などを抑制することができる。

なお、補色ＣＣＤのように、補色系の色フィルタを具備した撮像素子からインタレース転送を行う場合には、一方のフィールドのみから欠陥検出を行うようにしてもよい。補色系色フィルタを用いた撮像素子に対して、上述したように２画素を画素単位として欠陥検出を行った場合、実際にはこの２画素のどちらが欠陥であったかを判定することはできない。また、他方のフィールドでは画素の組み合わせが１ライン分移動するが、欠陥検出の確率は１００％ではないため、欠陥と判定された画素単位に関係する他方フィールドの２つの画素単位について、実際の欠陥画素を含むものが必ずしも欠陥と判定されるとは限らない。従って、フィールド間で欠陥判定が異なった場合に、ほぼ同位置の画素について一方フィールドでは補正され、他方フィールドでは補正されずに輝点や黒点として残るという可能性があり、このとき画素が点滅してしまい、目立つことになる。

このような事態を防止するため、一方のフィールドのみから欠陥検出を行い、欠陥である場合はその画素単位の信号を補正する。これとともに、他方のフィールドでは例えば、前フィールドで欠陥と判定された画素単位に関係する２つの画素単位について、欠陥の有無に関係なく双方とも補正してしまうことで、画質劣化を最小限に留めることができる。

〔第２の実施の形態〕
上記の第１の実施の形態の欠陥検出処理では、画像のバラツキ度合いに応じて検出基準値が変化することにより、欠陥検出精度が向上する。しかし、例えば白欠陥を検出する場合、突出度Ｔ１に対する上限のしきい値を低くすると、正常の画素を欠陥であると誤検出する可能性が高まり、逆にしきい値を高くすると、欠陥を見逃す可能性が高まる。このため、特にサンプリング周波数に近い高周波画像に対しては、十分な検出精度が得られるとは言えなかった。

これに対して、以下の第２の実施の形態では、欠陥のない正常な画像の場合に、隣接する異なる色の画素間の信号レベルの相関が高いことを利用して、注目画素の突出度だけでなく、それに隣接する他の色の画素の突出度も算出し、これらを比較することで、検出精度の向上を図る。

図６は、本発明の第２の実施の形態において、欠陥画素の検出のために使用する画素とその信号レベルの分布を示す図である。
図６（Ａ）に示すように、本実施の形態では、注目画素Ｘに隣接する、これと異なる色の色フィルタに対応する画素（隣接画素Ｙ）について、注目画素Ｘと同様の方法で突出度を算出する。すなわち、隣接画素Ｙの突出度の算出のためには、図６（Ａ）に示すようにその周囲の画素Ｙ１〜Ｙ８の信号レベルが用いられる。画素Ｙ１〜Ｙ８の信号レベルをそれぞれｙ１〜ｙ８、これらの平均出力レベルをＡｖｅ（ｙ）とすると、これらの標準偏差σ２は以下の式（３）により算出される。

また、隣接画素Ｙの出力レベルをｙとすると、この画素の突出度Ｔ２は以下の式（４）により算出される。

図６（Ｃ）に示すように、隣接画素Ｙの突出度Ｔ２は、図６（Ｂ）に示す注目画素の場合と同様に、隣接画素Ｙの信号レベルと、その周囲の同色画素の平均信号レベルとの差分値が、標準偏差σ２の何倍であるかを示している。従って、突出度Ｔ２は、隣接画素Ｙの信号レベルが同じ場合でも、その周囲の同色画素の信号レベルのバラツキ度合いに応じて変化する。

ここで、注目画素Ｘと隣接画素Ｙとは、色フィルタの違いにより各画素の色感度が異なるため、これらの信号レベルを単純に比較することはできない。しかし、突出度Ｔ１およびＴ２は、その周囲の平均信号レベルとの差分を標準偏差で正規化した値となっているので、色感度の差が吸収され、同じ次元で比較することが可能となっている。従って、例えば、注目画素Ｘの突出度Ｔ１が大きいと考えられる場合に、隣接画素Ｙの突出度Ｔ２が突出度Ｔ１の値に近ければ、その注目画素Ｘは白欠陥でない可能性が高い。逆に、突出度Ｔ２が突出度Ｔ１よりはるかに小さければ、注目画素Ｘは白欠陥である可能性が高い。

すなわち、白欠陥を検出するための上限値をＴｈ＿ｕｐ、黒欠陥を検出するための下限値をＴｈ＿ｄｎ（ただし、下限値Ｔｈ＿ｄｎは通常、負の値となる）とすると、白欠陥および黒欠陥と検出するための検出条件は、それぞれ以下の式（５）および式（６）のようになる。
（Ｔ１−Ｔ２）＜Ｔｈ＿ｕｐ ……（５）
（Ｔ１−Ｔ２）＞Ｔｈ＿ｄｎ ……（６）
図７は、以上の第２の実施の形態において、１フィールド分の欠陥画素検出および欠陥画素補正処理の流れを示すフローチャートである。

本実施の形態では、注目画素とともに、水平方向に隣接する隣接画素についてそれぞれ突出度を算出している。このため、あるライン上の注目画素について欠陥検出を行う場合は、上記の第１の実施の形態と同様に、その２ライン前の画像信号と、２ライン後の画像信号を取得できればよい。

従って、ステップＳ７１において、図５のステップＳ５１と同様に、欠陥画素検出回路２１は、Ａ／Ｄ変換回路１４から１ライン分、ラインメモリ２２から２ライン分の画像信号を順次取得する。なお、注目画素が先頭ラインあるいは２番目のラインとなっている場合や、注目画素が最終ラインあるいは最終から２番目のラインとなっている場合の信号取得手順も、ステップＳ５１の場合と同様である。

ステップＳ７２において、欠陥画素検出回路２１は、取得した画像信号から必要な画素の画素信号を抽出して、突出度Ｔ１およびＴ２を算出する。ステップＳ７３において、算出した突出度Ｔ１およびＴ２の差分値が、所定の上限値および下限値の範囲内にあるか否かを判定する。範囲外である場合は欠陥画素であると判断し、ステップＳ７４に進んで、欠陥画素補正回路２３が、当該注目画素の画像信号を補正する。また、差分値が範囲内である場合は、信号補正を行わずにステップＳ７５に進む。

ステップＳ７５において、１ライン中の全画素について欠陥検出処理が終了したか否かを判断し、終了していない場合はステップＳ７２に戻り、処理が終了した場合はステップＳ７６に進む。ステップＳ７６において、１フィールド中の全ラインについて欠陥検出処理が終了したか否かを判断し、終了した場合は次のフィールドの処理に移行し、終了していない場合はステップＳ７７に進む。ステップＳ７７において、Ａ／Ｄ変換回路１４から取得した画像信号により、ラインメモリ２２上の最も古いデータの記憶領域を更新する。そして、ステップＳ７１に戻り、注目画素を１ライン分移動させて処理を続行する。

ここで、本実施の形態の検出方法を用いた場合の具体的な測定例について説明する。以下の測定例では、撮像対象の画像として、円形ゾーンプレート（ＣＺＰ）を用いた。このＣＺＰを撮像して得られた画像の画素数は１４９２×８７４であり、これらのうち欠陥（ここでは白欠陥）画素を任意に１０００点設けてある。なお、欠陥画素の出力レベル（欠陥レベル）の値を“３０００”（ただし最大１６３６３）としている。

図８は、本実施の形態の検出方法による測定結果の例を示すグラフである。
図８では、欠陥画素を見逃して、欠陥のない正常な画素と判定した場合を“検出ミス”、正常な画素を欠陥画素と誤って判定した場合を“誤判定”とし、白欠陥を検出するための上限値Ｔｈ＿ｕｐを変化させたときの、検出ミスおよび誤判定がなされた各画素数を表している。上限値Ｔｈ＿ｕｐが小さい場合には、注目画素の信号レベルがその周囲より極端に大きくなく、その周囲に埋もれているように見える状態でも欠陥として検出され、逆に上限値Ｔｈ＿ｕｐが大きい場合には、注目画素の信号レベルがその周囲と比較して極端に突出している場合に欠陥として検出されることになる。

この結果、上限値Ｔｈ＿ｕｐを１としたとき、検出ミスは１０画素以下で、誤検出が１００００画素程度となっている。また、上限値Ｔｈ＿ｕｐを１．５としたときは、検出ミスが２０画素程度と増加するが、誤検出は５０００画素程度に減少する。この測定で用いた画像は通常撮像される画像よりはるかに高周波な成分を有し、測定条件としては非常に厳しいものである。また、誤検出が行われた場合はその画素が周囲の画素信号を用いて補正されるが、検出ミスの場合は補正されずに輝点が画面上に残るため、誤検出の方が検出ミスよりも画質劣化は少ないと言える。従って、上記の測定では従来と比較して、より良好な結果が得られたと言える。

以上のように、本実施の形態では、注目画素に隣接する他の色の画素についても突出度を算出し、注目画素の突出度との差分値を算出して欠陥検出の基準値としている。近接している異なる色の画素間では、信号レベルの相関関係が強いことから、同色画素のみの突出度を基に欠陥の有無を判定した場合と比較して、検出精度を向上させることができ、後発欠陥をリアルタイムに検出して、より高画質の画像を生成することが可能となる。

〔第３の実施の形態〕
上記の図８の測定結果では、検出精度が大きく改善されているものの、誤検出が発生した画素数が一千のオーダーとなっていることから、さらに誤検出の発生回数を大幅に減少させて、撮像対象に対してより忠実な画像が得られるようにすることが望ましい。このためには、水平方向だけでなく、垂直方向などの他の色の色フィルタに対応する画素についても突出度を算出し、注目画素と比較すればよい。さらに、比較対象とする突出度の算出精度を高めるために、他の色の画素について、注目画素の突出度の算出に用いる画素と空間的に同じ位置に相当する画素を補間処理により生成して、その画素を用いて突出度を算出し、比較する。これにより、検出精度をさらに高めることができる。

以下、このような欠陥検出の方法を第３の実施の形態として説明する。図９は、本発明の第３の実施の形態において、欠陥画素の検出のために使用する画素を示す図である。
図９に示すように、本実施の形態では、注目画素Ｘの他、さらに異なる２色に対応する画素の画素信号を使用する。図９では、注目画素Ｘおよび周辺画素Ｘ１〜Ｘ８、画素Ｙ１１〜Ｙ２２、Ｚ１１〜Ｚ２２のそれぞれが同色の色フィルタに対応している。なお、以下の説明では、注目画素Ｘに対応する色を第１の色、画素Ｙ１１〜Ｙ２２に対応する色を第２の色、画素Ｚ１１〜Ｚ２２に対応する色を第３の色と呼称することにする。

ところで、近接している異なる色の画素間では一般に信号レベルの相関関係が強いが、異なる色の画素は、正確には撮像面上の空間位置が異なる。このため、注目画素Ｘと異なる第２および第３の色に対応する画素について、これらが第１の色に対応する画素と空間的に同じ位置にあった場合にどのような値になるかを補間演算により近似し、その近似値を用いて突出度を算出することで、比較対象となる突出度の算出精度がより向上する。

例えば、図９において、第２の色の画素は第１の色の画素に対して水平方向に隣接している。この場合、第１の色に対応する各画素に隣接する２画素を用いて補間演算を行うことにより、第１の色の各画素と同じ位置の画素の信号レベルを近似することができる。第２の色の画素Ｙ１１〜Ｙ２２の信号レベルをそれぞれｙ１１〜ｙ２２とすると、例えば、注目画素Ｘの位置に対応する第２の色の信号レベルｙ＿ｘは、ｙ＿ｘ＝（ｙ１６＋ｙ１７）／２により近似され、周辺画素Ｘ１の位置に対応する第２の色の信号レベルｙ＿ｘ１は、ｙ＿ｘ１＝（ｙ１１＋ｙ１２）／２により算出される。上述したように、注目画素Ｘの突出度を算出するためには、その周辺画素Ｘ１〜Ｘ８の画素信号を使用する必要があるので、第２の色の画素についての突出度を求めるためには、画素Ｘ１〜Ｘ８の各位置について、隣接する２画素の信号レベルを基に同様に近似した信号レベルｙ＿ｘ１〜ｙ＿ｘ８を求める。そして、これらの値の標準偏差σｉｎｔ２を、以下の式（７）により算出する。

ただし、信号レベルｙ＿ｘ１〜ｙ＿ｘ８の平均信号レベルをＡｖｅ（ｙ＿ｘ）としている。従って、この標準偏差σｉｎｔ２と、注目画素Ｘの位置について近似した信号レベルｙ＿ｘとを用いて、その突出度Ｔｉｎｔ２は以下の式（８）により算出される。

また、第１の色の画素に対して垂直方向に隣接している第３の色の画素についても、同様な演算を行う。すなわち、まず、周辺画素Ｘ１〜Ｘ８の各位置と空間的に同じ位置における第３の色の信号レベルを補間演算により近似する。図９において、画素Ｚ１１〜Ｚ２２の信号レベルをそれぞれｚ１１〜ｚ２２とすると、例えば周辺画素Ｘ１の位置に対応する信号レベルｚ＿ｘ１は、ｚ＿ｘ１＝（ｚ１１＋ｚ１４）／２により算出される。同様に信号レベルｚ＿ｘ２〜ｚ＿ｘ８を算出すると、これらの標準偏差σｉｎｔ３は、以下の式（９）により算出される。

ただし、信号レベルｚ＿ｘ１〜ｚ＿ｘ８の平均信号レベルをＡｖｅ（ｚ＿ｘ）としている。そして、この標準偏差σｉｎｔ３と、注目画素Ｘの位置について垂直方向に近似した信号レベルｚ＿ｘとを用いて、その突出度Ｔｉｎｔ３は以下の式（１０）により算出される。

以上のように水平方向、垂直方向に対する近似値からそれぞれ算出された突出度Ｔｉｎｔ２およびＴｉｎｔ３と、第１の色に対応する注目画素Ｘについての突出度Ｔ１との差分値を求めると、白欠陥、黒欠陥を検出するための検出条件は、上限値Ｔｈ＿ｕｐと下限値Ｔｈ＿ｄｎを用いてそれぞれ以下の式（１１）および（１２）のようになる。
Ｔ１−Ｔｉｎｔ２＞Ｔｈ＿ｕｐかつＴ１−Ｔｉｎｔ３＞Ｔｈ＿ｕｐ ……（１１）
Ｔ１−Ｔｉｎｔ２＜Ｔｈ＿ｄｎかつＴ１−Ｔｉｎｔ３＜Ｔｈ＿ｄｎ ……（１２）
図１０は、以上の第３の実施の形態において、１フィールド分の欠陥画素検出および欠陥画素補正処理の流れを示すフローチャートである。

本実施の形態では、注目画素とともに、水平方向および垂直方向に隣接する隣接画素についてそれぞれ突出度を算出している。このため、あるライン上の注目画素について欠陥検出を行う場合は、当該ラインの画像信号に加えて、それ以前の３ライン分とその後の３ライン分の合計７ライン分の画像信号を取得する必要がある。このうち、１ライン分はＡ／Ｄ変換回路１４から直接取得できるので、ラインメモリ２２は６ライン分の記憶容量を具備すればよい。また、このようにラインメモリ２２が最小限の記憶容量を具備する場合は、あるライン上の欠陥検出処理を行う際に、その全ライン分の画像信号を欠陥画素検出回路２１が読み込む必要がある。

従って、ステップＳ１０１において、欠陥画素検出回路２１は、Ａ／Ｄ変換回路１４から１ライン分、ラインメモリ２２から全ライン（６ライン）分の画像信号を順次取得する。ただし、１フィールド中において、先頭から３ラインまでの各画素と、最終ラインから３ライン分前までの各画素については、上述したような必要な他のすべての画素の画素信号を用いて処理することはできない。このため、これらのラインを欠陥検出対象とした場合は、ラインメモリ２２から読み出すライン数は５ライン分以下となる。

ステップＳ１０２において、欠陥画素検出回路２１は、取得した画像信号から必要な画素の画素信号を抽出し、周辺画素Ｘ１〜Ｘ８の位置に対応する他の色の信号レベルｙ＿ｘ１〜ｙ＿ｘ８，ｚ＿ｘ１〜ｚ＿ｘ８と、注目画素Ｘの位置に対応する他の色の信号レベルｙ＿ｘおよびｚ＿ｘを、補間演算により算出する。

ステップＳ１０３において、突出度Ｔ１、Ｔｉｎｔ２およびＴｉｎｔ３を算出する。ステップＳ１０４において、算出した突出度Ｔ１と、これに対応する他の色の突出度Ｔｉｎｔ２およびＴｉｎｔ３との差分値が、所定の上限値および下限値の範囲内にあるか否かを判定する。範囲外である場合は欠陥画素であると判断し、ステップＳ１０５に進んで、欠陥画素補正回路２３が、当該注目画素の画像信号を補正する。また、差分値が範囲内である場合は、信号補正を行わずにステップＳ１０６に進む。

ステップＳ１０６において、１ライン中の全画素について欠陥検出処理が終了したか否かを判断し、終了していない場合はステップＳ１０２に戻り、処理が終了した場合はステップＳ１０７に進む。ステップＳ１０７において、１フィールド中の全ラインについて欠陥検出処理が終了したか否かを判断し、終了した場合は次のフィールドの処理に移行し、終了していない場合はステップＳ１０８に進む。ステップＳ１０８において、Ａ／Ｄ変換回路１４から取得した画像信号により、ラインメモリ２２上の最も古いデータの記憶領域を更新する。そして、ステップＳ１０１に戻り、注目画素を１ライン分移動させて処理を続行する。

なお、本実施の形態では、例として、１つの画素についてそれに隣接する２画素を用いて空間的に同じ位置の画素を作成したが、これより多くの画素を用いてもよい。また、その際には、例えば目的とする画素からの距離等に応じて各画素の信号レベルに所定の重み付けを行ってもよい。例えば、図９において、注目画素Ｘと空間的に同じ位置の画素を作成するために、これに水平方向に隣接する４つの画素Ｙ１５〜Ｙ１８を用いる場合を想定すると、注目画素Ｘからの距離に応じて３：１の重み付けを行い、注目画素Ｘの位置に対応する第２の色の信号レベルｙ＿ｘを、ｙ＿ｘ＝（ｙ１５＋３×ｙ１６＋３×ｙ１７＋ｙ１８）／（１＋３＋３＋１）により算出してもよい。

次に、本実施の形態の検出方法を用いた場合の具体的な測定例について説明する。図１１は、本実施の形態の検出方法による測定結果の例を示すグラフである。
図１１の測定例では、上記の図８の場合と同様に、ＣＺＰを撮像し、得られた画素数１４９２×８７４の画像内で、欠陥（ここでは白欠陥）画素を任意に１０００点設けた。なお、欠陥画素の出力レベル（欠陥レベル）の値も同様に“３０００”（ただし最大１６３６３）としている。また、白欠陥を検出するための上限値Ｔｈ＿ｕｐを変化させたときの、検出ミスおよび誤判定がなされた各画素数を表している。

この結果、検出ミスとなった画素数は、上限値Ｔｈ＿ｕｐが１．２以下では十数個程度以下に抑えることができた。一方、誤検出となった画素数は、上記の第２の実施の形態と比較して飛躍的に減少し、上限値Ｔｈ＿ｕｐが１のとき十数個程度、１．２のとき数個程度で、さらに上限値Ｔｈ＿ｕｐを増加させることで誤検出をほぼなくすことができた。検出ミス、誤検出のバランスを考えると、上限値Ｔｈ＿ｕｐは１．２程度とすることが望ましい。

以上のように、本実施の形態では、注目画素に隣接する他の複数の色の画素について、注目画素と同じ色の画素と空間的に同じ位置での信号レベルを補間演算により近似し、それぞれ突出度を算出して比較することにより、特に正常な画素を欠陥画素と判定する可能性を飛躍的に減少させ、検出精度を大幅に向上させることができる。従って、後発欠陥をリアルタイムに検出して、より高画質の画像を生成することが可能となる。

欠陥画素をリアルタイムに検出する際、撮像した画像が高周波である場合（例えば、被写体が木の茂み等の場合）には、その画像を視認した人間が画像の中から欠陥画素を認識することは非常に困難であるが、逆に低周波で一様な画像である場合（例えば、被写体が黒い一様な紙等の場合）には、欠陥画素が簡単に認識される。これに対して、画像処理により欠陥画素を検出する本発明でも、高周波画像では、注目画素の周辺における出力レベルのバラツキが大きいために突出度が小さくなり、人間が欠陥を認識しにくいのと同じように、欠陥画素が検出しにくくなる。

このような作用により、高周波画像から無理に欠陥を検出しようとして、正常な画素まで欠陥であると判定する「誤検出」の発生が防止されることになる。すなわち、突出度を基に欠陥検出を行うことで、人間が見て不自然であると認識される画素だけを抽出することができる、誤検出の少ない欠陥検出が実現されると言える。そして、第２の実施の形態、および第３の実施の形態のように、注目画素と異なる色の色フィルタに対応する画素についても欠陥検出の対象を広げることで、誤検出の発生頻度をより少なくすることができる。このことは、図８や図１１の測定結果でも明らかである。

なお、以上の実施の形態では、注目画素の水平方向および垂直方向に隣接する異なる色の画素を演算に用いたが、さらに、斜め方向に隣接する異なる色の画素の演算に用いることにより、検出精度を高めることができる。

〔第４の実施の形態〕
上記の各実施の形態では、単板方式の撮像素子を用いた場合について説明したが、本発明は、複数の撮像素子を用いて１枚の画像を生成する場合にも適用することが可能である。以下、このような場合としていわゆる３ＣＣＤ方式のデジタルビデオカメラを例に挙げて補足説明する。

図１２は、３ＣＣＤ方式のデジタルビデオカメラの要部構成を示すブロック図である。なお、図１２では、図１に示した各ブロックに対応するものについては、同じ符号を付して示している。

３ＣＣＤ方式のデジタルビデオカメラでは、図１２に示すように、光学ブロック１１を通過した、撮像対象からの反射光は、プリズム１１ａにより３方向に伝達される。これらの伝達方向には、それぞれＲＧＢの各色の色フィルタに対応するＣＣＤ１２ａ〜１２ｃが設けられており、各色の画像成分がＣＣＤ１２ａ〜１２ｃにより個別に受光され、光電変換されて、ＣＤＳ／ＡＧＣ１３およびＡ／Ｄ変換回路１４を介して欠陥画素検出回路２１に供給される。

欠陥画素検出回路２１では、ＣＣＤ１２ａ〜１２ｃのそれぞれについて、欠陥画素を個別に検出する必要がある。ここで、ある色に対応するＣＣＤ上の注目画素について、他の色の画素信号を用いて突出度の比較を行う場合、各ＣＣＤ１２ａ〜１２ｃでは、上述した単板式の撮像素子と違い、各色の画素が各ＣＣＤにおいて空間的に同じ位置に存在しているため、各色に対応する画素信号を補間演算などを行わずにそのまま使用することができる。

図１３は、本実施の形態において、欠陥画素の検出のために使用する画素を示す図である。
図１３（Ａ）〜（Ｃ）は、それぞれＲＧＢに対応するＣＣＤ１２ａ〜１２ｃにおける画素配列の例を示している。ここで、ＣＣＤ１２ａ上の注目画素Ｘｒについては、これに隣接する８つの画素Ｘｒ１〜Ｘｒ８を周辺画素として、上記の式（１）および（２）により突出度Ｔｒ１を求めることができる。ところで、ＣＣＤ１２ｂおよび１２ｃには、注目画素Ｘｒと、生成される画像上で同じ位置に対応する画素ＹｇおよびＺｂが存在しており、これらについて同様に突出度を算出することができる。すなわち、ＣＣＤ１２ｂでは、画素Ｙｇに隣接する８つの画素Ｙｇ１〜Ｙｇ８を周辺画素として、式（１）および（２）により突出度Ｔｇ２が求められる。また、ＣＣＤ１２ｃでは、画素Ｚｂに隣接する８つの画素Ｚｂ１〜Ｚｂ８を周辺画素として、同様に突出度Ｔｂ３が求められる。

従って、注目画素Ｘｒについての白欠陥、黒欠陥を検出するための検出条件は、上限値Ｔｈ＿ｕｐと下限値Ｔｈ＿ｄｎを用いてそれぞれ以下の式（１３）および（１４）のようになる。
Ｔｒ１−Ｔｇ２＞Ｔｈ＿ｕｐかつＴｒ１−Ｔｂ３＞Ｔｈ＿ｕｐ ……（１３）
Ｔｒ１−Ｔｇ２＜Ｔｈ＿ｄｎかつＴｒ１−Ｔｂ３＜Ｔｈ＿ｄｎ ……（１４）
以上のように、３ＣＣＤ方式など、生成される画像上で同じ位置に対応する異なる画素が個別の撮像素子上に存在する場合は、同じ位置に対応する各撮像素子上の画素について、補間演算を用いない容易な演算により突出度を求めることができる。そして、これらの突出度を比較し、欠陥の有無を判定することにより、検出精度を大幅に向上させることができ、後発欠陥をリアルタイムで検出して、より高画質の画像を生成することが可能となる。また、検出に必要な演算能力が比較的低いので、部品コストや回路規模、消費電力などを低減することができる。

なお、以上の各実施の形態では、注目画素の周辺に位置する周辺画素の信号レベルのみを用いて分散値（実際には標準偏差）を算出したが、周辺画素に加えて注目画素の信号レベルを含めて分散値を算出してもよい。この場合、算出した分散値を用いた突出度の算出式においても、周辺画素に加えて注目画素を含めた平均信号レベルを用いる必要がある。また、突出度の算出時に用いる平均信号レベルは、各信号レベルを単純平均する方法の他、各信号レベルに所定の重み付けを行って平均する加重平均が採用されてもよい。例えば、各周辺画素の信号レベルについて、注目画素との距離に応じた重み付けを行うようにする。

また、上記の各実施の形態では、注目画素の突出度を求めるために、注目画素に最も近い８つの周辺画素の画素信号を用いたが、さらに周辺画素を採用する範囲を広げてもよい。例えば、上記の周辺画素のさらに周囲に位置する１６個の画素の画素信号も使用してもよい。この場合、他の色の画素の突出度を算出する際にも、その周辺画素の採用範囲を同様に広げる必要がある。このように、採用する画素の範囲を広げることにより、欠陥検出の精度をさらに向上させることができるが、欠陥検出時に画像信号を一時記憶させるラインメモリの容量が大きくなるとともに、高速な動作を可能にするためにはより高い演算能力が必要となる。

また、以上の各実施の形態では、本発明をデジタルスチルカメラに適用した場合について説明したが、固体撮像素子を用いて画像を撮像するすべての撮像装置について、本発明を適用することが可能である。例えば、静止画像を撮像して記録するデジタルスチルカメラに本発明を適用する場合には、シャッタレリーズボタンの押下などにより画像の記録操作が行われると、その都度、欠陥画素の検出およびその画素信号の補正を行えばよい。

さらに、本発明は、固体撮像素子に限らず、画素がマトリクス状に配列された状態の機器において、異常のある画素を検出する場合に応用することができる。例えば、ＬＣＤの画面上から、異常の生じた画素を検出する場合に適用することができる。この場合、ＬＣＤの表面を、その表示画素数より多い画素数の撮像装置により撮像し、撮像画像から異常の生じた画素を検出する。

本発明の第１の実施の形態に係るデジタルビデオカメラの構成を示すブロック図である。 撮像素子として補色ＣＣＤを用いた場合の画素配列の例を示す図である。 本発明の第１の実施の形態において、欠陥画素の検出のために使用する画素とその信号レベルの分布を示す図である。 欠陥画素検出処理時におけるラインメモリの書き込み・読み出し動作について説明する図である。 本発明の第１の実施の形態において、１フィールド分の欠陥画素検出および欠陥画素補正処理の流れを示すフローチャートである。 本発明の第２の実施の形態において、欠陥画素の検出のために使用する画素とその信号レベルの分布を示す図である。 本発明の第２の実施の形態において、１フィールド分の欠陥画素検出および欠陥画素補正処理の流れを示すフローチャートである。 本発明の第２の実施の形態の検出方法による測定結果の例を示すグラフである。 本発明の第３の実施の形態において、欠陥画素の検出のために使用する画素を示す図である。 本発明の第３の実施の形態において、１フィールド分の欠陥画素検出および欠陥画素補正処理の流れを示すフローチャートである。 本発明の第３の実施の形態の検出方法による測定結果の例を示すグラフである。 ３ＣＣＤ方式のデジタルビデオカメラの要部構成を示すブロック図である。 本発明の第４の実施の形態において、欠陥画素の検出のために使用する画素を示す図である。

符号の説明

１１……光学ブロック、１２……撮像素子、１３……ＣＤＳ／ＡＧＣ、１４……Ａ／Ｄ変換回路、２１……欠陥画素検出回路、２２……ラインメモリ、２３……欠陥画素補正回路、２４……カメラ信号処理回路、２５……ビデオ処理回路、２６……画像メモリ、３０……オーディオ処理回路、３１……マイクロフォン、３２……スピーカ、４０……制御回路、５０……入力部、６０……ＬＣＤコントローラ、６１……ＬＣＤ、７０……テープデッキ部、７１……ビデオカセット

Claims (16)

1. 固体撮像素子における欠陥画素を検出するための欠陥画素検出方法において、
   前記固体撮像素子上の注目画素を中心とする一定範囲に存在する画素の出力レベルの分散値を基に、前記注目画素と前記一定範囲に存在する画素との相関をとることにより、前記注目画素が前記欠陥画素であるか否かを検出することを特徴とする欠陥画素検出方法。
2. 前記注目画素の出力レベルと前記一定範囲に存在する画素の平均出力レベルとの差分値を前記分散値を基に正規化した、前記注目画素の前記一定範囲における出力レベルの突出度合いを示す突出度を、前記欠陥画素の検出基準とすることを特徴とする請求項１記載の欠陥画素検出方法。
3. 前記突出度は、前記差分値を前記分散値の平方根で除算することで算出されることを特徴とする請求項２記載の欠陥画素検出方法。
4. 生成される画像上で同じ位置に対応する同位置画素が存在する場合、前記注目画素、および前記注目画素に対応する他の前記同位置画素のそれぞれの前記突出度を算出して比較することにより、前記注目画素が前記欠陥画素か否かを検出することを特徴とする請求項２記載の欠陥画素検出方法。
5. 前記同位置画素は、それぞれ異なる色の色フィルタに対応する個別の固体撮像素子上に設けられていることを特徴とする請求項４記載の欠陥画素検出方法。
6. 前記突出度は、前記注目画素の出力レベルと、前記周辺範囲に存在する、前記注目画素と同色の色フィルタに対応する画素の平均出力レベルとの差分値を、前記分散値を基に正規化することにより算出されることを特徴とする請求項２記載の欠陥画素検出方法。
7. 前記注目画素、および前記注目画素と異なる色の色フィルタに対応して前記注目画素に隣接する隣接画素のそれぞれについて前記突出度を算出して比較することにより、前記注目画素が前記欠陥画素か否かを検出することを特徴とする請求項６記載の欠陥画素検出方法。
8. 前記注目画素と異なる色の色フィルタに対応して前記注目画素に隣接する複数の隣接画素についてそれぞれ前記突出度を算出し、前記複数の隣接画素の前記各突出度を基に前記注目画素と空間的に同じ位置となる画素の前記突出度を補間演算により算出して、前記注目画素の前記突出度と比較することにより、前記注目画素が前記欠陥画素か否かを検出することを特徴とする請求項６記載の欠陥画素検出方法。
9. 前記注目画素と異なる複数の色の色フィルタに対応する前記複数の隣接画素について、対応する色フィルタの色ごとに前記注目画素と空間的に同じ位置となる画素の前記突出度を補間演算により算出して、前記注目画素の前記突出度と比較することを特徴とする請求項８記載の欠陥画素検出方法。
10. 前記突出度が所定の上限値より大きいとき、前記注目画素に白欠陥が発生していることを検出し、前記突出度が所定の下限値より小さいとき、前記注目画素に黒欠陥が発生していることを検出することを特徴とする請求項２記載の欠陥画素検出方法。
11. 前記固体撮像素子が原色に対する補色の色フィルタを備え、各画素の出力信号がインタレース方式により転送される場合、一方のフィールドについてのみ欠陥画素の検出を行うことを特徴とする請求項１記載の欠陥画素検出方法。
12. 前記注目画素に対する前記欠陥画素の検出を行う際には、少なくとも、前記周辺範囲内のライン数より１つ少ないライン数分の画素信号がラインメモリに保持されることを特徴とする請求項１記載の欠陥画素検出方法。
13. 固体撮像素子における欠陥画素を検出する欠陥画素検出装置において、
    前記固体撮像素子上の注目画素を中心とした一定範囲に存在する画素の出力レベルの分散値を基に、前記注目画素と前記一定範囲に存在する画素との相関をとる演算手段と、
    前記演算手段による演算結果に基づいて、前記注目画素が前記欠陥画素であるか否かを判定する判定手段と、
    を有することを特徴とする欠陥画素検出装置。
14. 前記演算手段は、前記注目画素の出力レベルと前記一定範囲に存在する画素の平均出力レベルとの差分値を前記分散値を基に正規化した、前記注目画素の前記一定範囲における出力レベルの突出度合いを示す突出度を算出することを特徴とする請求項１３記載の欠陥画素検出装置。
15. 固体撮像素子を用いて画像を撮像する撮像装置において、
    前記固体撮像素子上の注目画素を中心とした一定範囲に存在する画素の出力レベルの分散値を基に、前記注目画素と前記一定範囲に存在する画素との相関をとる演算手段と、
    前記演算手段による演算結果に基づいて、前記注目画素が欠陥画素であるか否かを判定する判定手段と、
    を有することを特徴とする撮像装置。
16. 前記演算手段は、前記注目画素の出力レベルと前記一定範囲に存在する画素の平均出力レベルとの差分値を前記分散値を基に正規化した、前記注目画素の前記一定範囲における出力レベルの突出度合いを示す突出度を算出することを特徴とする請求項１５記載の撮像装置。

Images