JP2001086517A - 画素欠陥検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 カラーフィルタをもつ単板式固体撮像装置に
あって、通常画像を撮影した状態で固体撮像素子の画素
欠陥を検出する。 【解決手段】 単板式カラービデオカメラにおける画素
欠陥である例えば白キズを検出する場合に、検査を行う
画素が持つ色とは別の色フィルタを持つ周辺の画素にお
ける周波数特性から検査対象画素が高周波成分を持たな
いことをチェックした後、その検査対象画素が高周波成
分を持つことが検出されたときに、その画素がキズであ
ると検出する。これにより動画を取り込みながらキズ補
正を行うことが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カラーフィルタ
をその受光面上に配置した固体撮像素子の画素欠陥検出
に係り、特に通常の撮影状態の固体撮像素子出力に対し
てデジタル信号処理を行うことにより画素欠陥の位置を
自動的に検出する画素欠陥検出装置に関する。

【０００２】

【従来の技術】一般にＣＣＤやＣＭＯＳなどの半導体に
より形成される固体撮像素子においては、半導体の局部
的な結晶欠陥等により画質劣化を生じさせる画素欠陥が
生じることが知られている。画素欠陥の画素では、入射
光量に応じた撮像出力に常に一定のバイアス電圧が加算
されてしまい、画面上には固定した位置に高輝度の白い
点として現れるのが、白キズと呼ばれている。また、こ
の白キズは製造上の問題ばかりでなく、外部のなんらか
の要因により画素欠陥が発生することも知られている。

【０００３】これまでの固体撮像素子におけるキズ点の
補正は、予めこのキズ位置を検査し、撮像装置内に用意
したＲＯＭにこの位置を書き込んでおき、通常の撮影時
にはこの画素位置の情報を前後にある同色画素の値で置
き換える方法が取られてきた。

【０００４】また、複数の固体撮像素子を持つ撮像装置
では、固体撮像素子間で差分を取りこの値がある一定値
以上であれば、これをキズとして検出したり、あるいは
素子出力そのものの値の変わりに色差信号を求め、これ
の変化量を検査する方法がある。

【０００５】さらに、１つの撮像素子上において同色画
素間において信号レベルをその前後の画素と直接比較あ
るいはフィルタリング処理した後比較し、この値がある
一定値以上であるときこれをキズとして検出していた。

【０００６】しかしながら、予めキズ位置を検査してお
く方法は、出荷後に何らかの外部要因によりできるキズ
に対応できない。例えば複数の固体撮像素子を持つ撮像
装置にて使用されている方法は、それぞれの画素が複数
の撮像素子出力をもつことを利用しているため、単板色
の撮像装置には使用できない。同色画素間での演算によ
るキズ検査方法は、キズでないスポット輝度点を誤って
白キズとして検出してしまう可能性が高かった。

【０００７】

【発明が解決しようとする課題】上記した従来の単板色
カラー撮像装置のおける固体撮像素子における画素のキ
ズを検出する各方法は、いずれも適応性に欠け、画素の
キズの検出結果は満足できるものではなかった。

【０００８】この発明の目的は、単板色カラー撮像装置
において、通常の撮影状態において短時間でキズを検出
するとともに、キズの検出を精度高く行うことを目的と
した画素欠陥検出装置を提供することにある。

【０００９】

【課題を解決するための手段】上記課題を達成するため
に、固体撮像素子の受光面にカラーフィルタが配置され
た単板式固体撮像装置において、通常画像を撮影した状
態で任意の画素が選択されたとき、該画素および該画素
周辺の少なくとも１画素において符号化演算を行い、こ
の演算出力により前記任意の選択画素を前記画素周辺値
と置き換えるかどうかを選択することを特徴とする。

【００１０】また、カラーフィルタを持つ単板式固体撮
像装置において、通常画像を撮影した状態で任意の画素
が選択されたとき、該画素周辺の複数の他色画素を選択
して任意の設定値との間での比較と、前記任意の選択画
素と該画素周辺の複数の同色画素を選択して任意の設定
値との間での比較を行い、これらの比較結果から、前記
任意の選択画素を前記画素周辺値と置き換えるかどうか
を選択することを特徴とする。

【００１１】上記した各手段によれば、単板式カラービ
デオカメラにおける画素欠陥、特に白キズを検出する場
合に、検査を行う画素が持つ色とは別の色フィルタを持
つ周辺の画素における周波数特性から検査対象画素が高
周波成分を持たないことをチェックした後、その検査対
象画素が高周波成分を持つことが検出されたときに、そ
の画素がキズであると検出する。これにより動画を取り
込みながらキズ補正を行うことが可能となる。

【００１２】

【発明の実施の形態】以下、この発明の実施の形態につ
いて、図面を参照しながら詳細に説明するが、図１に示
すような２×２のベイヤ色フィルタ配列を持つ固体撮像
素子を例にして説明する。

【００１３】図２は、この発明の概念について説明する
ための模式図であり、例えば白キズが孤立点として存在
する場合の処理手順について具体的に説明する。まず、
第１段階の第１の処理を行う画素（以下、ターゲット画
素という。）が持つ色Ｇ１と図２（ａ）では別の色Ｒ同
士にに対して、（ｂ）では別の色Ｂ同士にに対して、
（ｂ）では別の色Ｇ２同士にに対してそれぞれ帯域フィ
ルタリングを行う。第２の処理としてこれの絶対値を求
める。この結果を第３の処理として外部から設定される
閾値より小さいかどうか比較する。この場合は、ターゲ
ット画素がＧ１であるので、Ｒ，Ｂ，Ｇ２をそれぞれ独
立に検査を行うことになる。

【００１４】この第１段階の検査によりターゲット画素
周辺に高域周波数成分がないことが確認できたことにな
る。一般に低域成分においては、他色間においても高い
相関性があることが知られており、ターゲット画素が高
域成分を持たないと仮定できる。

【００１５】ここで、（１，−１）の係数を持つ帯域通
過フィルタＢＰＦの処理について説明する。なお、ａｂ
ｓ［…］は絶対値を算出する関数、Ｓ（ｘ，ｙ）は図１
に示す座標系（ｚ，ｙ）における画素値、座標系は、タ
ーゲット画素を原点（０，０）としている。Ｖ（ｔ１）
は外部から設定される閾値であり、画素Ｒ，Ｂ，Ｇ２の
第１段階の検査を数式で表すと（１）〜（３）のように
なる。

【００１６】 （１）…Ｒ画素の位置での第１の処理 ａｂｓ［Ｓ（−１，−２）−Ｓ（−１，０）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（＋１，−２）−Ｓ（＋１，０）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（−１， ０）−Ｓ（＋１，０）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（−１，＋２）−Ｓ（−１，０）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（＋１，＋２）−Ｓ（＋１，０）］＜Ｖ（ｔ１） （２）…Ｂ画素の位置での第１の処理 ａｂｓ［Ｓ（−２，−１）−Ｓ（０，−１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（＋２，−１）−Ｓ（０，−１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（ ０，−１）−Ｓ（０，＋１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（−２，＋１）−Ｓ（０，＋１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（＋２，＋１）−Ｓ（０，＋１）］＜Ｖ（ｔ１） （３）…Ｇ２画素の位置での第１の処理 ａｂｓ［Ｓ（−１，−１）−Ｓ（＋１，−１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（＋１，−１）−Ｓ（＋１，＋１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（＋１，＋１）−Ｓ（−１，＋１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（−１，＋１）−Ｓ（−１，−１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（−１，−１）−Ｓ（＋１，＋１）］＜Ｖ（ｔ１） ａｂｓ［Ｓ（＋１，−１）−Ｓ（−１，＋１）］＜Ｖ（ｔ１）

【００１７】次に行う第２段階の検査は、図３に示すよ
うにターゲット画素自体の周波数特性を調べるものであ
る。また、ターゲット画素Ｓ（０，０）が白キズである
場合、この信号レベルは他のＧ１画素より大きくなるは
ずであるので、第１段階のように絶対値を取る必要はな
い。すなわち、すべてターゲット画素からその周辺画素
を引き、外部設定の閾値Ｖ（ｔ２）より大きいかどうか
を比較した結果を数式で表すと（４）のようになる。

【００１８】（４）…第２段階の検査 Ｓ（０，０）−Ｓ（０，−２）＞Ｖ（ｔ２） Ｓ（０，０）−Ｓ（＋２，０）＞Ｖ（ｔ２） Ｓ（０，０）−Ｓ（０，＋２）＞Ｖ（ｔ２） Ｓ（０，０）−Ｓ（−２，０）＞Ｖ（ｔ２） これらの検査項目すべてをクリアした場合、ターゲット
画素が白キズであるとする。

【００１９】これまで述べてきた検出方法では、画素値
そのままを使用して演算を行ってきたが、映像信号のレ
ベルか低い場合白キズが検出されなくなることが考えら
れる。これを補正する方法としては帯域通過フィルタ
を、入力画素値の平均により振幅を補正することで解決
することが可能である。

【００２０】これを式で表わすと、画素値をそのまま用
いる帯域通過フィルタ（ｘ１，ｘ２）が、 ＢＰＦ（ｘ１，ｘ２）＝ｘ１−ｘ２ であるのに対し、 ＢＰＦ（ｘ１，ｘ２）＝（ｘ１−ｘ２）／（（ｘ１＋ｘ
２）／２） とすればよい。ここで、ｘ１，ｘ２は帯域通過フィルタ
（ＢＰＦ）に入力される信号ｘ１，ｘ２の値を示す。

【００２１】ここまで説明してきた方法を実際の映像に
用いた場合、例えば夜空の星のようなスポット輝度点を
誤って消し去ってしまうように思われるかもしれない。
しかしながら実際にはレンズのレスポンス（解像度）を
考えると１画素程度の輝度点も撮像面においては数画素
の広がりを持つ輝度点となることから、第１段階の検査
を通過させないはずである。

【００２２】これまでは、白キズが孤立して存在する場
合について説明したが、白キズが水平方向において２画
素連続して存在する場合の手順としては、１画素の場合
の処理にいくつかの検査を追加したものになる。

【００２３】すなわち、上記した第１段階の検査（１）
〜（３）と第２段階の検査（４）のうち、第１段階の検
査（１）のみが検査を通過させたとき、ターゲット画素
の位置をＳ（１，０）に移し、第１段階の検査（２），
（３）と第２段階の検査（４）を行い、これら全てをク
リアしたとき、Ｓ（０，０），Ｓ（１，０）は連続する
白キズであると判定する。

【００２４】次にこの発明のハードアェアあるいはＤＳ
Ｐ用ソフトウェアとして実現した、この発明の第１の実
施の形態について図４を用いて説明する。

【００２５】すなわち、受光面にカラーフィルタが配置
された固体撮像素子１の画素データ出力を、フレームメ
モリあるいはラインメモリにより構成される記憶部２に
一時的に保持する。この記憶部２に記憶された画素デー
タを、アドレスカウンタ４により読み出し部３にアドレ
スを指定して順次読み出す。読み出された画素データに
欠陥がないかどうかを画素欠陥検出部１１で検出する。

【００２６】画素欠陥検出部１１は、記憶部２より読み
出すデータ位置を選択し、読み出し部３にその位置デー
タの読み出しを、画素読み出し位置選択部５より命令す
る。画素読み出し位置選択部５により記憶部２から読み
出された画素データに対し、演算処理部６で演算処理を
行う。演算処理された出力と外部より入力される任意の
閾値との比較を比較部７で行い、複数の比較結果と外部
設定の閾値との比較により、キズの有無を判定部８で判
定する。

【００２７】アドレスカウンタ４が記憶部２に一時保持
された画素データを順次読み出すためにその位置を指し
示したとき、画素欠陥検出部１１はアドレスカウンタ４
が示す画素が白キズであるかを検査する。検査の結果が
白キズであった場合に、置換値算出部９が算出する値に
より、この画素値を置き換えるようにスイッチ１０に指
示する。白キズでない場合は、読み出し部３の出力をそ
のまま出力する。

【００２８】置換値算出部９は、任意の画素位置におけ
る画素値をその周辺の画素値から推定する。その方法と
しては、例えばターゲット画素と同一ライン上で１画素
間をおいた前後にある同色画素値の平均や図３における
（０，＋２）、（−２，０）、（＋２，０）、（０，−
２）の位置にある４つの画素の平均的等が考えられる。

【００２９】画素欠陥検出部１１においては、以下の手
順でターゲット画素が白キズであるかないかを検査す
る。画素読み出し位置選択部５の位置選択器Ａでは、第
１段階の検査（１）〜（３）に使用する画素情報を記憶
部２より読み出す。画素読み出し位置選択部５の位置選
択器Ｂでは、第２段階の検査（４）に使用する画素情報
を記憶部２より読み出す。

【００３０】演算処理部６の演算器Ａ，Ｂそれぞれにお
いて、第１段階の検査（１）〜（３）および第２段階の
検査（４）に示した帯域通過フィルタ処理を行う。比較
部７は外部から設定される閾値との比較を行う。比較器
Ａでは閾値より入力値の絶対値が小さいかどうか、比較
器Ｂでは閾値より入力値の絶対値が大きいかどうかを比
較し、その結果（真あるいは偽）を判定部８へと入力す
る。この判定は、第１段階の検査（１）〜（３）および
第２段階の検査（４）に示した式の数だけ繰り返し行わ
れる。

【００３１】判定部８では外部設定される個数以上の真
という結果を得た場合、このターゲット画素が白キズで
あると判定し、スイッチ１０に置換を指示する。

【００３２】この構成は、第１段階の検査（１）〜
（３）および第２段階の検査（４）を平行して行ってお
り、それぞれの検査に用いる演算および比較は固定とな
ることから比較的高速にその処理を行える。これにより
実時間に画素欠陥補正を行うことが可能となる。

【００３３】図５は、この発明の第２の実施の形態につ
いて説明するため回路構成図で、図４と同一の構成部分
には同一の符号を付し、その説明は省略する。すなわ
ち、この実施の形態は、読み出し部３と画素読み出し位
置選択部との間にローカルメモリ１２を配置した部分の
構成が図４と異なる。

【００３４】画像処理装置を構成するにあたり、問題と
なり易いのがメモリのインターフェース部である。画像
処理部からはインターフェース部に対して頻繁にメモリ
内部のデータを取り出そうとするアクセス要求が起こる
が、ここが十分な速度を持たないと画像処理に滞りが生
じてしまい、これの解決手段としてよくデータキャッシ
ュであるが、５×５のブロックにおいて画像処理を行っ
ていることから、そのブロック内のデータをローカルメ
モリ１２にロードしておき、画素欠陥検出処理を行え
ば、記憶部２へのアクセスを減らすことができる。

【００３５】この実施の形態では、そのインターフェー
スの設計が容易となるばかりか、検出処理のより高速化
が可能となる。

【００３６】この発明は、上記した実施の形態に限定さ
れるものではなく、画素の出力レベルが本来のレベルよ
り低く、画質劣化を来す要因となる画素欠陥に対しても
同様の手法により、この画素欠陥を補正することができ
る。

【００３７】

【発明の効果】以上説明したように、この発明の単板式
色カラー撮像装置によれば、通常に撮影を行いながら自
動的に白キズ位置の検出を画素サイズの精度にて行うこ
とができる。

【図面の簡単な説明】

【図１】この発明における第１段階の検査に使用する画
素と処理に使用する画素の配置の関係について説明する
ための説明図。

【図２】この発明の概念について説明するための模式
図。

【図３】この発明における第２段階の検査に使用する画
素と処理に使用する画素の配置の関係について説明する
ための説明図。

【図４】この発明の第１の実施の形態について説明する
ための回路構成図。

【図５】この発明の第２の実施の形態について説明する
ための回路構成図。

【符号の説明】

１…撮像素子、２…記憶部、３…読み出し部、４…アド
レスカウンタ、５…画素読み出し位置選択部、６…演算
部、７…比較部、８…判定部、９…置換値算出部、１０
…スイッチ、１１…画素欠陥検出部、１２…ローカルメ
モリ。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 固体撮像素子の受光面にカラーフィルタ
   が配置された単板式固体撮像装置において、 通常画像を撮影した状態で任意の画素が選択されたと
   き、該画素および該画素周辺の少なくとも１画素におい
   て符号化演算を行い、この演算出力により前記任意の選
   択画素を前記画素周辺値と置き換えるかどうかを選択す
   ることを特徴とする画素欠陥検出装置。
2. 【請求項２】 カラーフィルタを持つ単板式固体撮像装
   置において、 通常画像を撮影した状態で任意の画素が選択されたと
   き、該画素周辺の複数の他色画素を選択して任意の設定
   値との間での比較と、前記任意の選択画素と該画素周辺
   の複数の同色画素を選択して任意の設定値との間での比
   較を行い、これらの比較結果から、前記任意の選択画素
   を前記画素周辺値と置き換えるかどうかを選択すること
   を特徴とする画素欠陥検出装置。
3. 【請求項３】 受光面にカラーフィルタが配置された固
   体撮像素子から出力される映像信号を一時的に保持する
   記憶手段と、 アドレスカウンタにより任意の画素が選択されたとき、
   該画素の周辺から同色画素を複数個選択して前記記憶手
   段から読み出し、この画素間において符号化演算を行う
   符号化手段と、 前記符号化手段の出力を外部より設定される任意の値と
   比較する比較手段とを備え、 前記比較手段は前記符号化手段に入力される画素が持つ
   色フィルタ毎に、その比較演算方法を変えることを特徴
   とする画素欠陥検出装置。
4. 【請求項４】 前記符号化手段は、帯域通過型フィルタ
   リング処理であることを特徴とする請求項３記載の画素
   欠陥検出装置。
5. 【請求項５】 前記符号化手段は、これに入力された画
   素値の平均レベルにより、それぞれの画素値の振幅を補
   正することを特徴とする請求項３記載の画素欠陥検出装
   置。
6. 【請求項６】 前記比較手段は、現在アドレスカウンタ
   により指定されている画素とカラーフィルタの色配列に
   おいて同じ位置になる画素間における符号化演算の出力
   に対しては、高域成分が含まれることを検査し、違う位
   置になる画素間における符号化演算の出力に対しては、
   高域成分が含まれないことを検査することを特徴とする
   請求項４記載の画素欠陥検出装置。