JP2008148115A

JP2008148115A - 方向検出を用いた撮像デバイスの画像欠陥補正システム

Info

Publication number: JP2008148115A
Application number: JP2006334479A
Authority: JP
Inventors: Ikumi Minema; 育美峰間; Nobuyoshi Tanaka; 伸欣田中; Susumu Sakai; 将酒井
Original assignee: Winbond Electronics Corp
Current assignee: Winbond Electronics Corp
Priority date: 2006-12-12
Filing date: 2006-12-12
Publication date: 2008-06-26

Abstract

【課題】方向検出を用いた撮像デバイスの画像欠陥補正システムを提供する。
【解決手段】撮像デバイス上の各画素から出力された画像信号に対応して２次元画像データが格納される画像データメモリと、該画像データメモリ内の注目画素及び上下方向、左右方向、右下方向、右上方向に並んだ複数の隣接画素の画像データを用いて注目画素の画像データが突出点であるかどうかの条件判断を行い、該突出点の条件が満足される方向の数を計数し、計数された方向の数によって注目画素が欠陥画素であるかどうかを判定する欠陥画素判定手段と、該注目画素が欠陥画素であると判定されたとき、該画像データメモリ内の該注目画素の画像データを所定の画像データで置換する欠陥画素データ置換手段とからなる。
【選択図】図１

Description

本発明は、撮像デバイスの画像欠陥補正システム、特に、方向検出を用いた撮像デバイスの画像欠陥補正システムに関する。

従来、ビデオカメラやデジタルスチルカメラなどのような撮像システムでは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像デバイスが一般に用いられている。そのような固体撮像デバイスでは、シリコン単結晶中の結晶欠陥に起因する内因性欠陥や製造プロセス中に誘起される外因性欠陥などが大なり小なり存在する。このような欠陥は、表示画面上で画像欠陥となって現れる。画像欠陥には、周囲の正常画素より明るい白欠陥と、周囲の正常画素より暗い黒欠陥があるが、これらの画像欠陥が存在すると画像の表示品位を著しく損なう。

この画像欠陥を画像信号処理で補正する各種のシステムがこれまで提案されている。例えば、目標画素に隣接する周辺８画素の画像データから、平均レベル、最大レベル、最小レベルを生成し、最大レベルから最小レベルとの差を平均レベルに加算して白欠陥の判定基準を生成し、最大レベルから最小レベルとの差を平均レベルから減算して黒欠陥の判定基準を生成する。そして、各判定基準を注目画素の画像データと比較して、欠陥画素かどうかを判別する。欠陥画素と判定された注目画素は、その画像データを所定のレベル（例えば８画素の平均レベル）で置き換えることで、画像欠陥を補正するものである。

しかし、上記システムでは、目標画素に隣接する８画素と目標画素との平均的なレベル差だけに注目しているため、欠陥画素の検出精度が十分でなく、また、輝度が急に変化する輪郭部分を欠陥画素として誤認識してしまうという欠点を有していた。

本発明は、撮像デバイス上の各画素から出力された画像信号に対応して２次元画像データが格納される画像データメモリと、該画像データメモリ内の注目画素及び上下方向、左右方向、右下方向、右上方向に並んだ複数の隣接画素の画像データを用いて注目画素の画像データが突出点であるかどうかの条件判断を行い、該突出点の条件が満足される方向の数を計数し、計数された方向の数によって注目画素が欠陥画素であるかどうかを判定する欠陥画素判定手段と、該注目画素が欠陥画素であると判定されたとき、該画像データメモリ内の該注目画素の画像データを所定の画像データで置換する欠陥画素データ置換手段と、からなる方向検出を用いた撮像デバイスの画像欠陥補正システムである。

本発明の方向検出を用いた画像欠陥の判定システムにより、欠陥画素の検出精度を著しく改善できるとともに、輝度が急に変化する輪郭部分を欠陥画素として誤認識してしまうということがない。さらに、解像度を低下させることのない画像データで欠陥画素の画像データを置換することにより、極めて自然な画像欠陥の補正が実現できる。さらに、本発明の方向検出を用いた撮像デバイスの画像欠陥補正システムによれば、経時的に変化する画像欠陥に対しても実時間での補正が可能になる。

以下図面に従い、本発明の実施の形態について説明する。

図１は、本発明の方向検出を用いた画像欠陥の補正方法を実行する画像欠陥補正システムのブロック図である。本発明の画像欠陥補正システムは、画像データメモリ１０１、欠陥画素判定手段１０２、欠陥画素データ置換手段１０３からなる。この画像欠陥補正システムは以下のように動作する。即ち、ＣＣＤセンサやＣＭＯＳセンサのような固体撮像デバイス（不図示）からのアナログ画像信号がＡＤ変換器（不図示）でデジタル画像データに変換され、ＯＢクランプ回路（不図示）で黒レベルがクランプされ、レンズシェーディング補正回路（不図示）でレンズ収差が補正された後、２次元画像データが補正前画像データとして画像データメモリ１０１に入力され、１フレーム分の画像データとして格納される。格納された１フレーム分の画像データは、逐次、読み出され、欠陥画素判定手段１０２に入力されて、欠陥画素の有無が判定される。欠陥画素と判定された画素の画像データは、欠陥画素データ置換手段１０３にて所定のレベルの画像データに入れ替えられる。この後、画像欠陥が補正された信号が画像データプロセッサ（不図示）に入力されて、所定の画像データフォーマットに変換された後、記録メディア（不図示）に入力されて記録される。

次に、本発明の画像欠陥補正システムの欠陥画素判定手段１０２の動作について詳述する。図２は、本発明の方向検出を用いた欠陥画素の判定方法を示す原理図である。注目画素Ｐ５の周囲には、Ｐ１−Ｐ４、Ｐ６−Ｐ９の８つの隣接画素が存在する。

まず、左右方向２０２の欠陥検出について考える。注目画素Ｐ５と左右の隣接画素（Ｐ４、Ｐ６）について考える。

図３を参照して、この注目画素Ｐ５の画像データＶＰ５と、左右の隣接画素（Ｐ４、Ｐ６）の画像データ（ＶＰ４、ＶＰ６）とを用いて、白突出度と白平滑度を計算する。

注目画素の白突出度ＶＰ５−ＶＰ４＞Ｔｈ１・・・（式１）
注目画素の白突出度ＶＰ５−ＶＰ６＞Ｔｈ１・・・（式２）
隣接画素間の白平滑度｜ＶＰ４−ＶＰ６｜＜Ｔｈ２・・・（式３）
上記条件が満足されたとき、注目画素はその方向の白突出点（白欠陥に対応）であると判断する。ここで、Ｔｈ１、Ｔｈ２は、ノイズレベル以上の値で、実験的にと又は経験的に求められる所定の定数である。

同様に、図４を参照して、この注目画素Ｐ５の画像データＶＰ５と、左右の隣接画素（Ｐ４、Ｐ６）の画像データ（ＶＰ４、ＶＰ６）とを用いて、黒突出度と黒平滑度を計算する。

注目画素の黒突出度ＶＰ２−ＶＰ５＞Ｔｈ３・・・（式４）
注目画素の黒突出度ＶＰ５−ＶＰ２＞Ｔｈ３・・・（式５）
隣接画素間の黒平滑度｜ＶＰ２−ＶＰ８｜＜Ｔｈ４・・・（式６）
上記条件が満足されたとき、注目画素はその方向の黒突出点（黒欠陥に対応）であると判断する。ここで、Ｔｈ３、Ｔｈ４は、ノイズレベル以上の値で、実験的にと又は経験的に求められる所定の定数である。

次に、同様の計算と条件判断を、上下方向２０１、右下方向２０３、右上方向２０４、について行う。上下方向２０１の計算には隣接画素（Ｐ２，Ｐ８）を用い、右下方向２０３の計算には隣接画素（Ｐ１，Ｐ９）、右上方向２０４の計算には隣接画素（Ｐ７，Ｐ３）、を用いる。

４方向すべてについて白突出点又は黒突出点の条件が満足されれば、この注目画素は、白欠陥画素又は黒欠陥画素であると判定する。

３方向についてだけ、白突出点又は黒突出点の条件が満足された場合、条件が満足されなかった方向に連続２画素以上の欠陥がある可能性があるので、この場合について、図５を用いて説明する。例として、水平方向に２画素連続欠陥がある場合を考える。注目画素Ｐ５の隣接画素Ｐ６の代わりにＰ６の隣の画素Ｐ６’を用いて、（式１）から（式６）に相当する計算と条件判断を行う。この計算結果が条件を満足すれば、Ｐ５とＰ６は連続２画素欠陥であると判定する。

３画素以上の連続欠陥についても、Ｐ６’の隣の画素（又はさらに先の画素）を用いて同様な計算と条件判断を行うことによって、欠陥画素の判定を行うことができる。

次に、欠陥画素の画像データを置換する欠陥画素データ置換手段１０３について、代表的な３つの方法を説明する。

第１の置換方法は、以下の計算を行って置換する方法である。即ち、
｜ＶＰ８−ＶＰ２｜・・・上下方向
｜ＶＰ６−ＶＰ４｜・・・左右方向
｜ＶＰ９−ＶＰ１｜・・・右下方向
｜ＶＰ３−ＶＰ７｜・・・右上方向
が最小の値となる方向の隣接画素の画像データの平均値で欠陥画素データを置換する。この補完方法は、最も画面のエッジをつぶさない（解像度が高い）方法である。

第２の置換方法は、以下の計算を行って置換する方法である。即ち、
｜ＶＰ５−ＶＰ２｜＋｜ＶＰ５−ＶＰ８｜・・・上下方向
｜ＶＰ５−ＶＰ４｜＋｜ＶＰ５−ＶＰ６｜・・・左右方向
｜ＶＰ５−ＶＰ９｜＋｜ＶＰ５−ＶＰ１｜・・・右下方向
｜ＶＰ５−ＶＰ３｜＋｜ＶＰ５−ＶＰ７｜・・・右上方向
が最小の値となる方向の画素の画像データの平均値で欠陥画素データを置換する。

第３の置換方法は、隣接４画素の単純平均値を算出し、この値で欠陥画素データを置換するものである。即ち、
（ＶＰ２＋ＶＰ４＋ＶＰ６＋ＶＰ８）／４
で欠陥画素データを置換する。

なお、欠陥画素の画像データを置換する方法は、上記３つの方法に限られるものではなく、画像データの特徴に応じて置換が最も自然な形となるような置換方法が適宜選択されてよい。また、画像データの特徴によって、適応的に各種の置換データが選択されてよい。

以上詳述したように、本発明の画像欠陥補正方法を用いれば、極めて高い欠陥検出精度で画像欠陥を検出でき、解像度を低下させずに極めて自然な形で画像欠陥の補正を行うことができる。さらに、経時変化のある画像欠陥に対しても実時間で画像欠陥補正を行うことができる。

本発明の画像欠陥補正方法が適用される画像欠陥補正システムのブロック図である。本発明の画像欠陥補正方法で用いられる画素配置図である。白突出度と白平滑度の計算方法である。黒突出度と黒平滑度の計算方法である。水平方向に連続２画素欠陥がある場合の本発明の画素配置図である。

Claims

撮像デバイス上の各画素から出力された画像信号に対応して２次元画像データが格納される画像データメモリと、
該画像データメモリ内の注目画素及び上下方向、左右方向、右下方向、右上方向に並んだ複数の隣接画素の画像データを用いて注目画素の画像データが突出点であるかどうかの条件判断を行い、突出点の条件が満足される方向の数を計数し、計数された方向の数によって注目画素が欠陥画素であるかどうかを判定する欠陥画素判定手段と、
注目画素が欠陥画素であると判定されたとき、該画像データメモリ内の注目画素の画像データを所定の画像データで置換する欠陥画素データ置換手段とからなる方向検出を用いた撮像デバイスの画像欠陥補正システム。
上記注目画素が突出点かどうかの条件判断は、注目画素の画像データ及び各隣接画素の画像データとの間のレベル差を計算し、該注目画素の画像データと該隣接画素の画像データとの間のレベル差が第１の所定値以上でかつ一方の隣接画素の画像データと他方の隣接画素の画像データとの間のレベル差が第２の所定値以下の時、該注目画素は突出点であると判断することを特徴とすることを特徴とする請求項１の方向検出を用いた撮像デバイスの画像欠陥補正システム。
上記計数された方向の数が４であるとき、上記注目画素は欠陥画素であると判定することを特徴とする請求項１又は２の方向検出を用いた撮像デバイスの画像欠陥補正システム。
上記計数された方向の数が３であるとき、上記複数の画素間の画像データのレベル差に関して上記突出点の条件が満足されなかった方向について、上記隣接画素の隣の画素を隣接画素とみなして、再度、突出点の条件判断を行い、条件が満足された場合、該注目画素は連続欠陥画素であると判定することを特徴とする請求項１又は２の方向検出を用いた撮像デバイスの画像欠陥補正システム。
上記欠陥画素の画像データが置換される所定の画像データは、４方向の隣接画素の画像データ間の差が最小となる方向の平均値であることを特徴とする請求項１の方向検出を用いた撮像デバイスの画像欠陥補正システム。
上記欠陥画素の画像データが置換される所定の画像データは、目標画素と隣接画素との差が最小となる方向の平均値であることを特徴とする請求項１の方向検出を用いた撮像デバイスの画像欠陥補正システム。
上記欠陥画素の画像データが置換される所定の画像データは、隣接４画素の単純平均値であることを特徴とする請求項１の方向検出を用いた撮像デバイスの画像欠陥補正システム。