JP2006108877A - 撮像装置 - Google Patents

Abstract

【課題】 欠陥画素補正において色情報により欠陥画素を分類し、検出、補正方法を制御することにより被写体エッジ等の高周波成分を誤検出することなく、欠陥画素のみを補正する。かつ、各色それぞれの特性に応じて補正パラメータを持ち合わせ制御し、より欠陥画素の効率的な検出及び、補正を実現することのできる撮像装置を提供する。
【解決手段】 複数の色フィルタより構成される撮像素子からの入力手段と入力画素中の欠陥画素検出手段と、前記欠陥画素の色情報指定手段をもち色情報により欠陥画素を分類し、検出、補正方法を制御することを特徴とする。
【選択図】 図１

Description

本発明は、固体撮像素子における画素欠陥の検出、補正手段を具備する撮像装置に関する。

ＣＣＤ等の撮像素子においては、二次元に配列された画素の内、その製造過程もしくは製造後において半導体の局部的な感度不良が生ずることが知られている。これらの現象が起きると、入射した光量に応じた電荷出力が得られなくなるため、撮像画像上に被写体とは無関係に白点や黒点が見て取れる、いわゆる欠陥画素となって現れる。

こうした欠陥画素の撮像出力に起因する画質劣化を信号処理によって補正するために、従来より、撮像素子に含まれる欠陥画素についての欠陥データを、それを製造した半導体工場で検出して不揮発性メモリに予め記憶させるか、あるいは、撮像素子を用いた撮像装置側において、撮像装置のシャッターを遮光状態としたとき、所定の出力レベルを超える画素（白点欠陥画素）、並びに、撮像装置への入射光量を所定のレベルとしたとき、所定の出力レベルに達しない画素（黒点欠陥画素）の位置データを不揮発性メモリに記憶しておいて、通常撮像時に、この不揮発性メモリに記憶されている位置データに基づいて欠陥画素を特定し、その欠陥画素の撮像出力に代えて例えば１画素前の撮像出力を用いることにより、欠陥画素補正を行っている。

ところで、近年の撮像素子に求められる画素数が、以前の数十万画素程度から数百万画素に増大したこともあり、撮像素子の製造技術の進歩にも関わらず、撮像素子に現れる欠陥画素の発生確率は増大する傾向にある。特に低コストが求められる民生機器に使用される撮像素子では、その製造歩留まりを上げるためには、欠陥画素数を従来に比して桁違いに多く許容せざるを得なくなってきている。

したがって、従来のように、欠陥画素の位置データを高価な不揮発性メモリに記憶することが困難になってきている。

こうした状況に対して、例えば特許文献１では、通常の撮像時において、ある１画素とそれに隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値判定をすることで欠陥画素補正を行い、欠陥画素の位置情報をあらかじめ記憶しておくための不揮発性メモリを省いている。同様に、例えば特許文献２では、撮像素子の所定領域に含まれる欠陥画素については不揮発性メモリに記憶し、所定領域外に含まれる欠陥画素については、不揮発性メモリに記憶した欠陥画素の補正を行った後に、通常撮像時に欠陥画素の検出と補正を同時に行うことにより、限られた不揮発性メモリであっても、多数の欠陥画素に対応している。
特開平０６−０３０４２５号公報 特開２００２−０２７３２３号公報

しかしながら、上記従来の技術においては、通常撮像時に、ある一画素と隣接する同色画素との各画素信号間のレベル差を検出し、所定の閾値判定をすることで欠陥画素補正を行うのであるから、当然ながら被写体エッジ等の高周波成分をも誤検出して補正してしまう。

このことは、正常画素の出力画像の画質を阻害してしまうことになる。

また、原色フィルタの撮像素子の場合、緑（Ｇ）は欠陥画素が発生した場合の見え方として周辺の輝度に大きく依存し、なおかつ誤検出した場合の見え方も顕著であるという特性がある。逆に、赤（Ｒ）、青（Ｂ）の場合は見え方として周辺輝度との相関性は低く、誤検出してもあまり目立たないため、一律に欠陥画素検出を強めにかけることも許容される。

以上、これらの問題について十分検討されているとはいえなかった。

本発明は、上述の問題点に着目してなされたものであって、欠陥画素補正において色情報により欠陥画素を分類し、検出、補正方法を制御することにより被写体エッジ等の高周波成分を誤検出することなく、欠陥画素のみを補正する。

かつ、各色それぞれの特性に応じて補正パラメータを持ち合わせ制御し、より欠陥画素の効率的な検出及び、補正を実現することのできる撮像装置を提供することを目的とする。

本発明は複数の色フィルタより構成される撮像素子からの入力手段と入力画素中の欠陥画素検出手段と、前記欠陥画素の色情報指定手段をもち色情報により欠陥画素を分類し、検出、補正方法を制御することにより被写体エッジ等の高周波成分を誤検出することなく、欠陥画素のみを効果的に補正するものである。

本発明では欠陥画素補正において色情報により欠陥画素を分類し、検出、補正方法を制御することにより被写体エッジ等の高周波成分を誤検出することなく、欠陥画素のみを補正する。

かつ、各色それぞれの特性に応じて補正パラメータを持ち合わせ制御し、より欠陥画素の効率的な検出及び、補正を実現するものである。

以下本発明を実施するための最良の形態を、実施例により詳しく説明する。

図１に本発明の実施例の全体構成について示す。

本実施例は撮像素子からの画像を撮影中にリアルタイムに順次入力し、検出、補正を実施するものである。

１０１のリアルタイム検出手段は撮像素子からの画素を順次に入力し、その着目画素レベル、及び周辺画素レベルの平均及び、着目画素レベルと周辺画素平均レベルの差分（着目画素キズレベル）を出力する。

１０２の色指定手段は撮像素子の配列の情報より、着目画素の色情報（ＲＧＢ）を出力し各補正手段へ供給するものである。

１０３の多値補正手段は１０４、１０５を経由して算出される補正手段と用いて、最終的な欠陥画素補正値を出力する。

１０４の輝度適応処理手段は１０１より、着目画素キズレベルと周辺画素平均値が入力され、周辺画素レベルの明るさで欠陥画素の見え方が異なることを利用して、周辺輝度に適応した着目画素キズレベルへ補正を加える。

１０５の多値補正係数算出手段は、１０４より入力される輝度適応処理後の着目画素キズレベルが入力され、そのレベルに応じて誤検出されやすい領域については、もし発生した場合の影響が小さくなるように係数を算出する。さらに算出後の係数は、１０６の出力である検出の履歴を参照し、前ラインに補正した履歴が残っていればこれはエッジ部が欠陥画素と誤認識されていると判定し、補正を無効とする。（係数＝０）。

１０５から出力される補正係数を参照し、最終的に着目画素に対して補正をするのか、しないのか判定し、検出履歴として１０６へ保持される。

検出履歴保持手段１０６は、補正したか否かを参照及び保持するものであり、ＲＡＭより構成される。

図２は１０１のリアルタイム検出手段の回路構成である。入力される画像データは２０１〜２０７に順次保持される。着目画素を２０４とすると、２０１〜２０３及び２０５〜２０８は周辺の画素のレベルを保持することになる。２０９ではその周辺画素のレベルの平均値が算出される。また周辺画素レベル平均値と着目画素レベルの差分値が着目画素キズレベルとして算出される。

図３は１０４の輝度適応処理手段の回路構成である。ここでは１０１で算出される周辺画素レベル平均値に応じて適応的に、着目画素のキズレベルの補正を実施する。また補正のパラメータはＲＧＢにより異なる。ＲＧＢそれぞれで用意されている補正テーブルに従いゲイン（０〜１）を算出し、着目画素キズレベルに３０５で乗じることにより、キズレベルの調整が行われる。ゲインが大きけれ補正の影響は少ない。逆にゲインが小さければ、補正の影響が大きい。すなわち着目画素と周辺画素との差分で算出されたものが０に近い値に調整され、例えばこれが誤検出であった場合の影響を小さくすることができる。

３０１では緑（Ｇ）画素に対する輝度適応処理のテーブルである。周辺画素レベルが低い（暗い）場合、ゲインは高く設定される。（１に近い値）。

逆に周辺画素レベルが高い（明るい）場合、ゲインを小さく設定する。

図中パラメータの制御としてはゲインを下げ始めるオフセットＴＨ＿Ｒを小さくし、なおかつそこからの傾きＤｉｆｆ＿Ｇを大きくしてやることにより実現できる。

これは緑（Ｇ）画素の特徴として
＊周辺輝度によってキズの見え方が大きく依存する。（明るいところで目立たない）
＊誤検出した場合のエッジボケ等の不具合が顕著にでる
であることから、上記設定が有効になってくる。

赤（Ｒ）と青（Ｂ）の画素の特徴として
＊見え方として周辺輝度に依存しない
＊誤検出した場合の影響も小さい
ことから、３０２、３０３で示すようテーブルで制御し、キズレベルの調整を行う。

図中パラメータの制御としてはゲインを下げ始めるオフセットＴＨ＿Ｒを大きくし、なおかつそこからの傾きＤｉｆｆ＿Ｇを小さくしてやることにより実現できる。

図４は着目画素と周辺平均レベルを混在させて補正をする回路（１０３）へ供給する補正係数を出力する回路の構成である。この回路は０〜１の値をゲインとして出力して、０であれば補正回路の最終出力は着目画素レベルとなり（すなわち補正はしない）、１であれば周辺画素のレベルを出力する。（すなわち完全に周辺画素のみで補正をかける）。

その中間値で混在させるのは、誤検出した場合の影響を低減させることが目的である。

４０１〜４０３のテーブルはＲＧＢそれぞれの特性に合わせた補正係数算出に使用するものである。キズのレベルが閾値（ＴＨ１＊）を越えたところからゲインが０以上の値をとる。またそれ以上のレベルでは傾きＤｉｆｆ＊に従って１に近い値をとっていく。

本実施例ではＲＧＢそれぞれの特性に合わせたテーブルを持ち合わせており、緑（Ｇ）の場合は誤検出の影響をより低減することが必要であるので、Ｄｉｆｆ＿Ｇを小さくしている。

また、Ｒ（赤）、Ｂ（青）は一律に補正を強くかけること（すなわちゲインを１）が許容されるのでＤｉｆｆ＊を大きくしている。４０４で色情報より選択し各色に対応する補正値を順次出力する。

ゲインは次に検出履歴による調整処理を施される。前ラインの検出履歴を参照して、もし前ラインに補正をした履歴が残っていれば、これは縦のエッジであり誤検出であると判定して補正はしないようにする。すなわちゲインを０とする。図６にその詳細を示す。

最終的なゲインのレベルと閾値を比較し（４０７）、検出履歴を保持する。補正したか否かを履歴として保持するが、その閾値はＲＧＢのそれぞれの特性に合わせ、別個に比較する。本実施例の場合、誤検出の影響が大きくなるべく防止したい緑（Ｇ）画素については閾値（ＴＨ２＿Ｇ）を小さくして、補正した履歴を多く保持されるようにする。逆に赤（Ｒ）、青（Ｂ）については強めに補正するために補正履歴を少なくするようにＴＨ＊を大きく設定する。

図５は最終的な補正処理を行う回路（１０３）の構成図である。リアルタイム検出手段（１０１）より入力される着目画素レベル、周辺画素レベル、及び多値補正係数算出手段（１０５）より入力される補正係数を用いて補正値を算出する。

５０１〜５０３により
補正値＝Ｇａｉｎ×（周辺画素平均レベル）＋（１−Ｇａｉｎ）×（着目画素レベル）
により求められる。

全体構成図 リアルタイム検出手段構成図 輝度適応処理手段構成図 多値補正係数算出手段構成図 多値補正処理手段構成図 検出履歴参照についてを示す図

Claims (10)

1. 複数の色フィルタより構成される撮像素子からの入力手段と
   入力画素中の欠陥画素検出手段と、
   前記欠陥画素の色情報指定手段をもち
   色情報により欠陥画素を分類し、検出、補正方法を制御することを特徴とする撮像装置。
2. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
   補正係数と欠陥画素周辺のレベルの相関性について、ＲＧＢ各色の特性に合わせ
   独自に設定し
   欠陥画素の見え方を目立たなくし、かつ誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。
3. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
   欠陥か否か判別するレベルについて、ＲＧＢ各色の特性に合わせ
   独自に設定し
   欠陥画素の見え方を目立たなくし、かつ誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。
4. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
   補正前後のレベルを混在させる補正法においてその混在比を、ＲＧＢ各色の特性に合わせ
   独自に設定し
   欠陥画素の見え方を目立たなくし、かつ誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。
5. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
   誤検出防止のための補正履歴保持の制御について、ＲＧＢ各色の特性に合わせ
   独自に設定し
   欠陥画素の見え方を目立たなくし、かつ誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。
6. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
   緑（Ｇ）画素については補正係数を周辺の画素のレベルに大きく依存するように制御し、
   赤（Ｒ）、青（Ｂ）画素については補正係数を周辺の画素のレベルへの依存を小さくするように制御することにより、
   欠陥画素の見え方を目立たなくし、かつ誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。
7. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
   緑（Ｇ）画素のみを補正係数を周辺の画素のレベルに依存するように制御することにより、
   欠陥画素の見え方を目立たなくし、かつ誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。
8. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
   緑（Ｇ）画素については欠陥か否か判別するレベルの閾値を低く、
   赤（Ｒ）、青（Ｂ）画素については欠陥か否か判別するレベルの閾値を高く設定し
   欠陥画素の見え方を目立たなくし、欠陥画素誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。
9. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
   補正前後のレベルを混在させる補正法においてその混在比を
   緑（Ｇ）画素については補正後のレベルの比が大きくなるように制御し、
   赤（Ｒ）、青（Ｂ）画素については補正前のレベルの比が大きくなるように制御することにより、
   欠陥画素の見え方を目立たなくし、欠陥画素誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。
10. 色フィルタについてはＲＧＢよりなる原色フィルタであり、
    緑（Ｇ）画素については誤検出を禁止するための検出履歴データを多く保持し
    赤（Ｒ）、青（Ｂ）画素については検出履歴データの保持を少なくすることにより、
    欠陥画素の見え方を目立たなくし、欠陥画素誤検出の影響を小さくすることを特徴とする請求項１記載の撮像装置。