JP2004064512A - 欠陥画素の検出方法および装置、並びに撮像装置 - Google Patents
欠陥画素の検出方法および装置、並びに撮像装置 Download PDFInfo
- Publication number
- JP2004064512A JP2004064512A JP2002221430A JP2002221430A JP2004064512A JP 2004064512 A JP2004064512 A JP 2004064512A JP 2002221430 A JP2002221430 A JP 2002221430A JP 2002221430 A JP2002221430 A JP 2002221430A JP 2004064512 A JP2004064512 A JP 2004064512A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- defective pixel
- defect
- signal
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002950 deficient Effects 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims description 45
- 230000007547 defect Effects 0.000 claims abstract description 175
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000012937 correction Methods 0.000 claims abstract description 67
- 238000003384 imaging method Methods 0.000 claims description 66
- 230000002093 peripheral effect Effects 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims 1
- 238000012935 Averaging Methods 0.000 abstract description 4
- 230000006866 deterioration Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 241000519995 Stachys sylvatica Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】欠陥画素の検出機能および補正機能を有する撮像装置において、後発白点を確実に検出し、且つ画質劣化が生じないように欠陥補正を施す。
【解決手段】加算器162は近傍4画素分の撮像データを加算し、平均化回路163は平均値Saveを求める。減算器164は、平均値Saveと撮像データSnとの差SΔを求める。比較回路166aは、加算データSsumと撮像データSnとの差SΔと欠陥判定レベルとを比較し、差SΔが大きければ論理値“1”を出力する。比較回路166b〜166eは、近傍4画素の各撮像データSn−2〜Sn+2と黒レベル基準値とを比較し、小さければ論理値“1”を出力する。ANDゲート168は、入力された論理値が全て“1”である場合に、判定対象画素が白欠陥画素であるとみなし、論理値“1”を出力する。欠陥検出部16は、検出結果が“1”の画素位置をRAM20に書き込む。欠陥補正部18は、画素位置を参照し、欠陥画素信号を補正する。
【選択図】 図2
【解決手段】加算器162は近傍4画素分の撮像データを加算し、平均化回路163は平均値Saveを求める。減算器164は、平均値Saveと撮像データSnとの差SΔを求める。比較回路166aは、加算データSsumと撮像データSnとの差SΔと欠陥判定レベルとを比較し、差SΔが大きければ論理値“1”を出力する。比較回路166b〜166eは、近傍4画素の各撮像データSn−2〜Sn+2と黒レベル基準値とを比較し、小さければ論理値“1”を出力する。ANDゲート168は、入力された論理値が全て“1”である場合に、判定対象画素が白欠陥画素であるとみなし、論理値“1”を出力する。欠陥検出部16は、検出結果が“1”の画素位置をRAM20に書き込む。欠陥補正部18は、画素位置を参照し、欠陥画素信号を補正する。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、撮像素子に含まれる欠陥画素を検出する方法および装置、並びに欠陥画素の検出機能および補正機能を備えた撮像装置に関する。
【0002】
【従来の技術】
CCD(Charge Coupled Device) 撮像素子やCMOS型撮像素子などの半導体で形成した固体撮像素子を用いた撮像装置がビデオカメラ、電子スチルカメラ(ディジタルカメラ)、あるいは携帯電話などの撮像部に適用されている。固体撮像素子は、画素位置に対応させて、たとえば数百万個の受光素子(画素)が形成されている。
【0003】
ところで、半導体基板上に形成した受光素子には、製造工程に起因するキズなどの半導体の局部的な結晶欠陥などによって正常に光電変換できない感度異常が発生する欠陥画素がある確率で生じることがあり、このような場合、その欠陥画素が点状の固定ノイズ(いわゆる白く輝くキズ:白キズ)となって画像上に現れ、画質を劣化させる原因となることが知られている。たとえば、CCD撮像素子を用いたビデオカメラにおいては、CCD撮像素子の各画素の内、光が入射していない状態で特異なレベルの信号を出力するいわゆる暗時白欠陥により、撮像して得た画像の画質が劣化するという問題がある。
【0004】
このような欠陥画素がある場合、固体撮像素子を適用したディジタルカメラなどにおいては、この欠陥画素に起因する画質劣化をなくすために、欠陥画素が出力する信号を補正する欠陥補正処理機能を持つのが一般的である。
【0005】
たとえば、暗時白欠陥の検出や補正の方法としては、EEPROM(電気的消去可能なプログラマブル記憶媒体)などの不揮発性記憶装置を用いる方法がある。たとえば、撮像素子の出荷選別時やカメラの工場出荷時にアイリスをクローズするなどの黒撮像状態にして、自動的に特異点を抽出することで、その固体撮像素子に含まれる欠陥画素を検出し、その欠陥画素のアドレス情報をEEPROMなどの不揮発性記憶装置に蓄えておく。
【0006】
一方、前述のようにして欠陥画素位置を特定した後、たとえばカメラのパワーオン時に、不揮発性記憶装置に記憶保持された欠陥画素のアドレス情報を読み出し、カメラ信号処理部の持つ内部RAM上にアドレス情報を展開(ロード)することで補正対象画素の位置を認識し、固体撮像素子から供給される撮像信号の欠陥画素に対応する画素信号に対して、たとえば前置画素の信号と置換したり、または欠陥画素が接する周囲画素の平均値で置換するなどして、欠陥画素による特異なレベルの信号を補正することで、欠陥の無い画像を出力する。
【0007】
また、暗時白欠陥の検出や補正の別方法として、暗時白欠陥に相当する画素は周波数的に他画素と比べて比較的高いことを利用して、撮像中の画像を元に、動的に欠陥画素を抽出しメディアンフィルタ処理を施すなどの手法も試みられている。このメディアンフィルタ処理とは、撮像素子のある画素集合の中心画素の信号を、その画素集合内にある中間値に置き換える処理方法である。この処理方法を行なうと、撮像素子における近傍画素と極端に信号値の異なる画素のキズや欠陥などの信号が、画素位置に関係なく補正できる。
【0008】
【発明が解決しようとする課題】
ところで、一旦、適正かつ忠実な撮影画像が得られるものとして製造出荷された撮像装置であっても、使用中に一部の撮像素子が損傷し、適正な再生画像が得られなくなることがある。
【0009】
すなわち、固体撮像素子の構成画素は、製造の段階で欠陥となる場合だけでなく、製品出荷後の搬送途中や、航空機や人工衛星などの機体に据え付けられての移動により、製品出荷後においても新たな白欠陥(いわゆる後発白点)が生じ、特に、暗時の白点状の欠陥として視認されることがよくあり、品質上の大きな問題となる。たとえば、航空機や人工衛星などの機体に据え付けられ、大気圏や宇宙空間から地球表面の撮影に使用されるような場合、カメラは温度変化の厳しい環境条件下にさらされ、あるいは宇宙線や放射線の介入などを受けるので、一部の撮像素子の機能が低下したり破壊することで、適正な光電変換動作が行なわれない現象が発生する。
【0010】
したがって、撮像装置に使用している固体撮像素子の欠陥画素を検査し欠陥画素のアドレス情報を不揮発性記憶装置に記憶した後にユーザの手に渡るようにした場合には、上述した突発的な欠陥画素の発生や経年変化などによる後発白点の発生には対応できない。この後発白点に対応するためには、一旦製品を回収し再度暗時白欠陥のアドレスを検出して不揮発性記憶装置に記憶させる必要がある。
【0011】
また、メディアンフィルタ処理を利用した補正方法では、実被写体と欠陥との区別のバランスが非常に難しく、フィルタサイズ内の全ての画素を中間値で置き換えこれを1画面の全体に亘って処理するために、白キズや画素欠陥でない補正を必要としない画素の信号までについても、原信号の値とは違う値の信号で補正される場合があり、結果的に、実被写体の高周波成分もカットしてしまい、いわゆる眠い画像になってしまうという問題がある。
【0012】
本発明は、上記事情に鑑みてなされたものであり、製品出荷後の撮像状態で発生する後発白点を確実に検出することのできる画素欠陥の検出方法および装置を提供することを目的とする。また本発明は、画素欠陥の補正処理に際して、補正による画質劣化を生じることのない撮像装置を提供することを目的とする。
【0013】
【課題を解決するための手段】
すなわち、本発明に係る欠陥画素を検出する方法は、判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きく、且つ判定対象画素の近傍に存在する画素である周辺画素の信号レベルが黒レベル基準値よりも小さいことを条件として、判定対象画素が前記欠陥画素であると判定する。
【0014】
たとえば、判定対象画素の両側において互いに隣接するように周辺画素をそれぞれ複数個設定し、この複数個の周辺画素の信号レベルの全てが黒レベル基準値よりも小さく、且つ複数個の周辺画素の信号レベルの平均値と判定対象画素の信号レベルとの差が、予め定められた欠陥判定レベルよりも大きいことを条件として、判定対象画素が前記欠陥画素であると判定する。
【0015】
この判定に際して使用される黒レベル基準値や欠陥判定レベルは、光学的な黒画素の信号レベルの大きさに応じて設定することが望ましい。
【0016】
本発明に係る欠陥画素を検出する装置は、前記本発明に係る欠陥画素を検出する方法を実施する装置であって、判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きいか否かを判定する第1の判定部と、判定対象画素の近傍に存在する画素である周辺画素の信号レベルが黒レベル基準値よりも小さい否かを判定する第2の判定部と、第1の判定部および第2の判定部の各判定の結果が真であることを条件として、判定対象画素が欠陥画素であると判定する第3の判定部とを備えた。なお、これら3つの判定部は、これらの3つの判定機能を備えた1つの判定部として構成されていてもよい。
【0017】
また、第2の判定部は、判定対象画素の両側において互いに隣接するように周辺画素をそれぞれ複数個設定し、この複数個の周辺画素の信号レベルの全てが前記黒レベル基準値よりも小さいか否かを判定するものであってもよい。この場合、第3の判定部は、第2の判定部の判定の結果が真であり、且つ複数個の周辺画素の信号レベルの平均値と判定対象画素の信号レベルとの差が、予め定められた欠陥判定レベルよりも大きいことを条件として、判定対象画素が欠陥画素であると判定することが好ましい。
【0018】
本発明に係る欠陥画素を検出する装置においては、さらに、黒レベル基準値および欠陥判定レベルのうちの少なくとも一方を、光学的な黒画素の信号レベルの大きさに応じて設定する判定レベル設定部を備えた構成とすることが好ましい。
【0019】
本発明に係る撮像装置は、本発明に係る欠陥画素を検出する装置を適用した装置であって、検出装置の構成に加えて、第3の判定部が欠陥画素であると判定した判定対象画素により得られた信号を、予め定められた方法によって生成された補間信号に置換することで、欠陥画素の信号を補正する欠陥補正部を備えた。
【0020】
本発明に係る撮像装置においては、第3の判定部が欠陥画素であると判定した判定対象画素の、固体撮像素子における位置に関する情報を記憶する記憶部を備えたものとすることが好ましい。この場合、欠陥補正部は、記憶部に記憶されている欠陥画素の位置に関する情報に基づいて、欠陥画素の信号を補正することが好ましい。
【0021】
また、記憶部に2つの記憶領域を用意し、第3の判定部は、判定対象画素が欠陥画素であると判定する都度、記憶部の2つの記憶領域を切り替えながら、判定対象画素の固体撮像素子における位置に関する情報を、切り替えた一方の記憶領域に格納するとよい。この際、欠陥補正部は、記憶部における他方の記憶領域に記憶されている欠陥画素の位置に関する情報に基づいて、欠陥画素の信号を補正するとよい。なおこれらの処理は、1枚分の画像形成時におけるフィールドもしくはフレーム単位で行なう。
【0022】
あるいは、第3の判定部は、判定対象画素が欠陥画素であると判定した直後の、画像形成における走査の帰線期間の間に、この判定した欠陥画素並びに既に格納されている欠陥画素のそれぞれの位置を表す情報の格納場所を、予め定められた順序に沿うように並び替えて(すなわちソートして)、判定対象画素の固体撮像素子における位置に関する情報を記憶部に記憶するようにしてもよい。
【0023】
また、本発明に係る撮像装置においては、固体撮像素子により得られた撮像信号を監視し、この撮像信号が予め定められた高輝度側の基準値を満たすことを条件として、記憶部に格納されている欠陥画素の位置を表す情報を消去させる記憶情報消去部を備えたものとするよい。
【0024】
【作用】
上記構成においては、判定対象画素の近傍に存在する画素である周辺画素の信号レベルを監視する。そして、周辺画素の信号レベルが黒レベル基準値よりも小さいことを欠陥画素であることの第1の条件とする。
【0025】
つまり、画面内における低輝度部分を欠陥検出の対象領域とし、判定対象画素の近傍画素レベルが黒レベル基準値を下回ったとき、十分に暗時状態にあるとして判定対象画素が欠陥画素であるか否かを評価することと等価である。
【0026】
また、判定対象画素の信号レベルが所定の黒レベル基準値よりも大きい、つまり黒レベル基準値よりも突出していることを欠陥画素であることの第2の条件とする。そして、これら2つの条件をともに満足するとき、その判定対象画素を欠陥画素と見なす。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0028】
図1は、本発明に係る画素欠陥の検出装置を備えた撮像装置の一実施形態を示すブロック図である。第1実施形態の撮像装置10は、レンズ11と、撮像素子12と、プリアンプ13と、A/D変換部14と、デジタル信号処理部15と、本発明に係る画素欠陥の検出装置の一例である欠陥検出部16と、欠陥検出部16により検出された欠陥画素の位置を示すアドレスデータを格納する記憶部の一例であるRAM(ランダムアクセスメモリ)20と備えた構成となっている。
【0029】
欠陥検出部16は、欠陥検出部16、欠陥補正部18、信号処理部19、判定レベル設定部169、並びに記憶情報消去部170を有する。また、欠陥検出部16は、本発明に係る第1、第2、および第3の各判定部の機能を備える。判定レベル設定部169は、光学的な黒画素の信号レベル(OPB)に近い黒レベル基準値(KDARKREF)および欠陥判定レベル(KDETREF )のうちの少なくとも一方を、光学的な黒画素の信号レベル(OPB)の大きさに応じて決定し、これを欠陥検出部16に設定する。
【0030】
欠陥検出部16は、この各指標値を参照して、判定対象画素が後発白欠陥の画素であるか否かを判定する。記憶情報消去部170は、撮像素子12により得られた撮像信号Sを監視し、撮像信号Sが予め定められた高輝度側の基準値を満たすことを条件として、RAM20に格納されている欠陥画素の位置を表す情報を消去する。あるいは、電源オフ時に消去させてもよい。
【0031】
上記構成の撮像装置10において、レンズ11は、図示しない被写体の画像を撮像素子12の撮像面上に結像させる。撮像素子12としては、CCD撮像素子やCMOS型撮像素子などの固体撮像素子が用いられる。この撮像素子12は、その撮像面上に結像された画像を画素単位で電気信号に変換し、撮像信号としてプリアンプ13に供給する。
【0032】
プリアンプ13は、撮像素子12から出力される撮像信号をサンプルホールドして必要なデータを取り出すとともに、適正なレベルに合わせるためにゲインコントロールを行なう。このプリアンプ13の出力信号は、A/D変換部14に供給される。A/D変換部14は、プリアンプ13の出力信号をアナログ信号からディジタル信号に変換してデジタル信号処理部15に供給する。
【0033】
デジタル信号処理部15において、欠陥検出部16は、通常の撮像時に、撮像素子12により得られた撮像信号Sに基づいて欠陥画素を検出するために設けられたものである。また、RAM20は、欠陥検出部16が検知した結果をアドレスデータとして保持するために設けられたものである。欠陥検出部16およびRAM20の作用などについては後述する。
【0034】
欠陥補正部18は、欠陥検出部16で検出された欠陥画素のアドレスデータをRAM20から読み出して参照し、リアルタイムでその画素信号を、1画素もしくは2画素前の画素で置換する方法、前後の画素値の平均で置換する方法、または同様に垂直方向で考え、1つ上の画素で置換する方法、あるいは上下の画素値の平均で置換する方法など、公知の補間方法を利用して欠陥画素の画素値補正を行なう。欠陥補正部18により欠陥補正された撮像信号は、信号処理部19で各種の信号処理が施されてビデオ出力となる。
【0035】
図2は、欠陥検出部16の一例を説明する図であって、図2(A)は欠陥検出の対象条件を常に監視し欠陥判定を行なう機構を説明する図、図2(B)は欠陥検出部16の構成例を示す論理回路図である。
【0036】
暗時白欠陥を発する画素の信号は、先ず第1に周辺の画素に対して、通常1画素のみ突出して現れる。また、暗時の場合において白欠陥が目立つのは、周辺画素の信号レベルが黒レベルに近い状態で1画素のみ突出して現れる場合である。したがって、問題となる暗時白欠陥の画素とその近傍の画素との関係は図2(A)のように表される。
【0037】
このため、通常撮像状態において欠陥検出の対象条件を常に監視する機構を持ち、たとえば画面内における輝度レベルが小さい部分(低輝度部分)を欠陥検出の対象領域とし、判定対象画素の水平方向両脇(または上下も含めて)の画素レベルがある一定レベルを下回ったときに十分に暗時状態にあるとして、判定対象画素とその隣接する前後の画素の信号レベルを比較することで、当該画素が欠陥画素であるか否かを評価する。
【0038】
すなわち、判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値(KDARKREF)よりも大きく、且つ判定対象画素の近傍の周辺画素の信号レベルが黒レベル基準値(KDARKREF)よりも小さければ、判定対象画素が欠陥画素であると判定することができる。
【0039】
たとえば、対象画素前後2画素(計4画素)のデータが、ある一定の黒レベル基準値(KDARKREF)を連続して下回って出現し(つまり前後両脇の画素レベルの全てが黒レベル基準値より小さい)、対象画素だけ前後両脇の画素の平均値に比べて突出しており、平均値との差が欠陥判定レベル(KDETREF )よりも大きな値であることを条件として、その判定対象画素を欠陥画素であるとみなす。
【0040】
ここで、8ビットのデジタルデータを取り扱う場合において、黒側がデータ“0”で、白側が“FFh(255)”、OPBレベル(OPB:オプティカルブラック/光学的な黒画素)を“0Dh”に設定するときには、暗部に相当する低輝度部分を常に監視するために、黒レベル基準値(KDARKREF)を“20h”、欠陥判定レベル(KDETREF )を“40h”程度にする。
【0041】
このように、黒レベル基準値(KDARKREF)<欠陥判定レベル(KDETREF )となる値を設定すると、欠陥画素と判定されるのは、少なくとも黒レベル基準値(KDARKREF)以上の値を呈する画素となる。これは、OPBレベル〜黒レベル基準値(KDARKREF)にある異常画素は目立たないので白欠陥と判定する必要がなく、逆にこのような画素を白欠陥と判定するようにすると、誤検知が発生する虞れが増えるからである。
【0042】
また、前後2画素(計4画素)のデータを監視するのは、周囲が十分に信号レベルが小さく対象画素も光学的に十分に暗い状態であることを精度良く判定するためである。
【0043】
また、前後両脇の画素の平均値を欠陥判定の基準にするのは、多くの固体撮像素子のカラーフィルタの色コーディングが水平2画素繰返しの構成を採用しているため、同じ色成分にて信号レベルを判定する必要があるためである。したがって、どの程度の周辺画素のデータを参照するかは、使用する撮像素子12のフィルタ配列に応じて設定することが好ましい。
【0044】
また、本例では水平方向についてのみ周辺画素のデータを参照しているが、垂直方向についても同様であり、また水平方向および垂直方向の両方を組み合わせた処理としてもよい。たとえば、判定対象画素の8近傍(3×3画素)あるいは24近傍(5×5画素)の画素データを参照するなどである。
【0045】
また実使用上 黒レベル基準値(KDARKREF)と欠陥判定レベル(KDETREF )、あるいは参照画素などの設定は、装置の外部から変更制御が容易にでき、その値もEEPROMなどの不揮発性記憶装置に記憶させる構成を採るのが望ましい。
【0046】
また温度変化によりOPBレベルが変化し、これによって欠陥レベルも大きく影響するため、黒レベル基準値(KDARKREF)や欠陥判定レベル(KDETREF )の決め方が難しい。このため、内蔵するマイコン・ファームを用い、環境温度などによる影響を受けるOPBレベルを監視し、実際のOPBレベルに応じた適正な黒レベル基準値(KDARKREF)や欠陥判定レベル(KDETREF )を設定するなどの工夫も有効である。判定レベル設定部169は、このために設けられたものである。
【0047】
上記内容を実現する欠陥検出部16を論理回路で具体化したものが図2(B)である。入力された撮像データは、複数のフリップフロップ(FF)160(本例では計5段;それぞれを参照子a,b,c,d,eで示す)を通ることで、順次送られてきた対象画素データとその前後の画素データ、Sn−2,Sn−1,Sn,Sn+1,Sn+2、FF160に保持される。
【0048】
ここで、n−2〜n+2は画素番号を示し、nが判定対象画素である。これらの撮像データに対して、加算器162、平均化回路163、減算器164、複数の比較回路(Comp)166(本例では計5個;それぞれを参照子a,b,c,d,eで示す)、およびANDゲート168により、下記の演算を行なう。
【0049】
先ず、加算器162は、下記式(1)に基づいて、判定対象画素の前後2画素分の撮像データを加算する。また平均化回路163は、下記式(2)に基づいて、対象画素の前後2画素の平均値Saveを求める。
【数1】
【数2】
【0050】
次に、減算器164は、下記式(3)に基づいて、対象画素の前後2画素分の平均値Saveと、判定対象画素の撮像データSnとの差SΔを求める。
【数3】
【0051】
次に、比較回路166aは、加算データSsumと判定対象画素nの撮像データSnとの差SΔと欠陥判定レベル(KDETREF )とを比較し、差SΔが欠陥判定レベル(KDETREF )よりも大きければ論理値“1(真)”を出力し、それ以外は論理値“0(偽)”を出力する。これを、式で示すと下記式(4)のようになる。なお、この論理値はANDゲート168に入力される。
【数4】
【0052】
また、比較回路166b〜166eは、それぞれ対応する対象画素n近傍の画素n−2〜n+2の各撮像データSn−2〜Sn+2と黒レベル基準値(KDARKREF)とを比較し、撮像データSn−2〜Sn+2が黒レベル基準値(KDARKREF)よりも小さければ論理値“1(真)”を出力し、それ以外は論理値“0(偽)”を出力する。これを、式で示すと下記式(5)のようになる。なお、それぞれの論理値はANDゲート168に入力される。
【数5】
【0053】
ANDゲート168は、各比較回路166から入力された論理値が全て“1(真)”である場合に限って論理値“1(真)”を出力し、それ以外は論理値“0(偽)”を出力する。すなわち、ANDゲート168は、対象画素前後2画素(計4画素)のデータが、黒レベル基準値(KDARKREF)を連続して下回って出現し、かつ対象画素だけ前後両脇の画素(計4画素)の平均値Saveに比べて欠陥判定レベル(KDETREF )よりも大きな値である場合は、その判定対象画素が白欠陥画素であるとみなし、論理値“1(真)”を検出結果として出力する。
【0054】
そして、このANDゲート168の検出結果として論理値“1(真)”が出力された画素について、欠陥検出部16は、撮像素子12における画素位置を示すアドレスデータをRAM20に書き込む。欠陥補正部18は、RAM20から読み出したアドレスデータを参照し、公知の補間方法を利用して欠陥画素の画素値補正を行なう。これにより、周辺画素の値に対して一定レベル以上突出している画素に対しては白欠陥として検出でき、目立たないように、その画素値を補正することができる。
【0055】
ここで、上記のような構成とすることにより、突出している信号を検出する際に、判定対象画素周辺の輝度レベルを考慮して、検出することにより、特に、高輝度信号部で白欠陥を検知する虞れがなくなる。また、対象画素の両側の画素を参照するので、たとえば黒文字部の周囲の原稿下地を誤って白欠陥と判定する虞れもない。
【0056】
暗時白欠陥は、画像中に白点となって現れ目立つので、画質性能の面では、たとえ誤検知があっても確実に検知することが望ましい。これに対して、高輝度成分は本来の画像成分であるから、この中において、白欠陥であると誤検知することは望ましくない。上記構成は、低輝度信号部では白欠陥を確実に検知することができ、高輝度信号部では白欠陥と検知する虞れがないので、画質の点で優れた白欠陥検出処理であるといえる。
【0057】
図3は、欠陥検出部16が検知した結果をアドレスデータとしてRAM20に書き込む方法の第1例を説明する図である。欠陥検出部16にて判定対象画素が白欠陥画素であると判定されると、現在の画素のアドレス(垂直カウンタと水平カウンタで表される)はラッチされ、後発欠陥用のRAM20の新規検出白点用レジスタに記入される。
【0058】
この検出されたアドレス情報を欠陥補正部18にて参照用として利用するためには、欠陥補正部18がアドレスデータを参照し易いように、後発欠陥RAM領域内でアドレスデータの並べ替え(ソート)を行なうことが望ましい。
【0059】
ここで、図3に示す第1例では、後発欠陥RAM領域を、検出した新規アドレスの書込領域と、欠陥補正部18が参照する参照領域の2つの領域に分割することで、新規検出と同時に現在使用中(欠陥補正部18が参照中)の領域とは別の領域に新規アドレスを追加して再書き込みを行ない、欠陥補正部18は、次のフレームから書き直されたRAM領域を使用するものである。以下具体的に説明する。
【0060】
先ず図3(A)に示すように、後発欠陥用のRAM20に欠陥画素のアドレスデータが記憶されていない初期状態では、欠陥補正部18は、2つに分割した一方(図ではA領域)をアクティブ領域として参照する。初期状態では、補正アドレスデータが書き込まれていないので、処理対象フレーム(1画面分)については、当然に補正処理はなされず、入力された画素データをそのまま出力する。
【0061】
次に、図3(B)に示すように、a点に白欠陥らしき画素点が現れても、それが図2に示した条件を満たしていないときには、通常動作をする。すなわち欠陥補正部18は、前フレームで画素欠陥が発見されていないのでA領域をアクティブ領域と参照しても実際には補正処理をすることがないし、欠陥検出部16は、B領域に対して新規アドレスの書込処理をすることもない。
【0062】
次に、図3(C)に示すように、a点に図2に示した条件を満たす白欠陥の画素点が現れると、欠陥検出部16は、このa点を欠陥画素と判定し、そのアドレスデータを、ワークエリアであるレジスタDEF_REG_K に書き込む。このとき、並行して、欠陥補正部18は、領域Aをアクティブ領域として参照するが、前フレームで画素欠陥が発見されていないのでA領域を参照しても実際には補正処理をしない。したがって、欠陥画素a点の画素値はそのまま出力される。
【0063】
欠陥検出部16は、アドレスデータ(a点)のレジスタDEF_REG_K への書込みが終了すると、RAM20の空いている展開領域Bに、レジスタDEF_REG_K に書き込んでおいた欠陥画素a点のアドレスデータをコピーするとともに、次フレームでは今書き込んだB領域をアクティブ領域とするようセットする。
【0064】
そして、次のフレームでは、図3(D)に示すように、欠陥補正部18は、領域Bをアクティブ領域として参照するので、前フレームで発見されたa点のアドレスデータを読み出すことができるので、欠陥画素a点の画素値を所定の値に補正することができる。
【0065】
引き続き、図3(E)に示すように、b点に図2に示した条件を満たす白欠陥の画素点が新規に現れると、欠陥検出部16は、このb点を欠陥画素と判定し、そのアドレスデータを、レジスタDEF_REG_K に書き込む。このとき、並行して、欠陥補正部18は、領域Bをアクティブ領域として参照するので、a点のアドレスデータを読み出しa点の画素値を所定の値に補正するが、新規に発見した欠陥画素b点の画素値はそのまま出力する。
【0066】
欠陥検出部16は、アドレスデータ(b点)のレジスタDEF_REG_K への書込みが終了すると、レジスタDEF_REG_K に書き込んでおいた欠陥画素b点のアドレスデータを領域Bのコピー元データと併せてRAM20の空いている展開領域Aに再コピーし、次フレームでは今書き込んだA領域をアクティブ領域とするようセットする。
【0067】
ただしこのときには、レジスタDEF_REG_K と先に書き込んであったコピー元データとを見ながら、水平および垂直の各走査方向におけるアドレスが若い(本例では図中の左上が走査の始点)順に、それらのアドレスデータをA領域にコピーする。
【0068】
そして、次のフレームでは、図3(F)に示すように、欠陥補正部18は、領域Aをアクティブ領域として参照するので、前フレームまでに発見されたa点およびb点のアドレスデータを読み出すことができるので、欠陥画素a点およびb点の画素値を所定の値に補正することができる。
【0069】
さらに引き続き、図3(G)に示すように、c点に図2に示した条件を満たす白欠陥の画素点がが新規に現れると、欠陥検出部16は、このc点を欠陥画素と判定し、そのアドレスデータを、レジスタDEF_REG_K に書き込む。
【0070】
このとき、並行して、欠陥補正部18は、領域Bをアクティブ領域として参照するので、a点およびb点のアドレスデータを読み出しa点およびb点の画素値を所定の値に補正するが、新規に発見した欠陥画素c点の画素値はそのまま出力する。
【0071】
欠陥検出部16は、アドレスデータ(c点)のレジスタDEF_REG_K への書込みが終了すると、レジスタDEF_REG_K に書き込んでおいた欠陥画素c点のアドレスデータを領域Aのコピー元データと併せてRAM20の空いている展開領域Bに再コピーし、次フレームでは今書き込んだB領域をアクティブ領域とするようセットする。このときにも、図3(E)について説明したと同様に、レジスタDEF_REG_K と先に書き込んであったコピー元データとを見ながら、水平および垂直の各走査方向におけるアドレスが若い順に、それらのアドレスデータをB領域にコピーする。
【0072】
そして、次のフレームでは、図3(H)に示すように、欠陥補正部18は、領域Bをアクティブ領域として参照するので、前フレームまでに発見されたa点、b点、およびc点のアドレスデータを読み出すことができるので、欠陥画素a点,b点、およびc点の各画素値を所定の値に補正することができる。
【0073】
以下、欠陥画素を発見する都度、欠陥検出部16が追記する領域と欠陥補正部18が参照する領域とをA,Bの各領域で切り替えながら処理する。つまり、この第1例の方法によれば、RAM領域として、欠陥補正部18が実際に参照する領域の2倍の領域を処理領域として必要とするが、展開処理(アドレスデータの並べ替えの処理)の時間が映像期間中でも問題ないという利点がある。
【0074】
さらに、検出された欠陥画素は、次のフレームから補正対象として扱われるため、実使用上殆ど点欠陥を視認することはできない。たとえば15FPS(フレーム/秒)で撮像している場合は、67ミリ秒後には補正されている。
【0075】
なお、図3(I)に示すように、撮像素子12により得られた撮像信号Sを監視し、たとえばOPD(オプティカル・ディテクタ:光学レベル検出装置)のような機構で検出される輝度レベルがある一定レベルを超えたときや、OPD値を数値計算して求められるAE(Auto Exposure) スケールが十分に明るい方にシフトした場合など、撮像信号Sが予め定められた高輝度側の基準値を満たすことを条件として、RAM20のアドレスデータをリセット(消去)する。あるいは、電源オフ時にアドレス情報をリセット(消去)してもよい。記憶情報消去部170は、この輝度レベルの監視機能やリセット機能のために設けられたものである。
【0076】
ここで、RAM20のアドレスデータをリセットするのは、暗時の白欠陥として視認できないような明るい被写体を撮像している場合には、画素データを補間により無駄にしてしまうことを回避するためである。また、撮像している被写体に依って 万が一誤検出により正常画素を欠陥画素として認識してしまった場合に、明るい被写体を撮像したことあるいは電源オフ時を契機として誤検知したアドレス情報を自動的にクリアする機会を設けることで、誤検出による弊害を防止するためである。
【0077】
勿論、誤検出が問題とならない場合には、リセットすることなく、そのままとしておいてもよい。
【0078】
図4は、欠陥検出部16が検知した結果をアドレスデータとしてRAM20に書き込む方法の第2例を説明する図である。ここで、図4に示す第2例では、欠陥画素が新規に検出されると、直後の水平帰線期間中にソートを実施する。
【0079】
たとえば、図3における欠陥画素a,bが既に検知されており、RAM20にはアドレスデータaがアドレスNに、アドレスデータbがアドレスN−1に予め記憶されており、これから欠陥画素cを検知するものとする。なお、処理可能な後発欠陥数はRAM領域の最大アドレス数MAX_DEF未満とする。
【0080】
この状態で、欠陥検出部16が新規に欠陥画素cを発見すると、そのアドレスデータを、ワークエリアであるレジスタDEF_REG_K に書き込む(S10)。また、欠陥補正部18は、RAM20のアドレス番号の大きい順に参照して、既に発見されている欠陥画素のアドレスデータを順に読み出し(S12)、欠陥画素の画素値を順に所定の値に補正する。
【0081】
このとき、欠陥検出部16は、欠陥補正部18が補正処理の対象としたRAMデータがレジスタDEF_REG_K に書き込んだアドレスよりも大きいか否かを判定する。そして、大きければ、欠陥補正部18が補正処理の対象としたRAMデータを下方にシフトさせて書き込む(S14,S16)。小さければ、レジスタDEF_REG_K に書き込んだアドレスデータを、直前のアドレスに書き込む。同じときには再書込みの必要はない。
【0082】
図示した例において、先ずRAM20からアドレスNのRAMデータaを読み出した状態では(S12)、RAMデータaがレジスタDEF_REG_K のアドレスデータcよりも大きいので、RAMデータaを下方のアドレスN+1にシフトさせている(S14)。そして、欠陥検出部16によるアドレスN+1へのデータaの書込みが終了すると(S16)、欠陥補正部18は、RAM20のアドレスN−1から次のRAMデータbを読み出す(S18)。
【0083】
RAM20からアドレスN−1のRAMデータbを読み出した状態では、RAMデータbがレジスタDEF_REG_K のアドレスデータcよりも小さいので、レジスタDEF_REG_K のアドレスデータcを新欠陥アドレスとしてアドレスNに書き込む(S20)。レジスタDEF_REG_K のアドレスデータcをRAM20に書き込んだ後は、読み出したRAMデータbはそのままでよい。
【0084】
このように、第2例の方法によれば、展開処理(アドレスデータの並べ替えの処理)を、欠陥画素を検出した直後の水平帰線期間中に行なう必要があるものの、RAM領域としては、欠陥補正部18が実際に参照する容量分だけあればよいという利点がある。
【0085】
なお、この第2例においても、第1例と同様に、明るい被写体を撮像したことあるいは電源オフ時を契機としてアドレス情報を自動的にクリアすることで、誤検出による弊害を防止するようにしてもよい。
【0086】
また、第1例および第2例の何れの場合においても、電源オフ時に次回のパワーオン時のために、EEPROMなどのような不揮発性記憶装置に当該アドレスデータを蓄えておき、次回の電源オン時にEEPROMからRAM20に展開(コピー)して参照するようにしてもよい。
【0087】
図5は、前述のようにして後発白欠陥画素を検知して欠陥画素を補正する機構と、従来から行なわれている手法(工場出荷時に検出して欠陥位置情報を不揮発性記憶装置に蓄える)とを併用する場合の、白欠陥補正機能の構成例を説明する図である。
【0088】
前述の後発白欠陥に対する検出および補正の手法は、従来から行なわれている手法と排他的に装備されることを強要するものではなく、両方式を使用してもよいし、単独で使用することもできる。
【0089】
ここで、併用する場合は、パワーオン時は後発白欠陥画素の検知を直ぐに動作させない方がよい。これは、工場出荷時に既に検出されたアドレスと一致するものは後発欠陥として2重に扱いたくないためである。たとえば、工場出荷時用の記憶アドレス数(たとえば256点)の方が後発用の記憶アドレス数(たとえば64点)よりも多いときに有効である。
【0090】
このため、図5(A)に示すように、電源起動後には(S100)、先ずシステムを管理するマイコンを起動させ(S102)、カメラを初期化(イニシャライズ)し(S104)、カメラ動作を規定する種々の設定パラメータをワークRAMにロードする(S106)。
【0091】
そして、製品出荷時の欠陥検出データを保持している不揮発性記憶装置22からアドレスデータを欠陥補正用のワークRAMにロード(展開)する(S108)。また、欠陥補正用RAMへの書き込みが終了した後、実稼働下において、後発白欠陥の検出/補正処理に際しては、実質的に、出荷時欠陥が補正された後の信号のみを評価するように、内蔵マイコンにより制御することが好ましい(S110)。
【0092】
このようにして両方式を併用する方法としては、たとえば図5(B)に示すように、工場出荷時に検出して欠陥位置情報を記憶した不揮発性記憶装置22からアドレスデータを展開する工場出荷時用RAM24と後発欠陥RAM20を個別に準備して、欠陥補正部18が、2つのRAM20,24のアドレス情報を同時に参照する仕組みとする方法がある。
【0093】
また、図5(C)に示すように、電源投入後に先ず工場出荷・後発欠陥兼用RAM20内に不揮発性記憶装置22からアドレスデータを展開し、その後の実使用条件下で後発白欠陥を発見した際、兼用RAM20内で、アドレスデータの並び替えを行なう方法もある。この2つの方法の場合、欠陥補正部18が1段で済むという利点がある。
【0094】
また、図5(D)に示すように、補正回路を工場出荷時用欠陥補正部18a、後発用欠陥補正部18bの2段構成とすることもできる。この場合、不揮発性記憶装置22から出荷時欠陥補正用RAM24へのアドレスデータの書き込みが終了し、出荷時欠陥が補正された後の信号のみを評価するように内蔵マイコンにより制御する。
【0095】
以上説明したように、上記実施形態によれば、後発白欠陥の検出処理のためのの構成が簡単で、論理回路の増加分は小規模である。また補正系は、従来の構成を踏襲することができるので、回路変更は殆ど必要ない。
【0096】
また、通常撮像状態の被写体の中から欠陥検出の対象領域となる暗部に相当する低輝度部分を常に監視しているために、検出処理のために全黒状態を作り出すことを必要としない。このため遮光のためのメカニカルなアイリスなども必要なく、これらを持てない超小型のカメラモジュール用の装置として好適である。
【0097】
また、被写体の状態を考慮し、後発欠陥用RAMデータを電源リセットもしくは輝度レベルに応じて適宜クリアする機構も準備できるので、補正する必要が無い状態での過度な補正を防ぐことができる。加えて、被写体に依って不要な画素を後発欠陥として誤認識した場合でも、直ちにそれらのアドレス情報を放棄することで、誤検出による弊害を防止することができる。
【0098】
さらに、後発白欠陥検出および補正を単独で使用する場合には、従来から行われている手法(工場出荷時に検出して欠陥位置情報を不揮発性記憶装置に蓄える)のように、電源オン時に不揮発性メモリからデータを内部RAMに展開する必要がないため、マイコンの負担がなくファームウェアの立上り時間のオーバーヘッドがないという利点もある。
【0099】
また、後発白欠陥と検出した画素に対してのみ補正処理を施すようにしているので、撮像中の画像を元に動的に欠陥画素を抽出しメディアンフィルタを施すなどの手法のように無駄に実被写体の高周波成分もカットしてしまうことがなく画質を損なうことがない。
【0100】
また、黒レベル基準値(KDARKREF)、欠陥判定レベル(KDETREF )、あるいは参照画素範囲などを、装置の外部から変更制御する構成とすることも容易にできる。これを利用し、OPB(光学的黒)などによって黒レベルを判定し黒レベル基準値(KDARKREF)、欠陥判定レベル(KDETREF )、あるいは参照画素範囲などを変更するなど、温度変化による黒レベル/欠陥レベル変動に対応することができる。すなわち、後天的に発生する欠陥画素に対する補正について、柔軟に対処することができる。
【0101】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。また、上記の実施形態は、クレームにかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。
【0102】
【発明の効果】
以上のように、本発明によれば、判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きく、且つ判定対象画素の周辺画素の信号レベルが黒レベル基準値よりも小さいことを条件として、判定対象画素が欠陥画素であると判定するようにした。
【0103】
これにより、暗時白欠陥に相当する低輝度信号レベルに囲まれた異常信号レベルを呈する画素を欠陥画素であると精度良く検出できる。また、高輝度信号レベルに囲まれた異常信号レベルを呈する画素を欠陥画素であると判定することはない。
【0104】
よって、欠陥画素と判定された画素の撮像信号について補正処理を施し、それ以外は撮像された信号をそのまま使用することで、適切な暗時白欠陥の補正ができ、本来の画質を劣化させることなく、良好な画像を得ることができる。
【図面の簡単な説明】
【図1】本発明に係る画素欠陥検出装置を備えた撮像装置の一実施形態を示すブロック図である。
【図2】欠陥検出部の一例を説明する図であって、欠陥判定を行なう機構を説明する図(A)、欠陥検出部の構成例を示す論理回路図(B)である。
【図3】欠陥検出部が検知した結果をアドレスデータとしてRAMに書き込む方法の第1例を説明する図である。
【図4】欠陥検出部が検知した結果をアドレスデータとしてRAMに書き込む方法の第2例を説明する図である。
【図5】後発白欠陥と工場出荷時欠陥の両者に対応する場合の、構成例を説明する図である。
【符号の説明】
10…撮像装置、11…レンズ、12…撮像素子、13…プリアンプ、14…A/D変換部、15…デジタル信号処理部、16…欠陥検出部、18…欠陥補正部、19…信号処理部、20,24…RAM、22…不揮発性記憶装置、162…加算器、163…平均化回路、164…減算器、166…比較回路、168…ANDゲート、169…判定レベル設定部、170…記憶情報消去部
【発明の属する技術分野】
本発明は、撮像素子に含まれる欠陥画素を検出する方法および装置、並びに欠陥画素の検出機能および補正機能を備えた撮像装置に関する。
【0002】
【従来の技術】
CCD(Charge Coupled Device) 撮像素子やCMOS型撮像素子などの半導体で形成した固体撮像素子を用いた撮像装置がビデオカメラ、電子スチルカメラ(ディジタルカメラ)、あるいは携帯電話などの撮像部に適用されている。固体撮像素子は、画素位置に対応させて、たとえば数百万個の受光素子(画素)が形成されている。
【0003】
ところで、半導体基板上に形成した受光素子には、製造工程に起因するキズなどの半導体の局部的な結晶欠陥などによって正常に光電変換できない感度異常が発生する欠陥画素がある確率で生じることがあり、このような場合、その欠陥画素が点状の固定ノイズ(いわゆる白く輝くキズ:白キズ)となって画像上に現れ、画質を劣化させる原因となることが知られている。たとえば、CCD撮像素子を用いたビデオカメラにおいては、CCD撮像素子の各画素の内、光が入射していない状態で特異なレベルの信号を出力するいわゆる暗時白欠陥により、撮像して得た画像の画質が劣化するという問題がある。
【0004】
このような欠陥画素がある場合、固体撮像素子を適用したディジタルカメラなどにおいては、この欠陥画素に起因する画質劣化をなくすために、欠陥画素が出力する信号を補正する欠陥補正処理機能を持つのが一般的である。
【0005】
たとえば、暗時白欠陥の検出や補正の方法としては、EEPROM(電気的消去可能なプログラマブル記憶媒体)などの不揮発性記憶装置を用いる方法がある。たとえば、撮像素子の出荷選別時やカメラの工場出荷時にアイリスをクローズするなどの黒撮像状態にして、自動的に特異点を抽出することで、その固体撮像素子に含まれる欠陥画素を検出し、その欠陥画素のアドレス情報をEEPROMなどの不揮発性記憶装置に蓄えておく。
【0006】
一方、前述のようにして欠陥画素位置を特定した後、たとえばカメラのパワーオン時に、不揮発性記憶装置に記憶保持された欠陥画素のアドレス情報を読み出し、カメラ信号処理部の持つ内部RAM上にアドレス情報を展開(ロード)することで補正対象画素の位置を認識し、固体撮像素子から供給される撮像信号の欠陥画素に対応する画素信号に対して、たとえば前置画素の信号と置換したり、または欠陥画素が接する周囲画素の平均値で置換するなどして、欠陥画素による特異なレベルの信号を補正することで、欠陥の無い画像を出力する。
【0007】
また、暗時白欠陥の検出や補正の別方法として、暗時白欠陥に相当する画素は周波数的に他画素と比べて比較的高いことを利用して、撮像中の画像を元に、動的に欠陥画素を抽出しメディアンフィルタ処理を施すなどの手法も試みられている。このメディアンフィルタ処理とは、撮像素子のある画素集合の中心画素の信号を、その画素集合内にある中間値に置き換える処理方法である。この処理方法を行なうと、撮像素子における近傍画素と極端に信号値の異なる画素のキズや欠陥などの信号が、画素位置に関係なく補正できる。
【0008】
【発明が解決しようとする課題】
ところで、一旦、適正かつ忠実な撮影画像が得られるものとして製造出荷された撮像装置であっても、使用中に一部の撮像素子が損傷し、適正な再生画像が得られなくなることがある。
【0009】
すなわち、固体撮像素子の構成画素は、製造の段階で欠陥となる場合だけでなく、製品出荷後の搬送途中や、航空機や人工衛星などの機体に据え付けられての移動により、製品出荷後においても新たな白欠陥(いわゆる後発白点)が生じ、特に、暗時の白点状の欠陥として視認されることがよくあり、品質上の大きな問題となる。たとえば、航空機や人工衛星などの機体に据え付けられ、大気圏や宇宙空間から地球表面の撮影に使用されるような場合、カメラは温度変化の厳しい環境条件下にさらされ、あるいは宇宙線や放射線の介入などを受けるので、一部の撮像素子の機能が低下したり破壊することで、適正な光電変換動作が行なわれない現象が発生する。
【0010】
したがって、撮像装置に使用している固体撮像素子の欠陥画素を検査し欠陥画素のアドレス情報を不揮発性記憶装置に記憶した後にユーザの手に渡るようにした場合には、上述した突発的な欠陥画素の発生や経年変化などによる後発白点の発生には対応できない。この後発白点に対応するためには、一旦製品を回収し再度暗時白欠陥のアドレスを検出して不揮発性記憶装置に記憶させる必要がある。
【0011】
また、メディアンフィルタ処理を利用した補正方法では、実被写体と欠陥との区別のバランスが非常に難しく、フィルタサイズ内の全ての画素を中間値で置き換えこれを1画面の全体に亘って処理するために、白キズや画素欠陥でない補正を必要としない画素の信号までについても、原信号の値とは違う値の信号で補正される場合があり、結果的に、実被写体の高周波成分もカットしてしまい、いわゆる眠い画像になってしまうという問題がある。
【0012】
本発明は、上記事情に鑑みてなされたものであり、製品出荷後の撮像状態で発生する後発白点を確実に検出することのできる画素欠陥の検出方法および装置を提供することを目的とする。また本発明は、画素欠陥の補正処理に際して、補正による画質劣化を生じることのない撮像装置を提供することを目的とする。
【0013】
【課題を解決するための手段】
すなわち、本発明に係る欠陥画素を検出する方法は、判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きく、且つ判定対象画素の近傍に存在する画素である周辺画素の信号レベルが黒レベル基準値よりも小さいことを条件として、判定対象画素が前記欠陥画素であると判定する。
【0014】
たとえば、判定対象画素の両側において互いに隣接するように周辺画素をそれぞれ複数個設定し、この複数個の周辺画素の信号レベルの全てが黒レベル基準値よりも小さく、且つ複数個の周辺画素の信号レベルの平均値と判定対象画素の信号レベルとの差が、予め定められた欠陥判定レベルよりも大きいことを条件として、判定対象画素が前記欠陥画素であると判定する。
【0015】
この判定に際して使用される黒レベル基準値や欠陥判定レベルは、光学的な黒画素の信号レベルの大きさに応じて設定することが望ましい。
【0016】
本発明に係る欠陥画素を検出する装置は、前記本発明に係る欠陥画素を検出する方法を実施する装置であって、判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きいか否かを判定する第1の判定部と、判定対象画素の近傍に存在する画素である周辺画素の信号レベルが黒レベル基準値よりも小さい否かを判定する第2の判定部と、第1の判定部および第2の判定部の各判定の結果が真であることを条件として、判定対象画素が欠陥画素であると判定する第3の判定部とを備えた。なお、これら3つの判定部は、これらの3つの判定機能を備えた1つの判定部として構成されていてもよい。
【0017】
また、第2の判定部は、判定対象画素の両側において互いに隣接するように周辺画素をそれぞれ複数個設定し、この複数個の周辺画素の信号レベルの全てが前記黒レベル基準値よりも小さいか否かを判定するものであってもよい。この場合、第3の判定部は、第2の判定部の判定の結果が真であり、且つ複数個の周辺画素の信号レベルの平均値と判定対象画素の信号レベルとの差が、予め定められた欠陥判定レベルよりも大きいことを条件として、判定対象画素が欠陥画素であると判定することが好ましい。
【0018】
本発明に係る欠陥画素を検出する装置においては、さらに、黒レベル基準値および欠陥判定レベルのうちの少なくとも一方を、光学的な黒画素の信号レベルの大きさに応じて設定する判定レベル設定部を備えた構成とすることが好ましい。
【0019】
本発明に係る撮像装置は、本発明に係る欠陥画素を検出する装置を適用した装置であって、検出装置の構成に加えて、第3の判定部が欠陥画素であると判定した判定対象画素により得られた信号を、予め定められた方法によって生成された補間信号に置換することで、欠陥画素の信号を補正する欠陥補正部を備えた。
【0020】
本発明に係る撮像装置においては、第3の判定部が欠陥画素であると判定した判定対象画素の、固体撮像素子における位置に関する情報を記憶する記憶部を備えたものとすることが好ましい。この場合、欠陥補正部は、記憶部に記憶されている欠陥画素の位置に関する情報に基づいて、欠陥画素の信号を補正することが好ましい。
【0021】
また、記憶部に2つの記憶領域を用意し、第3の判定部は、判定対象画素が欠陥画素であると判定する都度、記憶部の2つの記憶領域を切り替えながら、判定対象画素の固体撮像素子における位置に関する情報を、切り替えた一方の記憶領域に格納するとよい。この際、欠陥補正部は、記憶部における他方の記憶領域に記憶されている欠陥画素の位置に関する情報に基づいて、欠陥画素の信号を補正するとよい。なおこれらの処理は、1枚分の画像形成時におけるフィールドもしくはフレーム単位で行なう。
【0022】
あるいは、第3の判定部は、判定対象画素が欠陥画素であると判定した直後の、画像形成における走査の帰線期間の間に、この判定した欠陥画素並びに既に格納されている欠陥画素のそれぞれの位置を表す情報の格納場所を、予め定められた順序に沿うように並び替えて(すなわちソートして)、判定対象画素の固体撮像素子における位置に関する情報を記憶部に記憶するようにしてもよい。
【0023】
また、本発明に係る撮像装置においては、固体撮像素子により得られた撮像信号を監視し、この撮像信号が予め定められた高輝度側の基準値を満たすことを条件として、記憶部に格納されている欠陥画素の位置を表す情報を消去させる記憶情報消去部を備えたものとするよい。
【0024】
【作用】
上記構成においては、判定対象画素の近傍に存在する画素である周辺画素の信号レベルを監視する。そして、周辺画素の信号レベルが黒レベル基準値よりも小さいことを欠陥画素であることの第1の条件とする。
【0025】
つまり、画面内における低輝度部分を欠陥検出の対象領域とし、判定対象画素の近傍画素レベルが黒レベル基準値を下回ったとき、十分に暗時状態にあるとして判定対象画素が欠陥画素であるか否かを評価することと等価である。
【0026】
また、判定対象画素の信号レベルが所定の黒レベル基準値よりも大きい、つまり黒レベル基準値よりも突出していることを欠陥画素であることの第2の条件とする。そして、これら2つの条件をともに満足するとき、その判定対象画素を欠陥画素と見なす。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0028】
図1は、本発明に係る画素欠陥の検出装置を備えた撮像装置の一実施形態を示すブロック図である。第1実施形態の撮像装置10は、レンズ11と、撮像素子12と、プリアンプ13と、A/D変換部14と、デジタル信号処理部15と、本発明に係る画素欠陥の検出装置の一例である欠陥検出部16と、欠陥検出部16により検出された欠陥画素の位置を示すアドレスデータを格納する記憶部の一例であるRAM(ランダムアクセスメモリ)20と備えた構成となっている。
【0029】
欠陥検出部16は、欠陥検出部16、欠陥補正部18、信号処理部19、判定レベル設定部169、並びに記憶情報消去部170を有する。また、欠陥検出部16は、本発明に係る第1、第2、および第3の各判定部の機能を備える。判定レベル設定部169は、光学的な黒画素の信号レベル(OPB)に近い黒レベル基準値(KDARKREF)および欠陥判定レベル(KDETREF )のうちの少なくとも一方を、光学的な黒画素の信号レベル(OPB)の大きさに応じて決定し、これを欠陥検出部16に設定する。
【0030】
欠陥検出部16は、この各指標値を参照して、判定対象画素が後発白欠陥の画素であるか否かを判定する。記憶情報消去部170は、撮像素子12により得られた撮像信号Sを監視し、撮像信号Sが予め定められた高輝度側の基準値を満たすことを条件として、RAM20に格納されている欠陥画素の位置を表す情報を消去する。あるいは、電源オフ時に消去させてもよい。
【0031】
上記構成の撮像装置10において、レンズ11は、図示しない被写体の画像を撮像素子12の撮像面上に結像させる。撮像素子12としては、CCD撮像素子やCMOS型撮像素子などの固体撮像素子が用いられる。この撮像素子12は、その撮像面上に結像された画像を画素単位で電気信号に変換し、撮像信号としてプリアンプ13に供給する。
【0032】
プリアンプ13は、撮像素子12から出力される撮像信号をサンプルホールドして必要なデータを取り出すとともに、適正なレベルに合わせるためにゲインコントロールを行なう。このプリアンプ13の出力信号は、A/D変換部14に供給される。A/D変換部14は、プリアンプ13の出力信号をアナログ信号からディジタル信号に変換してデジタル信号処理部15に供給する。
【0033】
デジタル信号処理部15において、欠陥検出部16は、通常の撮像時に、撮像素子12により得られた撮像信号Sに基づいて欠陥画素を検出するために設けられたものである。また、RAM20は、欠陥検出部16が検知した結果をアドレスデータとして保持するために設けられたものである。欠陥検出部16およびRAM20の作用などについては後述する。
【0034】
欠陥補正部18は、欠陥検出部16で検出された欠陥画素のアドレスデータをRAM20から読み出して参照し、リアルタイムでその画素信号を、1画素もしくは2画素前の画素で置換する方法、前後の画素値の平均で置換する方法、または同様に垂直方向で考え、1つ上の画素で置換する方法、あるいは上下の画素値の平均で置換する方法など、公知の補間方法を利用して欠陥画素の画素値補正を行なう。欠陥補正部18により欠陥補正された撮像信号は、信号処理部19で各種の信号処理が施されてビデオ出力となる。
【0035】
図2は、欠陥検出部16の一例を説明する図であって、図2(A)は欠陥検出の対象条件を常に監視し欠陥判定を行なう機構を説明する図、図2(B)は欠陥検出部16の構成例を示す論理回路図である。
【0036】
暗時白欠陥を発する画素の信号は、先ず第1に周辺の画素に対して、通常1画素のみ突出して現れる。また、暗時の場合において白欠陥が目立つのは、周辺画素の信号レベルが黒レベルに近い状態で1画素のみ突出して現れる場合である。したがって、問題となる暗時白欠陥の画素とその近傍の画素との関係は図2(A)のように表される。
【0037】
このため、通常撮像状態において欠陥検出の対象条件を常に監視する機構を持ち、たとえば画面内における輝度レベルが小さい部分(低輝度部分)を欠陥検出の対象領域とし、判定対象画素の水平方向両脇(または上下も含めて)の画素レベルがある一定レベルを下回ったときに十分に暗時状態にあるとして、判定対象画素とその隣接する前後の画素の信号レベルを比較することで、当該画素が欠陥画素であるか否かを評価する。
【0038】
すなわち、判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値(KDARKREF)よりも大きく、且つ判定対象画素の近傍の周辺画素の信号レベルが黒レベル基準値(KDARKREF)よりも小さければ、判定対象画素が欠陥画素であると判定することができる。
【0039】
たとえば、対象画素前後2画素(計4画素)のデータが、ある一定の黒レベル基準値(KDARKREF)を連続して下回って出現し(つまり前後両脇の画素レベルの全てが黒レベル基準値より小さい)、対象画素だけ前後両脇の画素の平均値に比べて突出しており、平均値との差が欠陥判定レベル(KDETREF )よりも大きな値であることを条件として、その判定対象画素を欠陥画素であるとみなす。
【0040】
ここで、8ビットのデジタルデータを取り扱う場合において、黒側がデータ“0”で、白側が“FFh(255)”、OPBレベル(OPB:オプティカルブラック/光学的な黒画素)を“0Dh”に設定するときには、暗部に相当する低輝度部分を常に監視するために、黒レベル基準値(KDARKREF)を“20h”、欠陥判定レベル(KDETREF )を“40h”程度にする。
【0041】
このように、黒レベル基準値(KDARKREF)<欠陥判定レベル(KDETREF )となる値を設定すると、欠陥画素と判定されるのは、少なくとも黒レベル基準値(KDARKREF)以上の値を呈する画素となる。これは、OPBレベル〜黒レベル基準値(KDARKREF)にある異常画素は目立たないので白欠陥と判定する必要がなく、逆にこのような画素を白欠陥と判定するようにすると、誤検知が発生する虞れが増えるからである。
【0042】
また、前後2画素(計4画素)のデータを監視するのは、周囲が十分に信号レベルが小さく対象画素も光学的に十分に暗い状態であることを精度良く判定するためである。
【0043】
また、前後両脇の画素の平均値を欠陥判定の基準にするのは、多くの固体撮像素子のカラーフィルタの色コーディングが水平2画素繰返しの構成を採用しているため、同じ色成分にて信号レベルを判定する必要があるためである。したがって、どの程度の周辺画素のデータを参照するかは、使用する撮像素子12のフィルタ配列に応じて設定することが好ましい。
【0044】
また、本例では水平方向についてのみ周辺画素のデータを参照しているが、垂直方向についても同様であり、また水平方向および垂直方向の両方を組み合わせた処理としてもよい。たとえば、判定対象画素の8近傍(3×3画素)あるいは24近傍(5×5画素)の画素データを参照するなどである。
【0045】
また実使用上 黒レベル基準値(KDARKREF)と欠陥判定レベル(KDETREF )、あるいは参照画素などの設定は、装置の外部から変更制御が容易にでき、その値もEEPROMなどの不揮発性記憶装置に記憶させる構成を採るのが望ましい。
【0046】
また温度変化によりOPBレベルが変化し、これによって欠陥レベルも大きく影響するため、黒レベル基準値(KDARKREF)や欠陥判定レベル(KDETREF )の決め方が難しい。このため、内蔵するマイコン・ファームを用い、環境温度などによる影響を受けるOPBレベルを監視し、実際のOPBレベルに応じた適正な黒レベル基準値(KDARKREF)や欠陥判定レベル(KDETREF )を設定するなどの工夫も有効である。判定レベル設定部169は、このために設けられたものである。
【0047】
上記内容を実現する欠陥検出部16を論理回路で具体化したものが図2(B)である。入力された撮像データは、複数のフリップフロップ(FF)160(本例では計5段;それぞれを参照子a,b,c,d,eで示す)を通ることで、順次送られてきた対象画素データとその前後の画素データ、Sn−2,Sn−1,Sn,Sn+1,Sn+2、FF160に保持される。
【0048】
ここで、n−2〜n+2は画素番号を示し、nが判定対象画素である。これらの撮像データに対して、加算器162、平均化回路163、減算器164、複数の比較回路(Comp)166(本例では計5個;それぞれを参照子a,b,c,d,eで示す)、およびANDゲート168により、下記の演算を行なう。
【0049】
先ず、加算器162は、下記式(1)に基づいて、判定対象画素の前後2画素分の撮像データを加算する。また平均化回路163は、下記式(2)に基づいて、対象画素の前後2画素の平均値Saveを求める。
【数1】
【数2】
【0050】
次に、減算器164は、下記式(3)に基づいて、対象画素の前後2画素分の平均値Saveと、判定対象画素の撮像データSnとの差SΔを求める。
【数3】
【0051】
次に、比較回路166aは、加算データSsumと判定対象画素nの撮像データSnとの差SΔと欠陥判定レベル(KDETREF )とを比較し、差SΔが欠陥判定レベル(KDETREF )よりも大きければ論理値“1(真)”を出力し、それ以外は論理値“0(偽)”を出力する。これを、式で示すと下記式(4)のようになる。なお、この論理値はANDゲート168に入力される。
【数4】
【0052】
また、比較回路166b〜166eは、それぞれ対応する対象画素n近傍の画素n−2〜n+2の各撮像データSn−2〜Sn+2と黒レベル基準値(KDARKREF)とを比較し、撮像データSn−2〜Sn+2が黒レベル基準値(KDARKREF)よりも小さければ論理値“1(真)”を出力し、それ以外は論理値“0(偽)”を出力する。これを、式で示すと下記式(5)のようになる。なお、それぞれの論理値はANDゲート168に入力される。
【数5】
【0053】
ANDゲート168は、各比較回路166から入力された論理値が全て“1(真)”である場合に限って論理値“1(真)”を出力し、それ以外は論理値“0(偽)”を出力する。すなわち、ANDゲート168は、対象画素前後2画素(計4画素)のデータが、黒レベル基準値(KDARKREF)を連続して下回って出現し、かつ対象画素だけ前後両脇の画素(計4画素)の平均値Saveに比べて欠陥判定レベル(KDETREF )よりも大きな値である場合は、その判定対象画素が白欠陥画素であるとみなし、論理値“1(真)”を検出結果として出力する。
【0054】
そして、このANDゲート168の検出結果として論理値“1(真)”が出力された画素について、欠陥検出部16は、撮像素子12における画素位置を示すアドレスデータをRAM20に書き込む。欠陥補正部18は、RAM20から読み出したアドレスデータを参照し、公知の補間方法を利用して欠陥画素の画素値補正を行なう。これにより、周辺画素の値に対して一定レベル以上突出している画素に対しては白欠陥として検出でき、目立たないように、その画素値を補正することができる。
【0055】
ここで、上記のような構成とすることにより、突出している信号を検出する際に、判定対象画素周辺の輝度レベルを考慮して、検出することにより、特に、高輝度信号部で白欠陥を検知する虞れがなくなる。また、対象画素の両側の画素を参照するので、たとえば黒文字部の周囲の原稿下地を誤って白欠陥と判定する虞れもない。
【0056】
暗時白欠陥は、画像中に白点となって現れ目立つので、画質性能の面では、たとえ誤検知があっても確実に検知することが望ましい。これに対して、高輝度成分は本来の画像成分であるから、この中において、白欠陥であると誤検知することは望ましくない。上記構成は、低輝度信号部では白欠陥を確実に検知することができ、高輝度信号部では白欠陥と検知する虞れがないので、画質の点で優れた白欠陥検出処理であるといえる。
【0057】
図3は、欠陥検出部16が検知した結果をアドレスデータとしてRAM20に書き込む方法の第1例を説明する図である。欠陥検出部16にて判定対象画素が白欠陥画素であると判定されると、現在の画素のアドレス(垂直カウンタと水平カウンタで表される)はラッチされ、後発欠陥用のRAM20の新規検出白点用レジスタに記入される。
【0058】
この検出されたアドレス情報を欠陥補正部18にて参照用として利用するためには、欠陥補正部18がアドレスデータを参照し易いように、後発欠陥RAM領域内でアドレスデータの並べ替え(ソート)を行なうことが望ましい。
【0059】
ここで、図3に示す第1例では、後発欠陥RAM領域を、検出した新規アドレスの書込領域と、欠陥補正部18が参照する参照領域の2つの領域に分割することで、新規検出と同時に現在使用中(欠陥補正部18が参照中)の領域とは別の領域に新規アドレスを追加して再書き込みを行ない、欠陥補正部18は、次のフレームから書き直されたRAM領域を使用するものである。以下具体的に説明する。
【0060】
先ず図3(A)に示すように、後発欠陥用のRAM20に欠陥画素のアドレスデータが記憶されていない初期状態では、欠陥補正部18は、2つに分割した一方(図ではA領域)をアクティブ領域として参照する。初期状態では、補正アドレスデータが書き込まれていないので、処理対象フレーム(1画面分)については、当然に補正処理はなされず、入力された画素データをそのまま出力する。
【0061】
次に、図3(B)に示すように、a点に白欠陥らしき画素点が現れても、それが図2に示した条件を満たしていないときには、通常動作をする。すなわち欠陥補正部18は、前フレームで画素欠陥が発見されていないのでA領域をアクティブ領域と参照しても実際には補正処理をすることがないし、欠陥検出部16は、B領域に対して新規アドレスの書込処理をすることもない。
【0062】
次に、図3(C)に示すように、a点に図2に示した条件を満たす白欠陥の画素点が現れると、欠陥検出部16は、このa点を欠陥画素と判定し、そのアドレスデータを、ワークエリアであるレジスタDEF_REG_K に書き込む。このとき、並行して、欠陥補正部18は、領域Aをアクティブ領域として参照するが、前フレームで画素欠陥が発見されていないのでA領域を参照しても実際には補正処理をしない。したがって、欠陥画素a点の画素値はそのまま出力される。
【0063】
欠陥検出部16は、アドレスデータ(a点)のレジスタDEF_REG_K への書込みが終了すると、RAM20の空いている展開領域Bに、レジスタDEF_REG_K に書き込んでおいた欠陥画素a点のアドレスデータをコピーするとともに、次フレームでは今書き込んだB領域をアクティブ領域とするようセットする。
【0064】
そして、次のフレームでは、図3(D)に示すように、欠陥補正部18は、領域Bをアクティブ領域として参照するので、前フレームで発見されたa点のアドレスデータを読み出すことができるので、欠陥画素a点の画素値を所定の値に補正することができる。
【0065】
引き続き、図3(E)に示すように、b点に図2に示した条件を満たす白欠陥の画素点が新規に現れると、欠陥検出部16は、このb点を欠陥画素と判定し、そのアドレスデータを、レジスタDEF_REG_K に書き込む。このとき、並行して、欠陥補正部18は、領域Bをアクティブ領域として参照するので、a点のアドレスデータを読み出しa点の画素値を所定の値に補正するが、新規に発見した欠陥画素b点の画素値はそのまま出力する。
【0066】
欠陥検出部16は、アドレスデータ(b点)のレジスタDEF_REG_K への書込みが終了すると、レジスタDEF_REG_K に書き込んでおいた欠陥画素b点のアドレスデータを領域Bのコピー元データと併せてRAM20の空いている展開領域Aに再コピーし、次フレームでは今書き込んだA領域をアクティブ領域とするようセットする。
【0067】
ただしこのときには、レジスタDEF_REG_K と先に書き込んであったコピー元データとを見ながら、水平および垂直の各走査方向におけるアドレスが若い(本例では図中の左上が走査の始点)順に、それらのアドレスデータをA領域にコピーする。
【0068】
そして、次のフレームでは、図3(F)に示すように、欠陥補正部18は、領域Aをアクティブ領域として参照するので、前フレームまでに発見されたa点およびb点のアドレスデータを読み出すことができるので、欠陥画素a点およびb点の画素値を所定の値に補正することができる。
【0069】
さらに引き続き、図3(G)に示すように、c点に図2に示した条件を満たす白欠陥の画素点がが新規に現れると、欠陥検出部16は、このc点を欠陥画素と判定し、そのアドレスデータを、レジスタDEF_REG_K に書き込む。
【0070】
このとき、並行して、欠陥補正部18は、領域Bをアクティブ領域として参照するので、a点およびb点のアドレスデータを読み出しa点およびb点の画素値を所定の値に補正するが、新規に発見した欠陥画素c点の画素値はそのまま出力する。
【0071】
欠陥検出部16は、アドレスデータ(c点)のレジスタDEF_REG_K への書込みが終了すると、レジスタDEF_REG_K に書き込んでおいた欠陥画素c点のアドレスデータを領域Aのコピー元データと併せてRAM20の空いている展開領域Bに再コピーし、次フレームでは今書き込んだB領域をアクティブ領域とするようセットする。このときにも、図3(E)について説明したと同様に、レジスタDEF_REG_K と先に書き込んであったコピー元データとを見ながら、水平および垂直の各走査方向におけるアドレスが若い順に、それらのアドレスデータをB領域にコピーする。
【0072】
そして、次のフレームでは、図3(H)に示すように、欠陥補正部18は、領域Bをアクティブ領域として参照するので、前フレームまでに発見されたa点、b点、およびc点のアドレスデータを読み出すことができるので、欠陥画素a点,b点、およびc点の各画素値を所定の値に補正することができる。
【0073】
以下、欠陥画素を発見する都度、欠陥検出部16が追記する領域と欠陥補正部18が参照する領域とをA,Bの各領域で切り替えながら処理する。つまり、この第1例の方法によれば、RAM領域として、欠陥補正部18が実際に参照する領域の2倍の領域を処理領域として必要とするが、展開処理(アドレスデータの並べ替えの処理)の時間が映像期間中でも問題ないという利点がある。
【0074】
さらに、検出された欠陥画素は、次のフレームから補正対象として扱われるため、実使用上殆ど点欠陥を視認することはできない。たとえば15FPS(フレーム/秒)で撮像している場合は、67ミリ秒後には補正されている。
【0075】
なお、図3(I)に示すように、撮像素子12により得られた撮像信号Sを監視し、たとえばOPD(オプティカル・ディテクタ:光学レベル検出装置)のような機構で検出される輝度レベルがある一定レベルを超えたときや、OPD値を数値計算して求められるAE(Auto Exposure) スケールが十分に明るい方にシフトした場合など、撮像信号Sが予め定められた高輝度側の基準値を満たすことを条件として、RAM20のアドレスデータをリセット(消去)する。あるいは、電源オフ時にアドレス情報をリセット(消去)してもよい。記憶情報消去部170は、この輝度レベルの監視機能やリセット機能のために設けられたものである。
【0076】
ここで、RAM20のアドレスデータをリセットするのは、暗時の白欠陥として視認できないような明るい被写体を撮像している場合には、画素データを補間により無駄にしてしまうことを回避するためである。また、撮像している被写体に依って 万が一誤検出により正常画素を欠陥画素として認識してしまった場合に、明るい被写体を撮像したことあるいは電源オフ時を契機として誤検知したアドレス情報を自動的にクリアする機会を設けることで、誤検出による弊害を防止するためである。
【0077】
勿論、誤検出が問題とならない場合には、リセットすることなく、そのままとしておいてもよい。
【0078】
図4は、欠陥検出部16が検知した結果をアドレスデータとしてRAM20に書き込む方法の第2例を説明する図である。ここで、図4に示す第2例では、欠陥画素が新規に検出されると、直後の水平帰線期間中にソートを実施する。
【0079】
たとえば、図3における欠陥画素a,bが既に検知されており、RAM20にはアドレスデータaがアドレスNに、アドレスデータbがアドレスN−1に予め記憶されており、これから欠陥画素cを検知するものとする。なお、処理可能な後発欠陥数はRAM領域の最大アドレス数MAX_DEF未満とする。
【0080】
この状態で、欠陥検出部16が新規に欠陥画素cを発見すると、そのアドレスデータを、ワークエリアであるレジスタDEF_REG_K に書き込む(S10)。また、欠陥補正部18は、RAM20のアドレス番号の大きい順に参照して、既に発見されている欠陥画素のアドレスデータを順に読み出し(S12)、欠陥画素の画素値を順に所定の値に補正する。
【0081】
このとき、欠陥検出部16は、欠陥補正部18が補正処理の対象としたRAMデータがレジスタDEF_REG_K に書き込んだアドレスよりも大きいか否かを判定する。そして、大きければ、欠陥補正部18が補正処理の対象としたRAMデータを下方にシフトさせて書き込む(S14,S16)。小さければ、レジスタDEF_REG_K に書き込んだアドレスデータを、直前のアドレスに書き込む。同じときには再書込みの必要はない。
【0082】
図示した例において、先ずRAM20からアドレスNのRAMデータaを読み出した状態では(S12)、RAMデータaがレジスタDEF_REG_K のアドレスデータcよりも大きいので、RAMデータaを下方のアドレスN+1にシフトさせている(S14)。そして、欠陥検出部16によるアドレスN+1へのデータaの書込みが終了すると(S16)、欠陥補正部18は、RAM20のアドレスN−1から次のRAMデータbを読み出す(S18)。
【0083】
RAM20からアドレスN−1のRAMデータbを読み出した状態では、RAMデータbがレジスタDEF_REG_K のアドレスデータcよりも小さいので、レジスタDEF_REG_K のアドレスデータcを新欠陥アドレスとしてアドレスNに書き込む(S20)。レジスタDEF_REG_K のアドレスデータcをRAM20に書き込んだ後は、読み出したRAMデータbはそのままでよい。
【0084】
このように、第2例の方法によれば、展開処理(アドレスデータの並べ替えの処理)を、欠陥画素を検出した直後の水平帰線期間中に行なう必要があるものの、RAM領域としては、欠陥補正部18が実際に参照する容量分だけあればよいという利点がある。
【0085】
なお、この第2例においても、第1例と同様に、明るい被写体を撮像したことあるいは電源オフ時を契機としてアドレス情報を自動的にクリアすることで、誤検出による弊害を防止するようにしてもよい。
【0086】
また、第1例および第2例の何れの場合においても、電源オフ時に次回のパワーオン時のために、EEPROMなどのような不揮発性記憶装置に当該アドレスデータを蓄えておき、次回の電源オン時にEEPROMからRAM20に展開(コピー)して参照するようにしてもよい。
【0087】
図5は、前述のようにして後発白欠陥画素を検知して欠陥画素を補正する機構と、従来から行なわれている手法(工場出荷時に検出して欠陥位置情報を不揮発性記憶装置に蓄える)とを併用する場合の、白欠陥補正機能の構成例を説明する図である。
【0088】
前述の後発白欠陥に対する検出および補正の手法は、従来から行なわれている手法と排他的に装備されることを強要するものではなく、両方式を使用してもよいし、単独で使用することもできる。
【0089】
ここで、併用する場合は、パワーオン時は後発白欠陥画素の検知を直ぐに動作させない方がよい。これは、工場出荷時に既に検出されたアドレスと一致するものは後発欠陥として2重に扱いたくないためである。たとえば、工場出荷時用の記憶アドレス数(たとえば256点)の方が後発用の記憶アドレス数(たとえば64点)よりも多いときに有効である。
【0090】
このため、図5(A)に示すように、電源起動後には(S100)、先ずシステムを管理するマイコンを起動させ(S102)、カメラを初期化(イニシャライズ)し(S104)、カメラ動作を規定する種々の設定パラメータをワークRAMにロードする(S106)。
【0091】
そして、製品出荷時の欠陥検出データを保持している不揮発性記憶装置22からアドレスデータを欠陥補正用のワークRAMにロード(展開)する(S108)。また、欠陥補正用RAMへの書き込みが終了した後、実稼働下において、後発白欠陥の検出/補正処理に際しては、実質的に、出荷時欠陥が補正された後の信号のみを評価するように、内蔵マイコンにより制御することが好ましい(S110)。
【0092】
このようにして両方式を併用する方法としては、たとえば図5(B)に示すように、工場出荷時に検出して欠陥位置情報を記憶した不揮発性記憶装置22からアドレスデータを展開する工場出荷時用RAM24と後発欠陥RAM20を個別に準備して、欠陥補正部18が、2つのRAM20,24のアドレス情報を同時に参照する仕組みとする方法がある。
【0093】
また、図5(C)に示すように、電源投入後に先ず工場出荷・後発欠陥兼用RAM20内に不揮発性記憶装置22からアドレスデータを展開し、その後の実使用条件下で後発白欠陥を発見した際、兼用RAM20内で、アドレスデータの並び替えを行なう方法もある。この2つの方法の場合、欠陥補正部18が1段で済むという利点がある。
【0094】
また、図5(D)に示すように、補正回路を工場出荷時用欠陥補正部18a、後発用欠陥補正部18bの2段構成とすることもできる。この場合、不揮発性記憶装置22から出荷時欠陥補正用RAM24へのアドレスデータの書き込みが終了し、出荷時欠陥が補正された後の信号のみを評価するように内蔵マイコンにより制御する。
【0095】
以上説明したように、上記実施形態によれば、後発白欠陥の検出処理のためのの構成が簡単で、論理回路の増加分は小規模である。また補正系は、従来の構成を踏襲することができるので、回路変更は殆ど必要ない。
【0096】
また、通常撮像状態の被写体の中から欠陥検出の対象領域となる暗部に相当する低輝度部分を常に監視しているために、検出処理のために全黒状態を作り出すことを必要としない。このため遮光のためのメカニカルなアイリスなども必要なく、これらを持てない超小型のカメラモジュール用の装置として好適である。
【0097】
また、被写体の状態を考慮し、後発欠陥用RAMデータを電源リセットもしくは輝度レベルに応じて適宜クリアする機構も準備できるので、補正する必要が無い状態での過度な補正を防ぐことができる。加えて、被写体に依って不要な画素を後発欠陥として誤認識した場合でも、直ちにそれらのアドレス情報を放棄することで、誤検出による弊害を防止することができる。
【0098】
さらに、後発白欠陥検出および補正を単独で使用する場合には、従来から行われている手法(工場出荷時に検出して欠陥位置情報を不揮発性記憶装置に蓄える)のように、電源オン時に不揮発性メモリからデータを内部RAMに展開する必要がないため、マイコンの負担がなくファームウェアの立上り時間のオーバーヘッドがないという利点もある。
【0099】
また、後発白欠陥と検出した画素に対してのみ補正処理を施すようにしているので、撮像中の画像を元に動的に欠陥画素を抽出しメディアンフィルタを施すなどの手法のように無駄に実被写体の高周波成分もカットしてしまうことがなく画質を損なうことがない。
【0100】
また、黒レベル基準値(KDARKREF)、欠陥判定レベル(KDETREF )、あるいは参照画素範囲などを、装置の外部から変更制御する構成とすることも容易にできる。これを利用し、OPB(光学的黒)などによって黒レベルを判定し黒レベル基準値(KDARKREF)、欠陥判定レベル(KDETREF )、あるいは参照画素範囲などを変更するなど、温度変化による黒レベル/欠陥レベル変動に対応することができる。すなわち、後天的に発生する欠陥画素に対する補正について、柔軟に対処することができる。
【0101】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。また、上記の実施形態は、クレームにかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。
【0102】
【発明の効果】
以上のように、本発明によれば、判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きく、且つ判定対象画素の周辺画素の信号レベルが黒レベル基準値よりも小さいことを条件として、判定対象画素が欠陥画素であると判定するようにした。
【0103】
これにより、暗時白欠陥に相当する低輝度信号レベルに囲まれた異常信号レベルを呈する画素を欠陥画素であると精度良く検出できる。また、高輝度信号レベルに囲まれた異常信号レベルを呈する画素を欠陥画素であると判定することはない。
【0104】
よって、欠陥画素と判定された画素の撮像信号について補正処理を施し、それ以外は撮像された信号をそのまま使用することで、適切な暗時白欠陥の補正ができ、本来の画質を劣化させることなく、良好な画像を得ることができる。
【図面の簡単な説明】
【図1】本発明に係る画素欠陥検出装置を備えた撮像装置の一実施形態を示すブロック図である。
【図2】欠陥検出部の一例を説明する図であって、欠陥判定を行なう機構を説明する図(A)、欠陥検出部の構成例を示す論理回路図(B)である。
【図3】欠陥検出部が検知した結果をアドレスデータとしてRAMに書き込む方法の第1例を説明する図である。
【図4】欠陥検出部が検知した結果をアドレスデータとしてRAMに書き込む方法の第2例を説明する図である。
【図5】後発白欠陥と工場出荷時欠陥の両者に対応する場合の、構成例を説明する図である。
【符号の説明】
10…撮像装置、11…レンズ、12…撮像素子、13…プリアンプ、14…A/D変換部、15…デジタル信号処理部、16…欠陥検出部、18…欠陥補正部、19…信号処理部、20,24…RAM、22…不揮発性記憶装置、162…加算器、163…平均化回路、164…減算器、166…比較回路、168…ANDゲート、169…判定レベル設定部、170…記憶情報消去部
Claims (11)
- 複数の画素で構成された撮像素子に含まれる欠陥画素を検出する方法であって、
判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きく、且つ前記判定対象画素の近傍に存在する画素である周辺画素の信号レベルが前記黒レベル基準値よりも小さいことを条件として、前記判定対象画素が前記欠陥画素であると判定する
ことを特徴とする欠陥画素検出方法。 - 前記判定対象画素の両側において互いに隣接するように前記周辺画素をそれぞれ複数個設定し、
この複数個の周辺画素の信号レベルの全てが前記黒レベル基準値よりも小さく、且つ前記複数個の周辺画素の信号レベルの平均値と前記判定対象画素の信号レベルとの差が、予め定められた欠陥判定レベルよりも大きいことを条件として、前記判定対象画素が前記欠陥画素であると判定する
ことを特徴とする請求項1に記載の欠陥画素検出方法。 - 前記黒レベル基準値および前記欠陥判定レベルのうちの少なくとも一方を、前記光学的な黒画素の信号レベルの大きさに応じて設定することを特徴とする請求項1または2に記載の欠陥画素検出方法。
- 複数の画素で構成された撮像素子に含まれる欠陥画素を検出する装置であって、
判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きいか否かを判定する第1の判定部と、
前記判定対象画素の近傍に存在する画素である周辺画素の信号レベルが前記黒レベル基準値よりも小さい否かを判定する第2の判定部と、
前記第1の判定部および前記第2の判定部の各判定の結果が真であることを条件として、前記判定対象画素が前記欠陥画素であると判定する第3の判定部と
を備えたことを特徴とする欠陥画素検出装置。 - 前記第2の判定部は、前記判定対象画素の両側において互いに隣接するように前記周辺画素をそれぞれ複数個設定し、この複数個の周辺画素の信号レベルの全てが前記黒レベル基準値よりも小さいか否かを判定し、
前記第3の判定部は、前記第2の判定部の判定の結果が真であり、且つ前記複数個の周辺画素の信号レベルの平均値と前記判定対象画素の信号レベルとの差が、予め定められた欠陥判定レベルよりも大きいことを条件として、前記判定対象画素が前記欠陥画素であると判定する
ことを特徴とする請求項4に記載の欠陥画素検出装置。 - 前記黒レベル基準値および前記欠陥判定レベルのうちの少なくとも一方を、前記光学的な黒画素の信号レベルの大きさに応じて設定する判定レベル設定部を備えたことを特徴とする請求項4または5に記載の欠陥画素検出装置。
- 複数の画素を有する固体撮像素子を具備し、当該固体撮像素子に含まれる欠陥画素を検出し、この欠陥画素により得られた信号を補正する機能を備えた撮像装置であって、
判定対象画素の信号レベルが光学的な黒画素の信号レベルに近い所定の黒レベル基準値よりも大きいか否かを判定する第1の判定部と、
前記判定対象画素の近傍に存在する画素である周辺画素の信号レベルが前記黒レベル基準値よりも小さい否かを判定する第2の判定部と、
前記第1の判定部および前記第2の判定部の各判定の結果が真であることを条件として、前記判定対象画素が前記欠陥画素であると判定する第3の判定部と、前記第3の判定部が前記欠陥画素であると判定した前記判定対象画素により得られた信号を、予め定められた方法によって生成された補間信号に置換することで、前記欠陥画素の信号を補正する欠陥補正部と
を備えたことを特徴とする撮像装置。 - 前記第3の判定部が前記欠陥画素であると判定した前記判定対象画素の、前記固体撮像素子における位置に関する情報を記憶する記憶部を備え、
前記欠陥補正部は、前記記憶部に記憶されている前記欠陥画素の位置に関する情報に基づいて、前記欠陥画素の信号を補正する
ことを特徴とする請求項7に記載の撮像装置。 - 前記記憶部は、2つの記憶領域を具備しており、
前記第3の判定部は、前記判定対象画素が前記欠陥画素であると判定する都度、前記記憶部の前記2つの記憶領域を切り替えながら、前記判定対象画素の前記固体撮像素子における位置に関する情報を、切り替えた一方の前記記憶領域に格納し、
前記欠陥補正部は、前記記憶部における他方の記憶領域に記憶されている前記欠陥画素の位置に関する情報に基づいて、前記欠陥画素の信号を補正する
ことを特徴とする請求項7または8に記載の撮像装置。 - 前記第3の判定部は、前記判定対象画素が前記欠陥画素であると判定した直後の、画像形成における走査の帰線期間の間に、この判定した前記欠陥画素並びに既に格納されている前記欠陥画素のそれぞれの位置を表す情報の格納場所を、予め定められた順序に沿うように並び替えて、前記判定対象画素の前記固体撮像素子における位置に関する情報を記憶する
ことを特徴とする請求項7または8に記載の撮像装置。 - 前記固体撮像素子により得られた撮像信号を監視し、前記撮像信号が予め定められた高輝度側の基準値を満たすことを条件として、前記記憶部に格納されている前記欠陥画素の位置を表す情報を消去させる記憶情報消去部を備えたことを特徴とする請求項7から10のうちの何れか1項に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002221430A JP2004064512A (ja) | 2002-07-30 | 2002-07-30 | 欠陥画素の検出方法および装置、並びに撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002221430A JP2004064512A (ja) | 2002-07-30 | 2002-07-30 | 欠陥画素の検出方法および装置、並びに撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004064512A true JP2004064512A (ja) | 2004-02-26 |
Family
ID=31941741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002221430A Pending JP2004064512A (ja) | 2002-07-30 | 2002-07-30 | 欠陥画素の検出方法および装置、並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004064512A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333620A (ja) * | 2004-04-20 | 2005-12-02 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2006115201A (ja) * | 2004-10-14 | 2006-04-27 | Matsushita Electric Ind Co Ltd | 画像補正装置および画像補正方法 |
JP2006155518A (ja) * | 2004-12-01 | 2006-06-15 | Toyota Motor Corp | 幾何補正方法および装置 |
JP2007143131A (ja) * | 2005-10-26 | 2007-06-07 | Nvidia Corp | 画像信号処理方法および装置 |
US7796169B2 (en) | 2004-04-20 | 2010-09-14 | Canon Kabushiki Kaisha | Image processing apparatus for correcting captured image |
JP4733106B2 (ja) * | 2005-01-28 | 2011-07-27 | 有限会社T&K Corporation | ベントピース及び前記ベントピースが装着された金型 |
US8150320B2 (en) | 2003-06-30 | 2012-04-03 | Prasendt Investments, Llc | Method for operating a short haul radio transmitting/radio receiving system conforming to a short haul radio communication standard and a master device for implementing said method |
-
2002
- 2002-07-30 JP JP2002221430A patent/JP2004064512A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8150320B2 (en) | 2003-06-30 | 2012-04-03 | Prasendt Investments, Llc | Method for operating a short haul radio transmitting/radio receiving system conforming to a short haul radio communication standard and a master device for implementing said method |
JP2005333620A (ja) * | 2004-04-20 | 2005-12-02 | Canon Inc | 画像処理装置及び画像処理方法 |
US7796169B2 (en) | 2004-04-20 | 2010-09-14 | Canon Kabushiki Kaisha | Image processing apparatus for correcting captured image |
JP2006115201A (ja) * | 2004-10-14 | 2006-04-27 | Matsushita Electric Ind Co Ltd | 画像補正装置および画像補正方法 |
JP4500146B2 (ja) * | 2004-10-14 | 2010-07-14 | パナソニック株式会社 | 画像補正装置および画像補正方法 |
JP2006155518A (ja) * | 2004-12-01 | 2006-06-15 | Toyota Motor Corp | 幾何補正方法および装置 |
JP4733106B2 (ja) * | 2005-01-28 | 2011-07-27 | 有限会社T&K Corporation | ベントピース及び前記ベントピースが装着された金型 |
JP2007143131A (ja) * | 2005-10-26 | 2007-06-07 | Nvidia Corp | 画像信号処理方法および装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5266957B2 (ja) | 欠陥画素検出装置、撮像装置、および欠陥画素検出方法 | |
US7209168B2 (en) | Defective pixel correction method and system | |
US6965395B1 (en) | Methods and systems for detecting defective imaging pixels and pixel values | |
JP5379601B2 (ja) | 欠陥画素データ補正装置、撮像装置及び欠陥画素データ補正方法 | |
US8804011B2 (en) | Imaging device | |
JP5615155B2 (ja) | 画像処理装置及び方法 | |
JP4591046B2 (ja) | 欠陥検出補正回路及び欠陥検出補正方法 | |
JP2004064512A (ja) | 欠陥画素の検出方法および装置、並びに撮像装置 | |
US20050030412A1 (en) | Image correction processing method and image capture system using the same | |
JP5057618B2 (ja) | 撮像装置 | |
JP7065417B2 (ja) | 画像生成方法、撮像装置、及び、プログラム | |
JP2000101924A (ja) | 画像入力装置における欠陥検出補正装置 | |
JP4546664B2 (ja) | 撮像装置および画素欠陥補正方法 | |
JP4394470B2 (ja) | 撮像装置 | |
JP2004201207A (ja) | ノイズ低減装置、撮像装置、およびノイズ低減プログラム | |
JP4306653B2 (ja) | 撮像装置及びその信号処理方法 | |
JP2002152601A (ja) | 固体撮像装置および欠陥画素補正方法 | |
JP4311833B2 (ja) | 撮像装置 | |
JP2004336400A (ja) | 画像処理装置、この画像処理装置を用いた電子カメラ、画像処理方法、及び画像処理プログラム | |
JP4499946B2 (ja) | 撮像装置 | |
JP2002281395A (ja) | 撮像装置 | |
JP2001024951A (ja) | 撮像装置 | |
JP2002281389A (ja) | 撮像装置 | |
JP2002281394A (ja) | 撮像装置 | |
JP2009017058A (ja) | 画像処理装置及び撮像装置及び画像処理方法及び記憶媒体 |