JP2008011567A

JP2008011567A - 画像信号処理装置

Info

Publication number: JP2008011567A
Application number: JP2007233067A
Authority: JP
Inventors: Toru Watanabe; 透渡辺
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1999-10-27
Filing date: 2007-09-07
Publication date: 2008-01-17

Abstract

【課題】画像信号に含まれる画素欠陥を効率よく検出する。
【解決手段】欠陥検出回路１２で目標画素の画像信号を周辺画素の画像信号と対比して画素欠陥候補を検出し、画素欠陥候補のアドレス情報を位置メモリ回路１３に記憶する。位置メモリ回路１３に記憶されたアドレス情報に基づいて欠陥判定回路１４が画素欠陥の判定を繰り返し、その判定結果の連続性から画素欠陥のアドレス情報を決定し、欠陥登録回路１５に登録する。登録された画素欠陥のアドレス情報に応じて欠陥補正回路１６が画像信号Ｙ（ｎ）を補正して、画像信号Ｙ'（ｎ）を生成する。
【選択図】図１

Description

本発明は、画像信号に含まれる欠陥を検出する画像信号処理装置に関する。

ＣＣＤイメージセンサ等の固体撮像素子においては、画素の受光レベルには関係なく、常に一定の電荷が蓄積されて固定レベルを出力するようになる、いわゆる画素欠陥を生じる場合がある。このため、固体撮像素子から得られる画像信号に対する信号処理の過程において、再生画面上に画素欠陥が現れないようする欠陥補正処理が行われる。

図１５は、画素欠陥の補正処理を行うようにした撮像装置の構成を示すブロック図である。

ＣＣＤイメージセンサ１は、複数の受光画素が行列配置され、受光した被写体画像に応じて各受光画素に情報電荷を蓄積する。このＣＣＤ１は、垂直駆動信号φｖ及び水平駆動信号φｈによって駆動され、各受光画素に蓄積された情報電荷が１ライン単位で順次転送出力されて、所定のフォーマットに従う画像信号Ｙ０を出力する。駆動回路２は、垂直同期信号ＶＤ及び水平同期信号ＨＤに従い、ＣＣＤ１を駆動する垂直駆動信号φｖ及び水平駆動信号φｈを生成し、ＣＣＤ１に供給する。

タイミング制御回路３は、一定周期の基準クロックを分周し、垂直走査のタイミングを決定する垂直同期信号ＶＤ及び水平走査のタイミングを決定する水平同期信号ＨＤを生成し、駆動回路２に供給する。例えば、ＮＴＳＣフォーマットの場合、１４．３２ＭＨｚの基準クロックを９１０分周して水平同期信号ＨＤを生成し、この水平同期信号を５２５／２分周して垂直同期信号ＶＤを生成する。また、タイミング制御回路３は、後述する信号処理回路４及び欠陥補正回路５に対して、それぞれの動作タイミングをＣＣＤ１の動作タイミングに同期させるためのタイミング信号を供給する。

信号処理回路４は、ＣＣＤ１から出力される画像信号Ｙ０に対して、サンプルホールド、レベル補正等の信号処理を施し、画像信号Ｙ１として出力する。例えば、サンプルホールド処理においては、信号レベルとリセットレベルとを繰り返す画像信号Ｙ０に対して、リセットレベルをクランプした後に信号レベルを取り出すようにして、信号レベルを継続する画像信号Ｙ１を生成する。また、レベル補正処理においては、出力される画像信号Ｙ１の平均レベルを目標範囲内に収めるようにしてゲインの帰還制御が施される。この信号処理回路４においては、画像信号Ｙ０をサンプルホールドした後、サンプルホールド値がＡ／Ｄ変換され、それ以降はデジタル処理が採用される傾向にある。

欠陥補正回路５は、補正情報メモリ６に記憶された補正情報に基づいて、画像信号Ｙ１に対して欠陥補正処理を施す。例えば、欠陥が生じた画素の情報を、その前後の画素の情報の平均値に置き換えるように構成される。補正情報メモリ６は、ＣＣＤ１の画素欠陥の位置を記憶するもので、例えば、予めＣＣＤ１の出力をモニタして画素欠陥の位置を検出し、その検出結果を補正アドレス情報として記憶する。

ＣＣＤ１は、同一工程で製造されたチップであっても、各チップ毎に画素欠陥の発生する位置が異なるため、撮像装置に用いるＣＣＤ１は、個々に画素欠陥の位置を検出し、補正情報メモリ６に記憶する補正アドレス情報を生成する必要がある。このため、素子の組
立工程、さらには、素子を組み込む撮像装置の組み立て工程におけるコストの増大を招いている。

また、ＣＣＤ１の画素欠陥は、経時変化によって増えることがあり、そのような経時変化が生じた場合には、補正情報メモリ６の補正アドレス情報を書き換えなければならない。しかしながら、撮像装置の一般的な使用者は、補正情報メモリ６の内容を書き換えるための手段を備えていないため、補正情報メモリ６の補正情報アドレスを書き換えることは、事実上困難である。

そこで本発明は、組立工程のコストを増大させることなく、素子の経時変化による画素欠陥の変化にも対応できるようにすることを目的とする。

本発明の画像信号処理装置は、画像信号に基づいて画素欠陥を検出するものであって、目標画素に対応する画像信号のレベルを目標画素に隣接する複数の周辺画素に対応する画像信号のレベルに基づいて設定される判定基準値と比較して欠陥候補を検出する検出回路と、上記検出回路により検出された欠陥候補の複数の画面にわたる連続性に基づいて画素欠陥を判定する判定回路と、上記判定回路で判定された画素欠陥の位置を示す欠陥情報を一時的に記憶する第１のメモリ部と、上記第１のメモリ部から上記画素欠陥の位置を取り込んで記憶する不揮発性の第２のメモリ部と、を有することを特徴とする。

そして、本発明の上記検出回路は、上記判定基準値を多段階に設定し、各段階毎に欠陥候補を検出することができる。また、上記第１のメモリ部又は上記第２のメモリ部は、上記欠陥情報と共に画素欠陥の程度をレベル付けして記憶することができ、さらに、上記第１のメモリ部又は上記第２のメモリ部は、画素欠陥の程度が高いものから優先して記憶することもできる。

また、本発明の画像信号処理装置の上記判定回路は、１画面を複数の領域に分割した各領域毎に欠陥判定動作を行うことができる。そして、上記判定回路は、１画面を複数の領域に分割した各領域毎に対して時分割で繰り返し欠陥判定動作を行うことができる。

さらに、上記判定回路は、上記検出回路の一部を共有することもできる。

本発明によれば、画素欠陥の情報を逐次更新することができるため、撮像素子の経時変化によって画素欠陥が増えた場合でも、特に設定を変更する必要なく、画素欠陥の補正ができる。

また、画素欠陥の判定基準に、画像信号を生成する撮像装置の制御情報を用いるようにしたことで、より的確な判定が可能になる。そして、画素欠陥の判定を、画面を分割して行うようにしたことで、画素欠陥情報を記憶する位置メモリ回路の容量を節約することができる。さらに、各制御情報の読み出し及び書き込みが可能なインタフェース回路を接続したことで、外付けされるコンピュータ機器から制御情報を容易に変更することができるようになり、装置の汎用性を拡大できる。

図１は、本発明の画像信号処理装置の第１の実施形態を示すブロック図である。

本発明の画像信号処理装置は、画像メモリ回路１１、欠陥検出回路１２、位置メモリ回路１３、欠陥判定回路１４、欠陥登録回路１５及び欠陥補正回路１６より構成される。こ
の画像信号処理装置は、撮像素子の出力に対して所定の処理が施され、Ａ／Ｄ変換されてデジタルデータとして与えられる画像信号Ｙ（ｎ）に対して画素欠陥の補正処理を施すように構成される。

画像メモリ回路１１は、複数のラインメモリと複数のラッチとを備え、１行単位で連続して入力される画像信号Ｙ（ｎ）を取り込み、目標画素Ｐ０に対応する画像信号Ｙ（Ｐ０）と、その周辺画素Ｐ１〜Ｐ８に対応する画像信号Ｙ（Ｐ１）〜Ｙ（Ｐ８）とを出力する。

欠陥検出回路１２は、画像メモリ回路１１から入力される周辺画素Ｐ１〜Ｐ８の画像信号Ｙ（Ｐ１）〜Ｙ（Ｐ８）に基づいて白欠陥を判定するための判定基準値Ｌｗと黒欠陥を判定するための判定基準値Ｌｂとを生成し、これらの判定基準値Ｌｗ、Ｌｂと目標画素Ｐ０の画像信号Ｙ（Ｐ０）とを比較して画素欠陥を検出する。この欠陥検出回路１２では、画像信号Ｙ（ｎ）を得る固体撮像素子の物理的な欠陥に起因する真の画素欠陥と、被写体の都合で偶発的に画素欠陥と見なされる見かけ上の画素欠陥とが区別なく検出され、それらが全て欠陥候補となる。この欠陥検出回路１２の検出動作においては、画素欠陥の位置がアドレス情報として出力される。例えば、画像信号Ｙ（ｎ）の入力に同期して画素数をカウントし、画素欠陥が検出されたときのカウント値をアドレス情報として出力するように構成される。

位置メモリ回路１３は、スタティックメモリ（ＳＲＡＭ）など高速動作に対応できる揮発性の一次メモリ部１３ａ及びプログラマブルメモリ（ＥＥＰＲＯＭ）などの不揮発性の二次メモリ部１３ｂからなり、欠陥検出回路１２や欠陥判定回路１４から出力されるアドレス情報を画素欠陥の位置情報として記憶する。一次メモリ部１３ａは、画素欠陥の判定動作を行う過程で一時的に生成されるアドレス情報を記憶する。二次メモリ部１３ｂは、画素欠陥の判定動作の結果、最終的に画素欠陥であると判定されたアドレス情報を記憶する。

欠陥判定回路１４は、位置メモリ回路１３に記憶されたアドレス情報について、画素欠陥の複数の画面にわたる連続性に基づいて、各アドレス情報によって示される位置の画素が、真の画素欠陥かどうかを判定する。即ち、被写体の都合で偶発的に画素欠陥として検出された場合には、ある程度の時間を経過した段階で画素欠陥としては検出されなくなるため、ある程度のフィールド期間継続して欠陥と判定されたアドレスのみを真の画素欠陥と判定するように構成される。例えば、位置メモリ回路１３に記憶されたアドレス情報が示す画素について、複数の画面で欠陥検出回路１２における検出動作と同一の検出動作を繰り返すことや、欠陥検出回路１２を複数の画面で連続して動作させながら、各画面毎に得られる画素欠陥を示すアドレス情報を対比することで、画素欠陥の連続性を判断するように構成される。なお、欠陥判定回路１４における検出動作が欠陥検出回路１２の検出動作と同一の場合、検出回路の一部を共有にするようにしてもよい。

欠陥登録回路１５は、欠陥判定回路１４において、真の画素欠陥であると判定された画素のアドレス情報を抽出して位置メモリ回路１３に記憶させる。そして、欠陥補正回路１６は、欠陥登録回路１５によって位置メモリ回路１３に記憶されたアドレス情報に基づいて、画像信号Ｙ（Ｐ０）を補正信号Ｙ（ｃ）に置き換える。ここで、補正信号Ｙ（ｃ）は、例えば、目標画素Ｐ０の周辺に位置する複数の周辺画素の画像信号を平均することにより生成される。これにより、欠陥補正回路１６からは、白欠陥及び黒欠陥が補正された画像信号Ｙ'（ｎ）が出力されることになる。

ところで、欠陥検出回路１２における画素欠陥の検出については、判定基準値Ｌｗ、Ｌｂを多段階に設定し、画素欠陥候補に重み付けをするようにしてもよい。即ち、欠陥とし
て判定された画素でも、所定の判定基準値Ｌｗ、Ｌｂから大きくはずれた場合と、わずかにはずれた場合とでは、表示される画面上での目立ち方が異なるため、画素欠陥の程度をレベル付けして位置メモリ回路１３に記憶させるようにする。このように画素欠陥の程度をレベル付けして位置メモリ回路１３に記憶しておけば、位置メモリ回路１３に登録できる画素欠陥の数に制限があるとき、欠陥登録回路１５が画素欠陥のレベルが高いものから優先して登録するように構成することができる。また、既に位置メモリ回路１３に新しい画素欠陥を登録する余裕がないときには、新たに登録しようとする画素欠陥と既に登録されている画素欠陥との欠陥レベルを比較し、その比較結果に応じて書き換えをすることで、画面上で目立ちやすい画素欠陥から優先して補正することができる。

図２は、画像メモリ回路１１の一例を示すブロック図である。このメモリ回路１１は、第１、第２のラインメモリ２１、２２及び第１〜第６のラッチ２３〜２８より構成され、図３に示すように、目標画素Ｐ０と、その周辺に隣接する８個の周辺画素Ｐ１〜Ｐ８に対応する画像信号Ｙ（０）、Ｙ（１）〜Ｙ（８）を同時に出力する。

第１及び第２のラインメモリ２１、２２は、互いに直列に接続され、順次入力される画像信号Ｙ（ｎ）が第１のラインメモリ２１に書き込まると共に、第１のラインメモリ２１から順次読み出される画像信号Ｙ（ｎ）が第２のラインメモリ２２に書き込まれる。これにより、順次入力されてくる画像信号Ｙ（ｎ）に対して、第１のラインメモリ２１からは、１行前の画像信号Ｙ（ｎ）が読み出され、第２のラインメモリ２２からは、２行前の画像信号Ｙ（ｎ）が読み出される。

第１及び第２のラッチ２３、２４は、画像信号Ｙ（ｎ）の入力に対して直列に接続され、１画素前の画像信号Ｙ（ｎ）が第１のラッチ２３に保持され、２画素前の画像信号Ｙ（ｎ）が第２のラッチ２４に保持される。これより、入力される画像信号Ｙ（ｎ）が、そのまま周辺画素Ｐ８に対応する画像信号Ｙ（Ｐ８）として出力され、第１及び第２のラッチ２３、２４に保持された画像信号Ｙ（ｎ）が、それぞれ周辺画素Ｐ７、Ｐ６に対応する画像信号Ｙ（Ｐ７）、Ｙ（Ｐ６）として出力される。

第３及び第４のラッチ２５、２６は、第１のラインメモリ２１の入力に対して直列に接続され、１行前で且つ１画素前の画像信号Ｙ（ｎ）が第３のラッチ２５に保持され、２画素前の画像信号Ｙ（ｎ）が第４のラッチ２６に保持される。これより、第１のラインメモリから読み出される画像信号Ｙ（ｎ）が、周辺画素Ｐ５に対応する画像信号Ｙ（Ｐ５）として出力され、第３及び第４のラッチ２５、２６に保持された画像信号Ｙ（ｎ）が、それぞれ目標画素Ｐ０に対応する画像信号Ｙ（Ｐ０）及び周辺画素Ｐ４に対応する画像信号Ｙ（Ｐ４）として出力される。

同様に、第５及び第６のラッチ２７、２８は、第２のラインメモリ２２の入力に対して直列に接続され、２行前で且つ１画素前の画像信号Ｙ（ｎ）が第５のラッチ２７に保持され、２画素前の画像信号Ｙ（ｎ）が第６のラッチ２８に保持される。これより、第２のラインメモリから読み出される画像信号Ｙ（ｎ）が、周辺画素Ｐ３に対応する画像信号Ｙ（Ｐ３）として出力され、第５及び第６のラッチ２７、２８に保持された画像信号Ｙ（ｎ）が、それぞれ周辺画素Ｐ２、Ｐ１に対応する画像信号Ｙ（Ｐ２）、Ｙ（Ｐ２）として出力される。

従って、画像メモリ回路１１においては、画像信号Ｙ（ｎ）を順次取り込みながら、目標画素Ｐ０の画像信号Ｙ（Ｐ０）と、その周辺に位置する周辺画素Ｐ１〜Ｐ８の画像信号Ｙ（Ｐ１）〜Ｙ（Ｐ８）とが並列に出力されるようになる。

図４は、欠陥検出回路１２の構成を示すブロック図である。この欠陥検出回路１２は、
平均値算出部３１、最大値検出部３２、最小値検出部３３、第１及び第２の減算器３４、３５、加算器３６、第１及び第２の比較器３７、３８より構成される。

平均値算出部３１は、周辺画素Ｐ１〜Ｐ８の画像信号Ｙ（Ｐ１）〜Ｙ（Ｐ８）をそれぞれ取り込み、それらの平均レベルＬａｖを算出する。最大値検出部３２及び最小値検出部３３は、画像信号Ｙ（Ｐ１）〜Ｙ（Ｐ８）のうちの最大レベルＬｍａｘ及び最小レベルＬｍｉｎをそれぞれ検出する。

第１の減算器３４は、最小値検出部３３から入力される最小レベルＬｍｉｎを最大値検出部３２から入力される最大レベルＬｍａｘから減算し、それらの差ΔＬを算出する。そして、加算器３６は、平均値算出部３１から入力される平均レベルＬａｖに差ΔＬを加算し、白欠陥を判定するための判定基準値Ｌｗを生成する。また、第２の減算器３５は、平均値算出部３１から入力される平均レベルＬaｖから第１の減算器３４から入力される差
ΔＬを減算し、黒欠陥を判定するための判定基準値Ｌｂを生成する。

第１の比較器３７は、第２の減算器３５から入力される判定基準値Ｌｂと目標画素Ｐ０に対応する画像信号Ｙ（Ｐ０）とを比較し、画像信号Ｙ（Ｐ０）のレベルが判定基準値Ｌｂに達していなかったとき、即ち、目標画素Ｐ０が黒欠陥であると判定されたときに立ち上げられる検出出力Ｄｂを発生する。第２の比較器３８は、加算器３６から入力される判定基準値Ｌｗと目標画素Ｐ０に対応する画像信号Ｙ（Ｐ０）とを比較し、画像信号Ｙ（Ｐ０）のレベルが判定基準値Ｌｗに達しなかったとき、即ち、目標画素Ｐ０が白欠陥であると判定されたときに立ち上げられる検出出力Ｄｗを発生する。

図５は、周辺画素を表す画像信号のレベルと、これらのレベルから算出される画素欠陥の判定レベルとの関係を示す図であり、図６は、欠陥判定動作の動作ステップを示すフローチャートである。これらの図においては、図３に示すように、目標画素Ｐ０に対して、目標画素Ｐ０に隣接する８個の周辺画素Ｐ１〜Ｐ８を参照して画素欠陥の判定を行う場合を示している。

第１のステップＳ１では、平均値算出回路３１において、周辺画素Ｐ１〜Ｐ８を表す８画素分の画像信号Ｙ（Ｐ１）〜Ｙ（Ｐ８）の平均レベルＬａｖを算出する。第２のステップＳ２では、最大値検出部３２及び最小値検出部３３において、周辺画素Ｐ１〜Ｐ８を表す８画素分の画像信号Ｙ（Ｐ１）〜Ｙ（Ｐ８）の最大レベルＬｍａｘ及び最小レベルＬｍｉｎを検出する。以上の第１のステップＳ１及び第２のステップＳ２については、順不同で差し支えない。

第３のステップＳ３では、第１の減算器３４において、最大レベルＬｍａｘから最小レベルＬｍｉｎを減算し、両レベルの差ΔＬを算出する。第４のステップＳ４では、第２の減算器３５において、平均レベルＬａｖから差ΔＬを減算し、黒欠陥を検出するための第１の判定基準値Ｌｂを生成し、加算器３６において、平均レベルＬａｖに差ΔＬを加算し、白欠陥を検出するための第２の判定基準値Ｌｗを生成する。そして、第５のステップＳ５では、第１及び第２の比較器３７、３８において、第１及び第２の判定基準値Ｌｂ、Ｌｗを目標画素Ｐ０の画像信号Ｙ（Ｐ０）と比較して画素欠陥を判定し、検出出力Ｄｂ、Ｄｗを発生する。

第１〜第５のステップによって生成された第１の判定基準値Ｌｂ及び第２の判定基準値Ｌｗは、周辺画素の状況によって変化し、常に最適な値に保たれることになる。ここで、判定基準値Ｌｂ、Ｌｗについては、周辺画素のレベル差が小さいとき、平均レベルＬａｖに近い値となり、周辺画素のレベル差が大きいときには、平均レベルＬａｖから離れた値となる。従って、画面上で濃淡の差が小さい領域では判定基準値Ｌｂ、Ｌｗの範囲が狭く
なり、逆に、濃淡の差が大きい領域では判定基準値Ｌｂ、Ｌｗの範囲が広くなるため、視覚的に目立ちやすい画素欠陥を効率よく検出できる。

図７は、欠陥検出回路１２において、アドレス情報を生成するための回路の一例を示すブロック図である。このアドレス情報を生成する回路は、水平カウンタ５１、垂直カウンタ５２、水平データラッチ５３及び垂直データラッチ５４より構成される。

水平カウンタ５１は、水平同期信号ＨＤ１に従うタイミングでリセットされ、欠陥検出回路１２の検出動作に同期した一定周期のクロックＣＫ１に従うタイミングでカウントアップされる。これにより、水平カウンタ５１は、各水平走査期間に、１ライン分の画素数だけカウント動作を繰り返し、水平方向の画素番号をカウントする。垂直カウンタ５２は、垂直同期信号ＶＤ１に従うタイミングでリセットされ、水平同期信号ＨＤ１に従うタイミングでカウントアップされる。これにより、垂直カウンタ５２は、各垂直走査期間に、１画面分の水平走査線数だけカウント動作を繰り返し、垂直方向の画素番号をカウントする。

水平データラッチ５３は、水平カウンタ５１に接続され、検出出力Ｄｂ、Ｄｗの何れかに応答して水平カウンタ５１のカウント値を取り込む。これにより、水平データラッチ５３から、検出出力Ｄｂ、Ｄｗの立ち上がりのタイミング、即ち、欠陥検出回路１２で検出された画素欠陥の水平方向の位置を示す水平アドレス信号Ｆｈが取り出される。垂直データラッチ５４は、垂直カウンタ５２に接続され、水平データラッチ５３と同様に、検出出力Ｄｂ、Ｄｗの何れかに応答して垂直カウンタ５２のカウント値を取り込む。これにより、垂直データラッチ５４から、検出出力Ｄｂ、Ｄｗの立ち上がりのタイミング、即ち、欠陥検出回路１２で検出された画素欠陥の垂直方向の位置を示す垂直アドレス信号Ｆｖが取り出される。

例えば、図８に示すように、６行×８列の画面を考えた場合、水平カウンタ５１は、「１」〜「８」の範囲でカウントを繰り返し、垂直カウンタ５２は、「１」〜「６」の範囲でカウントを繰り返す。そこで、３行３列目に画素欠陥があったとすれば、検出出力Ｄｂ、Ｄｗの立ち上がりで水平カウンタ５１のカウント値を水平データラッチ５３に取り込むと、水平アドレス信号Ｆｈとして「３」が出力される。そして、検出出力Ｄｂ、Ｄｗの立ち上がりで垂直カウンタ５２のカウント値を垂直データラッチ５４に取り込むと、垂直アドレス信号Ｆｖとして「３」が出力される。このようにして出力されるアドレス信号Ｆｈ、Ｆｖは、画素欠陥である可能性を含む候補を示すもので、欠陥判定回路１４に供給される。

図９は、欠陥補正回路１６の構成の一例を示すブロック図である。この欠陥補正回路１６は、第１〜第４の除算器６１〜６４、第１〜第３の加算器６５〜６７、セレクタ６８及び比較器６９より構成される。この欠陥補正回路１６においては、目標画素Ｐ０の上下に位置する周辺画素Ｐ２、Ｐ７の画像信号Ｙ（Ｐ２）、Ｙ（Ｐ７）と、上下に位置する周辺画素Ｐ４、Ｐ５の画像信号Ｙ（Ｐ４）、Ｙ（Ｐ５）とに基づいて補正信号Ｙ（ｃ）を生成する場合を示している。

第１〜第４の除算器６１〜６４は、メモリ回路１１から入力される画像信号Ｙ（Ｐ２）、Ｙ（Ｐ７）、Ｙ（Ｐ４）、Ｙ（Ｐ５）をそれぞれ１／４にする。第１の加算器６５は、第１及び第２の除算器６１、６２の除算結果を加算し、第２の加算器６６は、第３及び第４の除算器６３、６４の除算結果を加算する。そして、第３の加算器６７は、第１の加算器６５の加算結果と第２の加算器６６に加算結果とを加算し、補正信号Ｙ（ｃ）を生成する。

セレクタ６８は、比較器６９から入力される選択制御信号Ｓに応答して、目標画素Ｐ０の画像信号Ｙ（Ｐ０）または補正信号Ｙ（ｃ）の何れかを選択し、画素欠陥を補正した画像信号Ｙ'（Ｐ０）として出力する。

比較器６９は、位置メモリ回路１３に記憶されたアドレス情報に基づく水平位置情報Ｆｈ及び垂直位置情報Ｆｖを、水平走査周期で変化する水平参照情報Ｒｈ及び垂直参照情報Ｒｖと比較し、それらが互いに一致したときに立ち上げられる選択制御信号Ｓを発生する。ここで用いられる水平参照情報Ｒｈ及び垂直参照情報Ｒｖについては、図７に示すアドレス発生回路の水平カウンタ５１及び垂直カウンタ５２を用いて生成することができる。

従って、セレクタ６８は、位置メモリ回路１３に記憶された、画素欠陥の位置を示すアドレス情報に従う位置情報Ｆｈ、Ｆｖと参照情報Ｒｈ、Ｒｖとが一致したタイミングで、目標画素Ｐ０の画像信号Ｙ（Ｐ０）が補正信号Ｙ（ｃ）に置き換えられる。この結果、画素欠陥は、その周辺画素の情報によって補正されることになる。

図１０は、本発明の画像信号処理装置の第２の実施形態を示すブロック図である。この実施形態においては、欠陥判定回路１４’が、目標画素の欠陥を判定するとき、画素欠陥の連続性に加えて、画像信号Ｙ（ｎ）を得る撮像装置の撮像条件を用いるように構成している。なお、欠陥判定回路１４’以外の各部については、図１に示す第１の実施形態の画像信号処理装置と同一である。

欠陥判定回路１４’は、位置メモリ回路１３に記憶された欠陥候補のアドレス情報に基づいて、欠陥画素の判定を繰り返し、アドレス情報を更新する。この欠陥画素の判定においては、欠陥検出回路１２における画素欠陥の判定と同様の判定を行うと共に、画像信号Ｙ（ｎ）を得る撮像装置の動作状態を示す情報を受け取り、それぞれの情報の内容に応じて判定基準を変更するように構成している。即ち、被写体画像の輝度が高いときには白欠陥が目立たず、逆に、被写体画像の輝度が低いときには黒欠陥が目立たないことから、単純に画像信号Ｙ（ｎ）のレベルのみで画素欠陥の判定を行うと、真の欠陥が欠陥として判定されないおそれがある。そこで、画像信号Ｙ（ｎ）を得る撮像装置の動作状態を示す露光制御情報Ｅ（ｍ）や利得制御情報Ｇ（ｍ）等に基づいて、画素欠陥の判定基準を変更したり、被写体の状態によっては画素欠陥の判定動作自体を一時的に停止するように構成している。例えば、露光制御情報Ｅ（ｍ）や利得制御情報Ｇ（ｍ）によって推定される被写体輝度がある基準を超えるときに白欠陥の判定動作を停止し、ある基準に達していないときに黒欠陥の判定動作を停止するように構成する。

なお、露光制御情報Ｅ（ｍ）や利得制御情報Ｇ（ｍ）の他、撮像装置において撮像制御に用いられる情報であれば、判定動作に用いることが可能である。例えば、撮像装置の光学系の焦点を制御するためのフォーカス制御情報を用い、焦点が定まる前に集中して欠陥判定を行うように構成する。真の画素欠陥であれば、撮像装置の光学系の焦点が定まっていないときでも、周辺の画素とは明らかな差が生じるため、焦点が定まる前に欠陥判定を行えば、より正確な判定をすることが可能になる。

また、欠陥判定回路１４’では、画素欠陥を画像信号Ｙ（ｎ）のレベルのみで判定し、その判定結果から得られるアドレス情報に露光制御情報Ｅ（ｍ）や利得制御情報Ｇ（ｍ）等の制御情報を付加するようにしてもよい。即ち、画素欠陥を示すアドレス情報に、撮像制御情報を付加しておくことにより、欠陥補正を行う時点でアドレス情報によって示される画素に対して画素欠陥としての補正処理を施すか否かを選択することができるようになる。

図１１は、本発明の画像信号処理装置の第３の実施形態を示すブロック図である。この
実施形態においては、図１に示す第１の実施形態の画像信号処理装置の構成に加えて、エリア指定回路１７を設け、欠陥検出回路１２の検出動作を画像の特定エリア毎に制限するようにしている。ここで、欠陥判定回路１４については、図１０に示す第２の実施形態と同様に、画素欠陥の判定を行う際、画像信号Ｙ（ｎ）のレベルに加えて、画像信号Ｙ（ｎ）を得る撮像装置の撮像情報を用いるようにすることも可能である。

エリア指定回路１７は、画像信号Ｙ（ｎ）の水平走査及び垂直走査のタイミングに同期し、１画面を複数の領域に分割するように欠陥検出回路１２に対して指示を与える。例えば、水平走査期間を４分割すると共に、垂直走査期間を３分割することで、１画面を３行×４列からなる１２の領域に分割し、そのうちの１つの分割領域のみで欠陥検出回路１２の欠陥検出動作を許可するように構成される。そして、エリア指定回路１７は、欠陥登録回路１５からの指示、即ち、１つの分割領域の画素欠陥のアドレスが確定し、欠陥登録回路１５が画素欠陥のアドレス情報の登録を完了したとき、画素欠陥の検出を行う分割領域を変更する。なお、分割領域内に画素欠陥が検出されず、欠陥登録回路１５が画素欠陥の登録を行わなかった場合でも、所定の欠陥検出動作が完了した時点で、画素欠陥の検出を行う分割領域が変更される。これにより、欠陥検出回路１２では、画面上の複数の分割領域に対して、時分割で順次画素欠陥の検出が行われるようになる。

欠陥検出回路１２を各分割領域毎に時分割で動作させるようにすれば、欠陥検出回路１２で検出される欠陥候補を記憶する位置メモリ１３の容量を節約することができる。即ち、欠陥検出回路１２では、最終的に画素欠陥として登録される画素よりも多くの画素が検出されるため、その画素のアドレスを一時的に記憶しておくためには、位置メモリ回路１３、特に一次メモリ部１３ａの容量を大きく設定しなければならなくなる。そこで、欠陥検出回路１２を時分割で動作させるようにすれば、一次メモリ部１３ａの容量を節約でき、回路規模の増大を防止することができる。

図１２は、本発明の画像信号処理装置の第４の実施形態を示すブロック図である。この実施形態においては、図１に示す第１の実施形態の画像信号処理装置の構成に加えて、インタフェース回路１８を設けるようにしている。ここで、欠陥判定回路１４については、図１０に示す第２の実施形態と同様に、画素欠陥の判定を行う際、画像信号Ｙ（ｎ）のレベルに加えて、画像信号Ｙ（ｎ）を得る撮像装置の撮像情報を用いるようにすることも可能である。さらには、図１１に示す第３の実施形態と同様に、エリア指定回路１７を設け、欠陥検出回路１２を画面上の分割領域毎に動作させるようにしてもよい。

インタフェース回路１８は、シリアルバス１９に接続され、そのシリアルバス１９を介して画像信号処理装置を外部のコンピュータ機器と接続でできるようにしている。これにより、シリアルバス１９に接続されるコンピュータ機器から、位置メモリ回路１３のアドレス情報や欠陥判定回路１４の判定基準の設定を変更できるようになる。例えば、第２の実施形態において、欠陥判定回路１４に与えられる露光制御情報Ｅ（ｍ）や利得制御情報Ｇ（ｍ）を判定に用いるか否かの選択や、用いる場合には、何れの情報を優先させるか等をシリアルバス及びインタフェース回路１８を介してコンピュータ機器から設定できるようになる。また、第３の実施形態においては、エリア指定回路１７の分割範囲をシリアルバス及びインタフェース回路１８を介してコンピュータ機器から供給して変更できるようになる。

ところで、インタフェース回路１８については、バスラインを介して各部に接続する他に、欠陥判定回路１４や欠陥登録回路１５に対して直接接続するようにしてもよい。

図１３は、本発明の画像欠陥の第１の検出方法を示すフローチャートである。この検出方法は、図１（または図１０、図１１、図１２の何れか）に示す欠陥検出回路１２、位置
メモリ回路１３、欠陥判定回路１４、欠陥登録回路１５及び欠陥補正回路１６により実行される。

第１のステップＳ１では、欠陥検出回路１２において、画素欠陥候補とすべきかどうかを検出し、画素欠陥の可能性があるもののみ、その位置を示すアドレス情報を位置メモリ回路１３に記憶させる。続く第２のステップＳ２では、位置メモリ回路１３に記憶されたアドレス情報によって指定される画素の画像信号Ｙ（ｎ）について、欠陥判定回路１４が欠陥検出回路１２と同様の検出処理を行うことで、画素欠陥候補が真の画素欠陥であるか否かの判定を行う。そして、第３のステップＳ３では、画素欠陥であると判定された画素について、判定結果が記憶される。

第４のステップＳ４では、欠陥候補の判定が何回目かを判定し、予め設定される規定回数以内であれば第２のステップＳ２に戻って欠陥候補の判定を繰り返し、規定回数に達していれば、第５のステップＳ５に進む。第２のステップＳ２に戻った場合、再度、画素欠陥候補に対する判定が行われ、続く第３のステップＳ３において、その判定結果が記憶される。この第３のステップＳ３における判定結果の記憶は、第２のステップＳ２で判定が繰り返される回数分だけ順次追加するように行われる。

第５のステップＳ５では、規定回数繰り返された画素欠陥候補の判定で、所定の基準値を超えているか否かが判定される。即ち、規定回数だけ画素欠陥候補の判定を行い、そのうち、画素欠陥であると（真である）判定された回数が基準値として設定される回数を越えたものについて、真の画素欠陥であるとして、欠陥登録回路１５が補正処理を施すべきアドレスを位置メモリ回路１３に記憶させる。そして、第６のステップＳ６では、位置メモリ回路１３に登録されたアドレスの画素に対し、欠陥補正回路１６によって補正処理が施され、画素欠陥が補正された画像信号Ｙ'（ｎ）が生成される。

以上の第１のステップＳ１から第６のステップＳ６によれば、１画面の画素の状況のみでなく、複数の画面にわたる画素の状況から画素欠陥を判定できるため、被写体の状態に起因する偶発的な画素欠陥を区別することができる。

ここで、欠陥候補の判定の繰り返しの回数については、回数を多くするほど判定に要する時間は長くなるが、より正確な判定結果を得られるようになる。また、第５のステップＳ５における欠陥登録動作では、判定回数から画素欠陥が真であるか否かを決定する他、図１０に示す第２の実施形態において得られるような露光制御情報Ｅ（ｍ）や利得制御情報情報Ｇ（ｍ）、さらには、フォーカス制御情報等の各種制御情報を含めて判定すれば、判定制度をさらに向上できる。

図１４は、本発明の画像欠陥の第２の検出方法を示すフローチャートである。この検出方法は、図１３の場合と同様、図１（または図１０、図１１、図１２の何れか）に示す欠陥検出回路１２、位置メモリ回路１３、欠陥判定回路１４、欠陥登録回路１５及び欠陥補正回路１６により実行される。

第１のステップＳ１では、欠陥検出回路１２において、初期画面の画素欠陥候補を検出し、１画面（あるいは分割領域）の全ての画素欠陥候補を示すアドレス情報を位置メモリ回路１３に記憶する。第２のステップＳ２では、欠陥判定回路１４において、次の画面の画素欠陥候補を検出し、続く第３のステップＳ３で、第２のステップＳ２で検出された画素欠陥候補が第１のステップＳ１で位置メモリ回路１３に記憶された最初の画面の画素欠陥のアドレス情報と一致するか否かを判定する。

第４のステップＳ４では、第３のステップＳ３において一致が確認されたアドレス情報
を残し、一致が確認できなかったアドレス情報を廃棄するようにして欠陥情報、即ち、位置メモリ回路１３の情報を更新する。あるいは、第３のステップＳ３において、所定の回数（画面数）連続して一致が確認できたアドレス情報のみを残すか、所定の回数（画面数）連続して一致が確認できなかったアドレス情報のみを廃棄する。このアドレス情報を残すか廃棄するかの選択についても、位置メモリ回路１３の情報を書き換えるか否かによって行われる。

第５のステップＳ５では、欠陥情報の更新が何回目かを判定し、予め設定される規定回数以内であれば第２のステップＳ２に戻って欠陥候補の検出を繰り返し、規定回数に達していれば、第６のステップＳ６に進む。第６のステップＳ６では、位置メモリ回路１３に記憶されたアドレス情報が欠陥登録回路１５に取り込まれて真の画素欠陥であるとして登録される。そして、第７のステップＳ７では、欠陥登録回路１５に登録されたアドレスの画素に対して、欠陥補正回路１６によって補正処理が施され、画素欠陥が補正された画像信号Ｙ'（ｎ）が生成される。

以上の第１のステップＳ１から第７のステップＳ７によれば、図１３に示す検出方法と同様、１画面の画素の状況のみでなく、複数の画面にわたる画素の状況から画素欠陥を判定できるため、被写体の状態に起因する偶発的な画素欠陥を区別することができる。

以上の実施形態においては、判定基準値を目標画素に隣接する３行×３列の合計８個の周辺画素のレベルに基づいて決定する場合を例示したが、それ以上、例えば、３行×５列の１４個の周辺画素や、５行×５列の２４個の周辺画素のレベルに基づいて判定基準値を設定するようにしてもよい。

以上のように、本発明は、画面を表示する画像信号に基づいて、画面上の画素欠陥を検出する画像信号処理装置であって、目標画素に対応する画像信号のレベルを目標画素に隣接する複数の周辺画素に対応する画像信号のレベルに基づいて設定される判定基準値と比較して欠陥候補を検出する検出回路と、検出回路により検出された欠陥候補の複数の画面にわたる連続性に基づいて画素欠陥を判定する判定回路と、判定回路で判定された画素欠陥の位置を示す欠陥情報を記憶するメモリ回路と、を備え、メモリ回路に記憶された欠陥情報に応じて目標画素を補正する画像信号処理装置である。検出回路は、複数の周辺画素の信号レベルの最大値と最小値との差を複数の周辺画素の信号レベルの平均値に対して加算または減算して判定基準値を設定する。検出回路は、判定基準値を多段階に設定し、各段階毎に欠陥候補を検出する。判定回路は、複数フィールドで欠陥判定動作を継続して画素欠陥の位置を決定した後、検出回路と共に動作を停止する。判定回路は、所定の周期で欠陥判定動作を繰り返す。メモリ回路は、欠陥情報を検出回路の検出結果と共に一時的に記憶する第１のメモリ部と、第１のメモリ部から画素欠陥の位置を取り込んで記憶する不揮発性の第２のメモリ部と、を有する。

また、判定回路は、画像信号を得る撮像装置の撮像制御情報を受け、この撮像制御情報と判定基準値とに基づいて画素欠陥の判定を行う。判定回路は、画像信号を得る撮像装置の撮像制御情報を受け、この撮像制御情報から推定される被写体の輝度が所定の範囲のときに判定基準値に基づいて画素欠陥の判定を行う。判定回路は、１画面を複数の領域に分割した各領域毎に欠陥判定動作を行う。判定回路は、１画面を複数の領域に分割した各領域毎に対して時分割で繰り返し欠陥判定動作を行う。判定回路及びメモリ回路の少なくとも一方は、外部機器が接続可能なバスに接続され、外部機器から画素欠陥の判定条件が変更される。

また、本発明は、１画面を表示する画像信号に基づいて、画面を構成する複数の画素に含まれる画素欠陥を検出する検出方法であって、目標画素の信号レベルを目標画素に隣接
する複数の周辺画素の信号レベルに基づいて設定される判定基準値と比較して欠陥候補を検出し、欠陥候補の位置を記憶する第１のステップと、第１のステップで記憶された位置の目標画素の信号レベルを判定基準値と再度比較する第２のステップと、第２のステップの比較結果を記憶する第３のステップと、を含み、第２及び第３のステップを複数回繰り返して得られる複数の比較結果に応じて画素欠陥を検出する画素欠陥の検出方法である。複数の周辺画素の信号レベルの最大値と最小値との差を複数の周辺画素の信号レベルの平均値に対して加算または減算して判定基準値を設定する。第２及び第３のステップを複数回繰り返して得られる複数の比較結果と共に画像信号を得る撮像装置の撮像条件に応じて画素欠陥を検出する。

また、本発明は、１画面を表示する画像信号から、画面を構成する複数の画素に含まれる画素欠陥を検出する検出方法であって、目標画素の信号レベルを目標画素に隣接する複数の周辺画素の信号レベルに基づいて設定される判定基準値と比較して第１の欠陥候補を検出し、第１の欠陥候補の位置を記憶する第１のステップと、目標画素の信号レベルを目標画素に隣接する複数の周辺画素の信号レベルに基づいて設定される判定基準値と比較して第２の欠陥候補を検出する第２のステップと、第１の画素欠陥候補の位置と第２の欠陥候補の位置との一致を判定する第３のステップと、第１のステップで記憶された第１の欠陥候補の位置を、第３のステップで一致すると判定された位置を残して更新する第４のステップと、を含み、第２乃至第３のステップを繰り返す画素欠陥の検出方法である。複数の周辺画素の信号レベルの最大値と最小値との差を複数の周辺画素の信号レベルの平均値に対して加算または減算して判定基準値を設定する。

本発明の画像信号処理装置の第１の実施形態を示すブロック図である。メモリ回路の構成を示すブロック図である。目標画素と周辺画素との位置関係を示す平面図である。欠陥検出回路の構成を示すブロック図である。判定基準値と周辺画素のレベルとの関係を示す図である。欠陥判定回路の動作を説明するフローチャートである。アドレス発生回路の構成を示すブロック図である。画面上の画素欠陥のアドレスを説明する平面図である。欠陥補正回路の構成を示すブロック図である。本発明の画像信号処理装置の第２の実施形態を示すブロック図である。本発明の画像信号処理装置の第３の実施形態を示すブロック図である。本発明の画像信号処理装置の第４の実施形態を示すブロック図である。本発明の画素欠陥の第１の検出方法を説明するフローチャートである。本発明の画素欠陥の第２の検出方法を説明するフローチャートである。固体撮像装置の構成を示すブロック図である。

符号の説明

１ＣＣＤイメージセンサ
２駆動回路
３タイミング制御回路
４信号処理回路
５欠陥補正回路
６補正情報メモリ
１１画像メモリ回路
１２欠陥検出回路
１３位置メモリ回路
１４、１４’ 欠陥判定回路
１５欠陥登録回路
１６欠陥補正回路
１７エリア指定回路
１８インタフェース回路
２１、２２ラインメモリ
２３〜２８ラッチ
３１平均値算出部
３２最大値検出部
３３最小値検出部
３４、３５減算器
３６加算器
３７、３８比較器
５１水平カウンタ
５２垂直カウンタ
５３水平データラッチ
５４垂直データラッチ
６１〜６４除算器
６５〜６７加算器
６８セレクタ
６９比較器

Claims

画像信号に基づいて画素欠陥を検出する画像信号処理装置であって、目標画素に対応する画像信号のレベルを目標画素に隣接する複数の周辺画素に対応する画像信号のレベルに基づいて設定される判定基準値と比較して欠陥候補を検出する検出回路と、上記検出回路により検出された欠陥候補を被写体の変化する複数の画面にわたる画素欠陥の連続性に基づいて最終的な画素欠陥を判定する判定回路と、画素欠陥の判定の際に一時的に生成される画素欠陥の位置を示す欠陥情報を一時的に記憶する第１のメモリ部と、を有することを特徴とする画像信号処理装置。
上記第１のメモリ部から上記最終的な画素欠陥の位置を取り込んで記憶する不揮発性の第２のメモリ部と、をさらに有することを特徴とする請求項１に記載の画像信号処理装置。
上記検出回路は、上記判定基準値を多段階に設定し、各段階毎に欠陥候補を検出することを特徴とする請求項１又は請求項２に記載の画像信号処理装置。
画素欠陥の程度が高いものから優先して上記第１のメモリ部又は上記第２のメモリ部に記憶することを特徴とする請求項３に記載の画像信号処理装置。