JP2010068329A - 撮像装置 - Google Patents

Abstract

【課題】本発明は、ＣＭＯＳ型イメージセンサにおいて、高精度の欠陥画素補正処理を実現できるようにする。
【解決手段】たとえば、キズ画素を検出してキズ補正処理を実行するキズ補正回路において、キズ画素判定回路３２により、判定画素Ｇ０がキズ画素か判定する。キズ画素の場合は、キズ画素置換処理回路により、保存してある画像パターンに応じて、判定画素Ｇ０の信号を置換する。良品画素の場合は、パターン抽出回路にて、画像パターンを新たに抽出し、保存する。キズ画素判定回路３２は、レベルの大小順に並び替えた各信号が、標準偏差想定レベルＫＫにもとづいて設定される、白キズ判定レベルＫｉｚＷよりも大きい場合に白キズと判定し、黒キズ判定レベルＫｉｚＢよりも小さい場合に黒キズと判定する。
【選択図】 図２

Description

本発明は撮像装置に関するもので、たとえば、カメラ付き携帯電話、デジタルカメラ、および、ビデオカメラなどで使用されるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサに関する。

一般に、イメージセンサは、製造工程などに起因する白キズおよび黒キズが発生しやすい。このイメージセンサを使用したＲＧＢベイヤー配列の単板カラーカメラにおいては、キズ画素の信号を補正する方法として、メディアンフィルタ処理を用いた置換処理が知られている（たとえば、特許文献１または特許文献２参照）。この方法は、メモリを用いずに、キズ画素の信号をリアルタイムに補正するものである。また、キズ画素の信号を、そのキズ画素周辺の、周辺画素の平均値を利用して置換する方法（たとえば、特許文献３参照）、あるいは、周辺画素の最大値（最大レベルの信号）もしくは最小値（最小レベルの信号）によりキズ画素の信号を置換する方法（たとえば、特許文献４参照）などが、これまでに提案されている。

しかしながら、上記した方法の場合、いずれも、キズ画素が縦画像パターンの中のキズ画素なのか、横画像パターンの中のキズ画素なのかを判別できない。そのために、キズ画素の信号を、たとえば、メディアンフィルタ処理によって周辺の同色８画素の信号の中間値（中間レベルの信号）により置換したり、周辺の同色８画素の信号のうちの最大値もしくは最小値により置換したり、あるいは、上下もしくは左右の同色２画素の信号の平均値によって置換したりしていた。それゆえ、キズ画素における解像度が劣化したり、画像パターンの端部（エッジ部分）での誤補正などが発生しやすいという問題があった。
特開２００６−２３８０６０号公報 特開平９−２４７５４８号公報 特開２００４−１１２７３６号公報 特表２００５−５２８８５７号公報

本発明は、上記の問題点を解決すべくなされたもので、画像のパターンに対応した置換処理を実施することができ、高精度の欠陥画素補正処理が可能な撮像装置を提供することを目的としている。

本願発明の一態様によれば、光電変換素子からなる複数の画素が二次元に配置された撮像部より出力された画像信号に対して、キズ補正回路によって所定の信号処理を施すように構成された撮像装置であって、前記キズ補正回路は、前記画像信号のうち、判定画素の信号および前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の信号にもとづいて、該判定画素がキズ画素か判定するキズ判定回路と、前記判定画素の信号および前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の信号にもとづいて、画像パターン情報を抽出・保存するパターン抽出回路と、前記キズ判定回路によってキズ画素として検出された前記判定画素の信号を、保存された前記画像パターン情報をもとに置換信号を生成して置換する置換回路とを具備したことを特徴とする撮像装置が提供される。

上記の構成により、画像のパターンに対応した置換処理を実施することができ、高精度の欠陥画素補正処理が可能な撮像装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。ただし、図面は模式的なものであり、各図面の寸法および比率などは現実のものとは異なることに留意すべきである。また、図面の相互間においても、互いの寸法の関係および／または比率が異なる部分が含まれていることは勿論である。特に、以下に示すいくつかの実施の形態は、本発明の技術思想を具体化するための装置および方法を例示したものであって、構成部品の形状、構造、配置などによって、本発明の技術思想が特定されるものではない。この発明の技術思想は、その要旨を逸脱しない範囲において、種々の変更を加えることができる。

［第１の実施形態］
図１は、本発明の第１の実施形態にしたがった撮像装置の構成例を示すものである。なお、ここでは、ＣＭＯＳ型イメージセンサを例に説明する。

図１において、センサ部１１は、カラーフィルタ１２、複数の画素（光電変換素子）が二次元状に配置されたフォトダイオードアレイ（撮像部）１３、および、カラム型アナログデジタルコンバータ（ＡＤＣ）１４を有している。カラーフィルタ１２は、レンズ（撮像系）１０で集光した光信号をＲＧＢ信号に分離し、フォトダイオードアレイ１３上に結像させる。フォトダイオードアレイ１３は、結像されたＲＧＢ信号を画素ごとに信号電荷に変換してＡＤＣ１４に送る。ＡＤＣ１４は、受け取った各画素の信号電荷をデジタル信号（画像信号）に変換し、ラインメモリ２１に出力する。なお、カラーフィルタ１２の色フィルタ配列としては、行列２×２を基本とした、ＲＧＢ原色のベイヤー配列（正方配列）を想定している。

ラインメモリ２１は、たとえば垂直５ライン分のメモリ１〜５を有し、センサ部１１の出力信号（ＡＤＣ１４からの画像信号）をそれぞれ記憶する。ラインメモリ２１は、この５ライン分の画像信号をキズ補正回路３１に供給する。

キズ補正回路３１は、ラインメモリ２１からの５ライン分の画像信号を並列に取り込み、適宜、レベル設定回路４１からの標準偏差想定レベルＫＫなどを使って判定画素が欠陥（キズ）画素か判定し、キズ画素の場合は、補正（置換）処理を実施する。また、判定画素がキズ画素でない良品画素の場合は、画像パターン（パターン情報）を抽出し、保存処理を実施する。すなわち、このキズ補正回路３１は、キズ画素の検出処理を行うキズ画素判定回路３２と、画像パターンの抽出・保存処理を行うパターン抽出回路３３と、キズ補正のための置換処理を行うキズ画素置換処理回路３４と、を有して構成されている。たとえば、キズ補正回路３１では、まず、判定画素が白キズまたは黒キズなのかチェックする。判定画素が良品画素の場合は、判定画素の信号と同色の周辺８画素の信号とを用いて画像パターンを抽出し、保存する。判定画素がキズ画素の場合には、保存していた画像パターンに応じて、キズ画素と同色の周辺４画素の信号を用いて、キズ画素の信号を置換する。

ここで、標準偏差想定レベルＫＫは、白キズを判定するための白キズ判定レベルおよび黒キズを判定するための黒キズ判定レベルを設定する際の基準となるものであって、ランダムノイズ成分などを想定して設計される。たとえば、装置をチューニングする際に、実際に解像度および画像パターンなどが異なる被写体の白キズおよび黒キズの補正に用いた実測値（ヒストグラムのシグマ値など）をもとに、標準偏差想定レベルＫＫは統計的に導き出される。すなわち、キズ画素判定回路３２は、標準偏差想定レベルＫＫをもとに、判定画素に近接する同色の周辺８画素の信号の、見かけ上の標準偏差（白キズ判定レベルおよび黒キズ判定レベル）を仮想的に生成し、その標準偏差より外れている場合をキズ画素として検出する。つまり、判定画素の信号が白キズ判定レベルよりも大きい場合に、その判定画素は白キズと判定され、黒キズ判定レベルよりも小さい場合に、その判定画素は黒キズと判定される。

信号処理回路５１は、キズ補正回路３１からの出力に対し、周知の信号処理、たとえばホワイトバランス処理、色分離補間処理、輪郭強調処理、および、ガンマ（γ）補正処理を施す。また、ＲＧＢマトリックス回路によってＹＵＶ信号またはＲＧＢ信号を生成して、出力端子ＤＯＵＴ０〜ＤＯＵＴ７より外部に出力する。

システムタイミング発生回路（ＳＧ）６１は、外部からのクロック信号ＭＣＫおよび／またはコマンド制御回路７１からのコマンドにしたがって、センサ部１１、ラインメモリ２１、キズ補正回路３１、および、信号処理回路５１を制御する。

コマンド制御回路７１は、外部よりシリアルインタフェース（Ｉ／Ｆ）８１を介して供給されるデータＤＡＴＡに応じたコマンドを生成し、ラインメモリ２１、キズ補正回路３１、レベル設定回路４１、信号処理回路５１、および、ＳＧ６１のパラメータなどを制御する。

図２は、図１に示した構成のＣＭＯＳ型イメージセンサにおけるキズ補正回路３１の、キズ画素判定回路３２およびパターン抽出回路３３の動作を説明するために示すものである。ここでは、図１に示した画素の配置（色フィルタ配列）に対して、「Ｇ０」を判定画素とした場合について説明する。また、色フィルタ配列におけるＧｒ画素およびＧｂ画素を、ともにＧ画素として説明する。なお、本実施形態は、白キズおよび黒キズを検出する画素の個数をそれぞれ“２”とした場合の例である。

図２に示すように、キズ画素判定回路３２は、まず、判定画素Ｇ０がキズ画素か否かをチェックする。たとえば、判定画素Ｇ０、および、それと同色の周辺８画素Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６，Ｇ７，Ｇ８の、９画素分の信号をレベルの大小順に並べ替える（最大値Ｄ９〜最小値Ｄ１）。

次いで、白キズおよび黒キズを検出する画素の個数をそれぞれ“２”としたことにより、最大値Ｄ９から３番目（第ｎ番目）の中間値Ｄ７と最小値Ｄ１から３番目（第ｍ番目）の中間値Ｄ３との差分を算出する。そして、その差分結果（Ｄ７−Ｄ３）に、レベル設定回路４１からの標準偏差想定レベルＫＫを掛け算した結果を、キズ判定レベルＫｉｚＬとして算出する（ＫｉｚＬ＝（Ｄ７−Ｄ３）＊ＫＫ）。また、中間値Ｄ７にキズ判定レベルＫｉｚＬを加算した結果を、白キズ判定レベルＫｉｚＷ（＝Ｄ７＋（Ｄ７−Ｄ３）＊ＫＫ）とする。さらに、中間値Ｄ３からキズ判定レベルＫｉｚＬを減算した結果を、黒キズ判定レベルＫｉｚＢ（＝Ｄ３−（Ｄ７−Ｄ３）＊ＫＫ）とする。

この後、判定画素Ｇ０の信号が白キズ判定レベルＫｉｚＷよりも大きいか否かを判定する。白キズ判定レベルＫｉｚＷよりも大きい場合には、判定画素Ｇ０を白キズと判定し、制御信号Ｐｋｉｚを“０”に設定する。これにより、後述するキズ補正のための置換処理が行われる。

また、判定画素Ｇ０の信号が白キズ判定レベルＫｉｚＷよりも小さい場合には、さらに、判定画素Ｇ０が黒キズ判定レベルＫｉｚＢよりも小さいか否かを判定する。黒キズ判定レベルＫｉｚＢよりも小さい場合には、判定画素Ｇ０を黒キズと判定し、制御信号Ｐｋｉｚを“０”に設定する。これにより、後述するキズ補正のための置換処理が行われる。

一方、判定画素Ｇ０の信号が黒キズ判定レベルＫｉｚＢよりも大きい場合には、判定画素Ｇ０を白キズおよび黒キズではない（いわゆる、良品画素）と判定し、制御信号Ｐｋｉｚを“１”に設定する。良品画素と判定された場合、後述するキズ補正のための置換処理は行われない。

図３は、上記したキズ画素判定回路３２において、白キズおよび黒キズを検出する画素の個数をそれぞれ“２（白キズ／黒キズ２画素対応）”とした場合の、制御信号Ｐｋｉｚの設定に係る動作について示すものである。この例の場合、信号が黒キズ判定レベルＫｉｚＢよりも小さいレベルＤ１またはＤ２のとき、判定画素Ｇ０は黒キズと判定され、制御信号Ｐｋｉｚが“０”に設定される。なお、信号が白キズ判定レベルＫｉｚＷよりも大きいレベル（レベルＤ９以上）のとき、判定画素Ｇ０は白キズと判定され、制御信号Ｐｋｉｚが“０”に設定される。

すなわち、判定画素の信号およびこれと同色の周辺画素の信号のうち、標準偏差想定レベルＫＫにもとづいて設定される、キズ画素として検出する画素の個数に応じた、ある範囲（本例の場合、Ｄ３〜Ｄ７）についての見かけ上の標準偏差（白キズ判定レベルおよび黒キズ判定レベル）を仮想的に生成し、その標準偏差より外れている場合をキズ画素として検出するようにしている。したがって、このキズ画素判定回路３２によれば、画像パターンの抽出に際して、白キズおよび黒キズの有無をチェックすることにより、キズ画素を高精度に検出できる。

図２に示したように、本実施形態のパターン抽出回路３３においては、判定画素Ｇ０が良品画素と判定した場合、判定画素Ｇ０の信号とそれに近接する同色の周辺画素Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６，Ｇ７，Ｇ８の８信号とを用いて、判定画素Ｇ０の画像パターンを抽出する。たとえば、判定画素Ｇ０と同色の、＋字方向の周辺４画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の信号の平均値を求める。そして、その平均値と判定画素Ｇ０の信号との差分信号（絶対値）Ｓｕｂ＋３０を求める（Ｓｕｂ＋３０＝ＡＢＳ（（Ｇ１＋Ｇ３＋Ｇ５＋Ｇ７）／４−Ｇ０））。同様に、判定画素Ｇ０と同色の、クロス（×字）方向の周辺４画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の信号の平均値を求める。そして、その平均値と判定画素Ｇ０の信号との差分信号（絶対値）Ｓｕｂ×３０を求める（Ｓｕｂ×３０＝ＡＢＳ（（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４−Ｇ０））。

さらに、求めた差分信号Ｓｕｂ＋３０，Ｓｕｂ×３０のうち、その小さい方もしくはその大きい方を選択する。これにより、判定画素Ｇ０を含む画像パターンが、＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７もしくはクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８のどちらに相関が強いかを判定できる。＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７に対する相関が強い＋字パターンと判定した場合には、たとえば、パターン情報Ｙ１（Ｙ０１方向の判定値）を“１”とし、パターン情報Ｙ２（Ｙ０２方向の判定値）を“０”とする。逆に、クロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８に対する相関が強いクロスパターンと判定した場合には、たとえば、パターン情報Ｙ１を“０”とし、パターン情報Ｙ２を“１”とする。

次に、キズ画素判定回路３２では、上記判定画素Ｇ０に隣接する、隣接画素Ｒ０を新たな判定画素として同様にキズ判定処理する。隣接画素Ｒ０がキズ画素と判定された場合には、先の判定画素Ｇ０の画像パターンに応じた周辺４画素の信号の平均値で、隣接画素Ｒ０に対する置換処理が行われる。もし、判定画素Ｇ０がキズ画素の場合、置換処理には、その１画素前の隣接画素Ｒの画像パターンが適用される。

本実施形態の場合、画像パターンの抽出に４画素分の信号の平均値を用いているため、よりランダムノイズ成分の低減が可能であり、高精度の欠陥画素補正処理を実現できる。特に、判定画素Ｇ０と信号のレベルが同じ周辺画素の数が多くなるほど、差分信号は小さくなるため、差分信号の精度が向上する。

図４は、上記したキズ補正回路３１における、キズ画素置換処理回路３４の動作を説明するために示すものである。ここでは、抽出された画像パターンに応じて、キズ画素の信号を、同色の＋字方向に近接する周辺４画素の信号の平均値、または、同色のクロス方向に近接する周辺４画素の信号の平均値によって、置換する場合を例に説明する。

キズ画素置換処理回路３４は、まず、上記したキズ画素判定回路３２によって、判定（隣接）画素Ｒ０がキズ画素と判定されたかどうかを判断する。そして、キズ画素の検出結果にもとづいて、判定画素Ｒ０に対する、キズ補正のための置換処理（キズ画素置換処理）を行うか否かを決定する。

たとえば、制御信号Ｐｋｉｚが“１”のとき、つまり、判定画素Ｒ０がキズ画素として検出されない場合は、先に説明した通り、パターン抽出回路３３によって、＋字パターンまたはクロスパターンが抽出された後、処理は次の画素へと移行する。

一方、制御信号Ｐｋｉｚが“０”のとき、つまり、判定画素Ｒ０がキズ画素として検出された場合は、パターン抽出回路３３によって抽出・保存された＋字パターンまたはクロスパターンにしたがって、キズ画素置換処理を実行する。

すなわち、キズ画素置換処理回路３４においては、パターン情報Ｙ１より＋字パターンの抽出が判断される場合、たとえば、判定画素Ｒ０の＋字方向に近接する同色の周辺４画素Ｒ１，Ｒ３，Ｒ５，Ｒ７の信号の平均化信号（置換信号）を算出する。そして、その平均化信号によって、判定画素Ｒ０の信号を置換する。

また、パターン情報Ｙ２よりクロスパターンの抽出が判断される場合は、たとえば、判定画素Ｒ０のクロス方向に近接する同色の周辺４画素Ｒ２，Ｒ４，Ｒ６，Ｒ８の信号の平均化信号（置換信号）を算出する。そして、その平均化信号によって、判定画素Ｒ０の信号を置換する。

この置換処理に、４画素の平均化信号を用いることで、ランダムノイズ成分の低減が可能となる。

以上のようなキズ画素置換処理を、順次、Ｇｒ画素、Ｂ画素、Ｇｂ画素の各画素についても同様に実施する。

上記したように、画像パターンの抽出に際し、白キズおよび黒キズの有無をチェックすることによって、キズ画素を高精度で検出できるようにしている。すなわち、標準偏差を利用してキズ画素を検出するようにしている。これにより、キズ画素における解像度の劣化を防止しつつ、キズ画素を高精度で検出することが可能となる。したがって、画像パターンに対して最適なキズ画素置換処理を実施することが可能となり、より高精度の欠陥画素補正処理を実現できるようになるものである。

特に、キズ画素の検出に標準偏差を利用するようにしているため、閾値レベルＬｅｖＮを使ってキズ画素を検出する従来の撮像装置に比べ、被写体の解像度を考慮した処理が容易に可能となるものである。

図５〜図７は、それぞれ、閾値レベルＬｅｖＮを使って、画像信号に対する欠陥画素補正処理を実施する撮像装置（たとえば、特願２００７−１１９９２９号参照）の、キズ補正回路におけるキズ画素判定回路の動作（キズ画素の検出方法）を説明するために示すものである。

図５に示す第１のキズ画素判定回路は、まず、判定画素Ｇ０がキズ画素か否かを判定する。たとえば、判定画素Ｇ０およびそれと同色の＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素分の信号をレベルの大小順に並べ替える（Ｄ５〜Ｄ１）。同様に、判定画素Ｇ０およびそれと同色のクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の５画素分の信号をレベルの大小順に並べ替える（Ｃ５〜Ｃ１）。

そして、その並べ替えた信号の、最大値Ｄ５とその次の大きさの中間値Ｄ４との差分信号（Ｄ５−Ｄ４）の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最大値Ｄ５をもつ画素は白キズの可能性ありと判断する。同様に、最大値Ｃ５とその次の大きさの中間値Ｃ４との差分信号（Ｃ５−Ｃ４）の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最大値Ｃ５をもつ画素は白キズの可能性ありと判断する。２つの差分信号の絶対値から白キズの可能性がそれぞれ判定されると、最終的にＡＮＤ回路ＬＡ１の出力が“１”となり、＋字方向の５画素Ｇ０，Ｇ１，Ｇ３，Ｇ５，Ｇ７には白キズありと判断される。

また、その並べ替えた信号の、最小値Ｄ１とその次の大きさの中間値Ｄ２との差分信号（Ｄ２−Ｄ１）の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最小値Ｄ１をもつ画素は黒キズの可能性ありと判断する。同様に、最小値Ｃ１とその次の大きさの中間値Ｃ２との差分信号（Ｃ２−Ｃ１）の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最小値Ｃ１をもつ画素は黒キズの可能性ありと判断する。２つの差分信号の絶対値から黒キズの可能性がそれぞれ判定されると、最終的にＡＮＤ回路ＬＡ２の出力が“１”となり、クロス方向の５画素Ｇ０，Ｇ２，Ｇ４，Ｇ６，Ｇ８には黒キズありと判断される。

こうして、白キズまたは黒キズの少なくとも一方が検出されると、最終的に、ＮＯＲ回路ＬＮ１の出力Ｐｋｉｚ（制御信号）が“０”となり、判定画素Ｇ０はキズ画素と判断される。

図６に示す第２のキズ画素判定回路は、まず、判定画素Ｇ０およびそれと同色の＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素分の信号と、判定画素Ｇ０およびそれと同色のクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の５画素分の信号とを、それぞれレベルの大小順に並べ替える。

また、その並べ替えた信号の、最大値Ｄ５，Ｃ５の平均値とその次に大きい中間値Ｄ４，Ｃ４の平均値との差分信号（（Ｄ５＋Ｃ５）／２−（Ｄ４＋Ｃ４）／２）の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最大値Ｄ５，Ｃ５をもつ画素は白キズありと判断する。同様に、最小値Ｄ１，Ｃ１の平均値とその次に大きい中間値Ｄ２，Ｃ２の平均値との差分信号（（Ｄ２＋Ｃ２）／２−（Ｄ１＋Ｃ１）／２）の絶対値が、閾値レベルＬｅｖＮよりも大きいか否かを判定し、大きい場合には最小値Ｄ１，Ｃ１をもつ画素は黒キズありと判断する。

こうして、白キズまたは黒キズの少なくとも一方が検出されると、最終的に、ＮＯＲ回路ＬＮ２の出力Ｐｋｉｚ（制御信号）が“０”となり、判定画素Ｇ０はキズ画素と判断される。

図７に示す第３のキズ画素判定回路は、まず、判定画素Ｇ０およびそれと同色の＋字方向の周辺画素Ｇ１，Ｇ３，Ｇ５，Ｇ７の５画素分の信号と、判定画素Ｇ０およびそれと同色のクロス方向の周辺画素Ｇ２，Ｇ４，Ｇ６，Ｇ８の５画素分の信号とを、それぞれレベルの大小順に並べ替える。

また、その並べ替えた信号の、最大値Ｄ５，Ｃ５の差分信号（Ｄ５−Ｃ５）の絶対値が“０”か否かを判定し、“０”の場合には最大値Ｄ５，Ｃ５をもつ画素は白キズありと判断する。同様に、最小値Ｄ１，Ｃ１の差分信号（Ｄ１−Ｃ１）の絶対値が“０”か否かを判定し、“０”の場合には最小値Ｄ１，Ｃ１をもつ画素は黒キズありと判断する。

こうして、白キズまたは黒キズの少なくとも一方が検出されると、最終的に、ＮＯＲ回路ＬＮ３の出力Ｐｋｉｚ（制御信号）が“０”となり、判定画素Ｇ０はキズ画素と判断される。

上記した第１〜第３のキズ画素判定回路のように、大小関係によりキズ画素を判定するための閾値レベルＬｅｖＮを採用する方式とした場合、細かいパターンがある被写体と細かいパターンがない被写体とで、閾値レベルＬｅｖＮの調整が難しくなる。たとえば、細かいパターンがない被写体を基準にして閾値レベルＬｅｖＮを定めた場合、細かいパターンはキズ画素と判定されることになるため、細かいパターンを再現できずに解像度が劣化する。逆に、たとえば、細かいパターンを再現できるように、細かいパターンがある被写体を基準にして閾値レベルＬｅｖＮを定めた場合、細かいパターンがない被写体での微小な白キズおよび黒キズを補正できなくなるため、画質が劣化する。このように、閾値レベルＬｅｖＮの設定は非常に難しいものであった。

これに対し、本実施形態のキズ画素判定回路３２において、細かいパターンがない被写体であり、ランダムノイズ成分が少ない場合は、標準偏差想定レベルＫＫにもとづいて設定される、キズ画素として検出する画素の個数に応じた、ある範囲の差分（Ｄ７−Ｄ３）が小さくなる。そのため、仮想的な標準偏差も小さくなり、信号のレベルが小さいキズ画素も容易に検出できる。一方、ランダムノイズ成分が多く、細かいパターンがある被写体の場合は、標準偏差想定レベルＫＫにもとづいて設定される、キズ画素として検出する画素の個数に応じた、ある範囲の差分（Ｄ７−Ｄ３）が大きくなる。そのため、仮想的な標準偏差も大きくなり、解像度の小さいものはキズ画素と判定しないなど、解像度の劣化を防ぐことが可能となる。

なお、上述した本実施形態においては、キズ画素の検出のために、９個の画素（Ｇ画素Ｇ０〜Ｇ８）を用いるようにした場合を例に説明したが、これに限らない。たとえば、図８および図９に示すように、キズ画素の検出精度を向上させるために、１３個の画素（Ｇ画素Ｇ０〜Ｇ１２）を用いるようにすることも可能である。

また、いずれの例の場合においても、標準偏差想定レベルＫＫにもとづいて設定される、キズ画素として検出する画素の個数はそれぞれ“２”とする場合に限らない。たとえば、標準偏差想定レベルＫＫの設定に応じて、キズ画素として検出する画素の個数をそれぞれ“１（白キズ／黒キズ１画素対応）”などとすることも可能である。

ここで、標準偏差想定レベルＫＫとしては、信号量および／またはアナログ回路のゲインなどに応じて可変できるようにすることによって、さらに処理の最適化が可能となる。たとえば、標準偏差想定レベルＫＫは、低光量のときには回路ノイズを想定した値とし、光量が高い場合にはショットノイズに合わせて大きくなるように制御する。こうすることで、効果的にランダムノイズが抑圧された処理を実現できる。

特に、レンズ１０の光学特性に起因したシェーディング補正を実施する撮像装置の場合、画面の中心に対して、上下端、左右端、コーナー部に近くなるほど、デジタルゲインによって信号を増幅するようにしている。このため、画面の上下端、左右端、コーナー部でのランダムノイズが増加する。そこで、標準偏差想定レベルＫＫを、このデジタルゲインに合わせて、画面の上下端、左右端、コーナー部で大きくなるように制御すると、ノイズ抑圧効果が大きくなり、画質を改善できる。

このように、標準偏差想定レベルＫＫは、信号量・画面位置・色情報・ゲイン情報などに応じて様々に変更することで、より最適なキズ補正が可能となる。

上述した本実施形態においては、カラーフィルタの色フィルタ配列をベイヤー配列とした場合を例に説明したが、これに限らない。たとえば、透明の色フィルタ（白）を使ったＷＲＧＢの色フィルタ配列、または、ＲＧＢの各画素が４５度の角度をもったフィルタ配列のもの（ハニカム配列とも呼ばれる）などにも、同様に適用できる。さらに、画素の位置を行もしくは列方向に０．５画素ずらした画素配列のものにも適用できる。

また、色フィルタの基本配列は行列２×２のものに限定されず、より大きな行列のものにも適用できる。

また、画像パターンの抽出・保存は、判定画素から２画素以上も離れた近接の画素を用いて抽出することも可能である。

また、ＣＭＯＳ型のカラーイメージセンサに限らず、白黒センサにも適用することが可能である。

さらに、ＣＭＯＳ型イメージセンサに限定されるものではなく、たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）および積層型センサなどにも適用できる。

その他、本願発明は、上記（各）実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記（各）実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。たとえば、（各）実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、その構成要件が削除された構成が発明として抽出され得る。

本発明の第１の実施形態にしたがった撮像装置（ＣＭＯＳ型イメージセンサ）の構成例を示すブロック図。 図１に示したＣＭＯＳ型イメージセンサの、キズ補正回路におけるキズ画素判定回路の動作例を説明するために示す図。 図２に示したキズ画素判定回路の動作例を説明するために示す図。 図１に示したＣＭＯＳ型イメージセンサの、キズ補正回路におけるキズ画素置換処理回路の動作例を説明するために示すフローチャート。 対比のために示す、閾値レベルＬｅｖＮを用いて欠陥画素補正処理を実施する方式の撮像装置における、キズ補正回路のキズ画素判定回路の動作例を説明するための図。 対比のために示す、閾値レベルＬｅｖＮを用いて欠陥画素補正処理を実施する方式の撮像装置における、キズ補正回路のキズ画素判定回路の他の動作例を説明するための図。 対比のために示す、閾値レベルＬｅｖＮを用いて欠陥画素補正処理を実施する方式の撮像装置における、キズ補正回路のキズ画素判定回路のさらに別の動作例を説明するための図。 図１に示したＣＭＯＳ型イメージセンサの、キズ補正回路におけるキズ画素判定回路の他の動作例を説明するために示す図。 図８に示したキズ画素判定回路の動作例を説明するために示す図。

符号の説明

１１…センサ部、１２…カラーフィルタ、１３…フォトダイオードアレイ、２１…ラインメモリ、３１…キズ補正回路、３２…キズ画素判定回路、３３…パターン抽出回路、３４…キズ画素置換処理回路、４１…レベル設定回路、ＫＫ…標準偏差想定レベル、ＫｉｚＷ…白キズ判定レベル、ＫｉｚＢ…黒キズ判定レベル。

Claims (5)

1. 光電変換素子からなる複数の画素が二次元に配置された撮像部より出力された画像信号に対して、キズ補正回路によって所定の信号処理を施すように構成された撮像装置であって、
   前記キズ補正回路は、
   前記画像信号のうち、判定画素の信号および前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の信号にもとづいて、該判定画素がキズ画素か判定するキズ判定回路と、
   前記判定画素の信号および前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の信号にもとづいて、画像パターン情報を抽出・保存するパターン抽出回路と、
   前記キズ判定回路によってキズ画素として検出された前記判定画素の信号を、保存された前記画像パターン情報をもとに置換信号を生成して置換する置換回路と
   を具備したことを特徴とする撮像装置。
2. 前記キズ判定回路は、
   前記判定画素および前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の各信号をレベルの大小順に並べ替え、
   前記並び替えた各信号のうち、キズ画素として検出する画素の個数に応じた、第ｎ番目の信号から第ｍ番目の信号についての見かけ上の標準偏差レベルを仮想的に生成し、
   前記判定画素の信号が前記標準偏差レベルより外れている場合にキズ画素として検出するものであることを特徴とする請求項１に記載の撮像装置。
3. 前記キズ判定回路は、
   前記判定画素および前記判定画素にそれぞれ近接する前記判定画素と同色の周辺画素の各信号をレベルの大小順に並べ替え、
   前記並び替えた各信号のうち、キズ画素として検出する画素の個数に応じた、第ｎ番目の信号から第ｍ番目の信号についての見かけ上の標準偏差を設定するために、前記第ｎ番目の信号と前記第ｍ番目の信号との差分結果に前記標準偏差を設定するための標準偏差想定係数を乗算して第１のキズ判定レベルを算出し、
   前記第ｎ番目の信号に前記第１のキズ判定レベルを加算して第２のキズ判定レベルを算出し、
   前記第ｍ番目の信号から前記第１のキズ判定レベルを減算して第３のキズ判定レベルを算出し、
   前記判定画素の信号が前記第２のキズ判定レベルよりも大きい場合には、白キズと判定し、前記判定画素の信号が前記第３のキズ判定レベルよりも小さい場合には、黒キズと判定し、前記置換回路を制御するための制御信号を生成する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記パターン抽出回路は、
   前記判定画素の＋字方向にそれぞれ近接する前記判定画素と同色の周辺画素の４信号から第１の平均化信号を求めるとともに、前記第１の平均化信号と前記判定画素の１信号とから第１の差分信号を算出し、
   前記判定画素の×字方向にそれぞれ近接する前記判定画素と同色の周辺画素の４信号から第２の平均化信号を求めるとともに、前記第２の平均化信号と前記判定画素の１信号とから第２の差分信号を算出し、
   前記第１の差分信号または前記第２の差分信号の小さい方もしくは大きい方を選択することにより、前記＋字方向と前記×字方向との２方向についての相関の有無を判断し、前記２方向についての前記画像パターン情報を抽出するものである
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記置換回路は、
   前記画像パターン情報にしたがって、前記判定画素の＋字方向にそれぞれ近接する前記判定画素と同色の周辺画素の４信号から第１の平均化信号、または、前記判定画素の×字方向にそれぞれ近接する前記判定画素と同色の周辺画素の４信号から第２の平均化信号を算出し、
   前記第１の平均化信号または前記第２の平均化信号を前記置換信号として、前記判定画素の信号を置換するものである
   ことを特徴とする請求項１に記載の撮像装置。

Images