JP2005318383A - 欠陥画素補正装置及び欠陥画素補正処理方法 - Google Patents

Abstract

【課題】 予めすべての欠陥画素情報を記憶手段に記憶しておかなくても、エッジ方向に適した欠陥画素の検出及び補正を行うことができるようにする。
【解決手段】 複数の画素を備えた撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出手段と、前記エッジ方向検出手段によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出手段と、前記検出手段で検出された前記欠陥画素の補正を行う補正手段とを有することを特徴とする欠陥画素補正装置を提供する。
【選択図】 図１

Description

本発明は撮像素子を用いた撮像装置に係るものであり、特に、撮像素子の画素欠陥の補正に用いて好適なものである。

ＣＣＤ等の撮像素子においては、二次元に配列された画素の内、その製造過程もしくは製造後において半導体の局部的な感度不良が生ずることが知られている。これらの現象が起きると、入射した光量に応じた電荷出力が得られなくなるため、撮像画像上に被写体とは無関係に白点や黒点が見て取れる、いわゆる欠陥画素となって現れる問題が発生する。

こうした欠陥画素を有する撮像出力に起因する画質劣化を信号処理によって補正するために、従来、撮像素子に含まれる欠陥画素についての欠陥データを、それを製造した半導体工場で検出して不揮発性メモリに予め記憶させるようにしていた。

あるいは、撮像素子を用いた撮像装置側において、撮像装置のシャッターを遮光状態としたときに、所定の出力レベルを超える画素（白点欠陥画素）、または撮像装置への入射光量を所定のレベルとしたときに、所定の出力レベルに達しない画素（黒点欠陥画素）の位置データを不揮発性メモリに記憶しておいて、通常撮像時には、この不揮発性メモリに記憶されている位置データに基づいて欠陥画素を特定し、その欠陥画素の撮像出力に代えて、例えば１画素前の撮像出力を用いることにより、欠陥画素補正を行っていた。

しかしながら、上述のような補正方法では欠陥画素周囲の画像パターンがどのような画像パターンになっているか考慮されていなかったため、例えば複数の欠陥画素内でエッジが交差するような画像パターン等の場合、正確な補正値が得られず、画像データの画質が劣化してしまうという問題があった。

こうした状況に対して、例えば特許文献１に記載の「画像補正装置及び画像補正方法」では、正常画素におけるエッジの存在を検知し、その存在するエッジの欠陥画素に対する影響を考慮し、エッジ上の欠陥画素を優先的に補正することにより画質劣化を防止している。

特開平０９−２４７５４２号公報

近年の撮像素子に求められる画素数が、以前の数十万画素程度から数百万画素に増大したこともあり、撮像素子の製造技術の進歩にも関わらず、撮像素子に現れる欠陥画素の発生確率は増加する傾向にある。特に、低コストが求められる民生機器に使用される撮像素子では、その製造歩留まりを上げるため、欠陥画素数を従来に比して桁違いに大きく許容せざるを得なくなってきている。

したがって、特許文献１の「画像補正装置及び画像補正方法」のように、欠陥画素の位置情報と形状情報を予めＲＯＭに記憶されておくことは、困難になってきている。

本発明はこのような状況のもとでなされたものであり、予めすべての欠陥画素情報を記憶手段に記憶しておかなくても、エッジ方向に適した欠陥画素の検出及び補正を行うことができるようにすることを目的としている。

本発明の欠陥画素補正装置は、複数の画素を備えた撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出手段と、前記エッジ方向検出手段によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出手段と、前記検出手段で検出された前記欠陥画素の補正を行う補正手段とを有することを特徴としている。

本発明の欠陥画素補正処理方法は、複数の画素を備えた撮像素子から得られる画像データにおける欠陥画素を補正する欠陥画素補正処理方法であって、複数の画素を備えた撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出工程と、前記エッジ方向検出工程によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出工程と、前記検出工程で検出された前記欠陥画素の補正を行う補正工程とを有することを特徴としている。

本発明のコンピュータプログラムは、前記欠陥画素補正処理方法をコンピュータに実行させることを特徴としている。

本発明の記録媒体は、前記コンピュータプログラムを記録したことを特徴としている。

本発明によれば、信頼性の高いエッジ方向を得ることが可能となり、複数の画素を備えた撮像素子において、欠陥画素の検出及び補正処理を高精度に行うことができる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。
（第１の実施の形態）
図１は、本発明を原色ベイヤー配列の単板撮像素子に対して適用した欠陥画素補正装置の第１の実施の形態を示し、概略構成を示すブロック図である。
図１において、１１は図示しない撮像素子から出力される画像信号入力端子であり、１２は入力される画像信号を色フィルタの各成分に分離するＲＧＢ分離処理手段１２である。

１３は、Ｇ（緑色）フィルタが配置された画素位置の欠陥画素を検出・補正するのに必要なエッジ方向信号を生成するためのＧ用エッジ方向検出処理手段であり、１４はＲ（赤色）またはＢ（青色）のフィルタが配置された画素位置の欠陥画素を検出・補正するのに必要なエッジ方向信号を生成するためのＲ／Ｂ用エッジ方向検出処理手段である。

１５は、欠陥画素検出・補正処理の対象となる画素に配置された色フィルタの色によって、Ｇ用またはＲ／Ｂ用のエッジ方向信号を切り替える選択手段である。
１６、１７、１８は、それぞれ、選択手段１５から出力されるエッジ方向信号によって制御されるエッジ方向適応欠陥画素検出・補正処理手段であり、エッジ方向適応欠陥画素検出・補正処理手段１６では、ＲＧＢ分離処理手段１２から出力されるＧ画像に対して、欠陥画素の検出と補正を行って、欠陥画素補正済みのＧ画像信号を出力する。

エッジ方向適応欠陥画素検出・補正処理手段１７では、ＲＧＢ分離処理手段１２から出力されるＲ画像に対して、欠陥画素の検出と補正を行って、欠陥画素補正済みのＲ画像信号を出力する。また、エッジ方向適応欠陥画素検出・補正処理手段１８では、ＲＧＢ分離処理手段１２から出力されるＢ画像に対して、欠陥画素の検出と補正を行って、欠陥画素補正済みのＢ画像信号を出力する。

着目画素位置情報入力端子１９には、欠陥画素検出及び補正の対象となる着目画素の画像上での位置情報が入力され、これによって、着目画素に配置されている色フィルタの色が一意に決まり、ＲＧＢ色分離処理手段１２の出力、及びエッジ方向信号選択手段１５の出力が切り替わる。

画像入力端子１１には、図示しないラインメモリを介して、図２に示すような色フィルタ配列の原色ベイヤー配列撮像素子から、Ｒ及びＧのフィルタがＲＧＲＧ・・・という順で配置された画素のラインと、Ｇ及びＢのフィルタがＧＢＧＢ・・・・という順で配置された画素のラインが交互に入力される。そこで、色フィルタ毎に欠陥画素検出・補正を行うにあたり、ＲＧＢ分離処理手段１２によって、色フィルタ毎の画像信号をあらかじめ抽出しておく。

例えば、ＲＧＢ色分離処理手段１２でＧ画像を出力する場合には、入力信号に対して、ＲまたはＢのフィルタが配置された画素の値を０にし、Ｇのフィルタが配置された画素の値のみを出力する。同様に、Ｒ画像、Ｂ画像を出力する場合には、出力する色以外の色フィルタが配置された画素の値を０にして出力するようにしている。

ＲＧＢ分離処理手段１２から出力される欠陥画素補正前のＲ画像、Ｇ画像、Ｂ画像は、それぞれ、エッジ方向適応欠陥画素検出・補正処理手段１６〜１８に入力される。また、欠陥画素補正前のＧ画像は、原色ベイヤー配列撮像素子において、エッジ方向検出に適した信号として、Ｇ用エッジ方向検出処理手段１３、Ｒ／Ｂ用エッジ方向検出処理手段１４にも入力され、ＲＧＢ全ての色フィルタについて、欠陥画素の検出及び補正処理を制御するためのエッジ方向信号をそれぞれ生成する。

ここで、原色ベイヤー配列において、Ｇ信号がエッジ方向検出に最適な理由について説明する。
エッジは画像において、隣接する数画素単位で輝度のレベルが大きく変化する部分である。したがって、このような細かい周期での輝度レベルの変化、すなわち、画像の高域成分を検出できるサンプリング構造であることが必要となる。

この点において、原色ベイヤー配列では、図２に示すように、視覚の感度が高いＧの色フィルタを市松模様状に配置しており、図２において、Ｇフィルタが配置された画素の垂直、水平方向のサンプリング間隔Tgは、Ｒ及びＢの色フィルタが配置された画素の垂直、水平方向のサンプリング間隔Ｔrbの1/2になる。したがって、画像の高周波成分を抽出できるのはＧ信号であるといえる。

また、各画素位置において、輝度信号を生成する際には、各画素位置における欠陥画素補正後のＲＧＢの画素値を所定の比率で加重平均するが、この比率も、ＧがＲＧＢの中で最大であり、輝度において支配的な信号といえる。

以上のように、原色ベイヤー配列において、高周波成分を保持できるサンプリング構造であり、かつ、輝度の組成比に占める割合が他の２色よりも大きいため、Ｇ信号はエッジ抽出及びエッジ方向の検出に適しているといえる。

また、画像信号では、局所領域における明るさの変化は連続であり、色フィルタが切り替わっても、エッジの方向は大きく変わらないので、Ｒ及びＢのフィルタが配置された画素位置における欠陥画素の検出・補正処理でも、Ｇ信号から生成したエッジ方向信号を用いることは妥当と言える。

次に、エッジ方向の検出処理について説明する。
原色ベイヤー配列の撮像素子の場合、欠陥画素検出・補正の対象となる着目画素に配置された色フィルタの色によって、着目画素に隣接するＧ画素の配置が異なるので、それに伴い、エッジ信号の方向を検出するための演算処理も異なる。

まず、Ｇフィルタが配置された着目画素におけるエッジ方向検出処理について説明する。
図３は、着目画素にＧフィルタが配置されている場合の、エッジ方向検出処理領域におけるＧ画素の分布を示す図である。

図３において、欠陥画素検出、補正の対象となる着目画素は、Ｇ₃₃である。前記着目画素Ｇ₃₃の位置におけるエッジの方向を判定するために、図３のエッジ方向検出領域に含まれるＧの画素を用いて、垂直、水平、斜め45°、斜め135°の各方向について、着目画素と周辺画素との相関を検出する。例えば、垂直方向の相関値Ｖdiff＿Gを求める場合には、Ｇ₁₃，Ｇ₃₃、Ｇ₅₃の画素を用いて、式（１）で表される演算を行う。

Ｖdiff＿G= |G₁₃+ G₅₃ - 2*G₃₃| ・・・（１）
同様に、水平方向の相関値Ｈdiff＿Gを求める場合には、Ｇ₃₁，Ｇ₃₃、Ｇ₃₅の画素を用いて、式（２）で表される演算を行う。
Ｈdiff＿G = |G₃₁+ G₃₅ - 2*G₃₃| ・・・（２）
また、斜め45°方向の相関値D1diff＿Gを求める場合には、Ｇ₁₅，Ｇ₂₄、Ｇ₃₃、G₄₂、G₅₁の画素を用いて、式（３）で表される演算を行う。
D1diff＿G= |G₁₅+ G₅₁ - 2*G₃₃| + |G₂₄ - G₄₂| ・・・（３）
同様に、斜め135°方向の相関値D2diff＿Gを求める場合には、Ｇ₁₁，Ｇ₂₂、Ｇ₃₃、G₄₄、G₅₅の画素を用いて、式（４）で表される演算を行う。
D2diff＿G= |G₁₁+ G₅₅ - 2*G₃₃| + |G₂₂ - G₄₄| ・・・（４）

ここで、Ｖdiff＿GとＨdiff＿Gの割合から、着目画素におけるエッジの方向を推測することができる。例えば、
i) Ｖdiff＿G＞Ｈdiff＿Gのとき
Eg＝1−Ｈdiff＿G／Ｖdiff＿G ・・・（５）
ii) Ｈdiff＿G＞Ｖdiff＿Gのとき
Eg＝−（１−Ｖdiff＿G／Ｈdiff＿G） ・・・（６）
として、Ｖdiff＿GとＨdiff＿Gの割合を用いて、第一象現での角度の変化を示すエッジ方向信号Egを算出する。

図４に示すように、Egを閾値制御すると以下のようになり、エッジの方向を検出できる。
Eg=1のとき・・・完全水平方向（0°）
１＞Eg＞０のとき・・・０°〜45°の任意の方向
−１＜Eg<0のとき ・・・45°〜90°の任意の方向
Eg=−１のとき・・・完全垂直方向（90°）
Eg=0のとき・・・斜め45°方向

ただし、水平方向とエッジ方向のなす角をθとしたときにθのとりうる範囲は0°から180°までであるので、第一象現、第二象現のどちらに属する角度なのかを判定する必要が生じる。そこで、斜め45°方向と斜め135°方向の相関値、D1diff＿GとD2diff＿Gの大小を比較し、D1diff＿Gが大きい場合には、第一象現であると判定して象現判定フラグfgに1を設定し、D２diff＿Gが大きい場合には、第二象であると判定してfg＝2を設定する。また、D1diff＿G= D２diff＿Gのときはfg＝0とする。また、Eg=0で、かつ、D1diff＿GとD２
diff＿Gの差が所定の値よりも小さい場合には、無相関であることを示す値（Eg=2）で、エッジ方向信号Egを再設定する。

以上の手順により、Ｇフィルタが配置された着目画素におけるエッジ方向信号Eg、象現判定フラグｆｇが生成され、これらのパラメータEg、ｆｇとエッジの方向を示す角度θとの関係は図５のようになる。

次に、ＲまたはＢフィルタが配置された着目画素におけるエッジ方向信号の生成について説明する。
図６は、着目画素にＲフィルタが配置されている場合の、エッジ方向検出処理領域におけるＧ画素分布を示す図である。

図６において、欠陥画素検出、補正の対象となる着目画素は、×印で示される位置であり、Ｇの画素値が存在しない。したがって、着目画素の位置におけるエッジ方向を検出するために、まず、着目画素の上下に隣接するＧ画素、Ｇ₂₃、Ｇ₄₃を用いて、例えば、式（７）で表される演算を行い、着目画素における垂直方向の相関値Ｖdiff＿Rを求める。

Ｖdiff＿R = |G₂₃ − G₄₃| ・・・（７）
同様にして、着目画素の左右に隣接するＧ画素、Ｇ₃₂、Ｇ₃₄を用いて、例えば、式（８）で表される演算を行い、エッジの水平方向成分Ｈdiff＿Rを求める。
Ｈdiff＿R = |G₃₂ − G₃₄| ・・・（８）

Ｇ用のエッジ方向信号検出の場合と同様に、Ｖdiff＿RとＨdiff＿Rの割合から、第一象現での角度の変化を示すエッジ方向信号Eｒを算出し、エッジの方向を推定する。エッジ方向信号Eｒと、エッジの方向を示す角度θとの関係は、図１０のようになる。

また、本実施の形態におけるR／B用のエッジ方向検出手段では、Ｇの場合のように、斜め45°方向と斜め135°方向の相関値を用いた象現判定を行わない。これは、原色ベイヤー配列におけるR及びBのサンプリング構造では、図７のように、斜め方向の画素間距離が広いため、象現判定に誤りがあった場合、斜め方向に関しては、欠陥画素検出・補正処理への悪影響が大きくなるからである。

また、着目画素にＢフィルタが配置されている場合は、エッジ抽出領域内のＧ画素の分布が、図４と同様であるので、着目画素にＲフィルタが配置されている場合と同じ方法でエッジ方向信号Ｅｂを算出することができる。

本実施の形態の欠陥画素補正処理方法によれば、着目画素にどの色フィルタが配置されているかは、着目画素の画像内での位置によって一意に決まるので、図１の着目画素位置情報入力端子１９から入力される着目画素の位置情報によって、選択手段１５では、Ｇ用エッジ方向検出処理手段１３とＲ／Ｂ用エッジ方向検出処理手段１４の出力信号のいずれかを選択し、次工程の欠陥画素検出・補正処理手段を制御するエッジ方向信号を出力する。

次に、欠陥画素検出・補正処理手段について説明する。
欠陥画素の検出・補正処理では、色フィルタの違いによる信号レベルの差を考慮し、着目画素と同色の色フィルタが配置された近接画素を用いて、それぞれの色ごとに行う。また、着目画素に配置された色フィルタがＧの場合と、ＲまたはＢの場合では、サンプリング構造の違いにより、欠陥画素検出・補正のために参照できる画素の配置及び画素数が異なるので、欠陥画素検出・補正処理の方法も変わる。

図８は、着目画素の色フィルタがＧである場合の、Ｇ用エッジ方向適応欠陥画素検出・補正処理手段の構成例である。以下、図８と図３を参照しながら、Ｇ用エッジ方向適応欠陥画素検出・補正処理を説明する。

図８において、８１は垂直方向欠陥画素検出手段、８２は水平方向欠陥画素検出手段、８３は斜め４５度方向欠陥画素検出手段、８４は斜め135度方向欠陥画素検出手段、８５は無方向欠陥画素検出手段、８６は選択手段、８７は比較手段である。

Ｇ信号入力端子からは、ＲＧＢ色分離処理によって、ＲとＢの画素の値が０で置き換えられ、Ｇの画素値のみを持つ、図３に示すような局所領域の画像信号が入力される。この図３において、Ｇ₃₃が、欠陥画素検出・補正の対象となる着目画素である。

垂直方向欠陥画素検出手段８１では、着目画素Ｇ₃₃に対して、垂直方向に隣接する２画素Ｇ₁₃、Ｇ₅₃の平均値Ｇｖ=(G₁₃+G₅₃)/2を算出する。
水平方向欠陥画素検出手段８２では、着目画素Ｇ₃₃に対して、水平方向に隣接する２画素Ｇ₃₁、Ｇ₃₅の平均値Ｇｈ=(Ｇ₃₁+Ｇ₃₅)/2を算出する。

斜め45度方向欠陥画素検出手段８３では、着目画素Ｇ₃₃に対して、水平方向を基準として斜め45度方向のライン上に隣接する２画素Ｇ₂₄、Ｇ₄₂の平均値Ｇd1=(Ｇ₂₄+Ｇ₄₂)/2を算出する。

斜め135度方向欠陥画素検出手段８４では、着目画素Ｇ₃₃に対して、水平方向を基準として斜め135°方向のライン上に隣接する２画素Ｇ₂₂、Ｇ₄₄の平均値Ｇd2=(Ｇ₂₂+Ｇ₄₄)/2を算出する。

無方向欠陥画素検出手段８５では、着目画素Ｇ₃₃に対して、垂直、水平、斜め方向に隣接する８画素Ｇ₁₃、Ｇ₅₃、Ｇ₃₁、Ｇ₃₅、Ｇ₂₂、Ｇ₂₄、Ｇ₄₂、Ｇ₄₄の平均値Ｇａ=(Ｇ₁₃+Ｇ₅₃＋Ｇ₃₁＋Ｇ₃₅＋Ｇ₂₂＋Ｇ₂₄＋Ｇ₄₂＋Ｇ₄₄)/８を算出する。

選択手段８６には、Ｇ用エッジ方向検出手段の出力信号Ｅｇ、ｆｇが入力される。ここで、Ｇ用エッジ方向信号Ｅｇには、「−１〜＋１」までの範囲の小数の値、または無相関を示す値2が設定されており、ｆｇには、0,1,2のいずれかの値が設定されている。

選択手段８６では、入力されるＧ用エッジ信号Ｅｇの値に応じて、垂直方向欠陥画素検出手段８１から無方向欠陥画素検出手段８５までの欠陥画素検出手段の出力のうち、１つないし２つを選択する。例えば、Ｅｇ=１の場合、エッジ方向は0°、すなわち完全水平方向なので、水平方向欠陥画素検出手段８２の出力を選択する。

また、Ｅｇ＝0.3で、かつfg=2の場合には、エッジ方向は垂直方向と、斜め135°方向の間の角度であるので、垂直方向欠陥画素検出手段８１と斜め135°方向欠陥画素検出手段８４の２種類の出力信号を選択する。また、Ｅｇ＝２の場合には、着目画素と周辺画素との相関がなく、エッジ方向なしと判定されるので、無方向欠陥画素検出手段８５の出力を選択する。

ここで、２種類の欠陥画素検出手段の出力が選択された場合には、エッジ方向信号Ｅｇをパラメータとして、２種類の欠陥画素検出手段の出力信号を加重平均して出力し、１種類の欠陥画素検出手段の出力が選択された場合には、欠陥画素検出手段の出力をそのまま出力する。例えば、Ｅｇ＝0.3、ｆｇ＝２の場合には、式（９）のようになる。
Ｇdet= Gv*Eg + (1-Eg)*Gd2 ・・・（９）

比較手段８７には、選択手段８６から出力される欠陥画素検出信号Ｇdetと、着目画素Ｇ₃₃の値が入力され、両者の差分の絶対値｜Ｇdet−Ｇ₃₃｜が、第１の閾値Ｔｈ１よりも大きい場合には、白点欠陥画素であると判定し、第２の閾値Ｔｈ２よりも小さい場合には、黒点欠陥画素であると判定し、いずれも、Ｇdetの値で着目画素Ｇ₃₃の値を置き換えることにより、欠陥画素を補正する。

一方、｜Ｇdet−Ｇ₃₃｜が、第１の閾値Ｔｈ１よりも小さく、かつ第２の閾値Ｔｈ２よりも大きい場合には、着目画素は欠陥画素でないとみなし、Ｇ₃₃の値をそのまま出力する。

以上の動作により、着目画素にＧ色の色フィルタが配置されている場合の欠陥画素の検出・及び補正処理を行うことができる。

次に、着目画素の色フィルタがＲまたはＢである場合の欠陥画素検出・補正について、図９及び図７を参照しながら、Ｒの場合を例に説明する。
図９は、着目画素の色フィルタがＲである場合の、Ｒ用エッジ方向適応欠陥画素検出・補正処理手段の構成例である。

図９において、９１は垂直方向欠陥画素検出手段、９２は水平方向欠陥画素検出手段、９３は無方向欠陥画素検出手段、９４は選択手段、９５は比較手段である。
Ｒ信号入力端子からは、ＲＧＢ色分離処理によって、ＧとＢの画素の値が０で置き換えられ、Ｒの画素値のみを持つ、図７に示すような局所領域の画像信号が入力される。この図７において、Ｒ₃₃が、欠陥画素検出・補正の対象となる着目画素である。

垂直方向欠陥画素検出手段９１では、着目画素Ｒ₃₃に対して、垂直方向に隣接する画素Ｒ₁₃、Ｒ₅₃の平均値Ｒｖ=(Ｒ₁₃+Ｒ₅₃)/2を算出する。
水平方向欠陥画素検出手段９２では、着目画素Ｒ₃₃に対して、水平方向に隣接する画素Ｒ₃₁、Ｒ₃₅の平均値Ｒｈ=(Ｒ₃₁+Ｒ₃₅)/2を算出する。
無方向欠陥画素検出手段９３では、着目画素Ｒ₃₃に対して、垂直、水平、斜め方向に隣接する８画素Ｒ₁₁、Ｒ₁₃、Ｒ₁₅、Ｒ₃₁、Ｒ₃₅、Ｒ₅₁、Ｒ₅₃、Ｒ₅₅の平均値Ｇａ=(Ｒ₁₁+Ｒ₁₃＋Ｒ₁₅＋Ｒ₃₁＋Ｒ₃₅＋Ｒ₅₁＋Ｒ₅₃＋Ｒ₅₅)/８を算出する。

選択手段９４には、Ｒ用エッジ方向検出手段の出力信号Ｅｒが入力される。Ｒ用エッジ方向信号Ｅｒには、「−１〜＋１」までの範囲の小数の値が設定されている。選択手段９４では、入力されるＲ用エッジ信号Ｅｒの値に応じて、垂直方向欠陥画素検出手段９１〜無方向欠陥画素検出手段９３までの欠陥画素検出手段の出力のうち、１つないし２つを選択する。

例えば、Ｅｒ=１の場合、エッジ方向は0°すなわち完全水平方向なので、水平方向欠陥画素検出手段９２の出力を選択し、Ｅｒ=−1の場合はエッジ方向は90°、すなわち完全垂直方向なので、水平方向欠陥画素検出手段９１の出力を選択する。

また、本実施の形態では、RまたはB用のエッジ方向適応欠陥画素検出・補正処理手段では、Ｅｒ=0のときに、エッジの方向が、斜め45°方向であるか、斜め135°方向であるかを区別しない。

これは、原色ベイヤー配列の場合、Ｒ及びＢのフィルタの配置された画素は、斜め方向の画素間隔が広く、画素間の相関が低いことを考慮し、エッジ方向が斜め４５度または斜め135度である場合には、いずれも、着目画素周辺の８画素分の平均値を出力する無方向欠陥画素検出手段８５の出力を選択する方が妥当と考えられるからである。

また、1>Ｅｒ>0、または-1<Er < 0である場合には、垂直方向欠陥画素検出手段９１と水平方向欠陥画素検出手段９２の２種類の出力信号を選択し、エッジ方向信号Ｅｒをパラメータとして、２種類の欠陥画素検出手段９１，９２の出力信号を加重平均して出力する。

比較手段９５には、選択手段９４から出力される欠陥画素検出信号Ｒdetと、着目画素Ｒ₃₃の値が入力され、両者の差分値の絶対値｜Ｒdet−Ｒ₃₃｜が、第１の閾値Ｔｈ１よりも大きい場合には、白点欠陥画素であると判定し、第２の閾値Ｔｈ２よりも小さい場合には、黒点欠陥画素であると判定し、いずれも、Ｒdetの値で着目画素Ｒ₃₃の値を置き換えることにより、欠陥画素を補正する。

一方、｜Ｒdet−Ｒ₃₃｜が、第１の閾値Ｔｈ１よりも小さく、かつ第２の閾値Ｔｈ２よりも大きい場合には、着目画素は欠陥画素でないとみなし、着目画素Ｒ₃₃の値をそのまま出力する。

以上の動作により、着目画素にＲ色の色フィルタが配置されている場合の欠陥画素の検出・及び補正処理を行うことができる。尚、着目画素にＢ色の色フィルタが配置されている場合も、同様の方法で欠陥画素の検出及び補正を行うことができるので、説明を割愛する。

以上の動作を行うことにより、本実施の形態の欠陥画素補正装置においては、被写体のエッジ方向に沿った欠陥画素補正を、安定的にかつ良好に実行することができる。さらに、複数色の色フィルタが配列された撮像素子において、色フィルタの色によって、空間サンプリング構造が異なることによる色フィルタごとのばらつきを受けずにエッジの方向を判定できるようにした（一色の信号を使ってエッジ方向を検出している）ので、エッジ方向に適した欠陥画素の検出及び補正を行うことができる構成となっている。上記のような構成にすることにより、サンプリング構造の違いにより、色フィルタのうち、画像信号に含まれる高域成分を抽出できるものと、低域成分しか抽出できないものがある場合に、境界の抽出及び大小比較において、色フィルタごとにばらつきが生じるという問題を解決することができる。

（第２の実施の形態）
図１１は、本発明を補色配列フィールド蓄積の単板撮像素子に適用した第２の実施の形態を示し、欠陥画素補正装置の概略構成を示すブロック図である。
図１１において、１４１は図示しない撮像素子からの欠陥画素補正前の画像信号入力端子であり、１４３は入力される画像信号に対して、画素ごとに重畳されている色キャリア成分を除去する色キャリア除去処理手段であり、１４４は色キャリアを除去して生成された輝度成分から、着目画素におけるエッジの方向を検出するエッジ方向検出処理手段である。

１４５はエッジ方向検出処理手段１４４で算出されるエッジ方向信号Epに沿って、色キャリア除去前の画像信号から欠陥画素を検出、補正するエッジ方向適応欠陥画素検出・補正処理手段であり、欠陥画素補正後画像出力端子１４６から欠陥画素補正後の画像を出力する。

本実施の形態では、補色配列の単板撮像素子の一例として、イエロー（Ye）、シアン（Cy）、マゼンダ（Mg）、グリーン（G）の各色の色フィルタが、図12に示すように配置されたものを用いる例を示している。

図１２に示すように、フィールド蓄積の場合、奇数フィールドでは、垂直方向奇数番目の画素と偶数番目の画素を加算して順次読み出し、偶数フィールドでは、偶数番目の画素と奇数番目の画素の信号を加算して画像信号を読み出す。

すなわち、Wb=Mg＋Cy、Wr=Ye+Mg、Gb=Cy+G、Gr=Ye+Gとおくと、奇数フィールドでは、図13(a)のように、Wr、Gb、Wｒ、Gb・・・という画素の並びと、Wb、Gr、Wb、Gr・・・・という画素の並びが、１ラインごと交互に読み出され、偶数フィールドでは、図13(b)のように、Wb、Gr、Wb、Gr・・・・という画素の並びと、Wr、Gb、Wｒ、Gb・・・という画素の並びが１ラインごと交互に読み出される。

ここで、WrとGbが１画素おきに交互に読み出されるラインの信号をSoとし、WbとGrが１画素おきに交互に読み出されるラインの信号をSeとすると、フーリエ級数によりSo、Seは以下のように表される。
So＝Wr + Gb + {( Wr - Gb)*sin2πfst} /2
＝（2R + 3G + 2B）＋ {( 2R - G )*sin2πfst}/2 ・・・（10）
Se＝Wb + Gr + {( Wb - Gr)*sin2πfst} /2
＝（2R + 3G + 2B）＋ {( 2B - G )*sin2πfst}/2 ・・・（11）
（fs：キャリア周波数）

前記式（10）、（11）に示すように、いずれの読み出しラインの信号も、ベースバンドの輝度成分Y＝２R+3G+2Bに、色キャリア成分Cr＝{( 2R - G )*sin2πfst}/2 またはCb＝{( 2B - G )*sin2πfst}/2が重畳されている。

色キャリア除去処理手段１４３では、これらの信号に対し、所定の帯域のLPFをかけることにより、重畳されている色キャリア成分を除去する。色キャリアを除去した後の画像は、図１４に示すように輝度成分のみとなる。

輝度変化の大きいところがエッジ信号であるから、本実施の形態では、後述する欠陥画素検出・補正処理を制御するためのエッジ信号を、色キャリアを除去した画像信号から生成する。

次に、エッジ方向検出処理について説明する。
図１４は、色キャリア除去後の画像における、エッジ方向検出領域を示し、Y₃₃が欠陥画素検出・補正の対象となる着目画素である。着目画素位置におけるエッジ方向を検出するために、まず、着目画素を含む垂直方向の画素列、Y₁₃、Y₂₃、Y₃₃、Y₄₃、Y₅₃を用いて、例えば、以下の式１２で表される演算を行い、エッジの垂直方向成分Ｖdiff＿Yを求める。

Ｖdiff＿Y= |Y₁₃ + Y₅₃ - 2*Y₃₃| + |Y₂₃- Y₄₃| ・・・（１２）
同様に、着目画素を含む水平方向の画素列、Y₃₁、Y₃₂、Y₃₃、Y₃₄、Y₃₅を用いて、例えば、式１３で表される演算を行い、エッジの水平方向成分Ｈdiff＿Yを求める。
Ｈdiff＿Y = |Y₃₁ + Y₃₅ - 2*Y₃₃| + | Y₃₂- Y₃₄| ・・・（１３）

第１の実施の形態のエッジ方向信号検出の場合と同様に、Ｖdiff＿YとＨdiff＿Yの割合から、着目画素におけるエッジの方向を推測し、エッジの方向を示すパラメータEpを出力する。水平方向とエッジの方向とのなす角をθとおくと、エッジ方向を示すエッジ方向信号Epとθとの関係は、図１５のようになる。

次に、エッジ方向に沿った欠陥画素の検出及び補正方法について説明する。入力画像信号において、着目画素を中心とした同じ色成分の画素の分布は、着目画素の色成分Wb、Wr
、Gb、Grによらず、同一であり、図１７のようになる。

図１７において、着目画素はP₃₃であり、着目画素と着目画素周辺の８画素、P₁₁、P₁₃、P₁₅、P₃₁、P₃₅、P₅₁、P₅₃、P₅₅を用いて、欠陥画素の検出及び補正を行う。また、図１７において、×印のついた画素は、着目画素と異なる色成分の信号を示している。

図１６は、エッジ方向適応欠陥画素検出・補正処理手段の構成例である。図１６において、１６１は垂直方向欠陥画素検出手段、１６２は水平方向欠陥画素検出手段、１６３は無方向欠陥画素検出手段、１６４は選択手段、１６５は比較手段である。

垂直方向欠陥画素検出手段１６１では、図１７の着目画素P₃₃に対して、垂直方向に隣接する同じ色成分の画素P₁₃、P₅₃の平均値Pｖ=(P₁₃+ P₅₃)/2を算出する。
水平方向欠陥画素検出手段１６２では、着目画素P₃₃に対して、水平方向に隣接する同じ色成分の画素P₃₁、P₃₅の平均値Pｈ=(P₃₁+P₃₅)/2を算出する。
無方向欠陥画素検出手段１６３では、着目画素P₃₃に対して、垂直、水平、斜め方向に隣接する８画素P₁₁、P₁₃、P₁₅、P₃₁、P₃₅、P₅₁、P₅₃、P₅₅の平均値Pa=(P₁₁+P₁₃＋P₁₅＋P₃₁＋P₃₅＋P₅₁＋P₅₃＋P₅₅)/８を算出する。

選択手段１６４では、エッジ方向検出手段の出力信号Epに応じて、欠陥画素検出手段の出力のうち、１つないし２つを選択する。エッジ方向信号Ｅpには、「−１〜＋１」までの範囲の小数の値が設定されており、例えば、Ｅp=1の場合、エッジ方向は0°、すなわち完全水平方向なので、水平方向欠陥画素検出手段１６２の出力を選択し、Ｅp=-1の場合、エッジ方向は90°、すなわち完全垂直方向なので、垂直方向欠陥画素検出手段１６１の出力を選択する。

また、図１７に示すように、補色配列の単板撮像素子では、斜め方向の同色成分の画素間隔が広く、欠陥画素の検出・補正に用いる参照画素の相関が低くなるので、エッジ方向信号Ｅpが斜め方向を示す場合（Ep=0）には、周辺８画素の平均をとる無方向欠陥画素検出手段１６３の出力を選択する。

また、1>Ｅｐ>0、または-1<Eｐ < 0である場合には、垂直方向欠陥画素検出手段１６１と水平方向欠陥画素検出手段１６２の２種類の出力信号を選択し、エッジ方向信号Ｅpをパラメータとして、２種類の欠陥画素検出手段の出力信号を加重平均して出力する。

比較手段１６５には、選択手段１６４から出力される欠陥画素検出信号Pdetと、着目画素P₃₃の値が入力され、両者の差分値の絶対値｜Pdet−P₃₃｜が、第１の閾値Ｔｈ１よりも大きい場合には、白点欠陥画素であると判定し、第２の閾値Ｔｈ２よりも小さい場合には、黒点欠陥画素であると判定し、いずれも、Pdetの値で着目画素P₃₃の値を置き換えることにより、欠陥画素を補正する。

一方、｜Pdet−Ｒ₃₃｜が、第１の閾値Ｔｈ１よりも小さく、かつ、第２の閾値Ｔｈ２よりも大きい場合には、着目画素は欠陥画素でないとみなし、P₃₃の値をそのまま出力する。

以上の動作により、補色配列の単板撮像素子を用いた本実施の形態において、被写体のエッジ方向に沿った欠陥画素補正を、安定かつ良好に実行することができる。

さらに、複数色の色フィルタが配列された撮像素子において、色フィルタの色によって、空間サンプリング構造が異なることによる色フィルタごとのばらつきを受けずにエッジの方向を判定できるように、色キャリアを除去した信号（輝度成分）を使ってエッジ方向
を検出しているので、エッジ方向に適した欠陥画素の検出及び補正を行うことができる構成となっている。上記のような構成にすることにより、サンプリング構造の違いにより、色フィルタのうち、画像信号に含まれる高域成分を抽出できるものと、低域成分しか抽出できないものがある場合に、境界の抽出及び大小比較において、色フィルタごとにばらつきが生じるという問題を解決することができる。

（本発明の他の実施形態）
前述した実施形態の機能を実現するべく各種のデバイスを動作させるように、前記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記録する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれる。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれる。

次に、図１８に基づいて、上記で説明した本発明の実施形態で説明した撮像素子（撮像装置）を用いた撮像システムについて説明する。
図１８において、１はレンズのプロテクトとメインスイッチを兼ねるバリア、２は被写体の光学像を撮像素子４に結像させるレンズ、３はレンズ２を通った光量を可変するための絞り、４はレンズ２で結像された被写体を画像信号として取り込むための撮像素子、５は撮像素子４より出力される画像信号のアナログーディジタル変換を行うＡ／Ｄ変換器、６はＡ／Ｄ変換器５より出力された画像データに各種の補正を行ったりデータを圧縮したりする信号処理部（本実施の形態の欠陥画素補正装置の動作は、全体制御部の制御により信号処理部で実施される）、７は各種演算とスチルビデオカメラ全体を制御する全体制御・演算部、１０は画像データを一時的に記憶する為のメモリ部、８は記録媒体に記録または読み出しを行うためのインターフェース部、９は画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体である。

次に、前述の構成における撮影時のスチルビデオカメラの動作について説明する。
バリア１がオープンされるとメイン電源がオンされ、次にコントロール系の電源がオンし、更にＡ／Ｄ変換器５などの撮像系回路の電源がオンされる。それから、露光量を制御する為に、全体制御・演算部７は絞り３を開放にし、撮像素子４から出力された信号はＡ／Ｄ変換器５で変換された後、信号処理部６に入力される。そのデータを基に露出の演算
を全体制御・演算部７で行う。この測光を行った結果により明るさを判断し、その結果に応じて全体制御・演算部７は絞りを制御する。

次に、撮像素子４から出力された信号をもとに、高周波成分を取り出し被写体までの距離の演算を全体制御・演算部７で行う。その後、レンズを駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズを駆動し測距を行う。

そして、合焦が確認された後に本露光が始まる。露光が終了すると、撮像素子４から出力された画像信号はＡ／Ｄ変換器５でＡ／Ｄ変換され、信号処理部６を通り全体制御・演算部７によりメモリ部に書き込まれる。その後、メモリ部１０に蓄積されたデータは、全体制御・演算部７の制御により記録媒体制御Ｉ／Ｆ部を通り半導体メモリ等の着脱可能な記録媒体に記録される。

本発明の第１の実施の形態の概略構成を示すブロック図である。 原色ベイヤー配列撮像素子の色フィルタ配置を示す図である。 着目画素にＧフィルタが配置されている場合の、エッジ方向検出処理領域でのＧ画素の分布図である。 エッジ方向信号の閾値制御を示す図である。 エッジ方向信号Eg、象現判定フラグｆｇとエッジの方向を示す角度θとの関係を示す図である。 着目画素にＲまたはＢフィルタが配置されている場合の、エッジ方向検出処理領域でのＧ画素の分布図である。 着目画素にＲフィルタが配置されている場合の、着目画素近傍のR画素の分布図である。 着目画素の色フィルタがＧである場合の、Ｇ用エッジ方向適応欠陥画素検出・補正処理手段を示すブロック図である。 着目画素の色フィルタがＲである場合の、Ｒ用エッジ方向適応欠陥画素検出・補正処理手段を示すブロック図である。 Ｒまたは、Ｂフィルタが配置された着目画素におけるエッジ方向信号Eｒと、エッジの方向を示す角度θとの関係を示す図である。 本発明の第２の実施の形態の概略構成を示すブロック図である。 補色配列単板撮像素子の色フィルタ配置を示す図である。 補色配列単板撮像素子から、加算読み出しを行った場合の色信号の分布を示す図である。 補色配列単板撮像素子から、加算読み出しを行った後、色キャリアを除去した信号の分布を示す図である。 第２の実施の形態において、エッジ方向信号Epとエッジの方向θとの関係を示す図である。 第２の実施の形態における、エッジ方向適応欠陥画素検出・補正処理手段を示すブロック図である。 補色配列撮像素子において、着目画素近傍における、着目画素と同色の色成分の画素分布を示す図である。 本発明の実施形態における撮像装置のシステム構成例を示すブロック図である。

符号の説明

１１ 画像信号入力端子
１２ ＲＧＢ色分離処理手段
１３ Ｇ用エッジ方向検出処理手段
１４ Ｒ／Ｂ用エッジ方向検出処理手段
１５ 選択手段
１６ エッジ方向適応Ｇ欠陥画素検出・補正処理手段
１７ エッジ方向適応Ｒ欠陥画素検出・補正処理手段
１８ エッジ方向適応Ｂ欠陥画素検出・補正処理手段
１９ 着目画素位置情報入力端子
Tg 原色ベイヤー配列ＣＣＤにおけるＧ画素の垂直・水平方向のサンプリング間隔
Trb 原色ベイヤー配列ＣＣＤにおけるＲ／Ｂ画素の垂直・水平方向のサンプリング間隔
Ｖdiff＿G、Ｖdiff＿R 着目画素における垂直方向相関値
Ｈdiff＿G、Ｈdiff＿R 着目画素における水平方向相関値
D1diff＿G 着目画素における斜め45°方向の相関値
D2diff＿G 着目画素における斜め135°方向の相関値
Eg、Er、Eb、Ep エッジ方向信号
θ 水平方向とエッジ方向のなす角
fg エッジ方向の象現判定フラグ
８１ 垂直方向欠陥画素検出手段
８２ 水平方向欠陥画素検出手段
８３ 斜め45°方向欠陥画素検出手段
８４ 斜め135°方向欠陥画素検出手段
８５ 無方向欠陥画素検出手段
８７ 比較手段
１４３ 色キャリア除去処理手段
１４４ エッジ方向検出処理手段
１４５ エッジ方向適応欠陥画素検出・補正処理手段

Claims (10)

1. 複数の画素を備えた撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出手段と、
   前記エッジ方向検出手段によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出手段と、
   前記検出手段で検出された前記欠陥画素の補正を行う補正手段とを有することを特徴とする欠陥画素補正装置。
2. 請求項１に記載の欠陥画素補正装置であって、
   前記撮像素子には、複数色の色フィルタが画素単位で配置されており、前記エッジ方向検出手段は、前記色フィルタが配置された画素のうち、一色の色フィルタの配置された画素の信号を用いて、複数色の色フィルタが配置された画素におけるエッジ方向を検出することを特徴とする欠陥画素補正装置。
3. 請求項２に記載の欠陥画素補正装置であって、
   前記撮像素子の色フィルタは原色ベイヤー配列であり、前記一色の色フィルタの配置された画素の信号とは、緑色信号であることを特徴とする欠陥画素補正装置。
4. 請求項３に記載の欠陥画素補正装置であって、
   前記エッジ方向検出手段は、緑色信号を使って前記エッジ方向を検出する際に、着目画素に配置されている色フィルタが、緑色の場合と、赤色もしくは青色の場合とで、前記エッジ方向検出の処理を変更することを特徴とする欠陥画素補正装置。
5. 請求項１に記載の欠陥画素補正装置であって、
   前記撮像素子には、複数色の色フィルタが画素単位で配列されており、前記エッジ方向検出手段は、各画素において色キャリアを除去した信号を用いて前記エッジ方向を検出することを特徴とする欠陥画素補正装置。
6. 請求項５に記載の欠陥画素補正装置であって、
   前記撮像素子の色フィルタは、補色配列または原色ベイヤー配列であることを特徴とする欠陥画素補正装置。
7. 請求項１乃至６のいずれか１項に記載の欠陥画素補正装置であって、
   前記撮像素子に像を結像するレンズと、
   前記撮像素子からの信号をA/D変換するA/D変換器と、
   前記A/D変換器から出力された信号に、カメラ信号処理を行う信号処理部とを有することを特徴とする欠陥画素補正装置。
8. 複数の画素を備えた撮像素子から得られる画像データにおける欠陥画素を補正する欠陥画素補正処理方法であって、
   複数の画素を備えた撮像素子から得られる画像データを基に、エッジ方向を検出するエッジ方向検出工程と、
   前記エッジ方向検出工程によって検出されたエッジ方向に基づいて、前記撮像素子に含まれる欠陥画素を検出する検出工程と、
   前記検出工程で検出された前記欠陥画素の補正を行う補正工程とを有することを特徴とする欠陥画素補正処理方法。
9. 請求項８に記載の欠陥画素補正処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images