JP2008278324A - 固体撮像素子の欠陥画素補正装置、固体撮像素子の欠陥画素補正方法、制御プログラム、可読記録媒体、撮像装置および電子情報機器 - Google Patents

Abstract

【課題】固体撮像素子からの出力信号に対して動的な欠陥画素補正を行う場合に、ＲＧＢのそれぞれの画素について欠陥画素を補正し、エッジの誤補正を抑制する。
【解決手段】情報記憶部１１にて撮像素子の画素信号レベルを記憶し、斜めエッジ判定制御部１２にて、情報記憶部１１に記憶された撮像素子の画素信号レベルから、画素信号レベルの差分と閾値を比較して斜めエッジの有無を判定し、欠陥画素判定制御部１３にて、情報記憶部１１に記憶された撮像素子の出力信号レベルから、同色の画素信号レベルをソートし、ソートされた隣接画素信号レベルの差分と閾値を比較して欠陥画素の有無を判定し、欠陥画素補正制御部１４にて、斜めエッジ判定制御部の判定結果と欠陥画素判定制御部の判定結果とに応じて欠陥画素補正を行う。
【選択図】図１

Description

本発明は、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサなどの固体撮像素子に生じた欠陥によって、周囲画素よりも信号レベルが高い白傷信号または周囲画素よりも信号レベルが低い黒傷信号が出力される場合に、その白傷信号や黒傷信号による画像欠陥を補正するために用いられる固体撮像素子の欠陥画素補正装置、これを用いた固体撮像素子の欠陥画素補正方法、この欠陥画素補正方法の各ステップを実行するための制御プログラム、この制御プログラムが記録されたコンピュータ読み出し可能な可読記録媒体、この固体撮像素子の欠陥画素補正装置を用いたカメラユニットなどの撮像装置および、この撮像装置を画像入力デバイスとして用いた例えばデジタルムービーカメラおよびデジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの電子情報機器に関する。

従来のＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサなどの固体撮像素子は、製造過程やその後の運用によって画素毎に欠陥が生じ、周囲の画素に比べて異常なレベルの信号を出力する欠陥画素が現れることがある。このような欠陥画素としては、過度の暗電流が重畳されて周囲画素よりも信号レベルが大幅に高い白傷信号が出力される白傷欠陥画素と、光電変換用の受光部としてのフォトダイオードの光感度が低くなって周囲画素よりも信号レベルが大幅に低い黒傷信号が出力される黒傷欠陥画素とがある。

このような欠陥画素を補正する方法として、事前に欠陥画素の位置を検出してメモリにその欠陥画素位置を記憶しておき、運用時に正常な周囲画素の信号レベルから出力信号を置き換える方法、または運用時に動的に欠陥画素を検出して出力画素信号を置き換える方法などが知られている。

しかしながら、前者の欠陥画素の補正方法では、近年の固体撮像素子の画素数増大に伴って、欠陥画素位置を記憶するためのメモリ容量が増大し、多くのメモリを必要とするために撮像装置のコスト増大を招いている。

これを懸念して、最近では、後者の動的な欠陥画素の補正方法が主流となっている。例えば、特許文献１に開示されている従来の欠陥画素の補正方法には、Ｂａｙｅｒ（ベイヤー）画素配列において緑色（Ｇ）画素に着目し、赤色（Ｒ）画素を含むＲラインの緑色（Ｇｒ）画素と、青色（Ｂ）画素を含むＢラインの緑色（Ｇｂ）画素とで感度が異なる場合にどのＧ画素を用いて欠陥画素の補正をするのかを考慮するためのラインクロールの有無と、Ｇ画素の輝度レベルが斜め方向に所定値以上変化するかどうかの斜め方向エッジの有無とを判別して、ラインクロールの有無および斜め方向エッジの有無に応じて、注目画素に近い斜め方向画素を平均化して欠陥画素を補正する方法が開示されている。
特開２００６−３０４２３１号公報

しかしながら、上記従来技術には、以下のような問題がある。

上記特許文献１に開示されている従来の欠陥画素の補正方法では、最も感度のよいＧ画素のみが補正対象となっている。ところが、実際の画像処理では、シェーディング補正、ガンマ補正やホワイトバランス制御などといった各種信号処理が行われる段階で、様々なゲインが画素信号に乗算されるため、赤色（Ｒ）画素および青色（Ｂ）画素に画素欠陥があるとゲインが上がったときにその画素欠陥が表示画面上で見える結果となる。よって、表示品位が低下する。したがって、三原色のＲＧＢそれぞれの画素について欠陥画素を予め補正することが必要となる。しかも、上記特許文献１に開示されている従来の欠陥画素の補正方法では、水平／垂直方向のエッジについても考慮されていないため、そのような水平／垂直エッジが存在する場合に、欠陥画素の誤判定が生じると共に、その欠陥画素の補正により平均化されてそのエッジが消えてしまうという虞がある。

本発明は、上記従来の問題を解決するもので、動的な欠陥画素補正を行う場合に、ＲＧＢのそれぞれの画素について欠陥画素を補正し、エッジによる誤補正を抑制することができる固体撮像素子の画素欠陥補正装置および固体撮像素子の画素欠陥補正方法、この欠陥画素補正方法の各ステップを実行するための制御プログラム、この制御プログラムが記録されたコンピュータ読み出し可能な可読記録媒体、この固体撮像素子の欠陥画素補正装置を用いたカメラユニットなどの撮像装置および、この撮像装置を画像入力デバイスとして用いた電子情報機器を提供することを目的とする。

本発明の固体撮像素子の画素欠陥補正装置は、撮像素子からの画素信号レベルを記憶する情報記憶部と、該情報記憶部に記憶された画素信号レベルから、比較対象となる画素信号レベルの差分値と所定閾値とを比較して斜めエッジの有無を判定する斜めエッジ判定制御部と、該情報記憶部に記憶された画素信号レベルから、比較対象となる画素信号レベルの差分値と所定閾値とを比較して欠陥画素の有無を判定する欠陥画素判定制御部と、該情報記憶部に記憶された画素信号レベルに対して、該斜めエッジ判定制御部からの斜めエッジ判定信号と、該欠陥画素判定制御部からの欠陥画素判定信号とに応じて、欠陥画素の補正を行う欠陥画素補正制御部とを有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における情報記憶部は、複数画素×複数ラインの画素信号レベルを記憶する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における情報記憶部は、４画素×４ラインの画素信号レベルを記憶する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における斜めエッジ判定制御部は、前記情報記憶部から複数画素×複数ラインの画素情報が読み出される画素情報読出手段と、読み出された画素情報から、所定の同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較手段と、該比較手段による比較結果から斜めエッジの有無を判定する判定手段とを有する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における斜めエッジ判定制御部は、前記情報記憶部から複数画素×複数ラインの画素情報を読み出し、該複数画素×複数ラインにおける左上角部の画素が緑色画素Ｇである場合とそれ以外の赤色画素Ｒまたは青色画素Ｂである場合とで異なる画素位置の緑色画素Ｇを参照して斜めエッジの有無を判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における斜めエッジ判定制御部は、赤色画素ラインの緑色画素Ｇｒまたは青色画素ラインの緑色画素Ｇｂを用いて斜めエッジの有無を判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における斜めエッジ判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素Ｐ１１が赤色画素Ｒを含むラインの緑色画素Ｇｒまたは青色画素Ｂを含むラインの緑色画素Ｇｂである場合に、画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する緑色画素をＰ１２、画素Ｐ１１および画素Ｐ１２のラインの下に隣接する異色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ右下方向に位置する緑色画素をＰ４１およびＰ４２、画素Ｐ１１および画素Ｐ１２のラインから１ラインだけ離れた同色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する緑色画素をＰ１３およびＰ１４、画素Ｐ１１および画素Ｐ１２のラインから２ラインだけ離れた異色ラインで画素Ｐ４１および画素Ｐ４２に対してそれぞれ下方向に位置する緑色画素をＰ４３およびＰ４４とし、斜めエッジの判定閾値をＴｈ１として、下記（式１−１）〜（式１−４）の条件が一つでも成立するときに、斜めエッジ有りと判定し、それ以外のときには斜めエッジ無しと判定する。

（（Ｐ１１−Ｐ１４）＞Ｔｈ１）かつ（（Ｐ４１−Ｐ４４）＞Ｔｈ１）かつ（（Ｐ１１−Ｐ４４）＞ Ｔｈ１）かつ（（Ｐ４１−Ｐ１４）＞ Ｔｈ１）・・・（式１−１）
（（Ｐ１４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ４１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ１４−Ｐ４１）＞Ｔｈ１）・・・（式１−２）
（（Ｐ１２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ４３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ１２−Ｐ４３）＞Ｔｈ１）・・・（式１−３）
（（Ｐ１３−Ｐ１２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ４２）＞Ｔｈ１）かつ（（Ｐ１３−Ｐ４２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ１２）＞Ｔｈ１）・・・（式１−４）
さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における斜めエッジ判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素Ｐ１１が赤色画素Ｒを含むラインの緑色画素Ｇｒまたは青色画素Ｂを含むラインの緑色画素Ｇｂである場合に、画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する緑色画素をＰ１２、画素Ｐ１１および画素Ｐ１２のラインの下に隣接する異色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ右下方向に位置する緑色画素をＰ４１およびＰ４２、画素Ｐ１１および画素Ｐ１２のラインから１ラインだけ離れた同色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する緑色画素をＰ１３およびＰ１４、画素Ｐ１１および画素Ｐ１２のラインから２ラインだけ離れた異色ラインで画素Ｐ４１および画素Ｐ４２に対してそれぞれ下方向に位置する緑色画素をＰ４３およびＰ４４とし、斜めエッジの判定閾値をＴｈ１として、下記（式１−１’）〜（式１−４’）の条件が一つでも成立するときに、斜めエッジ有りと判定し、それ以外のときには斜めエッジ無しと判定する。

（（Ｐ１１−Ｐ１４）＞Ｔｈ１）かつ（（Ｐ４１−Ｐ４４）＞Ｔｈ１）かつ（（Ｐ１１−Ｐ４４）＞Ｔｈ１）・・・（式１−１’）
（（Ｐ１４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ４１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ１１）＞Ｔｈ１）・・・（式１−２’）
（（Ｐ１２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ４３）＞Ｔｈ１）・・・（式１−３’）
（（Ｐ１３−Ｐ１２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ４２）＞Ｔｈ１）・・・（式１−４’）
さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における斜めエッジ判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素Ｐ１１が緑色画素Ｇ以外の赤色画素Ｒまたは青色画素Ｂである場合に、画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する緑色画素をＰ２１およびＰ２２、画素Ｐ１１のラインの下に隣接する異色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ左下方向に位置する緑色画素をＰ３１およびＰ３２、画素Ｐ１１のラインから１ラインだけ離れた同色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ下方向に位置する緑色画素をＰ２３およびＰ２４、画素Ｐ１１のラインから２ラインだけ離れた異色ラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ下方向に位置する緑色画素をＰ３３およびＰ３４とし、斜めエッジの判定閾値をＴｈ１として、下記（式２−１）〜（式２−４）の条件が一つでも成立するときに、斜めエッジ有りと判定し、それ以外のときには斜めエッジ無しと判定する。

（（Ｐ３１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ２４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ３１−Ｐ２４）＞Ｔｈ１）・・・（式２−１）
（（Ｐ３４−Ｐ３１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ２１）＞Ｔｈ１）かつ（（Ｐ３４−Ｐ２１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ３１）＞Ｔｈ１）・・・（式２−２）
（（Ｐ２２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ３３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ２２−Ｐ３３）＞Ｔｈ１）・・・（式２−３）
（（Ｐ２３−Ｐ２２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ２３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ２２）＞Ｔｈ１）・・・（式２−４）
さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における斜めエッジ判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素Ｐ１１がＧ画素以外のＲ画素またはＢ画素である場合に、画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する緑色画素をＰ２１およびＰ２２、画素Ｐ１１のラインの下に隣接する異色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ左下方向に位置する緑色画素をＰ３１およびＰ３２、画素Ｐ１１のラインから１ラインだけ離れた同色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ下方向に位置する緑色画素をＰ２３およびＰ２４、画素Ｐ１１のラインから２ラインだけ離れた異色ラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ下方向に位置する緑色画素をＰ３３およびＰ３４とし、斜めエッジの判定閾値をＴｈ１として、下記（式２−１’）〜（式２−４’）の条件が一つでも成立するときに、斜めエッジ有りと判定し、それ以外のときには斜めエッジ無しと判定する。

（（Ｐ３１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ２４）＞Ｔｈ１）・・・（式２−１’）
（（Ｐ３４−Ｐ３１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ２１）＞Ｔｈ１）・・・（式２−２’）
（（Ｐ２２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ３３）＞Ｔｈ１）かつ（（Ｐ２２−Ｐ３３）＞Ｔｈ１）・・・（式２−３’）
（（Ｐ２３−Ｐ２２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ２２）＞Ｔｈ１）・・・（式２−４’）
さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素判定制御部は、前記情報記憶部に記憶された画素信号レベルから、同色の各画素信号レベルをソートし、ソートされた各画素信号レベルの各差分値と所定閾値とをそれぞれ比較して欠陥画素の有無を判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素判定制御部は、前記欠陥画素の有無を判定すると同時に、水平／垂直エッジの有無を判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素判定制御部は、前記情報記憶部から複数画素×複数ラインの画素情報が読み出される画素情報読出手段と、該画素情報を輝度信号レベル順にソート処理するソート処理手段と、ソート処理された隣接する二つの同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較手段と、該比較手段による比較結果から水平／垂直エッジ判定処理を行い、水平／垂直エッジではない場合に、欠陥判定処理の白傷欠陥判定処理および黒傷欠陥判定をそれぞれ行う判定手段とを有する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素判定制御部は、前記情報記憶部から複数画素×複数ラインの情報を読み出し、読み出された画素情報に含まれる赤色画素Ｒ、赤色画素Ｒを含むラインの緑色画素Ｇｒ、青色画素Ｂおよび青色画素Ｂを含むラインの緑色画素Ｇｂそれぞれの各画素グループに対して欠陥画素の有無をそれぞれ判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素をＰ１１、画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する同色画素をＰ１２、画素Ｐ１１および画素Ｐ１２のラインから１ラインだけ離れた同色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する同色画素をＰ１３およびＰ１４として、画素信号レベルの高い順にソートした結果を上位からＳ１１、Ｓ１２、Ｓ１３およびＳ１４とし、画素Ｐ１１および画素Ｐ１２と同じラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ右方向に位置する異色画素をＰ２１およびＰ２２、画素Ｐ２１および画素Ｐ２２のラインから１ラインだけ離れた同色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ下方向に位置する同色画素をＰ２３およびＰ２４として、画素信号レベルの高い順にソートした結果を上位からＳ２１、Ｓ２２、Ｓ２３およびＳ２４とし、画素Ｐ１１および画素Ｐ１２のラインの下に隣接する異色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する異色画素をＰ３１およびＰ３２、画素Ｐ３１および画素Ｐ３２のラインから１ラインだけ離れた同色ラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ下方向に位置する同色画素をＰ３３およびＰ３４として、画素信号レベルの高い順にソートした結果を上位からＳ３１、Ｓ３２、Ｓ３３およびＳ３４とし、画素Ｐ３１および画素Ｐ３２と同じラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ右方向に位置する異色画素をＰ４１およびＰ４２、画素Ｐ４１および画素Ｐ４２のラインから１ラインだけ離れた同色ラインで画素Ｐ４１および画素Ｐ４２に対してそれぞれ下方向に位置する同色画素をＰ４３およびＰ４４として、画素信号レベルの高い順にソートした結果を上位からＳ４１、Ｓ４２、Ｓ４３およびＳ４４とし、ソート結果Ｓ１１〜Ｓ１４、Ｓ２１〜Ｓ２４、Ｓ３１〜Ｓ３４およびＳ４１〜Ｓ４４のそれぞれに対して、白傷欠陥および黒傷欠陥を判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素判定制御部は、白傷閾値Ｔｈ２〜Ｔｈ４として、前記ソート結果Ｓｍ１〜Ｓｍ４（ｍは１、２、３または４）に対して、下記（式３−１）〜（式３−３）の条件が全て成立するときに画素Ｓｍ１を白傷欠陥画素として判定し、下記（式３−１）〜（式３−３）の条件が一つでも成立しないときには画素Ｐｍｎ（ｎは１、２、３または４）に白傷欠陥画素無しと判定する。

（Ｓｍ１−Ｓｍ２）＞＝Ｔｈ２・・・（式３−１）
（Ｓｍ２−Ｓｍ３）＜＝Ｔｈ３・・・（式３−２）
（Ｓｍ３−Ｓｍ４）＜＝Ｔｈ４・・・（式３−３）
さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素判定制御部は、（Ｓｍ１−Ｓｍ２）がＴｈ８以下の場合に、水平／垂直方向エッジ有りと判定し、その以外の場合に水平／垂直方向エッジ無しと判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素判定制御部は、黒傷閾値Ｔｈ５〜Ｔｈ７として、前記ソート結果Ｓｍ１〜Ｓｍ４（ｍは１、２、３または４）に対して、下記（式４−１）〜（式４−３）の条件が全て成立するときに画素Ｓｍ１を黒傷欠陥画素として判定し、下記（式４−１）〜（式４−３）の条件が一つでも成立しないときには画素Ｐｍｎ（ｎは１、２、３または４）に黒傷欠陥画素無しと判定する。

（Ｓｍ１−Ｓｍ２）＜＝Ｔｈ５・・・（式４−１）
（Ｓｍ２−Ｓｍ３）＞＝Ｔｈ６・・・（式４−２）
（Ｓｍ３−Ｓｍ４）＞＝Ｔｈ７・・・（式４−３）
さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素補正制御部は、前記斜めエッジがなく、前記欠陥画素がある場合に、該欠陥画素の補正が行われる。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素補正制御部は、前記斜めエッジおよび前記水平／垂直エッジがなく、前記欠陥画素がある場合に、該欠陥画素の補正が行われる。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素補正制御部は、前記情報記憶部から複数画素×複数ラインの画素情報を読み出し、前記斜めエッジ判定制御部により斜めエッジ有りと判定されている場合、および該斜めエッジ判定制御部により斜めエッジ無しと判定され、前記欠陥画素判定制御部により欠陥画素無しと判定されている場合には欠陥画素補正を行わずに読み出された画素信号レベルをそのまま出力し、該斜めエッジ判定制御部により斜めエッジ無しと判定され、該欠陥画素判定制御部により欠陥画素有りと判定されている場合には欠陥画素の信号レベルを同色近傍２画素における画素信号レベルの加算平均値に置き換えて出力する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素補正制御部は、前記情報記憶部から複数画素×複数ラインの画素情報を読み出し、前記斜めエッジ判定制御部により斜めエッジ有りと判定されている場合、および該斜めエッジ判定制御部により斜めエッジ無しと判定され、前記欠陥画素判定制御部により水平／垂直エッジ有りまたは欠陥画素無しと判定されている場合には欠陥画素補正を行わずに読み出された画素信号レベルをそのまま出力し、該斜めエッジ判定制御部により斜めエッジ無しと判定され、該欠陥画素判定制御部により水平／垂直エッジ無しで欠陥画素有りと判定されている場合には欠陥画素の画素信号レベルを同色近傍２画素における画素信号レベルの加算平均値に置き換えて出力する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正装置における欠陥画素補正制御部は、前記複数画素×複数ラインが４画素×４ラインの場合、該４画素×４ラインにおける左上角部の画素をＰ１１、画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する同色画素をＰ１２、画素Ｐ１１および画素Ｐ１２のラインから１ラインだけ離れた同色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する同色画素をＰ１３およびＰ１４として、画素信号レベルの高い順にソートした結果を上位からＳ１１、Ｓ１２、Ｓ１３およびＳ１４とし、
画素Ｐ１１および画素Ｐ１２と同じラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ右方向に位置する異色画素をＰ２１およびＰ２２、画素Ｐ２１および画素Ｐ２２のラインから１ラインだけ離れた同色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ下方向に位置する同色画素をＰ２３およびＰ２４として、画素信号レベルの高い順にソートした結果を上位からＳ２１、Ｓ２２、Ｓ２３およびＳ２４とし、
画素Ｐ１１および画素Ｐ１２のラインの下に隣接する異色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する異色画素をＰ３１およびＰ３２、画素Ｐ３１および画素Ｐ３２のラインから１ラインだけ離れた同色ラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ下方向に位置する同色画素をＰ３３およびＰ３４として、画素信号レベルの高い順にソートした結果を上位からＳ３１、Ｓ３２、Ｓ３３およびＳ３４とし、
画素Ｐ３１および画素Ｐ３２と同じラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ右方向に位置する異色画素をＰ４１およびＰ４２、画素Ｐ４１および画素Ｐ４２のラインから１ラインだけ離れた同色ラインで画素Ｐ４１および画素Ｐ４２に対してそれぞれ下方向に位置する同色画素をＰ４３およびＰ４４として、画素信号レベルの高い順にソートした結果を上位からＳ４１、Ｓ４２、Ｓ４３およびＳ４４とし、
欠陥画素Ｓｍ１がＰｍ１である場合にはＰｍ１＝（Ｐｍ２＋Ｐｍ３）／２、
欠陥画素Ｓｍ１がＰｍ２である場合にはＰｍ２＝（Ｐｍ１＋Ｐｍ４）／２、
欠陥画素Ｓｍ１がＰｍ３である場合にはＰｍ３＝（Ｐｍ１＋Ｐｍ４）／２、
欠陥画素Ｓｍ１がＰｍ４である場合にはＰｍ４＝（Ｐｍ２＋Ｐｍ３）／２として出力する。

本発明の撮像装置は、本発明の上記固体撮像素子の欠陥画素補正装置と、該欠陥画素補正装置の欠陥画素補正制御部からの出力画素信号レベルに対して信号処理を行う信号処理制御部とを有するものであり、そのことにより上記目的が達成される。

また、本発明の撮像装置における信号処理は、シェーディング補正、ガンマ補正およびホワイトバランス制御処理のゲインを乗算する処理である。

本発明の電子情報機器は、本発明の上記撮像装置を画像入力部に用いたものであり、そのことにより上記目的が達成される。

本発明の固体撮像素子の画素欠陥補正方法は、画素情報記憶制御手段が撮像素子からの画素信号レベルを情報記憶部に記憶させる情報記憶ステップと、該情報記憶部に記憶された画素信号レベルから、斜めエッジ判定制御部が比較対象となる画素信号レベルの差分値と所定閾値とを比較して斜めエッジの有無を判定する斜めエッジ判定ステップと、該情報記憶部に記憶された画素信号レベルから、欠陥画素判定制御部が比較対象となる画素信号レベルの差分値と所定閾値とを比較して欠陥画素の有無を判定する欠陥画素判定ステップと、該情報記憶部に記憶された画素信号レベルに対して、該斜めエッジ判定ステップによる斜めエッジ判定と、該欠陥画素判定ステップによる欠陥画素判定とに応じて、欠陥画素補正制御部が欠陥画素の補正を行う欠陥画素補正ステップとを有するものであり、そのことにより上記目的が達成される。

また、好ましくは、本発明の固体撮像素子の画素欠陥補正方法における斜めエッジ判定ステップは、前記情報記憶部から前記斜めエッジ判定制御部に複数画素×複数ラインの画素情報を読み出す画素情報読出ステップと、読み出された画素情報から、所定の同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較ステップと、該比較ステップの比較結果から斜めエッジの有無を判定する判定ステップとを有する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正方法における欠陥画素判定ステップは、前記情報記憶部に記憶された画素信号レベルから、同色の各画素信号レベルをソートし、ソートされた各画素信号レベルの各差分値と所定閾値とをそれぞれ比較して欠陥画素の有無を判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正方法における欠陥画素判定ステップは、前記欠陥画素の有無を判定すると同時に、水平／垂直エッジの有無を判定する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正方法における欠陥画素判定ステップは、前記情報記憶部から欠陥画素判定制御部に複数画素×複数ラインの画素情報が読み出される画素情報読出ステップと、画素情報を輝度信号レベル順にソート処理するソート処理ステップと、ソート処理された隣接する二つの同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較ステップと、該比較ステップによる比較結果から水平／垂直エッジ判定処理を行い、水平／垂直エッジではない場合に、欠陥判定処理の白傷欠陥判定処理および黒傷欠陥判定をそれぞれ行う判定ステップとを有する。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正方法における欠陥画素補正ステップは、前記斜めエッジがなく、前記欠陥画素がある場合に、該欠陥画素の補正を行う。

さらに、好ましくは、本発明の固体撮像素子の画素欠陥補正方法における欠陥画素補正ステップは、前記斜めエッジおよび前記水平／垂直エッジがなく、前記欠陥画素がある場合に、該欠陥画素の補正を行う。

本発明の制御プログラムは、本発明の上記固体撮像素子の欠陥画素補正方法の各ステップをコンピュータに実行させるためのものであり、そのことにより上記目的が達成される。
本発明の可読記録媒体は、本発明の上記制御プログラムが記録されたコンピュータ読み取り可能なものであり、そのことにより上記目的が達成される。

上記構成により、以下に、本発明の作用について説明する。

本発明にあっては、撮影素子の出力画素信号におけるＲＧＢ各色の欠陥画素を補正するために、情報記憶部により撮像素子の出力画素信号レベルが記憶される。斜めエッジ判定制御部では、情報記憶部に記憶された撮像素子の出力画素信号レベルから、比較対象となる画素信号レベルの差分と閾値（Ｔｈ１）とがそれぞれ比較されて斜めエッジの有無が判定される。欠陥画素判定制御部では、情報記憶部に記憶された撮像素子の出力信号レベルから、同色の画素信号レベルがソートされ、ソートされた画素信号レベルの差分と白傷判定閾値（Ｔｈ２〜Ｔｈ４）および黒傷判定閾値（Ｔｈ５〜Ｔｈ７）とが比較されて欠陥画素の有無が判定される。欠陥画素補正制御部では、情報記憶部に記憶された撮像素子の出力画素信号レベルに対して、斜めエッジ判定制御部による判定結果と、欠陥画素判定制御部による水平／垂直エッジ判定結果および欠陥画素判定結果に応じて、欠陥画素の補正が行われる。即ち、斜めエッジおよび水平／垂直エッジがなく、欠陥画素がある場合に、欠陥画素の補正が行われる。

したがって、動的な欠陥画素補正を行う場合に、ＲＧＢのそれぞれの画素について欠陥画素を補正し、エッジによる誤補正を抑制することが可能となる。これによって、ＲＧＢのそれぞれの画素について、エッジを誤補正することなく、画素欠陥が表示画面上で見えることもなく、欠陥画素を補正することにより画像欠陥を抑制できて表示品位を向上させることが可能となる。

以上により、本発明によれば、動的な欠陥画素補正を行うことにより、事前に欠陥画素の位置を検出してメモリに記憶しておき、運用時に正常な周囲画素の信号レベルから出力信号を置き換える方法に比べて、メモリ追加コストを大幅に削減することができる。しかも、ＲＧＢのそれぞれの画素について、エッジを誤補正することなく、画素欠陥が表示画面上で見えることもなく、欠陥画素を補正して、白傷欠陥および黒傷欠陥などの画像欠陥を抑制できて表示品位を向上させることができる。

以下、本発明の固体撮像素子の欠陥画素補正方法およびこれを用いた固体撮像素子の欠陥画素補正装置の実施形態を、赤色、緑色および青色のカラーフィルタを有する原色ＣＣＤ型イメージセンサからの撮像信号を信号処理する撮像装置としてのカメラユニットに適用した場合について、図面を参照しながら詳細に説明する。なお、以下の説明では、赤色画素をＲ、Ｒラインの緑色画素をＧｒ、青色画素をＢ、Ｂラインの緑色画素をＧｂと表記する。また、ＣＣＤ型イメージセンサの欠陥画素補正に、本発明の固体撮像素子の欠陥画素補正方法およびこれを用いた固体撮像素子の欠陥画素補正装置の実施形態を適用する場合について説明するが、これに限らず、ＣＭＯＳ型イメージセンサの欠陥画素補正についても本発明の固体撮像素子の欠陥画素補正方法およびこれを用いた固体撮像素子の欠陥画素補正装置の実施形態を適用することができる。

図１は、本発明の実施形態に係る固体撮像素子の欠陥画素補正装置を含むカメラユニットの要部機能構成例を示すブロック図である。

図１において、本実施形態のカメラユニット１０は、本実施形態の固体撮像素子の欠陥画素補正装置１０Ａと、後述する欠陥画素補正制御部１４からの出力画像信号に対して、シェーディング補正、ガンマ補正、ホワイトバランス制御などのゲインを乗算する各種信号処理を行う信号処理制御部１５とを有している。

本実施形態の固体撮像素子の欠陥画素補正装置１０Ａは、撮像素子からの出力撮像信号レベル（画素信号レベル）を記憶する情報記憶部１１と、この情報記憶部１１に記憶された画素信号レベルから、比較対象となる画素信号レベルの差分と所定閾値とを比較して斜めエッジの有無を判定する斜めエッジ判定制御部１２と、情報記憶部１１に記憶された画素信号レベルから、同色毎に画素信号レベルをソートし、ソートされた画素信号レベルの差分と所定閾値とを比較して欠陥画素の有無を判定する欠陥画素判定制御部１３と、情報記憶部１１に記憶された画素信号レベルに対して、斜めエッジ判定制御部１２からの斜めエッジ判定信号と、欠陥画素判定制御部１３からの欠陥画素判定信号とに応じて欠陥画素の補正を行う欠陥画素補正制御部１４とを有している。本実施形態では、欠陥画素補正装置１０Ａは、斜めエッジおよび水平／垂直エッジがなく、欠陥画素がある場合に、欠陥画素の補正が行われる。

図２は、図１の固体撮像素子の欠陥画素補正装置の要部ハード構成例を示すブロック図である。

本実施形態の固体撮像素子の欠陥画素補正装置１０Ａは、全体の制御を行う制御手段としてのＣＰＵ（中央演算処理装置）１と、ＣＰＵ１に対して入力指令を行うためのキーボード、マウス、タッチパネルおよびペン入力装置、さらには通信ネットワーク（例えばインターネットやイントラネット）を介して受信入力する入力装置などの操作部２と、表示画面上に、初期画面、選択画面、ＣＰＵ１による制御結果画面および操作入力画面などの各種画面を表示する表示部３と、制御プログラムおよびそのデータなどが記憶されたコンピュータ読み出し可能な可読記録媒体としてのＲＯＭ４と、起動時に制御プログラムおよびそのデータなどが読み出されて、ＣＰＵ１による制御毎にデータを読み出し・記憶するワークメモリとして働く記憶部としてのＲＡＭ５とを有している。

ＣＰＵ１は、制御プログラムおよびそのデータに基づいて、画素信号を情報記憶部１１に記憶制御する画素情報記憶制御手段１１ａと、情報記憶部１１から画素信号を読み出して、比較対象となる画素信号レベルの差分と所定閾値とを比較して斜めエッジの有無を判定する斜めエッジ判定制御手段１２ａと、情報記憶部１１から画素信号を読み出して、同色毎に画素信号レベルをソートし、ソートされた隣接画素信号の差分と所定閾値とを比較してその比較結果から水平／垂直エッジを判定する水平／垂直エッジ判定制御手段１３ａと、同様にその比較結果から欠陥画素の有無を判定する欠陥画素判定制御手段１３ｂと、その欠陥画素位置を記憶制御する欠陥画素位置記憶制御手段１４ａと、記憶制御された欠陥画素位置に基づいて、隣接同色画素データを平均化して欠陥画素の補正を行う欠陥画素補正制御手段１４ｂとを実行する。

可読記録媒体としてのＲＯＭ４としては、通常、コンピュータシステムの場合は、ハードディスクの他、携帯自在な光ディスク、光磁気ディスクおよび磁気ディスクなどであるが、ここでは、カメラユニット１０であるからＩＣメモリなどで構成されていてもよい。この制御プログラムおよびそのデータなどがＲＯＭ４に記憶されるが、この制御プログラムおよびそのデータは、他の可読記録媒体から、または、無線、有線またはインターネットなどを介してＲＯＭ４にダウンロードされてもよい。

以下に、図１の各構成部の動作について、図１〜図８を用いて詳細に説明する。

図３は、本実施形態の固体撮像素子の欠陥画素補正方法の処理手順について説明するためのフローチャートである。図４は、図３の斜めエッジ判定処理（ステップＳ２）の詳細な処理手順について説明するためのフローチャートであり、図５は、図３の水平／垂直エッジ判定処理（ステップＳ３）および欠陥画素判定処理（ステップＳ４）の詳細な処理手順について説明するためのフローチャートである。

図３に示すように、まず、ＣＣＤ固体撮像素子からの撮像信号はアナログ信号処理が為された後にデジタル信号に変換されて、ステップＳ１で画素信号レベルとして図１に示す情報記憶部１１に記憶される。この情報記憶部１１は、複数ラインの画素信号レベル（４画素×４ライン単位）を記憶可能なメモリである。

次に、ステップＳ２では、図１に示す斜めエッジ判定制御部１２により、情報記憶部１１から４画素×４ラインの画素情報が取り出され、比較対象となる画素信号レベルの差分と閾値とが比較されて斜めエッジの有無が判定される。

即ち、この斜めエッジ判定処理について、図４に示すように、ステップＳ２１で情報記憶部１１から斜めエッジ判定制御部１２に４画素×４ラインの画素情報が読み出され、ステップＳ２２で所定の同色画素の差分値を演算し、ステップＳ２３でこの演算した差分値と所定の閾値とを比較し、ステップＳ２４でその比較結果を全て得たかどうかを判定する。ステップＳ２４でその比較結果が全て得られていないならばステップＳ２２の処理に戻り、テップＳ２４でその比較結果が全て得られていれば、ステップＳ２５でその比較結果から斜めエッジかどうかを判定する。

このステップＳ２の斜めエッジ判定処理について更に具体的に説明する。

まず、情報記憶部から読み出される４画素×４ラインの画素信号について図６（ａ）〜図６（ｃ）を参照して説明する。

図６（ａ）は、図１の情報記憶部から読み出される４画素×４ラインの画素配置を示す図であり、図６（ｂ）は、図６（ａ）の左上角部の画素Ｐ１１が、斜めエッジ判定処理対象のＧ画素である場合にＧｒおよびＧｂのみを抜書きして位置を示した図であり、図６（ｃ）は、図６（ａ）の左上角部の画素Ｐ１１がＧ画素以外のＲ画素またはＢ画素である場合にＧｒおよびＧｂのみを抜書きして位置を示した図である。

斜めエッジの判定は、感度の高いＧ画素のみを用いて行われる。図６（ａ）に示すＰｍｎにおいて、ｍが同一の画素は同色の画素を表している。図６（ａ）において、例えば１ライン目の左端の画素Ｐ１１と左から３番目の画素Ｐ１２、および３ライン目の左端の画素Ｐ１３と左から３番目の画素Ｐ１４は同色である。これをＧｒとすると、例えば２ライン目の左端から２番目の画素Ｐ４１と左から４番目の画素Ｐ４２、および４ライン目の左端から２番目の画素Ｐ４３と左から４番目の画素Ｐ４４は同色であり、これをＧｂとすることができる。これを図６（ｂ）のようにＧｒおよびＧｂのみを抜書きして示すことができる。

また、図６（ａ）において、例えば１ライン目から２番目の左端の画素Ｐ２１と左から４番目の画素Ｐ２２、および３ライン目の左端から２番目の画素Ｐ２３と左から４番目の画素Ｐ２４は同色である。これをＧｒとすると、例えば２ライン目の左端の画素Ｐ３１と左から３番目の画素Ｐ３２、および４ライン目の左端の画素Ｐ３３と左から３番目の画素Ｐ３４は同色であり、これをＧｂとすることができる。これを図６（ｃ）のようにＧｒおよびＧｂのみを抜書きして示すことができる。

斜めエッジ判定制御部１２において、比較対象となる画素（ここではＧｒ画素またはＧｂ）は、４画素×４ラインにおける左上角部の画素Ｐ１１がＧ画素である場合（図６（ｂ）の場合）と、それ以外のＲ画素またはＢ画素である場合（図６（ｃ）の場合）とで、異なる位置（アドレス）の画素が参照される。斜めエッジの判定閾値をＴｈ１として、それぞれの場合における斜めエッジの判定式を以下のように示すことができる。
（画素Ｐ１１がＧ画素である場合）
（（Ｐ１１−Ｐ１４）＞Ｔｈ１）かつ（（Ｐ４１−Ｐ４４）＞Ｔｈ１）かつ（（Ｐ１１−Ｐ４４）＞ Ｔｈ１）かつ（（Ｐ４１−Ｐ１４）＞ Ｔｈ１）・・・（式１−１）
（（Ｐ１４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ４１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ１４−Ｐ４１）＞Ｔｈ１）・・・（式１−２）
（（Ｐ１２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ４３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ１２−Ｐ４３）＞Ｔｈ１）・・・（式１−３）
（（Ｐ１３−Ｐ１２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ４２）＞Ｔｈ１）かつ（（Ｐ１３−Ｐ４２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ１２）＞Ｔｈ１）・・・（式１−４）
（画素Ｐ１１がＧ画素以外である場合）
（（Ｐ３１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ２４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ３１−Ｐ２４）＞Ｔｈ１）・・・（式２−１）
（（Ｐ３４−Ｐ３１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ２１）＞Ｔｈ１）かつ（（Ｐ３４−Ｐ２１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ３１）＞Ｔｈ１）・・・（式２−２）
（（Ｐ２２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ３３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ２２−Ｐ３３）＞Ｔｈ１）・・・（式２−３）
（（Ｐ２３−Ｐ２２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ２３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ２２）＞Ｔｈ１）・・・（式２−４）
上記（式１−１）〜（式１−４）または（式２−１）〜（式２−４）の条件が１つでも成立する場合には、斜めエッジ判定制御部１２から、斜めエッジ判定信号として「斜めエッジ有り」を示す斜めエッジ判定信号が出力される。どの条件も成立しない場合には、「斜めエッジ無し」を示す信号が出力される。

なお、上記（式１−１）〜（式１−４）または（式２−１）〜（式２−４）は、画素が近接してエッジの誤判定を生じる項、およびエッジの相関性が低い項を取り除いて、下記（式１−１’）〜（式１−４’）または（式２−１’）〜（式２−４’）を用いてもよい。
（Ｐ１１の画素がＧ画素である場合）
（（Ｐ１１−Ｐ１４）＞Ｔｈ１）かつ（（Ｐ４１−Ｐ４４）＞Ｔｈ１）かつ（（Ｐ１１−Ｐ４４）＞Ｔｈ１）・・・（式１−１’）
（（Ｐ１４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ４１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ１１）＞Ｔｈ１）・・・（式１−２’）
（（Ｐ１２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ４３）＞Ｔｈ１）・・・（式１−３’）
（（Ｐ１３−Ｐ１２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ４２）＞Ｔｈ１）・・・（式１−４’）
（Ｐ１１の画素がＧ画素以外である場合）
（（Ｐ３１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ２４）＞Ｔｈ１）・・・（式２−１’）
（（Ｐ３４−Ｐ３１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ２１）＞Ｔｈ１）・・・（式２−２’）
（（Ｐ２２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ３３）＞Ｔｈ１）かつ（（Ｐ２２−Ｐ３３）＞Ｔｈ１）・・・（式２−３’）
（（Ｐ２３−Ｐ２２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ２２）＞Ｔｈ１）・・・（式２−４’）
次に、図３のステップＳ３およびＳ４では、図１に示す欠陥画素判定制御部１３により、情報記憶部１１から４画素×４ラインの画素情報が取り出され、その取り出された画素情報に含まれる、Ｒ、Ｇｒ、ＧｂおよびＢそれぞれの同色の画素グループに対してそれぞれ、画素信号レベルがソートされ、ソートされた画素信号レベルの差分と閾値とが比較されて「欠陥画素の有無」が判定される。

まず、図３に示すＰ１１〜Ｐ１４の画素について、信号レベル（輝度レベル）の高い順にソートが行われ、そのソート結果が上位からＳ１１、Ｓ１２、Ｓ１３およびＳ１４と表される。このソート結果を用いた白傷欠陥の判定閾値をＴｈ２〜Ｔｈ４とし、黒傷欠陥の判定閾値をＴｈ５〜Ｔｈ７として、白傷欠陥および黒傷欠陥の判定式を以下に示すことができる。
（白傷欠陥判定式）
（Ｓ１１−Ｓ１２）＞＝Ｔｈ２・・・（式３−１）
（Ｓ１２−Ｓ１３）＜＝Ｔｈ３・・・（式３−２）
（Ｓ１３−Ｓ１４）＜＝Ｔｈ４・・・（式３−３）
欠陥画素判定制御部１３では、同色画素の信号レベルがソートされて、上記（式３−１）〜（式３−３）が判定されることによって、水平／垂直方向エッジ判定と白傷欠陥判定とが同時に行われる。

水平／垂直方向エッジ判定は、同色画素の画素信号レベル（輝度レベル）が高い順からソートされて、（Ｓ１１）と（Ｓ１２）が図７（ａ）のように水平方向に並んでおり、その差がほとんどないかまたは「０」の場合に水平方向エッジと判定され、（Ｓ１１）と（Ｓ１２）が図７（ｂ）のように垂直方向に並んでおり、その差がほとんどないかまたは「０」の場合に垂直方向エッジと判定される。例えば上記（Ｓｍ１−Ｓｍ２）が閾値Ｔｈ８以下の場合に、水平／垂直方向エッジ有りと判定し、その以外の場合に水平／垂直方向エッジ無しと判定する。

即ち、この水平／垂直エッジ判定処理および欠陥判定処理について、図５に示すように、ステップＳ３１で情報記憶部１１から欠陥画素判定制御部１３に４画素×４ラインの画素情報が読み出され、ステップＳ３２で画素情報を輝度信号レベル順にソート処理し、ステップＳ３３でソート処理された隣接する二つの同色画素の差分値を演算し、ステップＳ３４でこの演算した差分値と所定の閾値とを比較し、ステップＳ３５でその比較結果を全て得たかどうかを判定する。ステップＳ３５でその比較結果が全て得られていないならばステップＳ３３の処理に戻り、ステップＳ３５でその比較結果が全て得られていれば、ステップＳ３６でその比較結果から水平／垂直エッジ判定処理を行い、さらに、水平／垂直エッジではない場合に、ステップＳ３７で欠陥判定処理の白傷欠陥判定処理および、次の黒傷欠陥判定をそれぞれ行う。

上記（式３−１）〜（式３−３）の条件が全て成立する場合には、欠陥画素判定制御部１３から、欠陥画素判定信号として画素Ｓ１１が「欠陥画素」であることを示す信号が出力される。上記（式３−１）〜（式３−３）の条件が一つでも成立しない場合には、欠陥画素判定制御部１３から、欠陥画素判定信号として画素Ｐ１１、Ｐ１２、Ｐ１３およびＰ１４に「欠陥画素が無い」ことを示す信号が出力される。
（黒傷欠陥判定式）
（Ｓ１１−Ｓ１２）＜＝Ｔｈ５・・・（式４−１）
（Ｓ１２−Ｓ１３）＞＝Ｔｈ６・・・（式４−２）
（Ｓ１３−Ｓ１４）＞＝Ｔｈ７・・・（式４−３）
欠陥画素判定制御部１３では、同色画素の信号レベルがソートされて、上記（式４−１）〜（式４−３）が判定されることによって、黒傷欠陥判定と水平／垂直方向エッジ判定とが同時に行われる。上記白傷欠陥判定により「欠陥無し」と判定され、上記（式４−１）〜（式４−３）が全て成立する場合には、欠陥画素判定制御部１３から、欠陥画素判定信号１３ａとして画素Ｓ１１が「欠陥画素」であることを示す信号が出力される。上記（式４−１）〜（式４−３）の条件が一つでも成立しない場合には、欠陥画素判定制御部１３から、欠陥画素判定信号として画素Ｐ１１、Ｐ１２、Ｐ１３およびＰ１４に「欠陥画素が無いこと」を示す信号が出力される。

欠陥画素判定制御部１３では、画素Ｐ２１〜画素Ｐ２４，画素Ｐ３１〜画素Ｐ３４および画素Ｐ４１〜画素Ｐ４４についても同様に、ソートが実施されてＳ２１〜Ｓ２４、Ｓ３１〜Ｓ３４およびＳ４１〜Ｓ４４が求められ、ｍ＝２、３および４として、
（白傷欠陥判定式）
（Ｓｍ１−Ｓｍ２）＞＝Ｔｈ２・・・（式３−１）
（Ｓｍ２−Ｓｍ３）＜＝Ｔｈ３・・・（式３−２）
（Ｓｍ３−Ｓｍ４）＜＝Ｔｈ４・・・（式３−３）
（黒傷欠陥判定式）
（Ｓｍ１−Ｓｍ２）＜＝Ｔｈ５・・・（式４−１）
（Ｓｍ２−Ｓｍ３）＞＝Ｔｈ６・・・（式４−２）
（Ｓｍ３−Ｓｍ４）＞＝Ｔｈ７・・・（式４−３）
により各式がそれぞれ判定されて、白傷／黒傷欠陥が判定される。

図１に示す欠陥画素補正制御部１４では、情報記憶部１１から４画素×４ラインの画素情報が取り出され、取り出された画素情報に対して、斜めエッジ判定制御部１２からの斜めエッジ判定信号と、欠陥画素判定制御部１３からの欠陥画素判定信号とを用いて欠陥画素の補正が行われる。

まず、図２のステップＳ１において、図１に示す斜めエッジ判定制御部１２により「斜めエッジ有り」と判定されている場合、図３のステップＳ５において、欠陥画素補正制御部１４により、取り出された画素信号に対して欠陥画素補正が実施されずに信号処理制御部１５にそのまま出力される。

また、図３のステップＳ２において、図１に示す斜めエッジ判定制御部１２により「斜めエッジ無し」と判定され、図３のステップＳ３およびＳ４において、欠陥画素判定制御部１３により「水平／垂直エッジ有り」または「欠陥画素無し」と判定されている場合にも、図３のステップＳ５において、欠陥画素補正制御部１４により、取り出された画素信号に対して欠陥画素補正が実施されずに信号処理制御部１５にそのまま出力される。

さらに、図３のステップＳ２において、図１に示す斜めエッジ判定制御部１２により「斜めエッジ無し」と判定され、図３のステップＳ３およびＳ４において、欠陥画素判定制御部１３により「水平／垂直エッジ無し」および「欠陥画素有り」と判定されている場合には、欠陥画素補正制御部１４により図２のステップＳ６において欠陥画素位置を記憶し、そのステップＳ７で欠陥画素の補正処理が行われて、欠陥画素Ｓｍ１（ｍは１、２、３または４）の信号レベルが画素Ｓｍ１の近傍２画素における信号レベルの加算平均値に置き換えられて信号処理制御部１５に出力される。

図８は、図１の欠陥画素補正制御部１４による欠陥画素補正処理について説明するための図である。

図８（ａ）に示すように、欠陥画素Ｓ１１がＰ１１である場合には画素Ｐ１１の信号レベルがＰ１１＝（Ｐ１２＋Ｐ１３）／２に置き換えられて信号処理制御部１５に出力される。また、図８（ｂ）に示すように、欠陥画素Ｓ１２がＰ１２である場合には画素Ｐ１２の信号レベルがＰ１２＝（Ｐ１１＋Ｐ１４）／２に置き換えられて信号処理制御部１５に出力される。さらに、図８（ｃ）に示すように、欠陥画素Ｓ１１がＰ１３である場合には画素Ｐ１３の信号レベルがＰ１３＝（Ｐ１１＋Ｐ１４）／２に置き換えられて信号処理制御部１５に出力される。さらに、図８（ｄ）に示すように、欠陥画素Ｓ１１がＰ１４である場合には画素Ｐ１４の信号レベルがＰ１４＝（Ｐ１２＋Ｐ１３）／２に置き換えられて信号処理制御部１５に出力される。要するに、同色の画素近傍の２画素における信号レベルの加算平均値が信号処理制御部１５に出力される。

画素Ｐ２１〜画素Ｐ２４、画素Ｐ３１〜画素Ｐ３４および画素Ｐ４１〜画素Ｐ４４についても、上記画素Ｐ１１〜画素Ｐ１４の場合と同様に、欠陥画素Ｓｍ１がＰｍ１である場合にはＰｍ１＝（Ｐｍ２＋Ｐｍ３）／２、欠陥画素Ｓｍ１がＰｍ２である場合にはＰｍ２＝（Ｐｍ１＋Ｐｍ４）／２、欠陥画素Ｓｍ１がＰｍ３である場合にはＰｍ３＝（Ｐｍ１＋Ｐｍ４）／２、欠陥画素Ｓｍ１がＰｍ４である場合にはＰｍ４＝（Ｐｍ２＋Ｐｍ３）／２として信号処理制御部１５に出力される。要するに、同色の画素近傍の２画素における信号レベルの加算平均値が信号処理制御部１５に出力される。

図１に示す信号処理制御部１５では、欠陥画素補正制御部１４からの出力信号に対して、シェーディング補正、ガンマ補正、ホワイトバランス制御などのゲインを乗算する各種信号処理が行われる。

以上により、本実施形態によれば、動的な欠陥画素補正を行うことが可能であり、事前に欠陥画素の位置を検出してメモリに記憶しておき、運用時に正常な周囲画素の信号レベルから出力信号を置き換える方法に比べて、メモリ追加コストを削減することが可能である。さらに、ＲＧＢのそれぞれの各色の画素について、エッジを誤補正することなく、欠陥画素を補正して、白傷欠陥および黒傷欠陥などの画像欠陥を抑制することが可能である。

なお、上記実施形態では、特に説明しなかったが、上記実施形態のカメラユニット（撮像装置）１０に用いた例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載カメラ、テレビジョン電話用カメラおよび携帯電話用カメラなどの画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの画像入力デバイスを有した電子情報機器について説明する。

本発明の電子情報機器は、本発明の上記実施形態のカメラユニット（撮像装置）１０に用いて得た高品位な画像データを記録用に所定の信号処理した後にデータ記録する記録メディアなどのメモリ部と、この画像データを表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示する液晶表示装置などの表示手段と、この画像データを通信用に所定の信号処理をした後に通信処理する送受信装置などの通信手段と、この画像データを印刷（印字）して出力（プリントアウト）する画像出力手段とのうちの少なくともいずれかを有している。

また、上記実施形態では、情報記憶部１１は４画素×４ラインの画素信号レベルを記憶し、４画素×４ラインの画素信号レベルが読み出されて処理されるように構成したが、これに限らず、情報記憶部１１は３画素×３ラインの画素信号レベルを記憶し、３画素×３ラインの画素信号レベルが読み出されて処理されるようにしてもよいし、また、情報記憶部１１は５画素×５ラインの画素信号レベルを記憶し、５画素×５ラインの画素信号レベルが読み出されて処理されるようにしてもよく、複数画素×複数ラインの画素信号レベルを記憶し、複数画素×複数ラインの画素信号レベルが読み出されて処理されるようにしてもよい。

さらに、上記実施形態では、特に説明しなかったが、撮像素子からの画素信号レベルを記憶する情報記憶部１１と、情報記憶部１１に記憶された画素信号レベルから、比較対象となる画素信号レベルの差分値と所定閾値とを比較して斜めエッジの有無を判定する斜めエッジ判定制御部１２と、情報記憶部１１に記憶された画素信号レベルから、比較対象となる画素信号レベルの差分値と所定閾値とを比較して欠陥画素の有無を判定する欠陥画素判定制御部１３と、情報記憶部１１に記憶された画素信号レベルに対して、斜めエッジ判定制御部１２からの斜めエッジ判定信号と、欠陥画素判定制御部１３からの欠陥画素判定信号とに応じて、欠陥画素の補正を行う欠陥画素補正制御部１４とを有すれば、固体撮像素子からの出力信号に対して動的な欠陥画素補正を行う場合に、ＲＧＢのそれぞれの画素について欠陥画素を補正し、エッジの誤補正を抑制することができる本発明の目的を達成することができる。

この場合、斜めエッジ判定制御部１２は、情報記憶部１１から複数画素×複数ラインの画素情報が読み出される画素情報読出手段と、読み出された画素情報から、所定の同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較手段と、この比較手段による比較結果から斜めエッジの有無を判定する判定手段とを有している。

欠陥画素判定制御部１３は、情報記憶部１１から複数画素×複数ラインの画素情報が読み出される画素情報読出手段と、画素情報１１を輝度信号レベル順にソート処理するソート処理手段と、ソート処理された隣接する二つの同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較手段と、該比較手段による比較結果から水平／垂直エッジ判定処理を行い、水平／垂直エッジではない場合に、欠陥判定処理の白傷欠陥判定処理および黒傷欠陥判定をそれぞれ行う判定手段とを有している。

欠陥画素補正制御部１４は、斜めエッジがなく、欠陥画素がある場合に、欠陥画素の補正を行う。上記実施形態では、欠陥画素補正制御部１４は、斜めエッジおよび水平／垂直エッジがなく、欠陥画素がある場合に、欠陥画素の補正を行うようにしている。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサなどの固体撮像素子に生じた欠陥によって、周囲画素よりも信号レベルが高い白傷信号または周囲画素よりも信号レベルが低い黒傷信号が出力される場合に、その白傷信号や黒傷信号による画像欠陥を補正するために用いられる固体撮像素子の欠陥画素補正装置、これを用いた固体撮像素子の欠陥画素補正方法、この欠陥画素補正方法の各ステップを実行するための制御プログラム、この制御プログラムが記録されたコンピュータ読み出し可能な可読記録媒体、この固体撮像素子の欠陥画素補正装置を用いたカメラユニットなどの撮像装置および、この撮像装置を画像入力デバイスとして用いた例えばデジタルムービーカメラおよびデジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などの電子情報機器の分野において、動的な欠陥画素補正を行うことにより、事前に欠陥画素の位置を検出してメモリに記憶しておき、運用時に正常な周囲画素の信号レベルから出力信号を置き換える方法に比べて、メモリ追加コストを大幅に削減することができる。しかも、ＲＧＢのそれぞれの画素について、エッジを誤補正することなく、画素欠陥が表示画面上で見えることもなく、欠陥画素を補正して、白傷欠陥および黒傷欠陥などの画像欠陥を抑制できて表示品位を向上させることができる。

本発明の実施形態に係る固体撮像素子の欠陥画素補正装置を含むカメラユニットの要部機能構成例を示すブロック図である。 図１の固体撮像素子の欠陥画素補正装置の要部ハード構成例を示すブロック図である。 本実施形態の固体撮像素子の欠陥画素補正方法の処理手順について説明するためのフローチャートである。 図３の斜めエッジ判定処理（ステップＳ２）の処理手順について説明するためのフローチャートである。 図３の水平／垂直エッジ判定処理（ステップＳ３）および欠陥画素判定処理（ステップＳ４）の処理手順について説明するためのフローチャートである。 （ａ）は、図１の情報記憶部から読み出される４画素×４ラインの画素配置を示す図であり、（ｂ）は、（ａ）の左上角部の画素Ｐ１１が、斜めエッジ判定処理対象のＧ画素である場合にＧｒおよびＧｂのみを抜書きして位置を示した図であり、（ｃ）は、（ａ）の左上角部の画素Ｐ１１がＧ画素以外のＲ画素またはＢ画素である場合にＧｒおよびＧｂのみを抜書きして位置を示した図である。 （ａ）および（ｂ）は、図１の欠陥画素判定制御部による水平／垂直エッジ判定処理について説明するための図である。 （ａ）〜（ｄ）は、図１の欠陥画素補正制御部による欠陥画素補正処理について説明するための図である。

符号の説明

１ ＣＰＵ（制御部）
２ 操作部（入力装置）
３ 表示部
４ ＲＯＭ（可読記録媒体；記憶部）
５ ＲＡＭ（記憶部）
１０ カメラユニット（撮像装置）
１０Ａ 固体撮像素子の欠陥画素補正装置
１１ 情報記憶部
１１ａ 画素情報記憶制御手段
１２ 斜めエッジ判定制御部
１２ａ 斜めエッジ判定制御手段
１３ 欠陥画素判定制御部
１３ａ 水平／垂直エッジ判定制御手段
１３ｂ 欠陥画素判定制御手段
１４ 欠陥画素補正制御部
１４ａ 欠陥画素位置記憶制御手段
１４ｂ 欠陥画素補正制御手段
１５ 信号処理制御部

Claims (35)

1. 撮像素子からの画素信号レベルを記憶する情報記憶部と、
   該情報記憶部に記憶された画素信号レベルから、比較対象となる画素信号レベルの差分値と所定閾値とを比較して斜めエッジの有無を判定する斜めエッジ判定制御部と、
   該情報記憶部に記憶された画素信号レベルから、比較対象となる画素信号レベルの差分値と所定閾値とを比較して欠陥画素の有無を判定する欠陥画素判定制御部と、
   該情報記憶部に記憶された画素信号レベルに対して、該斜めエッジ判定制御部からの斜めエッジ判定信号と、該欠陥画素判定制御部からの欠陥画素判定信号とに応じて、欠陥画素の補正を行う欠陥画素補正制御部とを有する固体撮像素子の欠陥画素補正装置。
2. 前記情報記憶部は、複数画素×複数ラインの画素信号レベルを記憶する請求項１に記載の固体撮像素子の欠陥画素補正装置。
3. 前記情報記憶部は、４画素×４ラインの画素信号レベルを記憶する請求項１に記載の固体撮像素子の欠陥画素補正装置。
4. 前記斜めエッジ判定制御部は、前記情報記憶部から複数画素×複数ラインの画素情報が読み出される画素情報読出手段と、読み出された画素情報から、所定の同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較手段と、該比較手段による比較結果から斜めエッジの有無を判定する判定手段とを有する請求項１に記載の固体撮像素子の欠陥画素補正装置。
5. 前記斜めエッジ判定制御部は、前記情報記憶部から複数画素×複数ラインの画素情報を読み出し、該複数画素×複数ラインにおける左上角部の画素が緑色画素Ｇである場合とそれ以外の赤色画素Ｒまたは青色画素Ｂである場合とで異なる画素位置の緑色画素Ｇを参照して斜めエッジの有無を判定する請求項１または４に記載の固体撮像素子の欠陥画素補正装置。
6. 前記斜めエッジ判定制御部は、赤色画素ラインの緑色画素Ｇｒまたは青色画素ラインの緑色画素Ｇｂを用いて斜めエッジの有無を判定する請求項５に記載の固体撮像素子の欠陥画素補正装置。
7. 前記斜めエッジ判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素Ｐ１１が赤色画素Ｒを含むラインの緑色画素Ｇｒまたは青色画素Ｂを含むラインの緑色画素Ｇｂである場合に、
   画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する緑色画素をＰ１２、画素Ｐ１１および画素Ｐ１２のラインの下に隣接する異色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ右下方向に位置する緑色画素をＰ４１およびＰ４２、画素Ｐ１１および画素Ｐ１２のラインから１ラインだけ離れた同色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する緑色画素をＰ１３およびＰ１４、画素Ｐ１１および画素Ｐ１２のラインから２ラインだけ離れた異色ラインで画素Ｐ４１および画素Ｐ４２に対してそれぞれ下方向に位置する緑色画素をＰ４３およびＰ４４とし、斜めエッジの判定閾値をＴｈ１として、下記（式１−１）〜（式１−４）の条件が一つでも成立するときに、斜めエッジ有りと判定し、それ以外のときには斜めエッジ無しと判定する請求項６に記載の固体撮像素子の欠陥画素補正装置。
   （（Ｐ１１−Ｐ１４）＞Ｔｈ１）かつ（（Ｐ４１−Ｐ４４）＞Ｔｈ１）かつ（（Ｐ１１−Ｐ４４）＞ Ｔｈ１）かつ（（Ｐ４１−Ｐ１４）＞ Ｔｈ１）・・・（式１−１）
   （（Ｐ１４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ４１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ１４−Ｐ４１）＞Ｔｈ１）・・・（式１−２）
   （（Ｐ１２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ４３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ１２−Ｐ４３）＞Ｔｈ１）・・・（式１−３）
   （（Ｐ１３−Ｐ１２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ４２）＞Ｔｈ１）かつ（（Ｐ１３−Ｐ４２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ１２）＞Ｔｈ１）・・・（式１−４）
8. 前記斜めエッジ判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素Ｐ１１が赤色画素Ｒを含むラインの緑色画素Ｇｒまたは青色画素Ｂを含むラインの緑色画素Ｇｂである場合に、
   画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する緑色画素をＰ１２、画素Ｐ１１および画素Ｐ１２のラインの下に隣接する異色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ右下方向に位置する緑色画素をＰ４１およびＰ４２、画素Ｐ１１および画素Ｐ１２のラインから１ラインだけ離れた同色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する緑色画素をＰ１３およびＰ１４、画素Ｐ１１および画素Ｐ１２のラインから２ラインだけ離れた異色ラインで画素Ｐ４１および画素Ｐ４２に対してそれぞれ下方向に位置する緑色画素をＰ４３およびＰ４４とし、斜めエッジの判定閾値をＴｈ１として、下記（式１−１’）〜（式１−４’）の条件が一つでも成立するときに、斜めエッジ有りと判定し、それ以外のときには斜めエッジ無しと判定する請求項６に記載の固体撮像素子の欠陥画素補正装置。
   （（Ｐ１１−Ｐ１４）＞Ｔｈ１）かつ（（Ｐ４１−Ｐ４４）＞Ｔｈ１）かつ（（Ｐ１１−Ｐ４４）＞Ｔｈ１）・・・（式１−１’）
   （（Ｐ１４−Ｐ１１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ４１）＞Ｔｈ１）かつ（（Ｐ４４−Ｐ１１）＞Ｔｈ１）・・・（式１−２’）
   （（Ｐ１２−Ｐ１３）＞Ｔｈ１）かつ（（Ｐ４２−Ｐ４３）＞Ｔｈ１）・・・（式１−３’）
   （（Ｐ１３−Ｐ１２）＞Ｔｈ１）かつ（（Ｐ４３−Ｐ４２）＞Ｔｈ１）・・・（式１−４’）
9. 前記斜めエッジ判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素Ｐ１１が緑色画素Ｇ以外の赤色画素Ｒまたは青色画素Ｂである場合に、
   画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する緑色画素をＰ２１およびＰ２２、画素Ｐ１１のラインの下に隣接する異色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ左下方向に位置する緑色画素をＰ３１およびＰ３２、画素Ｐ１１のラインから１ラインだけ離れた同色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ下方向に位置する緑色画素をＰ２３およびＰ２４、画素Ｐ１１のラインから２ラインだけ離れた異色ラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ下方向に位置する緑色画素をＰ３３およびＰ３４とし、斜めエッジの判定閾値をＴｈ１として、下記（式２−１）〜（式２−４）の条件が一つでも成立するときに、斜めエッジ有りと判定し、それ以外のときには斜めエッジ無しと判定する請求項６に記載の固体撮像素子の欠陥画素補正装置。
   （（Ｐ３１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ２４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ３１−Ｐ２４）＞Ｔｈ１）・・・（式２−１）
   （（Ｐ３４−Ｐ３１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ２１）＞Ｔｈ１）かつ（（Ｐ３４−Ｐ２１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ３１）＞Ｔｈ１）・・・（式２−２）
   （（Ｐ２２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ３３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ２２−Ｐ３３）＞Ｔｈ１）・・・（式２−３）
   （（Ｐ２３−Ｐ２２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ２３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ２２）＞Ｔｈ１）・・・（式２−４）
10. 前記斜めエッジ判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素Ｐ１１がＧ画素以外のＲ画素またはＢ画素である場合に、
    画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する緑色画素をＰ２１およびＰ２２、画素Ｐ１１のラインの下に隣接する異色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ左下方向に位置する緑色画素をＰ３１およびＰ３２、画素Ｐ１１のラインから１ラインだけ離れた同色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ下方向に位置する緑色画素をＰ２３およびＰ２４、画素Ｐ１１のラインから２ラインだけ離れた異色ラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ下方向に位置する緑色画素をＰ３３およびＰ３４とし、斜めエッジの判定閾値をＴｈ１として、下記（式２−１’）〜（式２−４’）の条件が一つでも成立するときに、斜めエッジ有りと判定し、それ以外のときには斜めエッジ無しと判定する請求項６に記載の固体撮像素子の欠陥画素補正装置。
    （（Ｐ３１−Ｐ３４）＞Ｔｈ１）かつ（（Ｐ２１−Ｐ２４）＞Ｔｈ１）・・・（式２−１’）
    （（Ｐ３４−Ｐ３１）＞Ｔｈ１）かつ（（Ｐ２４−Ｐ２１）＞Ｔｈ１）・・・（式２−２’）
    （（Ｐ２２−Ｐ２３）＞Ｔｈ１）かつ（（Ｐ３２−Ｐ３３）＞Ｔｈ１）かつ（（Ｐ２２−Ｐ３３）＞Ｔｈ１）・・・（式２−３’）
    （（Ｐ２３−Ｐ２２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ３２）＞Ｔｈ１）かつ（（Ｐ３３−Ｐ２２）＞Ｔｈ１）・・・（式２−４’）
11. 前記欠陥画素判定制御部は、前記情報記憶部に記憶された画素信号レベルから、同色の各画素信号レベルをソートし、ソートされた各画素信号レベルの各差分値と所定閾値とをそれぞれ比較して欠陥画素の有無を判定する請求項１に記載の固体撮像素子の欠陥画素補正装置。
12. 前記欠陥画素判定制御部は、前記欠陥画素の有無を判定すると同時に、水平／垂直エッジの有無を判定する請求項１または１１に記載の固体撮像素子の欠陥画素補正装置。
13. 前記欠陥画素判定制御部は、前記情報記憶部から複数画素×複数ラインの画素情報が読み出される画素情報読出手段と、該画素情報を輝度信号レベル順にソート処理するソート処理手段と、ソート処理された隣接する二つの同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較手段と、該比較手段による比較結果から水平／垂直エッジ判定処理を行い、水平／垂直エッジではない場合に、欠陥判定処理の白傷欠陥判定処理および黒傷欠陥判定をそれぞれ行う判定手段とを有する請求項１２に記載の固体撮像素子の欠陥画素補正装置。
14. 前記欠陥画素判定制御部は、前記情報記憶部から複数画素×複数ラインの情報を読み出し、読み出された画素情報に含まれる赤色画素Ｒ、赤色画素Ｒを含むラインの緑色画素Ｇｒ、青色画素Ｂおよび青色画素Ｂを含むラインの緑色画素Ｇｂそれぞれの各画素グループに対して欠陥画素の有無をそれぞれ判定する請求項１および１１〜１３のいずれかに記載の固体撮像素子の欠陥画素補正装置。
15. 前記欠陥画素判定制御部は、前記複数画素×複数ラインが４画素×４ラインの場合で、該４画素×４ラインにおける左上角部の画素をＰ１１、画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する同色画素をＰ１２、画素Ｐ１１および画素Ｐ１２のラインから１ラインだけ離れた同色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する同色画素をＰ１３およびＰ１４として、画素信号レベルの高い順にソートした結果を上位からＳ１１、Ｓ１２、Ｓ１３およびＳ１４とし、
    画素Ｐ１１および画素Ｐ１２と同じラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ右方向に位置する異色画素をＰ２１およびＰ２２、画素Ｐ２１および画素Ｐ２２のラインから１ラインだけ離れた同色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ下方向に位置する同色画素をＰ２３およびＰ２４として、画素信号レベルの高い順にソートした結果を上位からＳ２１、Ｓ２２、Ｓ２３およびＳ２４とし、
    画素Ｐ１１および画素Ｐ１２のラインの下に隣接する異色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する異色画素をＰ３１およびＰ３２、画素Ｐ３１および画素Ｐ３２のラインから１ラインだけ離れた同色ラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ下方向に位置する同色画素をＰ３３およびＰ３４として、画素信号レベルの高い順にソートした結果を上位からＳ３１、Ｓ３２、Ｓ３３およびＳ３４とし、
    画素Ｐ３１および画素Ｐ３２と同じラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ右方向に位置する異色画素をＰ４１およびＰ４２、画素Ｐ４１および画素Ｐ４２のラインから１ラインだけ離れた同色ラインで画素Ｐ４１および画素Ｐ４２に対してそれぞれ下方向に位置する同色画素をＰ４３およびＰ４４として、画素信号レベルの高い順にソートした結果を上位からＳ４１、Ｓ４２、Ｓ４３およびＳ４４とし、
    ソート結果Ｓ１１〜Ｓ１４、Ｓ２１〜Ｓ２４、Ｓ３１〜Ｓ３４およびＳ４１〜Ｓ４４のそれぞれに対して、白傷欠陥および黒傷欠陥を判定する請求項１４に記載の固体撮像素子の欠陥画素補正装置。
16. 前記欠陥画素判定制御部は、白傷閾値Ｔｈ２〜Ｔｈ４として、前記ソート結果Ｓｍ１〜Ｓｍ４（ｍは１、２、３または４）に対して、下記（式３−１）〜（式３−３）の条件が全て成立するときに画素Ｓｍ１を白傷欠陥画素として判定し、下記（式３−１）〜（式３−３）の条件が一つでも成立しないときには画素Ｐｍｎ（ｎは１、２、３または４）に白傷欠陥画素無しと判定する請求項１５に記載の固体撮像素子の欠陥画素補正装置。
    （Ｓｍ１−Ｓｍ２）＞＝Ｔｈ２・・・（式３−１）
    （Ｓｍ２−Ｓｍ３）＜＝Ｔｈ３・・・（式３−２）
    （Ｓｍ３−Ｓｍ４）＜＝Ｔｈ４・・・（式３−３）
17. 前記欠陥画素判定制御部は、（Ｓｍ１−Ｓｍ２）がＴｈ８以下の場合に、水平／垂直方向エッジ有りと判定し、その以外の場合に水平／垂直方向エッジ無しと判定する請求項１６に記載の固体撮像素子の欠陥画素補正装置。
18. 前記欠陥画素判定制御部は、黒傷閾値Ｔｈ５〜Ｔｈ７として、前記ソート結果Ｓｍ１〜Ｓｍ４（ｍは１、２、３または４）に対して、下記（式４−１）〜（式４−３）の条件が全て成立するときに画素Ｓｍ１を黒傷欠陥画素として判定し、下記（式４−１）〜（式４−３）の条件が一つでも成立しないときには画素Ｐｍｎ（ｎは１、２、３または４）に黒傷欠陥画素無しと判定する請求項１５〜１７のいずれかに記載の固体撮像素子の欠陥画素補正装置。
    （Ｓｍ１−Ｓｍ２）＜＝Ｔｈ５・・・（式４−１）
    （Ｓｍ２−Ｓｍ３）＞＝Ｔｈ６・・・（式４−２）
    （Ｓｍ３−Ｓｍ４）＞＝Ｔｈ７・・・（式４−３）
19. 前記欠陥画素補正制御部は、前記斜めエッジがなく、前記欠陥画素がある場合に、該欠陥画素の補正が行われる請求項１または１１に記載の固体撮像素子の欠陥画素補正装置。
20. 前記欠陥画素補正制御部は、前記斜めエッジおよび前記水平／垂直エッジがなく、前記欠陥画素がある場合に、該欠陥画素の補正が行われる請求項１２または１７に記載の固体撮像素子の欠陥画素補正装置。
21. 前記欠陥画素補正制御部は、前記情報記憶部から複数画素×複数ラインの画素情報を読み出し、前記斜めエッジ判定制御部により斜めエッジ有りと判定されている場合、および該斜めエッジ判定制御部により斜めエッジ無しと判定され、前記欠陥画素判定制御部により欠陥画素無しと判定されている場合には欠陥画素補正を行わずに読み出された画素信号レベルをそのまま出力し、
    該斜めエッジ判定制御部により斜めエッジ無しと判定され、該欠陥画素判定制御部により欠陥画素有りと判定されている場合には欠陥画素の信号レベルを同色近傍２画素における画素信号レベルの加算平均値に置き換えて出力する請求項１または１９に記載の固体撮像素子の欠陥画素補正装置。
22. 前記欠陥画素補正制御部は、前記情報記憶部から複数画素×複数ラインの画素情報を読み出し、前記斜めエッジ判定制御部により斜めエッジ有りと判定されている場合、および該斜めエッジ判定制御部により斜めエッジ無しと判定され、前記欠陥画素判定制御部により水平／垂直エッジ有りまたは欠陥画素無しと判定されている場合には欠陥画素補正を行わずに読み出された画素信号レベルをそのまま出力し、
    該斜めエッジ判定制御部により斜めエッジ無しと判定され、該欠陥画素判定制御部により水平／垂直エッジ無しで欠陥画素有りと判定されている場合には欠陥画素の画素信号レベルを同色近傍２画素における画素信号レベルの加算平均値に置き換えて出力する請求項１または２０に記載の固体撮像素子の欠陥画素補正装置。
23. 前記欠陥画素補正制御部は、前記複数画素×複数ラインが４画素×４ラインの場合、該４画素×４ラインにおける左上角部の画素をＰ１１、画素Ｐ１１と同じラインで画素Ｐ１１に対して右方向に位置する同色画素をＰ１２、画素Ｐ１１および画素Ｐ１２のラインから１ラインだけ離れた同色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する同色画素をＰ１３およびＰ１４として、画素信号レベルの高い順にソートした結果を上位からＳ１１、Ｓ１２、Ｓ１３およびＳ１４とし、
    画素Ｐ１１および画素Ｐ１２と同じラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ右方向に位置する異色画素をＰ２１およびＰ２２、画素Ｐ２１および画素Ｐ２２のラインから１ラインだけ離れた同色ラインで画素Ｐ２１および画素Ｐ２２に対してそれぞれ下方向に位置する同色画素をＰ２３およびＰ２４として、画素信号レベルの高い順にソートした結果を上位からＳ２１、Ｓ２２、Ｓ２３およびＳ２４とし、
    画素Ｐ１１および画素Ｐ１２のラインの下に隣接する異色ラインで画素Ｐ１１および画素Ｐ１２に対してそれぞれ下方向に位置する異色画素をＰ３１およびＰ３２、画素Ｐ３１および画素Ｐ３２のラインから１ラインだけ離れた同色ラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ下方向に位置する同色画素をＰ３３およびＰ３４として、画素信号レベルの高い順にソートした結果を上位からＳ３１、Ｓ３２、Ｓ３３およびＳ３４とし、
    画素Ｐ３１および画素Ｐ３２と同じラインで画素Ｐ３１および画素Ｐ３２に対してそれぞれ右方向に位置する異色画素をＰ４１およびＰ４２、画素Ｐ４１および画素Ｐ４２のラインから１ラインだけ離れた同色ラインで画素Ｐ４１および画素Ｐ４２に対してそれぞれ下方向に位置する同色画素をＰ４３およびＰ４４として、画素信号レベルの高い順にソートした結果を上位からＳ４１、Ｓ４２、Ｓ４３およびＳ４４とし、
    欠陥画素Ｓｍ１がＰｍ１である場合にはＰｍ１＝（Ｐｍ２＋Ｐｍ３）／２、
    欠陥画素Ｓｍ１がＰｍ２である場合にはＰｍ２＝（Ｐｍ１＋Ｐｍ４）／２、
    欠陥画素Ｓｍ１がＰｍ３である場合にはＰｍ３＝（Ｐｍ１＋Ｐｍ４）／２、
    欠陥画素Ｓｍ１がＰｍ４である場合にはＰｍ４＝（Ｐｍ２＋Ｐｍ３）／２として出力する請求項２１または２２に記載の固体撮像素子の欠陥画素補正装置。
24. 請求項１〜２３のいずれかに記載の固体撮像素子の欠陥画素補正装置と、該欠陥画素補正装置の欠陥画素補正制御部からの出力画素信号レベルに対して信号処理を行う信号処理制御部とを有する撮像装置。
25. 前記信号処理は、シェーディング補正、ガンマ補正およびホワイトバランス制御処理のゲインを乗算する処理である請求項２４に記載の撮像装置。
26. 請求項２４または２５に記載の撮像装置を画像入力部に用いた電子情報機器。
27. 画素情報記憶制御手段が撮像素子からの画素信号レベルを情報記憶部に記憶させる情報記憶ステップと、
    該情報記憶部に記憶された画素信号レベルから、斜めエッジ判定制御部が比較対象となる画素信号レベルの差分値と所定閾値とを比較して斜めエッジの有無を判定する斜めエッジ判定ステップと、
    該情報記憶部に記憶された画素信号レベルから、欠陥画素判定制御部が比較対象となる画素信号レベルの差分値と所定閾値とを比較して欠陥画素の有無を判定する欠陥画素判定ステップと、
    該情報記憶部に記憶された画素信号レベルに対して、該斜めエッジ判定ステップによる斜めエッジ判定と、該欠陥画素判定ステップによる欠陥画素判定とに応じて、欠陥画素補正制御部が欠陥画素の補正を行う欠陥画素補正ステップとを有する固体撮像素子の欠陥画素補正方法。
28. 前記斜めエッジ判定ステップは、前記情報記憶部から前記斜めエッジ判定制御部に複数画素×複数ラインの画素情報を読み出す画素情報読出ステップと、読み出された画素情報から、所定の同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較ステップと、該比較ステップの比較結果から斜めエッジの有無を判定する判定ステップとを有する請求項２７に記載の固体撮像素子の欠陥画素補正方法。
29. 前記欠陥画素判定ステップは、前記情報記憶部に記憶された画素信号レベルから、同色の各画素信号レベルをソートし、ソートされた各画素信号レベルの各差分値と所定閾値とをそれぞれ比較して欠陥画素の有無を判定する請求項２７に記載の固体撮像素子の欠陥画素補正方法。
30. 前記欠陥画素判定ステップは、前記欠陥画素の有無を判定すると同時に、水平／垂直エッジの有無を判定する請求項２７または２９に記載の固体撮像素子の欠陥画素補正方法。
31. 前記欠陥画素判定ステップは、前記情報記憶部から欠陥画素判定制御部に複数画素×複数ラインの画素情報が読み出される画素情報読出ステップと、画素情報を輝度信号レベル順にソート処理するソート処理ステップと、ソート処理された隣接する二つの同色画素の差分値を演算し、この演算した差分値と所定の閾値とを比較する比較ステップと、該比較ステップによる比較結果から水平／垂直エッジ判定処理を行い、水平／垂直エッジではない場合に、欠陥判定処理の白傷欠陥判定処理および黒傷欠陥判定をそれぞれ行う判定ステップとを有する請求項２７または２９に記載の固体撮像素子の欠陥画素補正方法。
32. 前記欠陥画素補正ステップは、前記斜めエッジがなく、前記欠陥画素がある場合に、該欠陥画素の補正を行う請求項２７に記載の固体撮像素子の欠陥画素補正方法。
33. 前記欠陥画素補正ステップは、前記斜めエッジおよび前記水平／垂直エッジがなく、前記欠陥画素がある場合に、該欠陥画素の補正を行う請求項２７に記載の固体撮像素子の欠陥画素補正方法。
34. 請求項２７〜３３に記載の固体撮像素子の欠陥画素補正方法の各ステップをコンピュータに実行させるための制御プログラム。
35. 請求項３４に記載の制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体。

Images