JP2007228269A

JP2007228269A - 画像信号処理装置及び方法

Info

Publication number: JP2007228269A
Application number: JP2006047119A
Authority: JP
Inventors: Junichi Aoki; 純一青木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-02-23
Filing date: 2006-02-23
Publication date: 2007-09-06

Abstract

【課題】高速且つ高精度に補正処理することができる画像信号処理装置及び方法を提供する。
【解決手段】欠陥画素の位置を含む画素情報を記憶する欠陥データ記憶手段３１に記憶された画素情報を欠陥データ展開テーブル３３に画像センサの画素位置に対応付けて保持し、この画素情報と画像信号に同期したアドレス信号とに基づいて欠陥画素位置を欠陥位置判別手段３５にて判別する。そして、判別した欠陥画素を欠陥補正手段３６及び画像処理手段４０にて補正する。
【選択図】図３

Description

本発明は、欠陥画素を有する撮像素子から出力される画像信号を補正処理する画像信号処理装置及び方法に関するものである。

従来、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＭＯＳ等の固体撮像素子を有するデジタルスチルカメラでは、固体撮像素子に画素欠陥が生じることがあるため、画素欠陥を検出し、その画素欠陥を補正する処理を行う。

図１４は、従来の一般的なデジタルスチルカメラ１００の構成を示すブロック図である。タイミングジェネレータ（ＴＧ）から駆動パルスをうけたＣＣＤ、ＣＭＯＳ等のイメージセンサ１０１からの出力信号は、カメラ信号処理部１０２で、デジタルクランプ、ホワイトバランス、ガンマ補正、補間処理等が行われる。

ここで、イメージセンサ１０１上に生じた画素欠陥は、例えば、工場出荷する際に検出され、これらに関するデータを不揮発性メモリ１０４に格納している。

撮影時、不揮発性メモリ１０４に格納された画素情報を、欠陥検出補正回路部１０３のＲＡＭ１０５に読み出し、画素情報に基づいて欠陥画素の画像信号を補正する。欠陥検出補正回路部１０３にて欠陥補正された画像信号は、信号処理部１０６にて各種の信号処理が施され、表示装置に出力される。

特開２００３−１１６０６０号公報特許２５６５２６２号公報特開２００１−２５７９３９号公報特開２００１−８１０６号公報特開２００２−２０４３９６号公報特開２００３−１６３８４２号公報

ところで、上述のような従来の欠陥補正において、例えば、欠陥画素の補正を左右の画素からの補間で行う場合、左右方向の相関が弱い画像などでは、誤補間を起こす可能性が高い。しかし、上下方向の情報を用いた補間のためには、フレームメモリやラインメモリを持ち、数ライン分の画素データを保持する必要があるため（例えば、特許文献１参照。）、回路規模の増大を招いてしまう。また、計算量の増大により、撮像装置のリアルタイム性を損なってしまう。

また、画素情報として、欠陥座標の座標値を記憶する場合、記憶容量が増えてしまう場合がある。そこで、ハフマン符号化により圧縮する技術、画素情報の差分を算出する技術（例えば、特許文献２参照。）、ライン毎に座標を保存する技術（例えば、特許文献３参照。）などが提案されているが、いずれの技術も、欠陥点数を予め定めてメモリを設計する必要があった。また、工場出荷時に検出した白欠陥や黒欠陥を、異なる方法で補正するためは、欠陥の種類毎にメモリを分ける必要があった。また、工場出荷後に発生した後発欠陥を補正するためには、後発欠陥用のメモリを別途用意する必要があった(例えば、特許文献４参照。)。さらに、欠陥を補正しながら検出するためには、メモリを分ける必要があった。

また、画素情報として欠陥座標を数値として持ち、画素アドレスとの一致比較で欠陥判断を行う場合において、レジスタへ書き込む画素情報量（個数）を制限し、欠陥であると判断したものはレジスタから消去し、新たな画素情報をメモリから読み込む場合、メモリに記憶させた画素情報が画素アドレスの昇順に並んでいる必要があった(例えば、特許文献５参照。)。また、イメージャからの読み出し方法が、間引き、加算、切り出し、逆読みなどに変わると、それに応じてメモリの画素情報に対して、変換や並び替えが必要であった（例えば、特許文献６参照。)。

本発明は、上記問題点を解消するためになされたものであり、高速且つ高精度に画像信号を補正処理することができる画像信号処理装置及び方法を提供することを目的とする。

上述した課題を解決するために、本発明は、撮像素子から出力される欠陥画素の画像信号を補正処理する画像信号処理装置において、上記欠陥画素であるか否かの情報を含む画素情報を上記撮像素子の画素位置に対応付けて保持する保持手段と、上記保持手段に保持された画素情報と上記画像信号に同期した画素位置情報とに基づいて上記欠陥画素の画像信号を補正処理する補正処理手段とを備えることにより、上述の課題を解決する。

また、本発明は、撮像素子から出力される欠陥画素の画像信号を補正処理する画像信号処理方法において、上記欠陥画素であるか否かの情報を含む画素情報を上記撮像素子の画素位置に対応付けて保持手段に保持する保持工程と、上記保持手段に保持された画素情報と上記画像信号に同期した画素位置情報とに基づいて上記欠陥画素の画像信号を補正処理する補正処理工程とを有することにより、上述の課題を解決する。

本発明によれば、欠陥画素の位置を含む画素情報を撮像素子の画素位置に対応付けて保持手段に保持し、保持手段に保持された画素情報と画像信号に同期した画素位置情報とに基づいて欠陥画素を含む画像信号を補正処理するため、高速且つ高精度に画像信号を補正処理することができる。

以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の一実施形態におけるデジタルスチルカメラ１０の構成を示すブロック図である。このデジタルスチルカメラ１０は、被写体から光を集光するレンズ１１と、光量を制御する絞り１２と、露光を制御するシャッタ１３と、被写体からの光を電気信号に変換する画像センサ１４と、画像センサ１４を駆動させるタイミングジェネレータ（ＴＧ）１５と、アナログ信号をデジタル信号に変換処理するフロントエンド部１６と、各種の信号処理を行うカメラシステムＬＳＩ（Large Scale Integration）部１７と、画像データを記憶する画像メモリ１８と、各構成ブロックを統括的に制御するマイクロコンピュータ（以下、マイコン）１９と、データを記録する着脱可能な外部記憶媒体２０と、撮像画像を確認する画像モニタ２１とを備えて構成されている。

レンズ１１は、被写体からの光を集光し、画像センサ１４に光を導く。

絞り１２は、光が通過する面積を変化することにより、画像センサ１４に入射する光量を制御する。

シャッタ１３は、光の通過を遮断することにより、露光を制御する。なお、絞り１２がこの機能を兼ねていてもよい。

画像センサ１４は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等であり、被写体の光情報を電気信号に変換する。また、画像センサ１４の表面には、色を識別するため、複数の色フィルタが配置されている。

ＴＧ１５は、画像センサ１４を水平及び垂直に駆動する。また、高速・低速電子シャッタ等の露光制御を行う。

フロントエンド部１６は、画像センサ１４から出力されたアナログ信号をデジタル信号に変換する。ここでは、ノイズ成分を除去する相関二乗サンプリング、ゲインコントロール、Ａ／Ｄコンバート等を行う。

カメラシステムＬＳＩ部１７は、入力されたデジタル信号を元に、次に説明するような各種の信号処理を行い、輝度信号・色信号を生成する。

図２は、カメラシステムＬＳＩ部１７の構成を示すブロック図である。カメラシステムＬＳＩ部１７は、カメラ信号処理部１７１と、画像検波部１７２と、マイコンＩ／Ｆ１７３と、メモリＩ／Ｆ１７４と、メモリコントローラ１７５と、画像圧縮・解凍部１７６と、モニタＩ／Ｆ１７７とを有している。

カメラ信号処理部１７１は、フロントエンド部１６においてデジタル化された画像センサ１４からの画像情報を元に補間演算、フィルタ演算、輝度生成演算、色生成演算等のデジタル信号処理を行い、輝度・色信号からなる画像信号を生成する。なお、補間演算、フィルタ演算等の詳細については後述する。

画像検波部１７２は、オートフォーカス（ＡＦ）、オートエキスポージャ（ＡＥ）、オートホワイトバランス（ＡＷＢ）等のカメラ制御の基準となるカメラ撮像画像の検波処理を行う。

マイコンＩ／Ｆ１７３は、カメラシステムＬＳＩ部１７をコントロールするマイコンとのバスＩ／Ｆを担い、マイコン１９とカメラシステムＬＳＩ部１７との間の制御データや画像データの受け渡しを行う。

メモリＩ／Ｆ１７４は、カメラシステムＬＳＩ部１７での信号処理の際に用いる画像メモリ１８とのＩ／Ｆを担い、画像データや圧縮されたデータの受け渡しを行う。

メモリコントローラ１７５は、各信号処理ブロック間、又は信号処理ブロックと画像メモリ１８間の画像データの受け渡し、データバスを制御する。

画像圧縮・解凍部１７６は、画像データを圧縮し、又は圧縮された画像データを解凍する。具体的な構成には、例えば、ＪＰＥＧ（Joint Photographic Experts Group）エンコーダ・デコーダを挙げることができる。

モニタＩ／Ｆ１７７は、画像データをモニタ・ディスプレイに表示するために各種フォーマットに変換する。具体的な構成には、例えば、ＮＴＳＣ（National Television Standards Committee）モニタに表示するためのＮＴＳＣエンコーダを挙げることができる。

図１に戻って、画像メモリ１８は、デジタルの画像データを格納するためのＳＤＲＡＭ（Synchronous DRAM）等の記憶素子である。この画像メモリ１８は、カメラシステムＬＳＩ部１７のデジタル信号処理に用いられる。

マイコン１９は、マイクロコンピュータであり、各構成ブロックを統括的に制御する。例えば、絞り１２の露光制御、シャッタ１３の開閉制御、ＴＧ１５の電子シャッタ制御、フロントエンド１６のゲインコントロール、カメラシステムＬＳＩ部１７の各種モード制御、パラメータ制御等を行う。

外部記憶媒体２０は、圧縮されたＪＰＥＧ等のデータを格納する記憶媒体であり、デジタルスチルカメラ１０から取り外し可能で、持ち運ぶことができる。

画像モニタ２１は、撮影画像を確認するためのモニタであり、例えば、ＬＣＤ（Liquid Crystal Display）パネル等から構成されている。

このような構成を有するデジタルスチルカメラ１０は、ＴＧ１５から駆動パルスをうけたＣＣＤ又はＣＭＯＳの画像センサ１４の出力信号を、Ｓ／Ｈ、ＧＣ、Ａ／Ｄ等のフロントエンド１６でノイズの成分を除去する相関二重サンプリング、ゲインコントロール、Ａ／Ｄコンバートを行い、アナログ信号からデジタル信号に変換する。その後、カメラシステムＬＳＩ部１７のカメラ信号処理部１７１で、デジタルクランプ、ホワイトバランス、ガンマ補正、補間処理等をし、ＲＧＢ値を作り出した後に輝度、色差信号に変換し、ＪＰＥＧエンコード回路に出力する。

続いて、ＣＣＤ、ＣＭＯＳ、ＭＯＳ等の画像センサ１４における欠陥画素の補正処理について説明する。画像センサ１４の欠陥画素は、工場出荷時に検出され、これらの画素に関する画素情報は、予めカメラ信号処理部１７１内の不揮発性メモリに格納されている。この画素情報には、黒表示の際に光が抜ける白欠陥や白表示の際に光を透過しない黒欠陥等の欠陥の種類、欠陥のレベル、欠陥座標等が含まれている。なお、欠陥画素の補正処理は、カメラシステムＬＳＩ部１７のカメラ信号処理部１７１で行われる。

図３は、欠陥画素を補正処理する際のカメラ信号処理部１７１の構成を模式的に示すブロック図である。カメラ信号処理部１７１は、画素に関する画素情報を記憶する欠陥データ記憶手段３１と、欠陥データ記憶手段３１から欠陥データを読み出す欠陥データ読出手段３２と、欠陥データ読出手段３２により読み出された画素情報を展開する展開テーブル３３と、欠陥データ展開テーブル３３に展開された画素情報を欠陥データ記憶手段３１に書き込む欠陥データ書込手段３４と、フロントエンド１６から出力された画像信号に同期したアドレス信号とイメージャ読み出し方法と欠陥データ展開テーブル３３に展開された欠陥データとに基づいて欠陥位置を判別する欠陥位置判別手段３５と、欠陥補正手段３６と、欠陥検出手段３７とを有している。

欠陥データ記憶手段３１は、不揮発性メモリからなり、画像センサ１４の画素に関する画素情報を記憶している。この画素情報は、欠陥座標、欠陥種類、欠陥レベル等の情報を有している。

欠陥データ読出手段３２は、欠陥データ記憶手段３１から画素情報を読み出す。なお、欠陥データ書込手段３４により、画素情報が欠陥データ記憶手段３１に圧縮されて記憶されていた場合には、そのデータを解凍する。

欠陥データ展開テーブル３３は、例えば、ＲＡＭ（Random Access Memory）から構成され、欠陥データ読出手段３２により読み出された画素情報を画像センサ１４の画素位置が特定できる欠陥分布として展開する。また、欠陥検出手段３７から出力された欠陥タイミング信号に応じて画素情報を更新する。

例えば、図４に示すように画像センサ１４が８×８画素の撮像素子からなり、欠陥画素を有している場合、欠陥データ展開テーブル３３に展開される欠陥画素の分布は図５のように示すことができる。ここで、正常画素は０、欠陥画素は１で表している。また、図６（Ａ）は、図５に示す画素情報を分布値形式で表記したものである。

図４に示すような欠陥画素分布を有する撮像素子の画素情報は、１画素に１ｂｉｔのデータ量が必要なため、図６（Ａ）に示すように６４ｂｉｔ必要となる。一方、図６（Ｂ）に示すように、座標値形式の画素情報のデータ量は、座標１１個分で６６ｂｉｔ必要となる。つまり、８×８画素の撮像素子において欠陥画素が１１以上ある場合、分布値形式の方が座標値形式よりもデータ量が少なくて済む。

また、例えば、２^ｍ×２^ｍ画素の撮像素子の欠陥を２^２ｍｂｉｔからなる分布の配列データとすることにより、撮像素子の欠陥数にかかわらず、データ量は一定となる。したがって、ハードウェア的な制限により、補正可能な欠陥数に上限を持つことはない。また、欠陥数を制限内に抑えるために、欠陥の判断の閾値を変えて検出し直したり、欠陥のレベルの高いものから優先して補正し、レベルの低い欠陥を放置したりすることもない。

また、画像センサ１４の読み出し方法が、間引き、加算、切り出し、逆読みなどに変わっても、欠陥データ展開テーブル３３には画像センサ１４の画素位置に対応付けて画素情報を展開しているため、読み出し方法に応じて画素情報を読み出すだけでよい。つまり、読み出し方法に応じて画素の座標が変わっても、座標の変換が必要なく、欠陥補正の際にも、読み出し方式ごとに画素情報を用意したり、欠陥データ展開テーブル３３を書き換えたりする必要がない。

また、画素情報に白欠陥、黒欠陥の欠陥画素の種類を付加した２^２ｍ＋１ｂｉｔのデータを用いるようにしてもよい。これにより、欠陥の種類に応じた適切な補正をすることができる。

また、画素情報に欠陥レベル情報の有無のデータを付加してもよい。これにより、例えば、欠陥レベルに基づく補正と周囲の画素に基づく補正とを切り替えることができる。なお、欠陥レベルのデータを付加する場合、記憶容量が大きくなるため、別途メモリを備えることが好ましい。

欠陥データ書込手段３４は、欠陥データ展開テーブル３３に展開された画素情報を欠陥データ記憶手段３１に書き込む。なお、分布値形式の画素情報は、同じデータが連続することが多いため、ランレングス符号化やハフマン符号化等の圧縮処理を施して書き込むようにしてもよい。

欠陥位置判別手段３５は、フロントエンド１６から出力され、画像信号に同期したアドレス信号とイメージャの読み出し方法と欠陥データ展開テーブル３３に展開された画素情報とに基づいて欠陥位置を判別する。また、画像センサ１４から読み出された画像信号の読み出し方法に応じて補正タイミング信号を出力する。これにより、例えば、後述する加算や間引きなどの読み出し方法に応じた補正タイミング信号を出力することができる。

欠陥補正手段３６は、欠陥位置判別手段３５から出力された補正タイミング信号に基づいてフロントエンド１６から出力された画像信号を補正する。なお、欠陥補正の方法としては、例えば、対象画素の周辺画素に基づいて補正してもよいし、また、対象画素の画素情報に基づいて補正してもよい。

欠陥検出手段３７は、欠陥補正手段３６から出力された画像信号から画素の欠陥を検出し、検出タイミング信号を欠陥データ展開テーブル３３に出力する。欠陥検出の方法としては、対象画素とその周囲の画素との比較により、欠陥であるかを判断してもよいし、対象画素の信号レベルをある閾値と比較して欠陥判断してもよい。

続いて、カメラ信号処理部１７１における欠陥画素の補正処理動作について説明する。

カメラ信号処理部１７１には、フロントエンド１６から画像信号と画像信号に同期したアドレス信号とが入力される。欠陥位置判別手段３５は、アドレス信号の画像センサ１４の画素位置（Ｈ，Ｖ）とイメージャ読み出し方法と欠陥データ展開テーブル３３に展開された欠陥データとに基づいて欠陥位置を判別する。

欠陥データ展開テーブル３３は、画像センサ１４の各画素の画素情報を展開し、欠陥位置判別手段３５から出力されたＲＡＭアドレス信号（Ｈ，Ｖ）に基づいて所望の欠陥データを出力する。この欠陥データは、例えば、画素位置（Ｈ，Ｖ）の画素情報や、画素位置（Ｈ，Ｖ）を含む周辺画素の画素情報を含むものである。

欠陥位置判別手段３５は、マイコン１９から出力されたイメージャ読み出し方法に応じてＲＡＭアドレス信号を欠陥データ展開テーブル３３に出力する。欠陥データ展開テーブル３３からＲＡＭアドレス信号に応じて出力された欠陥データとアドレス信号の画素位置とに基づいて欠陥画素か否かを判別する。また、欠陥を判別した場合、欠陥補正手段３６に補正タイミング信号を出力する。

欠陥補正手段３６は、欠陥位置判別手段３５から出力された補正タイミングに基づいてフロントエンド１６から出力された画像信号を補正する。欠陥補正手段３６における画像信号の補正は、例えば、遅延素子によって得られた左右の画素値から、適切なアルゴリズムを用いて行う。また、例えば、画素情報に含まれる欠陥レベルに応じて欠陥を補正してもよい。

欠陥検出手段３７は、欠陥補正手段３６にて補正された画像信号から欠陥を検出する。欠陥を検出した場合、欠陥検出手段３７は、検出タイミング信号を欠陥データ展開テーブル３３に出力し、検出された欠陥画素位置の画素情報を更新する。

このようにカメラ信号処理部１７１は、イメージャの読み出し方法、つまり、画像センサ１４からの画素の読み出し方法に応じて、欠陥データ展開テーブル３３に展開された画素情報から所望の画素情報を瞬時に取得することができるため、例えば、イメージャからの読み出し方法が、間引き、加算、切り出し、逆読みなどに変わっても、欠陥データ読出手段３２による画素情報の変換、並び替え等の処理が必要ない。

また、上記実施の形態では、欠陥補正手段３６において画像信号を周辺の画素や画素情報を用いて補正することとしたが、欠陥補正手段３６から補正タイミング信号を出力することにより、さらに欠陥画素を補正し、欠陥画素の影響を少なくしてもよい。つまり、欠陥補正手段３６では、例えば、左右方向の周辺画素のみを用いて仮の補正を行うとともに後段の画像処理手段に補正タイミング信号を出力し、後段では、欠陥画素と正常画素とに対して異なる処理を施すように最終的な補正を行うことにより、高精度な補正を行うことができる。

続いて、高精度な補正を行う他の構成について説明する。図７は、カメラ信号処理部１７１の他の構成を模式的に示すブロック図である。なお、図３に示すカメラ処理部１７１と同様な構成には、同一の符号を付し、説明を省略する。

カメラ信号処理部１７１は、画素に関する画素情報を記憶する欠陥データ記憶手段３１と、欠陥データ記憶手段３１から欠陥データを読み出す欠陥データ読出手段３２と、欠陥データ読出手段３２により読み出された画素情報を展開する欠陥データ展開テーブル３３と、欠陥データ展開テーブル３３に展開された画素情報を欠陥データ記憶手段３１に書き込む欠陥データ書込手段３４と、フロントエンド１６から出力された画像信号に同期したアドレス信号とイメージャ読み出し方法と欠陥データ展開テーブル３３に展開された欠陥データとに基づいて欠陥位置を判別する欠陥位置判別手段３５と、欠陥補正手段３６と、欠陥検出手段３７と、画像処理手段４０とを有している。

欠陥補正手段３６は、欠陥画素を補正した際、画像処理手段４０に補正タイミング信号を画像信号に同期して出力する。

画像処理手段４０は、欠陥補正手段３６から出力された補正タイミング信号に基づいて欠陥検出手段３７から出力された画像信号を欠陥画素と正常画素とに対して異なる処理を施すように補正する。この画像処理手段４０は、例えば、図８に示すようにγ補正処理部４１と、相関処理部４２と、色差補正部４３と、画像伸縮処理（ＲＣ）部４４とを有して構成される。

ここで、相関処理部４２における相関処理は、例えば、図９に示すような色フィルタ配置のイメージャの場合、この５×５画素のイメージャからＲＧＢの３色の５×５画素の画像データを作り出すようなものである。ここで、Ｇ１１は、（１，１）位置にあるＧｒｅｅｎ画素であり、Ｂ３２は、（３，２）位置にあるＢｌｕｅ画素である。

ここで、例えば（３，３）位置のＢｌｕｅ画素とＲｅｄ画素は、周囲のＢｌｕｅ画素とＲｅｄ画素から作り出され、例えば、Ｒｅｄ画素Ｒ３３は（１）式で求められる。

Ｒ３３＝（ｋｒ２１×Ｒ２１＋ｋｒ４１×Ｒ４１＋ｋｒ２３×Ｒ２３＋ｋｒ４３×Ｒ４３＋ｋｒ２５×Ｒ２５＋ｋｒ４５×Ｒ４５）／（ｋｒ２１＋ｋｒ４１＋ｋｒ２３＋ｋｒ４３＋ｋｒ２５＋ｋｒ４５）・・・（１）

ここで、ｋｒ２１〜ｋｒ４５は、フィルタ係数であり、Ｒ３３に対しての距離による重さ付けに、周囲の画素の相関の様子(Ｒ３３が縦、横、斜めのどの方向の画素に似た値を取り得るか)を加味して求められる。なお、ここでもＲＣのフィルタ処理と同様に、周囲の画素のうち欠陥を補正した画素に対しては、フィルタをＯＦＦし、その画素の値を用いない、又はフィルタ係数を減算するなどの処理を行なう。

このように、元々の画素の値と欠陥画素と判断されて補正された後の画素の値とを区別し、フィルタ処理において、その重みを変えることにより、誤補正されていたときの、画質に与える影響を少なくすることができる。

また、相関処理、ＲＣ処理に限らず、ＮＲ処理などフィルタ処理が行なわれるブロックに対しては、欠陥検出補正ブロックから、補正後の画像信号と共に欠陥タイミング信号を送ることにより、欠陥検出補正ブロックの規模の増加を抑えながら、精度の高い、補正処理を行なうことができる。

色差補正部４３は、欠陥画素か否かに応じて選択的に信号レベルを適正値に補正する。これにより、色差抑圧処理の強さによる副作用の影響を抑え、画にダメージを与えることを防ぐ。

画像伸縮処理部４４は、補正後の欠陥画素を除いた形のフィルタを用い、欠陥画素の影響を少なくする処理を行う。具体的には、図１０に示すように、補正タイミング信号に対応してフィルタ処理を行う。ここで、画像伸縮処理部４４は、遅延回路９１_１〜９１_４、遅延回路９２_１〜９２_４、ゲート９３_１〜９３_５、乗算器９５_１〜９５_５、加算器９６_１、９６_２、除算器９７を用い、各フィルタ９４_１〜９４_５を補正タイミング信号によって選択的にオンオフする。なお、ｋＬ２、ｋＬ１、ｋＣ、ｋＲ１及びｋＲ２は、それぞれフィルタ９４_１〜９４_５のフィルタ係数である。

このようにカメラ信号処理部１７１は、欠陥補正手段３６にて欠陥画素を補正した際、補正タイミング信号を画像信号に同期して画像処理手段４０に出力し、画像処理手段４０にて欠陥画素と正常画素とに対して異なる処理を施すように補正処理を行うことができる。

なお、画像処理手段４０に、ノイズリダクション処理を設けてもよい。これにより、エッジ近傍にダメージを与えずにノイズ成分を処理することができる。具体的には、注目画素周囲の相関関係を判断する際、補正後の欠陥画素の信号を相関関係の判断に用いないか、又は、補正後の画素の信号が欠陥画素であるか否かによって、選択的にノイズ処理を行う。

続いて、欠陥画素の補正処理について具体的な例を挙げて説明する。図１１は、８×８画素の画像センサ１４からのイメージャの読み出し方法が全画素読み出しの場合の欠陥座標情報を示す模式図である。全画素読み出しモードでは、欠陥位置判別手段３５にアドレス信号（Ｈ，Ｖ）が（０，０）、（１，０）、（２，０）・・・の順番で順次入力される。

ここで、図１１に示すように、画素位置（２，３）が入力された場合、欠陥位置判別手段３５は、欠陥データ展開テーブル３３から画素位置（２，３）の画素情報（欠陥データ）を取得する。また、欠陥データ展開テーブル３３に展開された画素位置（２，３）の画素情報は欠陥ありを示す１であることから、欠陥位置判別手段３５は、画素位置（２，３）が欠陥画素であると判別するとともに、補正タイミング信号を出力する。なお、画素情報に欠陥種類や欠陥レベルなどが含まれていた場合、その情報に基づいて欠陥補正手段３６や画像処理手段４０にて欠陥補正を行う。

また、図１２は、９×９画素の画像センサ１４からの画素の読み出し方法が間引き加算読み出しの場合の欠陥座標情報を示す模式図である。この場合、欠陥位置判別手段３５には、アドレス信号（Ｈ_Ｍ，Ｖ_Ｍ）が例えば（０，０）、（１，０）、（２、０）、（０，１）（１，１）、（２，１）（０，２）、（１，２）、（２、２）・・・の順番で入力され、３×３画素の画像として画像信号が入力される。

欠陥位置判別手段３５は、入力されたアドレス信号より、イメージャの物理画素上での周辺の加算対象画素を算出し、画素中心（Ｈ_Ｉ，Ｖ_Ｉ）と周辺の加算対象画素（Ｈ_Ｉ−１，Ｖ_Ｉ−１）、（Ｈ_Ｉ，Ｖ_Ｉ−１）、（Ｈ_Ｉ＋１，Ｖ_Ｉ−１）、（Ｈ_Ｉ−１，Ｖ_Ｉ＋１）、（Ｈ_Ｉ，Ｖ_Ｉ＋１）、（Ｈ_Ｉ＋１，Ｖ_Ｉ＋１）の画素情報を取得し、欠陥画素を判別する。例えば、図１３に示すように、アドレス信号（Ｈ_Ｍ，Ｖ_Ｍ）＝（０，０）が入力された場合、欠陥位置判別手段３５は、イメージャの物理画素上で対応する加算対象画素（（Ｈ_Ｉ、Ｖ_Ｉ）＝（０，０）、（１，０）、（２，０）、（２，０）、（２，１）、（２，２））のうち、（２，０）、（１，２）を欠陥画素であると判別する。加算対象画素に欠陥画素が含まれた場合、実際に補正を行なうかどうかについては、例えば、加算対象画素中の欠陥画素の個数に閾値を持ってもよいし、画素の位置によって重み付けを行なった上で、その値から判断してもよい。これらの欠陥の判断の結果、補正タイミング信号を出力する。

このように、欠陥データ展開テーブル３３に画像センサ１４の画素情報を、画像センサ１４の画素位置に対応付けて展開保持することにより、どのようなイメージャの読み出し方法にも迅速に対応することができる。

また、欠陥データ展開テーブル３３に展開された画像センサ１４の画像情報を符号化し、画像データに付加することにより、外部機器で画像処理を行うようにしてもよい。これにより、デジタルスチルカメラ１０内部での処理に比べ、計算コストの高い補正を迅速に行うことができる。

この画像センサ１４の画素情報は、画像データ毎に付加してもよく、また、デジタルスチルカメラ１０の外部記録媒体２０に独立したファイルを作成してもよい。独立したファイルを作成する場合、新たな後発欠陥の検出の度に、タイムスタンプを付加して新たなファイルを作成しても、既存のファイルを更新してもよい。また、画素情報とともに、例えば、デジタルスチルカメラ１０毎の固有な情報をさらに付加するようにしてもよい。

画素情報を用いて外部機器で画像処理する場合、又は欠陥画素を画素情報に含まれる欠陥レベルを用いて補正する場合、温度情報を画像データ毎に付加し、この情報と欠陥レベルを用いて補正してもよい。

本発明の一実施形態におけるデジタルスチルカメラの構成を示すブロック図である。本発明の一実施形態におけるカメラシステムＬＳＩの構成を示すブロック図である。本発明の一実施形態におけるカメラ信号処理部の構成を示すブロック図である。本発明の一実施形態における画像センサを示す模式図である。本発明の一実施形態における画素情報を示す模式図である。本発明の一実施形態における画素情報のデータ列を示す図である。本発明の一実施形態におけるカメラ信号処理部の他の構成を示すブロック図である。本発明の一実施形態における画像処理手段の構成を示すブロック図である。相関処理を説明するための模式図である。本発明の一実施形態における画像伸縮処理部の構成を示すブロック図である。８×８画素の画像センサからの画素の読み出し方法が、全画素読み出しの場合の欠陥座標情報を模式的に示す図である。９×９画素の画像センサ１４からの画素の読み出し方法が、間引き加算読み出しの場合の欠陥座標情報を模式的に示す図である。間引き加算読み出しの場合における処理を説明するための模式図である。従来のデジタルスチルカメラの構成を示すブロック図である。

符号の説明

１０デジタルスチルカメラ、１１レンズ、１２絞り、１３シャッタ、１４画像センサ、１５タイミングジェネレータ、１６フロントエンド部、１７カメラシステムＬＳＩ部、１８画像メモリ、１９マイコン、２０外部記憶媒体、２１画像モニタ、３１欠陥データ記憶手段、３２欠陥データ読出手段、３３欠陥データ展開テーブル、３４欠陥データ書込手段、３５欠陥位置判別手段、３６欠陥補正手段、３７欠陥検出手段、４０画像処理手段

Claims

撮像素子から出力される欠陥画素の画像信号を補正処理する画像信号処理装置において、
上記欠陥画素であるか否かの情報を含む画素情報を上記撮像素子の画素位置に対応付けて保持する保持手段と、
上記保持手段に保持された画素情報と上記画像信号に同期した画素位置情報とに基づいて上記欠陥画素の画像信号を補正する欠陥補正手段と
を備える画像信号処理装置。
上記欠陥補正手段は、上記欠陥画素の周辺画素を用いて画像信号を補正することを特徴とする請求項１記載の画像信号処理装置。
上記欠陥補正手段は、上記画像信号と上記画素位置情報とに基づいて所定の画素位置の画素情報を取得し、当該画素情報に基づいて上記欠陥画素の画像信号を補正することを特徴とする請求項１記載の画像信号処理装置。
上記欠陥画素と上記欠陥画素以外の画素とに対して異なる処理を施すように画像信号を補正する補正処理手段をさらに備えることを特徴とする請求項１記載の画像信号処理装置。
上記補正処理手段は、上記欠陥補正手段にて補正された欠陥画素の画像信号を、上記欠陥補正手段と異なる処理により補正することを特徴とする請求項４記載の画像信号処理装置。
上記画素情報は、上記欠陥画素の欠陥の種類を示す情報を含み、
上記欠陥補正手段は、上記欠陥の種類に基づいて上記欠陥画素の画像信号を補正することを特徴とする請求項１記載の画像信号処理装置。
上記画素情報は、上記欠陥画素の欠陥レベルを示す情報を含み、
上記欠陥補正手段は、上記欠陥レベルに応じて上記欠陥画素の画像信号を補正することを特徴とする請求項１記載の画像信号処理装置。
上記画像信号から上記撮像素子の欠陥画素を検出する検出手段をさらに備え、
上記保持手段は、上記検出手段により検出された欠陥画素に基づいて画素情報を更新することを特徴とする請求項１記載の画像信号処理装置。
上記保持手段は、上記欠陥画素であるか否かの各画素情報を１ｂｉｔにより保持することを特徴とする請求項１記載の画像信号処理装置。
上記保持手段に保持された画素情報を符号化して記憶する記憶手段をさらに備えることを特徴とする請求項１記載の画像信号処理装置。
撮像素子から出力される欠陥画素の画像信号を補正処理する画像信号処理方法において、
上記欠陥画素であるか否かの情報を含む画素情報を上記撮像素子の画素位置に対応付けて保持手段に保持する保持工程と、
上記保持手段に保持された画素情報と上記画像信号に同期した画素位置情報とに基づいて上記欠陥画素の画像信号を補正する欠陥補正工程と
を有する画像信号処理方法。