JP2005136970A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 工場出荷後の撮像素子の傷画素の傷の悪化にも対応することができ、しかも、必要以上に傷画素データが増加することのない画像処理装置を提供する。
【解決手段】 複数の画素を備えた撮像素子に含まれる欠陥画素を検出する検出部と、予め記憶されている前記撮像素子の欠陥画素の情報である第１の情報と、前記検出部による検出結果に基づく欠陥画素の情報である第２の情報とを、別々に記憶する記憶部と、を備え、前記記憶部は、前記撮像素子中の同一欠陥画素において、前記第１の情報に含まれる欠陥レベルよりも、前記検出部での検出結果の欠陥レベルの方が大きい場合には、前記同一欠陥画素の前記検出部での検出結果を前記第２の情報として、記憶することを特徴とする画像処理装置を提供する。
【選択図】 図１

Description

本発明は、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の固体撮像素子を用いた画像処理装置及び画像処理方法、特に、撮像素子の傷画素補正技術に関するものである。

近年、電子スチルカメラやビデオカメラでは撮像素子の高画素化が進んでおり、それに伴って撮像素子中の傷補正の重要性はより高まってきている。このような状況において従来から傷画素からの撮像出力に起因する画質劣化を補正する技術が種々提案されている。

これら従来技術の多くは、工場出荷時における撮像素子の傷画素情報（傷位置や傷の程度）を保有し、この情報に依拠して傷補正するものである。

しかしながら、上述のような方法では、工場出荷時の特定の検査条件下では検出されないような傷や経年変化による傷は補正されないので、十分な傷補正を施すことができないという問題があった。

そこで、このような問題を解決するための技術がいくつか提案されており、例えば、特開平８−１８８７３号公報にはビデオカメラに撮像素子の傷画素を検出するための傷画素検出モードを持たせ、その検出モードで検出された位置データと記憶手段に記憶されている位置データとを比較し、新しい傷画素だけを記憶手段に追加して補正する技術が提案されている（特許文献１参照）。
特開平８−１８８７３号公報

特許文献１の方法では、検出モードで検出された位置データと記憶手段に記憶されている位置データとを比較して一致した場合には、新しい傷画素として記憶手段に追加されないので、工場出荷時に検出されていた傷画素で工場出荷後に傷の程度が悪化した傷画素についてはその傷程度情報は更新されず、十分な傷補正を施すことができなかった。また、検出したい傷の程度を選んで傷画素検出ができないので、必要以上に傷画素データを追加してしまう場合があった。

本発明は、上記従来の問題点に鑑みなされたもので、その目的は、工場出荷後の撮像素子の傷画素の傷の悪化にも対応することができ、しかも、必要以上に傷画素データが増加することのない画像処理装置及び画像処理方法を提供することにある。

本発明の画像処理装置は、上記目的を達成するため、複数の画素を備えた撮像素子に含まれる欠陥画素を検出する検出部と、予め記憶されている前記撮像素子の欠陥画素の情報である第１の情報と、前記検出部による検出結果に基づく欠陥画素の情報である第２の情報とを、別々に記憶する記憶部と、を備え、前記記憶部は、前記撮像素子中の同一欠陥画素において、前記第１の情報に含まれる欠陥レベルよりも、前記検出部での検出結果の欠陥レベルの方が大きい場合には、前記同一欠陥画素の前記検出部での検出結果を前記第２の情報として、記憶することを特徴とする。

また、本発明の画像処理方法は、複数の画素を備えた撮像素子に含まれる欠陥画素を検出する検出工程と、予め記憶されている前記撮像素子の欠陥画素の情報である第１の情報と、前記検出工程による検出結果に基づく欠陥画素の情報である第２の情報とを、別々に記憶する記憶工程とを備え、前記記憶工程では、前記撮像素子中の同一欠陥画素において、前記第１の情報に含まれる欠陥レベルよりも、前記検出工程での検出結果の欠陥レベルの方が大きい場合に、前記同一欠陥画素の前記検出工程での検出結果を前記第２の情報として記憶することを特徴とする。

本発明によれば、工場出荷後に新たに増えた傷画素を検出して傷画素データに追加することができ、また、工場出荷時に検出されていた傷画素で工場出荷後に傷の程度が悪化した傷画素についてもその傷グレードを更新することで、これら傷画素に対しても補正することができ、長期に亘って高画質を維持することができる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

（第１の実施の形態）
図１は本発明による傷画素補正・検出機能を有する画像処理装置の一実施形態の構成を示すブロック図である。画像処理装置としては、例えば、電子スチルカメラ、電子ビデオカメラ等がある。

図中１００は画像処理装置、１０は撮影レンズ、１２は絞り機能を備えたシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力にゲインをかけてからディジタル信号に変換するＡ／Ｄ変換器である。ゲインをシステム制御回路５０が制御することによって実効感度を制御する。撮像素子１４はＣＣＤ等からなる複数の画素が二次元に配列されたものである。

１５はＡ／Ｄ変換器１６から出力された画像信号を入力して、傷画素による画像信号劣化を検出する傷画素検出回路である。傷画素検出回路１５の入力としては、Ａ／Ｄ変換器１６の出力に限らず、メモリ３０からメモリ制御回路２２を介して画像信号を入力するようにしても構わない。

１７はＡ／Ｄ変換器１６から出力された画像信号を入力して、傷画素による画像信号劣化を補正する傷画素補正回路である。傷画素補正回路１７の入力としては、Ａ／Ｄ変換器１６の出力に限らず、メモリ３０からメモリ制御回路２２を介して画像信号を入力するようにしても構わない。傷画素補正回路１７は工場出荷時の傷画素データ、もしくは検出モードで傷画素検出回路１５から出力される更新傷画素データをもとに画像信号に傷画素補正を施す。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１９は傷画素の情報を保持するメモリ、２０は画像処理回路であり、傷画素補正回路１７からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、傷画素補正回路１７、タイミング発生回路１８、メモリ１９、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。傷画素補正回路１７のデータは画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータは直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータはメモリ３０に書き込まれる。４０は絞り機能を備えたシャッター１２を制御する露光制御手段である。露光制御手段４０はＴＴＬ（スルー・ザ・レンズ）方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づいてシステム制御回路５０が露光制御回路４０に対して制御を行う。

４２は温度センサを用いて撮像素子１４の温度を検出する温度検出手段、５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置或いはスピーカ等から成る表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えば、ＬＣＤやＬＥＤ或いは発音素子等の組み合わせにより構成されている。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えば、ＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、工場出荷時に予め撮像素子１４の傷画素位置情報及び傷画素の傷グレードを含む傷画素情報が格納されている。装置の動作時には不揮発性メモリ５６のデータはメモリ１９にロードされ、動作終了時にはメモリ１９のデータは不揮発性メモリ５６に書き戻される。

７０は各種ボタンやタッチパネル等からなる操作部、９０はメモリカードやハードディスク等の記録媒体とのインターフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いるものとする。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインターフェース２０４、画像処理装置１００と接続するコネクタ２０６を備えている。

図２は本実施形態の傷画素データのフォーマットを示す。撮像素子１４の傷画素の位置を示す位置データ及びその傷画素の傷の程度を示す傷グレードデータが対で格納される。傷画素を補正する場合には、撮像素子１４の温度、シャッター速度、実効感度から補正すべき傷グレードが決められ、傷画素補正回路１７は図２のフォーマットでメモリに保持されている傷画素データを選択的に読み出して補正を施す。

傷画素検出回路１５は、シャッター１２を閉じて撮像素子１４を用いて撮像した傷画素検出画像信号をＡ／Ｄ変換器１６から（もしくは、Ａ／Ｄ変換器１６の出力を予めメモリ３０に保持しておいて、メモリ３０から）入力して、傷画素を検出する。また、傷画素検出回路１５はメモリ１９から傷画素データを読み出し、検出した傷画素の傷画素データを図２のフォーマットで書き込む。この場合の撮像素子１４の傷画素データの更新に関しては詳しく後述する。

図３は傷画素検出回路１５の内部構成を示すブロック図である。図中４００は撮像素子１４からの傷画素検出画像信号から傷画素検出・傷グレード判定をして検出傷画素の位置情報と傷グレードの傷画素データを出力する傷画素判定回路、４０２はメモリから元の傷画素データを入力し、傷画素データの更新を行う傷画素データ更新回路である。

次に、傷画素判定回路４００の傷画素検出・傷グレード判定動作を図４を用いて説明する。傷画素判定回路４００は、システム制御回路５０から傷画素判定しきい値Ｌ０、Ｌ１、Ｌ２、Ｌ３、・・・、Ｌｎ（ｎは正の整数）と温度・シャッター速度（露光時間）・実効感度から決まる傷グレードランクＲ０、Ｒ１、Ｒ３、・・・、Ｒｍ（ｍは正の整数、本実施形態では、温度が高かったり、シャッター速度が遅かったり、実効感度が高かったりして、より傷画素が発生しやすいほど大きな値を割り当てるものとする）を取得する。

また、撮像素子１４（もしくはメモリ３０）からの傷画素検出画像信号とその画像信号に適切なフィルタ処理を施したものとの差分信号を検出し、その差分信号のレベルに応じて傷画素を判定し、傷画素の傷位置と傷グレードを出力する。フィルタ処理とは、例えば、１次、２次等のフィルタを用いて線形補間処理を行うことで、傷画素の信号値を正常画素の信号値に比べて際立たせる処理、即ち、傷画素の信号値の異常が分かるようにする処理である。

図４の例では、ｎ＝４（差分画像信号レベルしきい値）、ｍ＝２（傷グレードランク）として、傷画素に対して傷グレード値０〜９（値が小さいほど程度が悪い傷を示す）を割り当てる場合を示している。ここでは、説明を簡単化するため、温度検出手段４２から取得する温度に対して実効感度を適切に制御することによって、シャッター速度（Ｔ０、Ｔ１、Ｔ２）だけで傷グレードランクを制御するものとする。なお、図４に示すシャッター速度は添字が大きい値ほど遅いものとする。また、シャッター速度（露光時間）だけで傷グレードランクを制御するとしたが、上述のように温度・シャッター速度（露光時間）・実効感度から傷グレードランクを制御することも可能である。

傷画素判定回路４００は詳しく後述するように傷画素に対してその差分信号レベルと図４に示す差分画像信号レベルしきい値に基づいて傷グレードを割り当て、その傷画素位置と共に傷グレードを出力する。つまり、シャッター速度が遅くても差分画像信号レベルが小さい傷画素には程度の良い傷グレードを割り当て、シャッター速度が速いにも拘わらず差分画像信号レベルが大きくなってしまう傷画素には程度の悪い傷グレードを割り当て、その傷画素位置と共に出力する。なお、図４の斜線で示す領域にある画素は差分信号レベルがしきい値Ｌ０以下であるので正常画素と判定する。

次に、傷画素データ更新回路４０２の動作を図５を用いて説明する。傷画素データ更新回路４０２は、傷画素判定回路４００からの検出傷画素データとメモリ１９に予め保持している傷画素データとを比較して、傷画素データの更新を行う。図５のセンサイメージの白丸数字は工場出荷時に検出されていた傷画素、数字のみの場合は傷検出モードで検出された傷画素を示す。

具体的に説明すると、まず、検出された傷画素の傷位置が予めメモリ１９に保持している傷画素データの傷位置と一致しない場合には、検出された傷画素の傷画素データを追加する。図５の位置（８，２）、（１０，３）の画素はそれに該当する。また、検出された傷画素の傷位置が予めメモリ１９に保持している傷画素データの傷位置と一致した場合には、検出した傷画素の傷グレードと元の傷グレードとを比較し、検出した傷グレードの方が元の傷グレードよりも程度が悪い時はその傷画素データを更新する。位置（２２，０）、（２，６）の画素はそれに該当する。

また、検出された傷画素の傷位置が予めメモリ１９に保持している傷画素データの傷位置と一致し、且つ、傷グレードが元の傷グレードと一致した場合には、その傷画素データは更新しない。図５の位置（５，１）、（１３，７）、（１７，１０）の画素はそれに該当する。更に、予めメモリ１９に保持している傷画素データで新たに検出されなかったものがあれば、その傷画素データは更新しない。図５の位置（２，１１）、（８，１２）の画素はそれに該当する。

図６はシステム制御回路５０が実行する傷画素検出動作を示すフローチャートである。図６の処理はユーザーが傷画素検出を行うため画像処理装置１００の操作部７０を操作した時に実行する。傷画素判定しきい値、傷グレードレンジ、そこから決定される傷グレードについては図４に準じている。

図６において、まず、不揮発性メモリ５６から既に取得している傷画素データをメモリ１９にロードしておく（Ｓ１０１）。次いで、傷画素検出モードの各種設定を行う（Ｓ１０２）。この設定処理はシステム制御回路５０が温度検出手段４２から撮像素子１４の温度を取得してその温度に対して実効感度を制御すること、露光制御手段４０を制御してシャッター１２を閉じることで傷画素検出画像撮影状態にすること、傷画素判定回路４００に傷画素判定しきい値と傷グレードレンジを設定することを含んでいる。

次に、シャッター速度Ｔ０〜Ｔ２の条件で傷画素検出を行う（Ｓ１０３〜Ｓ１０５）。まず、シャッター速度（露光時間）をＴ０（図６ではｎ＝０で示す）とする（Ｓ１０３）。次いで、ｎ＜２であるかを判定し（Ｓ１０４）、この時は、ｎ＝０であるのでＳ１０５に進む。

Ｓ１０５において傷画素判定回路４００はシステム制御回路５０から傷画素判定しきい値Ｌ０、Ｌ１、Ｌ２、Ｌ３、Ｌ４とシャッター速度（露光時間）Ｔ０に対応する傷グレードランク（図４の傷グレードランクＲ０）を取得する。また、上述のように撮像素子１４（もしくはメモリ３０）からの傷画素検出画像信号とその画像信号に適切なフィルタ処理を施したものとの差分信号を検出し、差分信号レベルとグレードランクＲ０におけるしきい値に基づいて傷画素を検出し、且つ、傷画素の傷グレードを判定し、その傷画素位置情報と共に傷グレードを出力する（Ｓ１０５）。傷画素データ更新回路４０２は傷画素判定回路４００からの検出傷画素データとメモリ１９に予め保持している傷画素データとを比較し、図５で説明した方法で傷画素データの更新を行い、結果をメモリ１９に書き込む（Ｓ１０５）。

シャッター速度Ｔ０での検出が終了したら、シャッター速度をＴ１、Ｔ２として順次同様の検出動作を行い、すべての傷画素検出が終了したらメモリ１９から不揮発性メモリ５６に更新された傷画素データを書き戻して処理を終了する（Ｓ１０６）。

図７は，図６のフローチャートをシステム制御回路５０が実行した時に，不揮発メモリ５６とメモリ１９に展開もしくは保存されるデータについて説明するための図である。

Ｓ１０１により不揮発メモリ５６からメモリ１９へ工場出荷欠陥画素データが展開される。その後、Ｓ１０２〜Ｓ１０５により後検出データで更新された工場出荷欠陥画素データがメモリ１９に展開される。最後にＳ１０６によりメモリ１９から不揮発メモリ５６に後検出データで更新された工場出荷欠陥画素データを保存する。

本発明の第１の実施の形態によれば、工場出荷後に新たに増えた欠陥画素を検出して欠陥画素データに追加することができ、また、工場出荷時に検出されていた欠陥画素で工場出荷後に欠陥画素の程度が悪化した欠陥画素についてもその欠陥レベルを更新することで、これら欠陥画素に対しても補正することができ、長期に亘って高画質を維持することができる。更に、適当な欠陥画素判定しきい値と欠陥レベルを設定することにより、検出したい欠陥画素の欠陥レベルを選んで欠陥画素検出することができるので、欠陥レベル判定処理時間を短縮できると共に必要以上に欠陥画素データが増加することがない。

（第２の実施の形態）
第２の実施の形態は、第１の実施の形態と同じ構成である。第２の実施の形態における、欠陥画素データ更新回路４０２の動作を、図５のセンサイメージと図８を用いて説明する。第２の実施の形態における欠陥画素データ更新回路４０２は、２種類の動作モードを有する。第２の実施の形態における欠陥画素データ更新回路４０２の第１の動作モードは、第１の実施の形態における欠陥画素データ更新回路４０２の動作と同じである。

第２の実施の形態における欠陥画素データ更新回路４０２の第２の動作モードについて、説明する。欠陥画素データ更新回路４０２は、欠陥画素判定回路４００からの検出欠陥画素データとメモリ１９に予め保持している欠陥画素データとを比較して、欠陥画素データの更新を行う。図５のセンサイメージの白丸数字は工場出荷時に検出されていた欠陥画素、数字のみの場合は欠陥画素検出モードで検出された欠陥画素を示す。

具体的に説明すると、まず、検出された欠陥画素の欠陥画素位置が予めメモリ１９に保持している欠陥画素データの欠陥画素位置と一致しない場合には、検出された欠陥画素の欠陥画素データを追加する。図５の位置（８，２）、（１０，３）の画素はそれに該当する。また、検出された欠陥画素の欠陥画素位置が予めメモリ１９に保持している欠陥画素データの欠陥画素位置と一致した場合には、検出した欠陥画素の欠陥レベルと元の欠陥レベルとを比較し、検出した欠陥レベルの方が元の欠陥レベルよりも程度が悪い時はその欠陥画素データを更新する。位置（２２，０）、（２，６）の画素はそれに該当する。

また、検出された欠陥画素の欠陥画素位置が予めメモリ１９に保持している欠陥画素データの欠陥画素位置と一致し、且つ、欠陥レベルが元の欠陥レベルと一致した場合には、その欠陥画素データは出力しない。図５の位置（５，１）、（１３，７）、（１７，１０）の画素はそれに該当する。（元の欠陥レベルの方が検出した欠陥レベルよりも程度が悪い時はその欠陥画素データは出力しない。）更に、予めメモリ１９に保持している欠陥画素データで新たに検出されなかったものがあれば、その欠陥画素データは出力しない。図５の位置（２，１１）、（８，１２）の画素はそれに該当する。

図８は，図６のフローチャートをシステム制御回路５０が実行した時に，不揮発メモリ５６とメモリ１９に展開もしくは保存されるデータについて説明するための図である。

Ｓ１０１により不揮発メモリ５６からメモリ１９へ工場出荷欠陥画素データが展開される。その後、Ｓ１０２〜Ｓ１０５により後検出データがメモリ１９に展開される。最後にＳ１０６によりメモリ１９から不揮発メモリ５６に後検出欠陥画素データを保存する。もし、このフローの途中で、動作が中断され、後検出欠陥画素データが破壊された場合には、補正時は、工場出荷欠陥画素データを用いて欠陥画素補正を行う。欠陥画素の位置情報と共に欠陥レベルまで取得すると、欠陥画素データを得るのに時間がかかり欠陥画素データがフローの途中で破壊されたり、ユーザーの操作などで後検出欠陥画素データの取得動作が中断されたりして、欠陥画素データの取得がうまくいかない場合があるが、このような場合でも、上述のように工場出荷欠陥画素データを用いて補正を行えば、ある程度の欠陥画素の補正処理を行うことができる。

図１０は，補正の直前に欠陥画素データを用意する時に、メモリ１９に展開されるデータについて説明するための図である。不揮発メモリ５６からメモリ１９に工場出荷欠陥画素データおよび後検出欠陥画素データを展開する。その後、メモリ１９から展開された工場出荷欠陥画素データおよび後検出欠陥画素データを欠陥画素データ更新回路４０２に読み出して、第１の動作モードで、後検出データで更新された工場出荷欠陥画素データを生成し、メモリ１９に展開し補正を施す。第１の動作モードでの後検出データで更新された工場出荷欠陥画素データの生成方法を、具体的に説明すると、まず、検出された欠陥画素の欠陥画素位置が予めメモリ１９に保持している欠陥画素データの欠陥画素位置と一致しない場合には、検出された欠陥画素の欠陥画素データを追加する。図５の位置（８，２）、（１０，３）の画素はそれに該当する。また、検出された欠陥画素の欠陥画素位置が予めメモリ１９に保持している欠陥画素データの欠陥画素位置と一致した場合には、検出した欠陥画素の欠陥レベルと元の欠陥レベルとを比較し、検出した欠陥レベルの方が元の欠陥レベルよりも程度が悪い時はその欠陥画素データを更新する。位置（２２，０）、（２，６）の画素はそれに該当する。また、検出された欠陥画素の欠陥画素位置が予めメモリ１９に保持している欠陥画素データの欠陥画素位置と一致し、且つ、欠陥レベルが元の欠陥レベルと一致した場合には、その欠陥画素データは更新しない。図５の位置（５，１）、（１３，７）、（１７，１０）の画素はそれに該当する。また、元の欠陥レベルの方が検出した欠陥レベルよりも程度が悪い時はその欠陥画素データは更新しない。更に、予めメモリ１９に保持している欠陥画素データで新たに検出されなかったものがあれば、その欠陥画素データは更新しない。図５の位置（２，１１）、（８，１２）の画素はそれに該当する。このように、工場出荷傷データと後傷検出傷データとを別々に記憶することにより、後傷検出傷データを作成している途中で、ユーザの操作等によって後傷検出傷データの作成が中断されてしまい、データが破壊されてしまった場合にも、工場出荷傷データは不揮発メモリに残っているので、次の撮影において最低限の欠陥画素の補正が可能となる。

なお、上記の構成に限らず、あらかじめ欠陥画素補正回路１７により工場出荷欠陥画素データの欠陥画素を補正することで、欠陥画素判定回路４００により後欠陥画素データだけを検出するように構成しても構わない。また、図８のようなデータ構成に限らず、図９のように検出時の温度（Ｔ）によって不揮発メモリの別々の領域に（Ａ：Ｔ１＜Ｔ，Ｂ：Ｔ≦Ｔ０，Ｃ：Ｔ０＜Ｔ≦Ｔ１）、後検出欠陥画素データを保存するようにしても構わない。また、Ｓ１０６のような不揮発メモリ５６に、後検出欠陥画素データを常に保存するようなシーケンスに限らず、検出した欠陥画素データの状態を見て不揮発メモリ５６に後検出データを保存するか否かを判定して保存するようにしても良い。つまり、検出された欠陥画素の欠陥レベルが例えば３かもしくはそれよりひどい欠陥画素データの数の総数が、規定値を３としてそれを超えた場合のみ、不揮発メモリ５６に後検出欠陥画素データを保存するように構成しても良い。より詳しく説明すると、欠陥レベルｉの欠陥画素データの数をＮｉ、保存判定範囲を欠陥レベル０〜ｍ、規定値をＮｔｈとした時、以下を満たす時のみ不揮発メモリ５６に後検出欠陥画素データを保存する。
Σ＝（Ｎ０＋Ｎ１＋・・・・・・・・・＋Ｎｍ）＞Ｎｔｈ

例えば、図９にこれを適用すると、後検出欠陥画素データＡではΣ＝５、後検出欠陥画素データＢではΣ＝３、後検出欠陥画素データＣではΣ＝４となり、ＢではΣ＞Ｎｔｈを満たさないので保存しないことになる（ｍ＝３，Ｎｔｈ＝３）。

第２の実施の形態によれば、後検出欠陥画素データのみを保存するので、不揮発メモリ５６の容量を節約できる。さらに、工場出荷時から程度が悪くなった欠陥画素については、工場出荷欠陥画素と同じ欠陥画素アドレスの欠陥画素データを後検出欠陥画素データとして持つことで、補正する時は程度の悪い欠陥レベル情報を基に補正することができ、適切な補正が可能となる。

また、第２の実施の形態によれば、温度範囲ごとに後検出欠陥画素データを不揮発メモリ５６に保存することで、後検出時の温度が検出ごとに異なっても、補正時に適当な後検出欠陥画素データを不揮発メモリ５６からメモリ１９に展開し、正しく補正することができる。

また、第２の実施の形態によれば、後検出した結果を見て不揮発メモリ５６に後検出欠陥画素データを保存するかどうかを選択することで、不揮発メモリ５６の容量を節約して使うことができる。

本発明の画像処理装置の一実施形態を示すブロック図である。 傷画素データのフォーマットの一例を示す概略図である。 傷画素検出回路１５の一例を示すブロック図である。 傷画素判定回路４００の動作を説明するための図である。 傷画素データ更新回路４０２の動作を説明するための図である。 システム制御回路５０の傷画素検出動作を示すフローチャートである。 第１の実施の形態における、不揮発メモリ５６とメモリ１９の状態をあらわす図である。 工場出荷傷データと後傷検出傷データとを別々に記憶する場合の不揮発メモリ５６とメモリ１９の状態をあらわす図である。 温度（Ｔ）によって不揮発メモリの別々の領域に後検出欠陥画素データを保存する場合の不揮発メモリ５６とメモリ１９の状態をあらわす図である。 補正の直前に欠陥画素データを用意する時に、メモリ１９に展開されるデータについて説明するための図である。

符号の説明

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１５ 傷画素検出回路
１６ Ａ／Ｄ変換器
１７ 傷画素補正回路
１８ タイミング発生回路
１９ メモリ
２０ 画像処理回路
２２ メモリ制御回路
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３２ 画像圧縮・伸長回路
４０ 露光制御手段
４２ 温度検出手段
５０ システム制御回路
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
７０ 操作部
９０ インターフェース
９２ コネクタ
１００ 画像処理装置
２００ 記録媒体
２０２ 記録部
２０４ インターフェース
２０６ コネクタ
４００ 傷画素判定回路
４０２ 傷画素データ更新回路

Claims (6)

1. 複数の画素を備えた撮像素子に含まれる欠陥画素を検出する検出部と、
   予め記憶されている前記撮像素子の欠陥画素の情報である第１の情報と、前記検出部による検出結果に基づく欠陥画素の情報である第２の情報とを、別々に記憶する記憶部と、を備え、
   前記記憶部は、前記撮像素子中の同一欠陥画素において、前記第１の情報に含まれる欠陥レベルよりも、前記検出部での検出結果の欠陥レベルの方が大きい場合には、前記同一欠陥画素の前記検出部での検出結果を前記第２の情報として記憶することを特徴とする画像処理装置。
2. 前記第１の情報と前記第２の情報とを基に、前記撮像素子に含まれる欠陥画素に関する第３の情報を合成する合成部と、
   前記第３の情報を用いて、前記撮像素子から出力される画像信号を補正する補正部とを有し、
   前記合成部は、前記第１の情報と前記第２の情報とに、同一画素の情報がある場合には、欠陥レベルの大きい方の情報を用いて前記第３の情報を合成することを特徴とする請求項１に載の画像処理装置。
3. 前記第１の情報と前記第２の情報とを基に、前記撮像素子に含まれる欠陥画素に関する第３の情報を合成する合成部と、
   前記合成部において第３の情報の合成に失敗した場合には、前記第１の情報を用いて、前記撮像素子から出力される画像信号を補正する補正部とを有することを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の情報は複数の撮像条件ごとに複数あり、前記合成部は前記第２の情報を切り替えて用いて、欠陥画素に関する第３の情報を合成することを特徴とする請求項１に記載の画像処理装置。
5. 前記撮像素子に像を結像するレンズと、
   前記撮像素子からの信号をＡ／Ｄ変換するＡ／Ｄ変換器と、
   前記補正部から出力された信号を記録部に記録するように制御する記録制御部と
   を備えたことを特徴とする請求項１に記載の画像処理装置。
6. 複数の画素を備えた撮像素子に含まれる欠陥画素を検出する検出工程と、
   予め記憶されている前記撮像素子の欠陥画素の情報である第１の情報と、前記検出工程による検出結果に基づく欠陥画素の情報である第２の情報とを、別々に記憶する記憶工程とを備え、
   前記記憶工程では、前記撮像素子中の同一欠陥画素において、前記第１の情報に含まれる欠陥レベルよりも、前記検出工程での検出結果の欠陥レベルの方が大きい場合に、前記同一欠陥画素の前記検出工程での検出結果を前記第２の情報として記憶することを特徴とする画像処理方法。

Images