JP2004222231A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】 電子カメラ等で撮影された画像データから、ゴミの影響等を適切に除去することが可能な画像処理装置および画像処理プログラムを提供すること。
【解決手段】
電子カメラ１で、例えば、青空のような一様に近い基準画像を撮影する。引き続き、所望の被写体の画像である補正対象画像を撮影する。基準画像および補正対象画像を画像処理プログラムを有するＰＣ（パソコン）３１に入力する。ＰＣ３１は、基準画像を構成する各画素において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出して、透過率信号を生成する。この透過率信号に基づいて、画像全体の透過率マップを作成する。この透過率マップを使用して補正対象画像を補正し、ゴミの影などを除去する。
【選択図】 図６

Description

本発明は、電子カメラ等で撮影した画像データにおいて、ゴミ等の影響を除去する画像処理装置に関する。

従来、ビデオカメラの製造時に光学系に混入したゴミの影響を補正するため、事前に各絞り値毎の白パターンを撮影して補正情報を記録しておく技術が、特開平９−５１４５９号公報に開示されている。また、コピー機の分野では常に変化する可能性のあるゴミ対策として、原稿読み取り前に均一な反射面を有する白基準データを取り込んで、ゴミ検出する技術が、特開平１０−２９４８７０号公報や特開平１１−２７４７５号公報に開示されている。さらに、スキャナー分野では、この白基準データの代わりの役割を果たすものとして、赤外光センサーを備え、可視光データと同時に透過率データを得て、フィルム欠陥による透過率の減衰信号を得る方法が、ＵＳＰ６，１９５，１６１号に開示されている。

特開平９−５１４５９号公報 特開平１０−２９４８７０号公報 特開平１１−２７４７５号公報 ＵＳＰ６，１９５，１６１号

しかし、従来のカメラでは、製造時に光学部品に付着した固定ゴミを対象としていたに過ぎず、使用頻度や時間の経過に伴って変化するゴミは考慮されてこなっかった。今日普及し始めた交換レンズ方式の一眼レフカメラでは、特に撮像素子前部の光学部品がむき出しのため、時間的に変化するゴミの写り込みが大きな問題となりやすい。

他方、コピー機やスキャナーでは本スキャンの前あるいは同時にゴミデータを取得して時間的に変化のあるゴミに対応している。しかし、カメラとは構造が異なって、固定距離にある原稿やフィルム面に対して一様な照明手段を有しており、更に完全に均一な反射面を備えたり、新たに赤外線照明手段を設けたりすることによって透過率データを得るのは比較的容易にできる。しかしながら、電子カメラでは製造時検査以外はそのような完全な一様面の透過率データを得にくいのが普通である。

また、コピー機、スキャナーは基本的に固定光学系であり、光学系の変化によりゴミが変化することを考慮する必要性がない。一方、従来のビデオカメラでは絞り値以外の光学的条件が変化することには対応していない。

本発明は、電子カメラ等で撮影された画像データから、ゴミの影響等を適切に除去することが可能な画像処理装置および画像処理プログラムを提供する。

請求項１の発明は、画像処理装置に適用され、撮像素子により撮影された画像を取得する画像取得手段と、取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、画像内の欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とするものである。
請求項２の発明は、請求項１に記載の画像処理装置において、欠陥情報作成手段は、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出する相対比算出手段を備え、算出した相対比に基づいて、欠陥情報を作成することを特徴とするものである。
請求項３の発明は、請求項１から２のいずれかに記載の画像処理装置において、欠陥情報作成手段は、画像内で所定の条件を満たす領域に対して欠陥情報を作成することを特徴とするものである。
請求項４の発明は、請求項１から３のいずれかに記載の画像処理装置において、欠陥情報に基づいて、画像内の欠陥を補正する補正手段とを更に有することを特徴とするものである。
請求項５の発明は、請求項２に記載の画像処理装置において、欠陥情報に基づいて、画像内の欠陥を補正する補正手段を更に有し、補正手段は、相対比の逆数値を、対応する画素の値に掛け算して補正することを特徴とするものである。
請求項６の発明は、請求項１に記載の画像処理装置において、画像取得手段は、撮像素子により撮影された複数の画像を取得し、欠陥情報作成手段は、取得した複数の画像を使用して、複数の画像のいずれかの画像内の欠陥情報を作成することを特徴とするものである。
請求項７の発明は、請求項１に記載の画像処理装置において、画像取得手段は、撮像素子により撮影された複数の画像を取得し、欠陥情報作成手段は、取得した複数の画像を使用して、複数の画像の画像全体に対応する欠陥情報を作成することを特徴とするものである。
請求項８の発明は、画像処理装置に適用され、光学系を通して撮影された基準画像を取得する画像取得手段と、取得した基準画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、基準画像内の欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とするものである。
請求項９の発明は、請求項８に記載の画像処理装置において、記欠陥情報作成手段は、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出する相対比算出手段を備え、算出した相対比に基づいて、欠陥情報を作成することを特徴とするものである。
請求項１０の発明は、請求項８から９のいずれかに記載の画像処理装置において、画像取得手段は、光学系を通して撮影された補正対象画像を取得し、基準画像内の欠陥情報に基づいて、補正対象画像内の欠陥を補正する補正手段を更に有することを特徴とするものである。
請求項１１の発明は、請求項１０に記載の画像処理装置において、補正手段は、基準画像と補正対象画像とが、絞り値および瞳位置が実質的に同じ光学的条件の光学系を通して撮影されている場合、生成された欠陥情報をそのまま使用して、補正対象画像を構成する画素の値を補正することを特徴とするものである。
請求項１２の発明は、請求項１０に記載の画像処理装置において、光学系の光学的条件である絞り値および瞳位置の少なくとも１つに応じて、欠陥情報を変換する欠陥情報変換手段をさらに備え、補正手段は、基準画像と補正対象画像とが、絞り値および瞳位置の少なくとも１つが異なる光学的条件の光学系を通して撮影されている場合、変換された欠陥情報を使用して、補正対象画像を構成する画素の値を補正することを特徴とするものである。
請求項１３の発明は、請求項９に記載の画像処理装置において、基準画像の相対比の逆数値を、補正対象画像の対応する画素の値に掛け算して補正する補正手段をさらに有することを特徴とするものである。
請求項１４の発明は、請求項２、９のいずれかに記載の画像処理装置において、相対比算出手段は、算出した相対比が１を挟んだ所定範囲に含まれるとき、算出した相対比を１に設定することを特徴とするものである。
請求項１５の発明は、請求項１４に記載の画像処理装置において、相対比算出手段は、算出した相対比を１に設定する所定範囲を、算出した相対比の標準偏差値と関連づけることを特徴とするものである。
請求項１６の発明は、請求項１、６のいずれかに記載の画像処理装置において、着目画素を含む所定範囲は、画像あるいは基準画像内で生じる欠陥領域よりも広い範囲であることを特徴とするものである。
請求項１７の発明は、請求項１０に記載の画像処理装置において、画像取得手段は、補正対象画像の撮影前後の所定時間内に撮影された基準画像を取得することを特徴とするものである。
請求項１８の発明は、請求項１７に記載の画像処理装置において、画像取得手段は、補正対象画像の撮影時間に２番目以内に近い時間に撮影された基準画像を取得することを特徴とするものである。
請求項１９の発明は、画像処理装置に適用され、複数色に分光可能な撮像素子を使用して撮影された画像を取得する画像取得手段と、画像の複数色の信号から輝度信号を生成する輝度信号生成手段と、生成された画像の輝度信号に基づき、画像内の欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とするものである。
請求項２０の発明は、請求項１９に記載の画像処理装置において、前記欠陥情報を用いて、前記画像内の欠陥画素の各色成分の値を補正する補正手段をさらに備えることを特徴とするものである。
請求項２１の発明は、請求項１９に記載の画像処理装置において、取得した画像内において、着目画素の生成した輝度信号の値と該着目画素を含む所定範囲内の複数の画素の生成した輝度信号の平均値に基づいて、画像内の欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とするものである。
請求項２２の発明は、請求項２１に記載の画像処理装置において、欠陥情報作成手段は、着目画素の生成した輝度信号の値と該着目画素を含む所定範囲内の複数の画素の生成した輝度信号の平均値との相対比を算出する相対比算出手段を備え、算出した相対比に基づいて、欠陥情報を作成することを特徴とするものである。
請求項２３の発明は、請求項２２に記載の画像処理装置において、相対比の逆数値を、対応する画素の各色成分の値毎に掛け算して補正する補正手段を更に備えることを特徴とするものである。
請求項２４の発明は、請求項１９に記載の画像処理装置において、画像取得手段は、撮像素子により撮影された複数の画像を取得し、輝度信号生成手段は、取得した複数の画像について輝度信号を生成し、欠陥情報作成手段は、生成された複数の画像の輝度信号を使用して、複数の画像のいずれかの画像内の欠陥情報を作成することを特徴とするものである。
請求項２５の発明は、請求項１９に記載の画像処理装置において、画像取得手段は、撮像素子により撮影された複数の画像を取得し、輝度信号生成手段は、取得した複数の画像について輝度信号を生成し、欠陥情報作成手段は、取得した複数の画像を使用して、複数の画像の画像全体に対応する欠陥情報を作成することを特徴とするものである。
請求項２６の発明は、画像処理プログラムに適用され、請求項１〜２４のいずれかに記載の画像処理装置の機能をコンピュータに実行させるものである。

本発明は、以上説明したように構成するので、次のような効果を奏する。電子カメラ等で撮影された画像内に含まれるゴミの影響等の欠陥情報を手軽な方法で適切に取得することができる。特に、基準画像にグラデーション等の完璧に一様でない要因が含まれていても、適切に排除して欠陥情報に変換することができる。また、この欠陥情報を利用して、ゴミの影響等を適切に除去することができる。

−第１の実施の形態−
（電子カメラおよびパーソナルコンピュータの構成）
図１は、交換レンズ方式の一眼レフ電子スチルカメラ（以下、電子カメラと言う）の構成を示す図である。電子カメラ１は、カメラ本体２とマウント式交換レンズからなる可変光学系３を有する。可変光学系３は、内部にレンズ４と絞り５を有する。レンズ４は複数の光学レンズ群から構成されるが、図では代表して１枚のレンズで表し、そのレンズ４の位置を主瞳位置と言う（以下、単に瞳位置と言う）。可変光学系３は、ズームレンズであってもよい。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。

カメラ本体２は、シャッター６、光学フィルターやカバーガラスなどの光学部品７、撮像素子８を有する。可変光学系３は、カメラ本体２のマウント部９に対して着脱可能である。また、可変光学系３は、マウント部９を介して、瞳位置に関する情報、絞り値に関する情報等の光学的パラメータを電子カメラ１の制御部１７（図２）に送信する。絞り値は、例えばＦ２．８〜Ｆ２２まで変化する。

符号１０は、撮像素子８前部の光学部品７の表面に付着したゴミを示す。可変光学系３の絞り値や瞳位置を変化させて、撮影画像に写り込んだゴミ影の変化を評価する実験を行った結果、以下の２つの事実が判った。
（１）絞り値によってゴミ影の大きさと光の透過率が変わる。
（２）レンズの瞳位置によってゴミ位置がずれる。
この２つの実験事実から固定位置に付着したゴミであっても、レンズの撮影条件（絞り値と瞳位置）が変化する度にゴミの写り込み方が変化していることがわかる。このような可変な光学系に対して、ゴミの影響を除去する手法を以下に示す。

図２は、電子カメラ１のブロック図とＰＣ（パーソナルコンピュータ）３１および周辺装置を示す図である。ＰＣ３１は、画像処理装置として機能し、電子カメラ１から画像データを取得し後述するゴミの影響除去処理をする。

電子カメラ１は、可変光学系３、光学部品７、シャッター６（図２では図示省略）、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、操作部１６、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、モニタ２１、メモリカード用インタフェース部２２、外部インタフェース部２３を備える。

撮像素子８は、可変光学系３を通して被写体を撮像し、撮像された被写体像に対応する画像信号（撮像信号）を出力する。撮像素子８は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部１２に出力する。撮像素子８は、例えば単板式カラーＣＣＤなどで構成される。アナログ信号処理部１２は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。Ａ／Ｄ変換部１３は、アナログ信号処理部１２で処理されたアナログ信号をデジタル信号に変換する。タイミング制御部１４は、制御部１７により制御され、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、画像処理部１５の各動作のタイミングを制御する。

メモリカード用インタフェース部２２は、メモリカード（カード状のリムーバブルメモリ）３０とのインタフェースをとる。外部インタフェース部２３は、所定のケーブルや無線伝送路を介してＰＣ３１等の外部装置とのインタフェースをとる。操作部１６は、レリーズボタンやモード切り換え用の選択ボタン等に相当する。モニタ２１は、各種メニューを表示したり、撮像素子８で撮像した被写体像やメモリカードに格納された画像データに基づく再生画像を表示したりする。操作部１６の出力は制御部１７に接続され、モニタ２１には表示画像生成部２０の出力が接続される。画像処理部１５は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。

Ａ／Ｄ変換部１３、画像処理部１５、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、メモリカード用インタフェース部２２、外部インタフェース部２３は、バス２４を介して相互に接続されている。

ＰＣ３１には、モニタ３２やプリンタ３３等が接続されており、ＣＤ−ＲＯＭ３４に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ３１は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード３０とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。

図１のような構成の電子カメラ１において、操作部１６を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１７は、タイミング制御部１４を介して、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３に対するタイミング制御を行う。撮像素子８は、可変光学系３により撮像領域に結像された光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部１２で所定のアナログ信号処理が行われ、アナログ処理後画像信号としてＡ／Ｄ変換部１３へ出力される。Ａ／Ｄ変換部１３では、アナログ処理後の画像信号をディジタル化し、画像データとして、画像処理部１５に供給する。

本実施の形態の電子カメラ１では、撮像素子８において、単板式カラー撮像素子の最も代表的なＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されている場合を例にとり、画像処理部１５に供給される画像データはＲＧＢ表色系で示されるものとする。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子８を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。

画像処理部１５は、このような画像データに対し、補間、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１９で所定の圧縮処理が施され、メモリカード用インタフェース部２２を介してメモリカード３０に記録される。画像処理が完了した画像データは、圧縮処理を施さずにメモリカード３０に記録してもよい。

画像処理が完了した画像データは、メモリカード３０を介してＰＣ３１に提供される。外部インターフェース２３および所定のケーブルや無線伝送路を介してＰＣ３１に提供してもよい。画像処理が完了した画像データは、補間処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。

（ゴミの影響除去処理）
次に、撮影した各画像データにおいて、ゴミの影響を除去する処理について説明する。第１の実施の形態では、各光学的撮影条件毎にゴミ情報を得るための基準画像を、毎回、電子カメラ１で撮影する場合を想定する。ただし、基準画像は、完全に一様な白基準データではなく、青空、一様に近い壁面、グレーチャート、無地の紙面などを撮影して代用するものとする。この場合の基準データは、レンズの周辺減光や被写体のグラデーション、撮像素子のシェーディングなどが含まれていてもよい。基準データは、実際に身近な場所で容易に撮影できる状況で取得できる場合を想定しており、厳密な一様性は要求せず、画像処理側のアルゴリズムで一様なものに変換する。

（電子カメラ側の動作）
図３は、第１の実施の形態における、電子カメラ１側の撮影手順について説明する図である。１）瞳位置Ｐ１絞り値Ａ１で通常撮影１０１を行い、補正対象画像データ１を出力する。２）引き続き、同じ瞳位置Ｐ１絞り値Ａ１で一様面撮影１０２を行い、基準画像データ１を出力する。３）次に、異なる瞳位置Ｐ２、絞り値Ａ２で通常撮影１０３を行い、補正対象画像データ２を出力する。４）引き続き、通常撮影１０３と同じ瞳位置Ｐ２絞り値Ａ２で一様面撮影１０４を行い、基準画像データ２を出力する。すなわち、まず、電子カメラ１を撮影したい被写体に向けた撮影を行い（通常撮影）、直後に電子カメラ１を空や壁面に向けて一様な面の撮影を行う（一様面撮影）。あるいは、カメラは通常撮影のときと同じ状態で、レンズの前数ｃｍ〜１０ｃｍ程度のところに白い紙あるいは一様な色の紙をかざすだけでもよい。このようにして、通常撮影と一様面撮影とを一対とした撮影動作を行う。ここで、画像データを出力するとは、メモリカード３０に記録したり、外部インターフェース２３を介してＰＣ３１に直接出力したりすることを言う。

電子カメラではゴミの状態が変化する可能性があるので、本実施の形態では、一様面の撮影を補正対象画像の撮影の直後の同一光学的条件のままで行っている。しかし、実際にはこれほど厳密に時間的に直後でなくてもよい。光学的に瞳位置と絞り値について同じ撮影条件が再現できる場合は、一日程度経って撮影した一様面データでも、かなりのゴミは大きく変化せずに使えることが多い。したがって、一様面データは、同一の光学的条件を再現し、通常撮影時のゴミ情報を十分反映できる程度の時間差内に撮影したものであれば、代用することは可能である。なお、通常撮影と一様面撮影の順序を入れ換えて、先に一様面撮影をし引き続き通常撮影をするようにしてもよい。

（画像処理装置側動作）
電子カメラ１で撮影された画像データは、所定の画像処理がなされた後ＰＣ３１に提供される。ＰＣ３１では、一対の補正対象画像データと基準画像データとを使用して、ゴミの影響除去処理を行う。ＰＣ３１は、ゴミの影響除去処理を行う画像処理装置と言ってもよい。基準画像データ、補正対象画像データともにベイヤ配列のＲＧＢ補間処理は済んだ状態でＰＣ３１に入力される。以下で説明する基準画像データと補正対象画像データは、同一の瞳位置と絞り値の光学的条件下で撮影されたデータである。図６は、ＰＣ３１で行う処理の流れを示すフローチャートである。

＜基準画像データに対する処理＞
１）輝度面の生成
図６のステップＳ１１では、輝度面の生成を行う。基準画像データの各画素[i,j]について、次の式（１）を使用して、ＲＧＢ信号から輝度信号を生成する。[i,j]は画素の位置を示す。
Y[i,j]=(R[i,j]+2*G[i,j]+B[i,j])/4 ...(1)
ＲＧＢ各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、ＲＧＢ３面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、R:G:B=0.3:0.6:0.1等であってもよい。

２）透過率マップの生成（ゲインマップ抽出）
ステップＳ１２では、以下の処理からなる透過率マップの生成（ゲインマップ抽出）を行う。
２−１）局所的規格化処理（ゲイン抽出処理）
基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、局所的な画素値の規格化（正規化）処理を行って、各画素の透過率信号T[i,j]を、次式（２）を使用して算出する。すなわち、着目画素[i,j]の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。これにより一様面データに含まれるグラデーション、シェーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ（ゲインマップ）と言う。透過率マップは、基準画像の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号（色情報）や輝度信号（輝度情報）の値である。例えば、１バイトで表される場合、０〜２５５の値を取る。

ここで、局所平均を取る範囲(2a+1)x(2b+1)画素は、ゴミ径より大きめにとる。理想的には面積的にゴミ影よりも3倍程度以上の広さを取れば、正確な透過率データが得れらる。ａは着目画素[i,j]を中心に左右に広がる画素数、ｂは着目画素[i,j]を中心に上下に広がる画素数を示す。例えば、撮像素子８の画素ピッチを１２ｕｍとし、撮像面とゴミ付着面との距離を１．５ｍｍとすると、絞り値Ｆ２２のとき、巨大なゴミの直径は１５画素程度、絞り値Ｆ４のとき、巨大なゴミの直径は４０画素程度となる。従って、ａ＝４０、ｂ＝４０とし、局所平均を取る範囲は８１×８１画素範囲のように設定するとよい。これは、一例であり、他の画素数による画素範囲であってもよい。

ゴミ影は絞り値に大きく依存し、小さなゴミは絞りを開けるとすぐに消滅するが、大きなゴミは絞りを開放側にしても影は薄くなりながらも大きな面積を占めることがある。撮像素子の画素ピッチ幅にもよるが、開放側で数十画素に渡って丸いゴミ影ができる場合があり、そのときは非常に広い範囲で局所平均をとる必要性が出る。そのため、処理を高速化する場合は、間引いた画素で代表して処理しても問題ない。

この(2a+1)x(2b+1)画素の範囲で相対比を演算する処理を、局所的規格化処理（ゲイン抽出処理）と呼ぶ。(2a+1)x(2b+1)画素の範囲で相対化演算するフィルタのことを、ゲイン抽出カーネルと呼んでもよい。図４は、輝度面に対して局所的規格化処理を施した様子を示す図である。図４（ａ）は、輝度面内のある横方向に並ぶ画素の輝度信号を示す図である。符号４１と符号４２は、ゴミにより輝度信号が低下していることを示す。図４（ｂ）は、図４（ａ）の輝度信号に対して、上述した局所的規格化処理を施して得られた図である。すなわち、局所的な範囲で画素値の規格化処理を行ったものである。符号４３、４４は、図４（ａ）の符号４１、４２に対応し、ゴミが存在する個所の透過率を示す。このように、一様面データに含まれるグラデーション、シェーディング等の不均一性は排除され、ゴミ影による透過率の低下のみを抽出することができる。これにより、ゴミの位置と透過率の程度が同時に分かる。

２−２）透過率マップのローパス処理
透過率マップのローパス処理は選択可能としてもよいが、大部分で効果があるのでこの処理を入れておくのが好ましい。透過率信号T[i,j]には、輝度信号の量子論的揺らぎに伴うランダムノイズが含まれているため、透過率が１に近いレベルで微妙にゴミ影の影響が残っている領域は、そのランダム性のため以下に続く２−４）の閾値判定を行うと、斑にゴミ影を抽出することがある。それを防ぐため、次式（３）によるローパスフィルタによりゴミ影の集団化を行うとやや見栄えがよくなる。
T[i,j]={4*T[i,j]
+2*(T[i-1,j]+T[i+1,j]+T[i,j-1]+T[i,j+1])
+1*(T[i-1,j-1]+T[i-1,j+1]+T[i+1,j-1]+T[i+1,j+1])}/16 ...(3)

２−３）透過率マップの統計解析
前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値Ｍを次式（４）により求め、標準偏差σを次式（５）により求める統計解析を行う。なお、Nx,Nyは、ｘ方向、ｙ方向の総画素数を表す。

２−４）閾値判定
基本的に透過率マップに占めるゴミ信号の面積的な割合は非常に小さく、２−３）で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ（ショットノイズ）を評価していることになる。図４における符号４５部分を拡大した符号４６は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値Ｍ（Ｍはほぼ１に近い値）を中心に標準偏差σの正規分布した形となる。図５は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を１に設定してよい。すなわち、次の条件（６）（７）により閾値判定を行う。
if |T[i,j]-M|≦3σ then T[i,j]=1 ...(6)
else T[i,j]=T[i,j] ...(7)

正規分布するランダムデータは、±３σの範囲を集めれば９９．７％になるので、ほぼ正確にランダムノイズの影響を除外することができる。±３σから外れる透過率は、ほとんど統計的な誤差では説明できない異常な信号であり、ゴミ影による透過率の低下による現象を表していると考えられる。この異常部分は、ゴミ影の場合、通常１より小さな値となる。

しかし、割合は少ないが１より大きな値を示すものもある。これはゴミ影の影響ではなく、オプティカルローパスフィルタ等の脈理（屈折率の不均一）で生じた欠陥が入射光を強めあったり弱めあったりする干渉縞を起こした場合などに見られる現象である。これにより、光路途中に含まれるゴミ以外の光学部材の欠陥検出にもこの方法は利用することができる。また、撮像素子内の画素欠陥の影響もこの手法で判別可能である。ゴミは、撮像素子８に近い方がボケずに残りやすいが、撮影レンズ上のゴミが相当ボケて写り込んだ場合でも精度よく判別可能である。

なお、ゴミ影の影響のみを取り除く場合は、以下の条件（８）（９）（１０）により閾値判定するとよい。
if |T[i,j]-M|≦3σ then T[i,j]=1 ...(8)
else if T[i,j]>1 T[i,j]=1 ...(9)
else T[i,j]=T[i,j] ...(10)
判定に使う平均値Ｍは常に１に近い値をとるため、１に置き換えてもよい。

このようにして、欠陥の画素位置を表すマップ情報（Ｔ＝１か否かで判断）と、欠陥の度合いを表す透過率情報の２種類の欠陥情報が同時に得られることになる。なお、上述の透過率マップは局所的な相対ゲインを表していることからゲインマップと呼んでもよい。

通常、ゴミ等の欠陥検出は、エッジ検出用の微分フィルタで行う。しかし、光路途中のゴミを対象とする場合、光学的にぼけるため非常に周辺とのコントラストが低いゴミ影となって現れる。このような場合、微分フィルタでは非常に感度が悪くほとんど検知できないことが多い。しかし、上記説明したように、透過率の統計的性質を用いた判定法を用いると、非常に高感度のゴミ検出が可能となり、目的の光路途中の異物による影響補正が可能となる。

＜補正対象画像に対する処理＞
３）ゲイン補正
ステップＳ１３では、ゲイン補正を行う。上記のように求めた透過率マップを使用して補正対象画像データの補正を行う。補正対象画像データのＲ，Ｇ，Ｂ値各々に対して、式（１１）（１２）（１３）で示すように、透過率信号の逆数を掛け算してゲイン補正を行う。
R[i,j]=R[i.j]/T[i,j] ...(11)
G[i,j]=G[i.j]/T[i,j] ...(12)
B[i,j]=B[i.j]/T[i,j] ...(13)

これにより、ゴミ影による輝度の低下をきれいに補正できる。加えて、補正の必要性のない所は透過率マップが閾値判定されているため、余計な補正を行わないようにできる。すなわち、ゴミのない箇所の透過率Ｔにはランダムノイズの影響が取り除かれているので、ＲＧＢ信号のノイズが増幅される心配がない。

以上のように、第１の実施の形態では、ゴミ対策用の特別な機構を備えていない普通の電子カメラでも、任意の時刻に撮影した画像を適切に補正することができる。基準画像の一様面の撮影には厳密な均一性が要求しないので、比較的手軽に実現することが可能となる。更に、従来のゴミ検出法に比べ、格段に感度のよい検出及び補正が可能となる。

−第２の実施の形態−
第２の実施の形態では、ゴミ情報を得るための基準画像を一度だけ撮影し、光学的撮影条件の異なる複数の画像に対してもこの基準画像を利用してゴミ除去する方法を示す。電子カメラ１および画像処理装置としてのＰＣ３１の構成は、第１の実施の形態と同様であるので、その説明を省略する。

（電子カメラ側の動作）
図７は、第２の実施の形態における、電子カメラ１側の撮影手順について説明する図である。１）瞳位置Ｐ０、絞り値Ａ０で一様面撮影２０１を行い、基準画像データ０を出力する。２）瞳位置Ｐ１、絞り値Ａ１で通常撮影２０２を行い、補正対象画像データ１を出力する。３）瞳位置Ｐ２、絞り値Ａ２で通常撮影２０３を行い、補正対象画像データ２を出力する。４）瞳位置Ｐ３、絞り値Ａ３で通常撮影２０４を行い、補正対象画像データ３を出力する。すなわち、まず、電子カメラ１を空や壁面に向けて一様な面の撮影を行い（一様面撮影）、その後、電子カメラ１を撮影したい被写体に向けて随時撮影する（通常撮影）。

ここで、基準画像の絞り値Ａ０は、可変光学系３に用意された可変な範囲の中で最も絞り込んだ状態で撮影するものとする。最も絞り込んだ絞り値は、標準的なレンズでは例えばＦ２２程度である。一方、補正対象画像の絞り値は、基準画像と同じか、それより開放側であるものとする。

一様面撮影は、ゴミの付着状態が変化しないかぎり省くことができる。一様面撮影の挿入回数が多いに越したことはないが、通常は一日一回程度のデータでもあれば、有効なゴミデータになりうる。一様面撮影を行うか否かの判断は、撮影者に委ねられる。しかし、先に行った一様面撮影があまりにも時間的に離れている場合は、その一様面撮影による基準データは信頼性に欠ける場合も生じる。従って、通常撮影から所定時間内の一様面撮影の基準画像データのみを使用するようにしてもよい。また、必ずしも一様面撮影を先に行う必要はない。後に行った一様面撮影の基準画像データを使用してもよい。一様面撮影が、通常撮影の前後に複数ある場合は、時間的に最も近い一様面撮影の基準画像データを使用するようにしてもよい。あるいは、新規付着ゴミの可能性を気にするのであれば、撮影前後の２番目に近いものまでの中からどちらかを選択するようにしてもよい。

（画像処理装置側動作）
第２の実施の形態において、画像処理装置であるＰＣ３１に入力される基準画像データと補正対象画像データには、瞳位置と絞り値が識別できるデータが埋め込まれているものとする。瞳位置データは、撮影データに埋め込まれたレンズの種類、ズーム位置、焦点位置の記録データから換算テーブルを使って算出してもよい。図１２は、ＰＣ３１で行う処理の流れを示すフローチャートである。

＜基準画像に対する処理＞
１）輝度面生成、透過率マップの生成
ステップＳ２１の輝度面生成、ステップＳ２２の透過率マップの生成は、第１の実施の形態と同様に行う。

２）透過率マップの瞳位置変換
ステップＳ２３では、透過率マップの瞳位置変換を行う。基準画像と補正対処画像の瞳位置が相互に異なっているとき、基準画像のゴミ位置を、補正対象画像の瞳位置から見たときに出現すると予測されるゴミ位置に瞳位置変換する。図８は、瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。図８（ａ）は、瞳位置とゴミと撮像素子８の撮像面との関係を示す図である。図８（ｂ）は、瞳位置の変化に伴い撮像面上でゴミ影が移動している様子を示す図である。

図８から明らかなように、瞳位置が異なると画像内に写り込むゴミの位置は、光軸５１すなわち画像の中心から動径方向にずれる。ここで、画像内の光軸５１から距離rの位置にあるゴミが、動径方向にずれる量Δrを見積もる。基準画像の瞳位置をP0、補正対象画像の瞳位置をP0'、撮像面から距離lの位置にゴミが付着しているとすると、Δrは、次式（１４）により計算することができる。

ただし、距離lは光学部品の厚みを空気中の光路長に換算した値である。

基準画像の透過率マップT[i,j]を、極座標[r,θ]上で次式（１５）により[r',θ]に変位させ、座標[i,j]上の透過率マップT'[i,j]に変換する。

ずれ量Δrは、光軸５１から距離が遠くになるに従い大きくなる。実際の画像の周辺部では、瞳位置の値によっては数十画素に及ぶこともある。

３）透過率マップのＦ値変換
ステップＳ２４では、透過率マップのＦ値変換を行う。基準画像と補正対処画像の絞り値が相互に異なっているとき、基準画像のゴミ径と透過率を、補正対象画像のより開放側絞り値でのゴミ径と透過率にＦ値変換する。図９は、絞り値であるＦ値が変化するとゴミ影の大きさが変化する様子を示す図である。図９（ａ）は、Ｆ値が大きい場合、図９（ｂ）は、Ｆ値が小さい場合を示す。図９から明らかなように、Ｆ値の定義式（Ｆ＝焦点距離／レンズの有効口径）を、相似関係にある撮像面からゴミ付着位置までの距離lとゴミ広がりΓに当てはめると次式（１６）が成立する。

ｌを撮像素子の画素ピッチａ［ｍｍ／ｐｉｘｅｌ］で割り算すると、ゴミ径は画素数で表記できる。このようにして、絞りがＦ値のとき、点像のゴミは幅Γの大きさに広がることが予測できる。

一方、その点像の分布関数は、絞り値内で開口したレンズの各入射角度から均等に点像ゴミに光を当ててゴミ影を広げていると考えられるので、完全に一様な広がりを持つ関数と想定してよい。したがって、Ｆ値変換には、フィルタ幅Γ画素で表される一様なローパスフィルタ処理を掛けることによって、ゴミ径と透過率を正確に予測するＦ値変換が可能となる。ローパスフィルタは直径がΓの円形状の非分離型フィルタが普通と考えられるが、処理の高速化を念頭に、縦Γ、横Γの正方状の分離型フィルタでも問題ない。

例えば、ｌ＝０．５ｍｍ、ａ＝５μｍ／ｐｉｘｅｌの場合にＦ２２の透過率マップを、Ｆ１６、Ｆ１１、Ｆ８、Ｆ５．６、Ｆ４に変換する場合に当てはめると、正方状の分離型フィルタの一次元フィルタ係数は図１０ような形式に表される。図１０の一次元フィルタ係数を使用して、縦横それぞれフィルタリングをする。なお、絞り値Ｆ１６の一次元フィルタ係数は、両端に０．５の係数を持ち、７つの係数を有する。これは、偶数幅の広がりを着目画素を中心に左右上下に均等に広がる奇数幅の範囲でフィルタリングをするためである。図１１は、絞り値Ｆ１６フィルタを２次元フィルタで表した図である。

上記の変換処理を行うことにより、基準画像の透過率マップは、補正対象画像の瞳位置、Ｆ値の状態の透過率マップに変換される。すなわち、基準画像の透過率マップは、補正対象画像が撮影される光学的条件下で生成される透過率マップと等価な透過率マップが生成される。

＜補正対象画像に対する処理＞
３）ゲイン補正
ステップＳ２５では、上記変換処理した透過率マップを使用してゲイン補正を行う。第１の実施の形態と同様に、補正対象画像データのＲ，Ｇ，Ｂ値各々に対して、式（１７）（１８）（１９）で示すように、瞳位置、Ｆ値変換後の透過率信号の逆数を掛け算して、ゲイン補正を行う。
R[i,j]=R[i.j]/T'[i,j] ...(17)
G[i,j]=G[i.j]/T'[i,j] ...(18)
B[i,j]=B[i.j]/T'[i,j] ...(19)

図１３は、中くらい程度のゴミについて、Ｆ値変換により透過率が変換される様子を示す図である。横軸は画素位置を示し、縦軸は透過率を示す。

このようにして、可変な光学系において、最小絞り値で基準画像を一枚撮影するだけで、他の光学的条件における基準画像の撮影を不要とすることができる。すなわち、１枚の基準画像と相互にゴミデータを変換することにより、有効な補正を達成することができる。したがって、電子カメラのユーザーの負担は大幅に低減される。また、第１の実施の形態と同様に、一様画像撮影の厳密性は要求せずに、極めて高感度なゴミ検出性能も維持することが可能である。

−第３の実施の形態−
第３の実施の形態では、一様面の基準画像が全くない状態で、補正対象画像内でゴミ検出し、除去する方法を示す。基本的原理は、補正対象画像中の平坦部（画像が部分的に一様な領域）を見つければ、第１の実施の基準画像に対して行っていたゴミの透過率マップ生成処理（ゲインマップ抽出）が、そのまま同じように適用できる。電子カメラ１および画像処理装置としてのＰＣ３１の構成は、第１の実施の形態と同様であるので、その説明を省略する。

（電子カメラ側の動作）
図１４は、第３の実施の形態における、電子カメラ１側の撮影手順について説明する図である。１）瞳位置Ｐ１、絞り値Ａ１で通常撮影３０１を行い、補正対象画像データ１を出力する。２）瞳位置Ｐ２、絞り値Ａ２で通常撮影３０２を行い、補正対象画像データ２を出力する。３）瞳位置Ｐ３、絞り値Ａ３で通常撮影３０３を行い、補正対象画像データ３を出力する。４）瞳位置Ｐ４、絞り値Ａ４で通常撮影３０４を行い、補正対象画像データ３を出力する。すなわち、第３の実施の形態では、第１の実施の形態や第２の実施の形態で行っていた、一様面撮影を行わない。

（画像処理装置側動作）
＜補正対象画像に対する処理＞
図１５は、画像処理装置であるＰＣ３１で行う処理のフローチャートを示す図である。ステップＳ３１では、輝度面の生成を行う。ステップＳ３２では、輝度面のガンマ補正、エッジ抽出フィルタ処理、閾値判定により、エッジマップの生成を行う。ステップＳ３３では、エッジマップに暗黒部を追加処理をする。ステップＳ３４では、エッジマップの拡大処理をする。ステップＳ３５では、平坦マップへの変換を行う。ステップＳ３６では、自己ゲイン抽出処理を行う。ステップＳ３７では、自己ゲイン補正処理を行う。以下、各ステップの詳細について説明する。

１）輝度面の生成（ステップＳ３１）
補正対象画像データの各画素[i,j]について、ＲＧＢ信号を輝度信号Ｙへの変換を行う。変換方法は、第１の実施の形態の基準画像に対して行った方法と同様である。

２）エッジマップの生成（ステップＳ３２）
エッジ抽出フィルタを輝度面に掛けて、補正対象画像内の平坦部とエッジ部の分離を行う。光路途中に含まれるゴミの画像内への写り込みは非常にコントラストの低いゴミ影となって現れるため、従来技術のようなエッジ抽出フィルタで検出されない場合が多い。この事実を逆に利用すると、エッジ抽出フィルタで抽出されるエッジ部は、ゴミではなく基本的に画像内のエッジであると多くの箇所で仮定できる。この画像内のエッジとゴミとの区別を更によくするために初めに輝度面に対する階調補正処理を行う。

２−１）輝度面のガンマ補正
補正対象画像が線形階調のまま入力されて、上述の輝度面が生成されているものとする。このとき、入力信号をY(0≦Y≦Ymax)、出力信号をY'(0≦Y'≦Y'max)とし、例えば次式（２０）のような階調変換を施す。なお、γ=0.4,0.5,0.6等である。

この変換は、低輝度側の中間調のコントラストを上げ、高輝度側のコントラストを下げる処理である。すなわち、ゴミ影は暗いところでは目立ちにくく明るいところで目立つため、ゴミ影のコントラストはこの変換によって下がり、一方の通常の画像エッジは主に中間調に分布するため相対的にコントラストを上げている。したがって、ゴミ影と通常エッジのコントラストの分離度が良くなる。さらにY'の量子ゆらぎに起因するショットノイズを全階調にわたって均一に扱えるように変換するには、誤差伝播則から考えてγ＝0.5にとるのが最もよい。なお、上記式（２０）はべき乗関数になっている。また、γ＝0.5は、べき乗関数が平方根関数となっている。

入力画像に最終出力用のガンマ補正処理が掛かっているとき、上記変換に近いガンマ補正処理がなされている場合はこの処理を飛ばしてもよい。また、逆ガンマ補正を行って線形階調に戻してから、上記処理を行えば、より分離機能が得られる。

２−２）エッジ抽出フィルタ処理
次に、ガンマ補正のなされた輝度面に対して、図１６および次式（２１）によるエッジ抽出フィルタを掛ける。各画素のエッジ抽出成分をYH[i,j]とする。
YH[i,j]={|Y'[i-1,j]-Y'[i,j]|+|Y'[i+1,j]-Y'[i,j]|
+|Y'[i,j-1]-Y'[i,j]|+|Y'[i,j+1]-Y'[i,j]|
+|Y'[i-1,j-1]-Y'[i,j]|+|Y'[i+1,j+1]-Y'[i,j]|
+|Y'[i-1,j+1]-Y'[i,j]|+|Y'[i+1,j-1]-Y'[i,j]|
+|Y'[i-2,j-1]-Y'[i,j]|+|Y'[i+2,j+1]-Y'[i,j]|
+|Y'[i-2,j+1]-Y'[i,j]|+|Y'[i+2,j-1]-Y'[i,j]|
+|Y'[i-1,j-2]-Y'[i,j]|+|Y'[i+1,j+2]-Y'[i,j]|
+|Y'[i-1,j+2]-Y'[i,j]|+|Y'[i+1,j-2]-Y'[i,j]|
+|Y'[i-3,j]-Y'[i,j]|+|Y'[i+3,j]-Y'[i,j]|
+|Y'[i,j-3]-Y'[i,j]|+|Y'[i,j+3]-Y'[i,j]|
+|Y'[i-3,j-3]-Y'[i,j]|+|Y'[i+3,j+3]-Y'[i,j]|
+|Y'[i-3,j+3]-Y'[i,j]|+|Y'[i+3,j-3]-Y'[i,j]|}/24 ...(21)

ここで、上記フィルタは、画像本来のエッジ部ができるだけ全て抽出されるように、複数の相関距離をもつ絶対値差分をあらゆる方向から漏れなく集めるように設計されている。

２−３）閾値判定
次式（２２）（２３）により、エッジ抽出成分YHを閾値判定して、エッジ部か平坦部かの分類を行い、結果をエッジマップEDGE[i,j]に出力する。閾値Th1は255階調に対して1〜5程度の値をとる。エッジ部の上に存在するゴミ影は、基本的にゴミ影がエッジ部の振動する信号に埋もれてしまって目立たないためゴミ除去の不要な領域である。
if YH[i,j]＞Th1 EDGE[i,j]=1（エッジ部） ...(22)
else EDGE[i,j]=0（平坦部） ...(23)

上記のように、２−１）で階調変換を行って階調間の重み付けを変え、２−３）で全階調にわたって一定の閾値Th1で閾値判定を行っている。しかし、ほぼ同等な効果は、線形階調のままでエッジ抽出を行い、輝度レベルに応じた閾値を設定して、閾値判定を行うようにしても可能である。

３）エッジマップに暗黒部を追加（ステップＳ３３）
エッジマップは、ゲインマップ抽出してはいけない領域を表す。エッジ領域の他に、ゲインマップ抽出するのが危険な領域が暗い領域（暗黒部）である。暗黒部は、S/Nが悪いため相対ゲインを抽出しても信頼性が低い。更に暗黒部上に存在するゴミ影はほとんど目立たないのでゴミ除去する必要性がない。したがって、暗い領域も、次式（24）によりエッジマップに追加する。閾値Th2は、255線形階調に対しておよそ20以下の値に設定するものとする。模式的にこの操作を「EDGE'=EDGE+DARK」と記述すると分かりやすい。
if Y[i,j]≦Th2 EDGE[i,j]=1 ...(24)

４）エッジマップの拡大処理（ステップＳ３４）
第１の実施の形態と同様に、平坦部内で(2a+1)x(2b+1)画素の中心値と平均値の相対比を比較して透過率マップを生成する。従って、事前にエッジ部がこのカーネル内に入らないように、次式（２５）により、エッジ部の(2a+1)x(2b+1)画素拡大処理を行う。m=1,2,...,a、n=1,2,...,bである。
if EDGE[i,j]=1 EDGE[i±m,j±n]=1 ...(25)

５）平坦マップへの変換（ステップＳ３５）
次式（２６）（２７）により、エッジマップEDGE[i,j]を平坦マップFLAT[i,j]に変換する。ビット反転によって達成される。平坦マップが示す平坦領域は、(2a+1)x(2b+1)画素で構成されるゲインマップ抽出カーネルが補正対象画像内で自己抽出してよい領域を表す。
if EDGE[i,j]=0 FLAT[i,j]=1（平坦部） ...(26)
else FLAT[i,j]=0（エッジ部） ...(27)

６）自己ゲイン抽出（ステップＳ３６）
第１の実施の形態において基準画像データから透過率マップを生成した処理手順を、FLAT[i,j]=1の領域に対してのみ行う。

６−１）局所的規格化処理（ゲイン抽出処理）
FLAT[i,j]=1の領域のT[i,j]を(2a+1)x(2b+1)画素内の相対比から生成する。FLAT[i,j]=0の領域は全てT[i,j]=1に設定する。
６−２）透過率マップの統計解析
FLAT[i,j]=1の領域内のT[i,j]を、第１の実施の形態と同様に統計解析して、平均値mと標準偏差σを算出する。
６−３）閾値判定
FLAT[i,j]=1の領域内のT[i,j]を、第１の実施の形態と同様に閾値判定して、m±3σの値をとるものはT[i,j]=1に設定する。

７）自己ゲイン補正（ステップＳ３７）
第１の実施の形態と同様に、補正対象画像のR,G,B値各々に対して自己抽出した透過率信号T[i,j]の逆数を掛け算して、自己ゲイン補正を行う。

このようにして、一様面の基準画像データがなくても、補正対象画像自身のゴミを自己抽出して補正することができる。すなわち、１つの撮影画像内で上記したように平坦性が保証できる所定の条件を満たす領域を抽出する。抽出した同一の領域を基準画像としかつ補正対象画像とする。また、第３の実施の形態では、可変光学系の影響を全く加味する必要性がない。特に、膨大な数を占める小さなゴミ影の除去に威力を発揮する。

−第４の実施の形態−
第４の実施の形態では、第２の実施の形態と同様に一枚だけ基準画像を撮影し、ゴミ位置に関する情報を利用しながらも、透過率マップは基準画像からではなく、第３の実施の形態のように補正対象画像自身から自己抽出する方式を採用したものである。第２の実施の形態では、透過率マップの瞳位置変換を行っているが、瞳位置の値が近似値で正確でない場合に、瞳位置変換に誤差が生じる場合が生じる。一方、第３の実施の形態では、エッジマップ抽出において大きなゴミはエッジとして抽出されてしまい、補正がなされない場合が生じる。第４の実施の形態は、このような第２の実施の形態と第３の実施の形態の不具合にも対処するものである。すなわち、第３の実施の形態による信頼性の高い透過率マップの生成方法を利用しながら、第２の実施の形態と同様な方法で取得する信頼性の高いゴミの位置情報で補うものである。なお、電子カメラ１および画像処理装置としてのＰＣ３１の構成は、第１の実施の形態と同様であるので、その説明を省略する。

（電子カメラ側動作）
撮影手順は、第２の実施の形態と同様である。

（画像処理装置側動作）
図１７は、画像処理装置であるＰＣ３１で行う処理のフローチャートを示す図である。

＜基準画像に対する処理＞
１）ステップＳ４１の輝度面の生成は、第１の実施の形態および第２の実施の形態と同様である。２）ステップＳ４２の透過率マップの生成（ゲインマップ抽出）は、第１の実施の形態および第２の実施の形態と同様である。３）ステップＳ４３の透過率マップの瞳位置変換は、第２の実施の形態と同様である。４）ステップＳ４４の透過率マップのＦ値変換は、第２の実施の形態と同様である。

５）透過率マップの閾値判定
ステップＳ４５では、透過率マップの閾値判定を行う。透過率マップのＦ値変換が行われた場合は、ローパスフィルタ処理によりほとんどゴミ影が消滅しかかっている透過率１に近い画素が多数発生する。これらを鮮明なゴミ影と区別するため、次式（２８）（２９）により再度閾値判定を行う。ここで、２）の「透過率マップの生成」過程で算出した標準偏差値σを再度利用する。瞳位置、Ｆ値変換された透過率マップをT'[i,j]で表す。
if |T'[i,j]-1|≦3σ then T'[i,j]=1 ...(28)
else T'[i,j]=T'[i,j] ...(29)

６）ゴミマップへの変換
ステップＳ４６では、次式（３０）（３１）により透過率マップを２値化してゴミマップdmap[i,j]に変換する。
if T'[i,j]＜1 dmap[i,j]=1 ...(30)
else dmap[i,j]=0 ...(31)
ここで式（３０）の判定は、もう少し余裕をもたせてT'[i,j]＜0.95のように判定してもよい。

７）ゴミマップの拡大処理
ステップＳ４７では、次式（３２）により瞳位置変換で想定される誤差分だけゴミマップを拡大しておくことにより、許容誤差内の領域にはゴミが含まれるようなゴミマップにする。ここでは、例えば±３画素の誤差を見込む。m=1,2,3、n=1,2,3である。
if dmap[i,j]=1 dmap[i±m,j±n]=1 ...(32)

＜補正対象画像に対する処理＞
１）ステップＳ５１の輝度面の生成は、第３の実施の形態と同様である。２）ステップＳ５２のエッジマップの生成は、第３の実施の形態と同様である。３）ステップＳ５３のエッジマップに暗黒部を追加する処理は、第３の実施の形態と同様である。模式的にこの操作を「EDGE'=EDGE+DARK」と記述すると分かりやすい。

４）エッジマップからゴミ領域を除外
ステップＳ５４では、エッジマップからゴミ領域を除外する。ゴミ影の多くはコントラストが低いためエッジ抽出されないが、中には大きなゴミでコントラストの高いものがあり、エッジ抽出されてしまうことがある。特に絞り込んで撮影された補正対象画像内で幾つかのゴミ影に発生する。これらのゴミ影がエッジ領域としてゲイン抽出領域の指定から外れることを防ぐため、ステップＳ４６で求めたゴミマップ情報を利用して、次式（３３）によりゴミ位置を強制的にエッジ部から除外する処理を行う。ここで、あまり大きくエッジ領域を削ることを防ぐため、ステップＳ４７のゴミマップの拡大処理を行う前のゴミマップを利用することにする。模式的にこの操作を「EDGE''=EDGE+DARK-DUST」と記述すると分かりやすい。
if dmap[i,j]=1 EDGE[i,j]=0 ...(33)

４’）エッジマップの周辺同化処理（ゴミくりぬき部の補正）（Ｓ６０）
エッジマップがいびつにゴミ部のみくりぬかれた（除外された）状態は不自然なので、エッジマップ内での周辺同化処理を行う。例えば、背景が青空のような一様な画像であれば、ステップＳ４６のゴミマップ情報を使用して、エッジマップから大きなゴミによるエッジ部をくりぬいてもなんら問題が生じない。むしろ、くりぬく必要がある。しかし、背景が模様や構造のある画像である場合に、ステップＳ４６のゴミマップ情報によりゴミがあるとしてその部分をエッジマップからくりぬくと、周辺の実際の模様や構造との関係から不自然な補正処理を行うことになる。従って、エッジ部でないと判断された画素が、その周辺の画素にエッジ画素が多数あると判断される場合は、その画素を再度エッジ部とするようにする。

エッジマップの周辺同化処理は、次に示す処理により行う。具体的には、例えば図１９に示すような着目画素に対する周辺８画素（図１９の黒丸の画素、図１９は着目画素[i,j]=[0,0]に対して第４象限のみを示す）のうち４個を超える画素がエッジの場合、着目画素もエッジとする。４個を超えるとは周辺８画素のうちエッジである画素が過半数あることを意味する。すなわち、周辺画素にエッジの画素が過半数存在する場合は、着目画素もエッジとする。なお、以下の処理の例では、水平方向垂直方向の８画素目の画素を見ているが、必ずしも８画素目に限定する必要はない。数画素から十数画素先の画素を見ればよい。また、以下の処理は全画素について行ってもよいし、dmap=1でエッジくり抜きした画素のみに限定してもよい。
データコピー
tmp[i,j]=EDGE[i,j] すべての画素[i,j]に対して
周辺同化処理
if tmp[i,j]=0{
sum = tmp[i-8,j]+tmp[i+8,j]+tmp[i,j-8]+tmp[i,j+8]
+tmp[i-8,j-8]+tmp[i+8,j+8]+tmp[i-8,j+8]+tmp[i+8,j-8]
if sum>4 EDGE[i,j]=1
}

５）ステップＳ５５のエッジマップの拡大処理は、第３の実施の形態と同様である。６）ステップＳ５６の平坦マップへの変換は、第３の実施の形態と同様である。

７）自己ゲイン抽出領域の特定
ステップＳ５７では、自己ゲイン抽出領域の特定をする。平坦部でかつゴミ領域と特定されている領域に限定して、ゴミ除去を行うのが補正対象画像の誤った補正を防ぐ観点から最も合理的である。したがって、この両条件を満たす領域情報を次式（３４）により求め平坦マップに代入する。すなわち、FLATとdmapに両方に1のフラグが立っている場合のみFLAT=1となり、それ以外はFLAT＝０となる。
FLAT[i,j]=FLAT[i,j]*dmap[i,j] ...(34)

８）自己ゲイン抽出
ステップＳ５８の自己ゲイン抽出は、第３の実施の形態とは異なり、局所的規格化処理（ゲイン抽出処理）のみ行う。それ以降の透過率マップの統計解析と閾値処理によるゴミ領域限定処理は、７）の処理により既にゴミ近傍に限定されているので不要である。局所的規格化処理（ゲイン抽出処理）は、第３の実施の形態と同様である。このように、ステップＳ４７の処理によって瞳位置変換精度の誤差分だけゴミ周辺にゲイン抽出領域を広げてゴミ探索することにより、漏れなくゴミ抽出することが可能となる。

ここで自己抽出した透過率マップに対してローパス処理を行う。T[i,j]の自己抽出した全領域に、第１の実施の形態と同様なローパス処理をして、T[i,j]に含まれる画素[i,j]のゆらぎ成分を除去する。本実施の形態では、ゴミ位置の局所領域のみに限定して、統計解析による閾値処理を介さないで、自己ゲイン抽出による自己ゲイン補正を行うので、このローパス処理は重要な処理となる。すなわち、ローパス処理前は画素値と透過率値T[i,j]が同じ方向にゆらいでいるため、ローパス処理をしないで後述の自己ゲイン補正すると、画像はその局所領域のみ全体的にのっぺりとなりやすい。そこで、T[i,j]のゆらぎ成分を取り除いてやれば、画素値が持つゆらぎ成分を失わずに済み、周辺部との粒状性の連続性が保てるようになる。これは、特に高感度画像のような乱雑性が多い場合に威力を発揮する。ここで、ローパスフィルタは、第１の実施の形態よりももう少し強めに設計してもかまわないし、ローパスフィルタの影響を受けやすい大きなゴミ部分（T[i,j]の値が１に比べかなり小さい所）だけはローパスフィルタ処理を外すようにしても構わない。

９）自己ゲイン補正
ステップＳ５９の自己ゲイン補正は、第３の実施の形態と同様である。基準画像の透過率マップの瞳位置変換精度が悪くても、補正対象画像自身からゴミの透過率情報を抽出するので、全くずれのないきれいな補正が可能となる。なお、自己ゲインの抽出は、ステップＳ５７で特定された自己ゲイン抽出領域に限って行われる。従って、補正処理もこの範囲に限ってのみ行われ、処理の負荷が軽減される。

以上のように、第４の実施の形態では、基準画像のゴミマップ情報を有効に利用することによって、補正対象画像内の大きなゴミから小さなゴミまであらゆるゴミを漏れなく自己抽出することが可能となる。また、基準画像の透過率マップの瞳位置変換精度が悪い場合、第２の実施の形態の代替手段として用いることができる。さらに、第２の実施の形態と同様に基準画像撮影の撮影者の負荷は非常に小さくて済む。

上記説明した第１の実施の形態〜第４の実施の形態の画像処理装置では、電子カメラで任意の使用時刻、任意の使用条件で撮影した画像おいて生じたゴミ等の影響による黒染み等の欠陥を、適切に補正し、高品質な画像を再現することができる。

なお、上記第１、第２、第４の実施の形態では、透過率マップを作成するのに、撮影者が一様に近いと考える基準画像を撮影して、その撮影した基準画像に局所的規格処理等を施して透過率マップを作成していた。しかし、撮影者が一様に近いと考える基準画像に小さな模様等がある場合もある。これは、基本的に被写体をボカして撮影することで対処できる。例えば、紙をレンズの最短撮影距離よりも至近位置において撮影したりすればよい。たとえ、小さな模様があっても(2a+1)x(2b+1)サイズのゲイン抽出カーネルより広い範囲でゆるやかに変化する像にボケれば十分に目的を達成することのできる一様に近い基準画像になり得る。

また、上記第４の実施の形態では、ステップＳ５７で自己ゲイン抽出領域の特定をし、ステップＳ５８では限定された範囲で補正を行うようにした。このように補正範囲をゴミ領域を含む周辺範囲（近傍領域）に限定する手法は、上記第１〜第３の実施の形態において適用することも可能である。第１〜第３の実施の形態では、求められた透過率マップからゴミを特定し、その周辺領域を求めればよい。

また、上記第３の実施の形態では、１枚の撮影画像を取得し、１枚の撮影画像の中で平坦部を抽出してゴミマップを生成する処理について説明した。しかし、平坦部に大きなゴミがある場合には、その部分が平坦部として抽出されないことがある。第４の実施の形態では基準画像を取得することによりこれに対処する例を示したが、基準画像を取得しなくても複数の画像の相関を利用することによりそのような大きなゴミの部分も欠陥情報作成対象の平坦部として認識することが可能である。例えば、異なる被写体の複数の撮影画像において、常に同じ位置にエッジ抽出で検出される像があった場合、それはゴミによる像である可能性がある。従って、第３の実施の形態で処理されるエッジマップについて複数の撮影画像でＡＮＤを取ったとき、ＡＮＤが取れた部分をエッジマップから除外する。このようにすることにより、ＡＮＤが取れた部分を平坦部に追加することができ、大きなゴミについても透過率マップを作成することができる。なお、ＡＮＤを取るのはエッジマップに限定しなくてもよい。撮影画像から生成されるデータであって、複数の撮影画像間でＡＮＤを取って撮影光路上のゴミが認識できるデータであればどのようなデータでもよい。例えば、ゲイン抽出カーネルによる透過率マップを平坦部か否かにかかわらず、強制的に画像全面について算出し、複数の画像間で同じ位置に同じような透過率で抽出される像があった場合、欠陥情報の透過率マップとして残し、他は欠陥情報から除外するようなＡＮＤの取り方も考えられる。

また、第３の実施の形態で得られた平坦部における透過率マップについて、複数の撮影画像のＯＲを取れば、撮影画面全体の透過率マップを得ることができる。第３の実施の形態で得られる平坦部は、被写体が異なるごとに撮影画面における平坦部の位置も異なる。これらの平坦部のＯＲを取れば、撮影画面全体になることもある。従って、ゴミ情報を得るための基準画像を撮影しなくても、複数の撮影画像すなわち複数の補正対象画像から撮影画面全体の透過率マップを得ることができる。この撮影画面全体の透過率マップは、複数の補正対象画像に共通に使用することができる。

なお、上述したように複数の撮影画像についてエッジマップのＡＮＤを取ったり透過率マップのＯＲを取ったりする場合、撮影画像ごとに瞳位置やＦ値（絞り値）が異なることもある。この場合は、第２の実施の形態で説明したのと同様に、瞳位置変換やＦ値変換を画像信号のままの状態や透過率マップの状態で施すなどして活用すればよい。

また、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、最終的に補間処理がなされるものであれば、カラーフィルタの配置方法には全く依存しないことは言うまでもない。また、他の表色系（例えば補色表色系）であっても同様である。

また、上記実施の形態では、交換レンズ方式の一眼レフ電子スチルカメラの例を説明したが、必ずしもこの内容に限定する必要はない。非交換レンズ方式のカメラにも本発明は適用できる。瞳位置や絞り値は、適宜公知な手法で取得すればよい。

また、上記実施の形態では、電子スチルカメラ１で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。

また、上記実施の形態では、電子カメラ１で撮影した画像データをＰＣ（パソコン）３１で処理してゴミの影響を除去する例を説明したが、必ずしもこの内容に限定する必要はない。電子カメラ１上で、そのようなプログラムを備えてもよい。また、プリンターや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。

ＰＣ３１で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図１８はその様子を示す図である。ＰＣ３１は、ＣＤ−ＲＯＭ３４を介してプログラムの提供を受ける。また、ＰＣ３１は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをＰＣ３１に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

交換レンズ方式の電子カメラの構成を示す図である。 電子カメラのブロック図とパーソナルコンピュータ（ＰＣ）および周辺装置を示す図である。 第１の実施の形態における、電子カメラ側の撮影手順について説明する図である。 輝度面に対して局所的規格化処理を施した様子を示す図である。 透過率マップのヒストグラムを示す図である。 第１の実施の形態における、ＰＣで行う処理の流れを示すフローチャートである。 第２の実施の形態における、電子カメラ側の撮影手順について説明する図である。 瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。 絞り値であるＦ値が変化するとゴミ影の大きさが変化する様子を示す図である。 各絞り値に対する一次元フィルタ係数を示す図である。 絞り値Ｆ１６における透過率マップに変換するフィルタを２次元フィルタで表した図である。 第２の実施の形態における、ＰＣで行う処理の流れを示すフローチャートである。 中くらい程度のゴミについて、Ｆ値変換により透過率が変換される様子を示す図である。 第３の実施の形態における、電子カメラ側の撮影手順について説明する図である。 第３の実施の形態における、ＰＣで行う処理のフローチャートを示す図である。 エッジ抽出フィルタを示す図である。 第４の実施の形態における、ＰＣで行う処理のフローチャートを示す図である。 プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。 エッジマップの周辺同化処理の様子を示す図である。

符号の説明

１ 電子カメラ
２ カメラ本体
３ 可変光学系
４ レンズ
５ 絞り
６ シャッター
７ 光学部品
８ 撮像素子
９ マウント部
１２ アナログ信号処理部
１３ Ａ／Ｄ変換部
１４ タイミング制御部
１５ 画像処理部
１６ 操作部
１７ 制御部
１８ メモリ
１９ 圧縮／伸長部
２０ 表示画像生成部
２１、３２ モニタ
２２ メモリカード用インタフェース部
２３ 外部インタフェース部
２４ バス
３０ メモリカード
３１ ＰＣ（パーソナルコンピュータ）
３３ プリンタ
３４ ＣＤ−ＲＯＭ

Claims (26)

1. 撮像素子により撮影された画像を取得する画像取得手段と、
   前記取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、前記画像内の欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記欠陥情報作成手段は、前記着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出する相対比算出手段を備え、前記算出した相対比に基づいて、前記欠陥情報を作成することを特徴とする画像処理装置。
3. 請求項１から２のいずれかに記載の画像処理装置において、
   前記欠陥情報作成手段は、前記画像内で所定の条件を満たす領域に対して欠陥情報を作成することを特徴とする画像処理装置。
4. 請求項１から３のいずれかに記載の画像処理装置において、
   前記欠陥情報に基づいて、前記画像内の欠陥を補正する補正手段とを更に有することを特徴とする画像処理装置。
5. 請求項２に記載の画像処理装置において、
   前記欠陥情報に基づいて、前記画像内の欠陥を補正する補正手段を更に有し、
   前記補正手段は、前記相対比の逆数値を、対応する画素の値に掛け算して補正することを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記画像取得手段は、前記撮像素子により撮影された複数の画像を取得し、
   前記欠陥情報作成手段は、前記取得した複数の画像を使用して、前記複数の画像のいずれかの画像内の欠陥情報を作成することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記画像取得手段は、前記撮像素子により撮影された複数の画像を取得し、
   前記欠陥情報作成手段は、前記取得した複数の画像を使用して、前記複数の画像の画像全体に対応する欠陥情報を作成することを特徴とする画像処理装置。
8. 光学系を通して撮影された基準画像を取得する画像取得手段と、
   前記取得した基準画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値とに基づいて、前記基準画像内の欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記欠陥情報作成手段は、前記着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値との相対比を算出する相対比算出手段を備え、前記算出した相対比に基づいて、前記欠陥情報を作成することを特徴とする画像処理装置。
10. 請求項８から９のいずれかに記載の画像処理装置において、
    前記画像取得手段は、前記光学系を通して撮影された補正対象画像を取得し、
    前記基準画像内の欠陥情報に基づいて、前記補正対象画像内の欠陥を補正する補正手段を更に有することを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記補正手段は、前記基準画像と前記補正対象画像とが、絞り値および瞳位置が実質的に同じ光学的条件の光学系を通して撮影されている場合、前記生成された欠陥情報をそのまま使用して、前記補正対象画像を構成する画素の値を補正することを特徴とする画像処理装置。
12. 請求項１０に記載の画像処理装置において、
    前記光学系の光学的条件である絞り値および瞳位置の少なくとも１つに応じて、前記欠陥情報を変換する欠陥情報変換手段をさらに備え、
    前記補正手段は、前記基準画像と前記補正対象画像とが、絞り値および瞳位置の少なくとも１つが異なる光学的条件の光学系を通して撮影されている場合、前記変換された欠陥情報を使用して、前記補正対象画像を構成する画素の値を補正することを特徴とする画像処理装置。
13. 請求項９に記載の画像処理装置において、
    前記基準画像の相対比の逆数値を、前記補正対象画像の対応する画素の値に掛け算して補正する補正手段をさらに有することを特徴とする画像処理装置。
14. 請求項２、９のいずれかに記載の画像処理装置において、
    前記相対比算出手段は、前記算出した相対比が１を挟んだ所定範囲に含まれるとき、前記算出した相対比を１に設定することを特徴とする画像処理装置。
15. 請求項１４に記載の画像処理装置において、
    前記相対比算出手段は、前記算出した相対比を１に設定する前記所定範囲を、前記算出した相対比の標準偏差値と関連づけることを特徴とする画像処理装置。
16. 請求項１、８のいずれかに記載の画像処理装置において、
    前記着目画素を含む所定範囲は、前記画像あるいは前記基準画像内で生じる欠陥領域よりも広い範囲であることを特徴とする画像処理装置。
17. 請求項１０に記載の画像処理装置において、
    前記画像取得手段は、前記補正対象画像の撮影前後の所定時間内に撮影された基準画像を取得することを特徴とする画像処理装置。
18. 請求項１７に記載の画像処理装置において、
    前記画像取得手段は、前記補正対象画像の撮影時間に２番目以内に近い時間に撮影された基準画像を取得することを特徴とする画像処理装置。
19. 複数色に分光可能な撮像素子を使用して撮影された画像を取得する画像取得手段と、
    前記画像の複数色の信号から輝度信号を生成する輝度信号生成手段と、
    前記生成された画像の輝度信号に基づき、前記画像内の欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とする画像処理装置。
20. 請求項１９に記載の画像処理装置において、
    前記欠陥情報を用いて、前記画像内の欠陥画素の各色成分の値を補正する補正手段をさらに備えることを特徴とする画像処理装置。
21. 請求項１９に記載の画像処理装置において、
    前記取得した画像内において、着目画素の前記生成した輝度信号の値と該着目画素を含む所定範囲内の複数の画素の前記生成した輝度信号の平均値に基づいて、前記画像内の欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とする画像処理装置。
22. 請求項２１に記載の画像処理装置において、
    前記欠陥情報作成手段は、着目画素の前記生成した輝度信号の値と該着目画素を含む所定範囲内の複数の画素の前記生成した輝度信号の平均値との相対比を算出する相対比算出手段を備え、前記算出した相対比に基づいて、前記欠陥情報を作成することを特徴とする画像処理装置。
23. 請求項２２に記載の画像処理装置において、
    前記相対比の逆数値を、対応する画素の各色成分の値毎に掛け算して補正する補正手段を更に備えることを特徴とする。
24. 請求項１９に記載の画像処理装置において、
    前記画像取得手段は、前記撮像素子により撮影された複数の画像を取得し、
    前記輝度信号生成手段は、前記取得した複数の画像について前記輝度信号を生成し、
    前記欠陥情報作成手段は、前記生成された複数の画像の輝度信号を使用して、前記複数の画像のいずれかの画像内の欠陥情報を作成することを特徴とする画像処理装置。
25. 請求項１９に記載の画像処理装置において、
    前記画像取得手段は、前記撮像素子により撮影された複数の画像を取得し、
    前記輝度信号生成手段は、前記取得した複数の画像について前記輝度信号を生成し、
    前記欠陥情報作成手段は、前記取得した複数の画像を使用して、前記複数の画像の画像全体に対応する欠陥情報を作成することを特徴とする画像処理装置。
26. 請求項１〜２５のいずれかに記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
    

Images