JP2012222508A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】対象画像から高い精度でゴミ影部を検出することのできる画像処理装置を提供する。
【解決手段】撮像素子に撮像された処理対象画像に移り込む影部の輝度情報を用いて、光学部材に付着したゴミによるゴミ影部かを判定する輝度判定部６３と、影部の色相情報を用いて、ゴミ影部かを判定する色相判定部６４と、影部の彩度情報を用いて、ゴミ影部かを判定する第１彩度判定部６５と、第２彩度判定部６６と、を有し、影部が、輝度判定部、色相判定部及び第１彩度判定部においてゴミ影部と判定された場合、ゴミ影部と判定し、影部が、輝度判定部及び色相判定部においてゴミ影部と判定され、第１彩度判定部においてゴミ影部と判定されなかった場合、第２彩度判定部における判定を行い、第２彩度判定部においてゴミ影部と選択された場合、ゴミ影部と判定するゴミ判定部を備える。
【選択図】図４

Description

本発明は、画像処理装置および画像処理プログラムに関する。

デジタルカメラなどの撮像装置では撮像光路上にあり撮像素子の近傍に配置された光学フィルタ等の光学部材にゴミが付着すると、付着したゴミにより生じたゴミ影が撮像画像に現れ、その部分が画像欠陥となる。特にレンズ交換式の撮像装置では、レンズ交換時に塵や埃などのゴミが内部に侵入しやすい。このような問題を解決するため、補正対象の画像におけるゴミ影による透過率の変化（各画素における輝度情報の変化）からゴミを検出し、ゴミ影を削除する補正を行う技術が知られている（特許文献１参照）。

特開２００４−２２０５５３号公報

しかしながら、ゴミ影部分の光の透過率（輝度変化）に基づくゴミ影の検出では、被写体像をゴミ影として誤検出してしまうことがある。
本発明の課題は、対象画像から高い精度でゴミ影を検出することのできる画像処理装置を提供することである。

本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項１に記載の発明は、撮像素子（１３）に撮像された処理対象画像に移り込んでいる影部の輝度情報を用いて、光学部材（１２）に付着したゴミによるゴミ影部の可能性がある影部か否かを判定する輝度判定部（６３）と、前記影部の色相情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する色相判定部（６４）と、第１の式を用いて求めた前記影部の彩度情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する第１彩度判定部（６５）と、前記第１の式と異なる第２の式を用いて求めた前記影部の彩度情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する第２彩度判定部（６６）と、を有し、前記影部が、前記輝度判定部（６３）、前記色相判定部（６４）及び前記第１彩度判定部（６５）において前記ゴミ影部の可能性がある影部と判定された場合、該影部をゴミ影部と判定し、前記影部が、前記輝度判定部（６３）及び前記色相判定部（６４）において前記ゴミ影部の可能性がある影部と判定され、前記第１彩度判定部（６５）において前記ゴミ影部の可能性がある影部と判定されなかった場合、さらに前記第２彩度判定部（６６）における判定を行い、該第２彩度判定部（６６）において前記ゴミ影部の可能性がある影部と選択された場合、ゴミ影部と判定するゴミ判定部を備えること、を特徴とする画像処理装置（５０）である。
請求項２に記載の発明は、撮像素子（１３）に撮像された処理対象画像に移り込んでいる影部の輝度情報を用いて、光学部材（１２）に付着したゴミによるゴミ影部の可能性がある影部か否かを判定する輝度判定部（６３）と、前記影部の色相情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する色相判定部（６４）と、第１の式を用いて求めた前記影部の彩度情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する第１彩度判定部（６５）と、前記第１の式と異なる第２の式を用いて求めた前記影部の彩度情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する第２彩度判定部（６６）と、を有し、前記輝度判定部（６３）は、前記影部の輝度を検出可能で、前記影部の輝度が閾値以上、前記輝度判定部（６３）、前記色相判定部（６４）及び前記第１彩度判定部（６５）においてゴミ影部の可能性がある影部か否かを判定し、前記影部の輝度が前記閾値より低い場合、前記輝度判定部（６３）、前記色相判定部（６４）及び前記第２彩度判定部（６６）においてゴミ影部の可能性がある影部か否かを判定するゴミ判定部を備えること、を特徴とする画像処理装置（５０）である。
請求項３に記載の発明は、請求項１又は２に記載の画像処理装置（５０）であって、前記第２の式は、前記第１の式よりも、前記画像処理装置（５０）における演算付加が大きいこと、を特徴とする画像処理装置（５０）である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載の画像処理装置（５０）であって、前記第１彩度判定部（６５）及び前記第２彩度判定部（６６）は、影部外の彩度に対する影部内の彩度の比が１より小さい場合、前記ゴミ影部の可能性がある影部であると判定すること、を特徴とする画像処理装置（５０）である。
請求項５に記載の発明は、請求項１から４のいずれか１項に記載の画像処理装置（５０）の機能をコンピュータに実行させるための画像処理プログラムである。

本発明によれば、対象画像から高い精度でゴミ影を検出することのできる画像処理装置を提供できる。

レンズ交換式のカメラの構成を示す図である。 カメラと画像処理装置を構成するパーソナルコンピュータ（ＰＣ）および周辺装置を示すブロック図である。 ゴミ影補正処理を行う画像処理装置の機能ブロック図である。 画像処理装置におけるゴミ影判定部の機能ブロック図である。 ＨＳＶ変換処理の六角錐モデルを表す概念図である。 画像処理装置におけるゴミ影補正処理のフローチャートである。 第１実施形態の彩度判定を示すフローチャートである。 第２実施形態の彩度判定を示すフローチャートである。

（第１実施形態）
以下、図面等を参照して、本発明の第１実施形態について説明する。
図１は、レンズ交換式のカメラ１の構成を示す図である。図２は、カメラ１と画像処理装置を構成するパーソナルコンピュータ（ＰＣ）３０および周辺装置を示すブロック図である。
カメラ１は、被写体像を電気信号に変換した画像データとして出力する電子スチルカメラである。

カメラ１は、カメラ本体２と、カメラ本体２に対して着脱可能な撮像レンズ３とにより構成されている。撮像レンズ３は、複数の光学レンズ群（図１においては１枚のレンズで示す）から成る結像光学系３Ｌを備えている。

カメラ１は、結像光学系３Ｌ（撮像レンズ３）とカメラ本体２とを備える。
カメラ本体２は、シャッター１１、光学フィルタ１２、撮像素子１３、画像処理部１４、操作部１５、表示部１６、メモリカード用インターフェース部１７、外部インターフェース部１８、電源１９、制御部２０等を備えている。

シャッター１１は、結像光学系３Ｌから撮像素子１３へ向かう撮影光を遮蔽および通過させることによって、露光時間を調整する。
光学フィルタ１２は、撮像に際して偽色（色モアレ）等の発生を防止する光学ローパスフィルタ等によって構成される。なお、符号４は、この光学フィルタ１２の表面に付着した塵や埃などのゴミを示す。このような撮影光の光路上にあって撮影光を透過する光学フィルタ１２にゴミ４が付着していると、撮像素子１３によって取得される画像データのなかに、ゴミ４の影響を受けた画素が含まれる場合がある。

撮像素子１３は、ＣＣＤやＣＭＯＳ等の光電変換素子であって、複数の画素から構成される矩形形状の撮像領域を有している。そして、撮像素子１３は、その結像面に結像された像を電気信号に変換し、被写体像に対応する画像信号（撮像信号）を出力する。撮像素子１３から出力された画像信号は、所定のアナログ信号処理の後、Ａ／Ｄ変換されて画像処理部１４に入力される。

画像処理部１４は、撮像素子１３から入力された画像データに対して、補間，階調変換や輪郭強調などの画像処理を行う。
なお、本実施形態のカメラ１では、撮像素子１３において、画像処理部１４に供給される画像データはＲＧＢ表色系で示されるものとする。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在する。ここで、撮像素子１３を構成する１つの光電変換素子を画素と言うが、この画素に対応した画像データの１単位も画素と言う。また、画像も複数の画素から構成される概念である。画像処理が完了した画像データは、補間処理が完了し、各画素にはＲＧＢのすべての色成分の色情報が存在するものとする。

操作部１５は、撮影者が撮影タイミング等を決定する信号を入力するレリーズボタンや、モード切り換え用の選択ボタン等を備えている。そして、操作部１５は、それらの操作情報を制御部に入力する。
表示部１６は、ＬＣＤ等によって構成され、カメラ１における各種設定メニュー、撮像素子１３による撮像画像やメモリカードに格納された画像データに基づく再生画像を表示する。

メモリカード用インターフェース部１７は、メモリカード（カード状のリムーバブルメモリ）４０とのインターフェースをとる。
外部インターフェース部１８は、所定のケーブルや無線伝送路を介してＰＣ３０等の外部装置とのインターフェースをとる。
電源１９は、カメラ１の各機能部に電力を供給する。

制御部２０は、カメラ１における各機能部を統括制御する。すなわち、制御部２０は、操作部１５におけるレリーズスイッチから撮影指示信号が入力されると、シャッター１１を駆動制御して露光動作等の撮影動作を制御する。また、制御部２０は、撮像素子１３で取得されて画像処理部１４で画像処理が行われて入力された画像データを、メモリカード用インターフェース部１７に着脱可能に取り付けられたメモリカード４０等に記憶させ、保存する。さらに、制御部２０は、メモリカード４０等に記憶された画像データを呼び出し、表示部１６に表示させる。

上記のように構成されたカメラ１は、撮影時において制御部２０によって制御されて、下記のように作用する。
操作者によって操作部１５のレリーズボタンが押圧操作されると、シャッター１１を所定時間開放する。撮像素子１３は、結像光学系３Ｌにより撮像領域に結像された光学像に対応する画像信号を生成する。撮像素子１３によって生成された画像信号は、画像データとして画像処理部１４に入力され、画像処理部１４によって所定の画像処理が施される。そして、画像処理部１４で画像処理された画像データに基づいて表示部１６に撮影画像を表示すると共に、その画像データに必要に応じてＪＰＥＧ等による圧縮処理を施してメモリカード用インターフェース部１７に装着されたメモリカード４０に記憶・保存する。また、外部インターフェース部１８を介して接続された後述するＰＣ３０に、画像データを送出する。

ここで、メモリカード４０に記憶・保存され、または、外部インターフェース部１８を介してＰＣ３０に送出される画像データは、たとえば、Ｅｘｉｆファイルに記録される。Ｅｘｉｆファイルには、絞り値、カメラ名，カメラメーカー名，シャッター速度および露光補正等の露出条件、撮影時刻などの付加情報が共に記録される。

パーソナルコンピュータ（ＰＣ）３０は、図示しないが、ＣＰＵ、メモリ、ハードディスク、メモリカード４０とのインターフェースをとるメモリカード用インターフェース部、ケーブルや無線伝送路を介してカメラ１等の外部装置とのインターフェースをとる外部インターフェース部等を備えている。また、ＰＣ３０には、モニタ３１やプリンタ３２等が接続されており、ＣＤ−ＲＯＭ３３に記録されたゴミ影補正処理に係るアプリケーションプログラムが予めインストールされている。

つぎに、図３〜図６を参照して、撮影された対象画像データにおけるゴミ影を補正する処理（ゴミ影補正処理）について説明する。
図３は、ゴミ影補正処理を行う画像処理装置５０の機能ブロック図である。図４は、画像処理装置５０におけるゴミ影判定部６０の機能ブロック図である。図５は、ＨＳＶ変換処理の六角錐モデルを表す概念図である。図６は、画像処理装置５０におけるゴミ影補正処理のフローチャートである。図７は、図６のステップ１０の彩度比判定のフローチャートである。

ゴミ影補正処理は、メモリカード３０を介して提供された、または、カメラ１の外部インターフェース部１８から伝送された画像処理完了後の画像データに対して、ＰＣ３０によって行われる。前述したように、ＰＣ３０には、ゴミ影補正処理のアプリケーションプログラムがインストールされており、ＰＣ３０はこのプログラムを実行することによって、ゴミ影補正処理を行う画像処理装置として機能する。

ＰＣ３０とプログラムとによって機能する画像処理装置５０は、図３に示すように、ゴミ影領域を検出するゴミ影判定部６０と、ゴミ影判定部６０によって判定されたゴミ影情報に基づいてそのゴミ影を補正する補正部５１と、を備えている。
ゴミ影判定部６０は、機能ブロック図である図４に示すように、連結領域判定部６１と、対象領域抽出部６２と、輝度判定部６３と、色相判定部６４と、第１彩度判定部６５と、第２彩度判定部６６と、誤検出排除部６７と、を備えている。

連結領域判定部６１は、対象画像における各画素の明るさ（たとえば輝度）情報から、ゴミ影の可能性のある領域を抽出する。ゴミ影は、たとえば光学フィルタ１２の前面に付着したゴミ４（図１参照）によるゴミ影を撮影することで生ずる。以下、このようなゴミ４（図１参照）によるゴミ影によって生じたゴミ影領域を例として説明する。
連結領域判定部６１によるゴミ影の検出は、対象画像を形成するＲＧＢによる各画素の画像データをＨＳＶ変換して色相平面、彩度平面を求め、ＲＧＢから輝度平面を求め、さらにその輝度勾配を求めて行う。

ここで、ＨＳＶ変換について説明する。
図５は、ＨＳＶ変換の六角錐モデルの概念図である。明度値Ｖの座標軸は六角錐の中心軸で表され、彩度Ｓの座標軸は六角錐の中心軸に直交する軸で表され、色相Ｈは六角錐の中心軸を回転する回転角で表される。
明度値Ｖ（Ｖａｌｕ）、色相値Ｈ（Ｈｕｅ）および彩度値Ｓ（Ｓａｔｕｒａｔｉｏｎ）の各画素の要素は、ＲＧＢ画像データにおける各画素のＲＧＢ要素から、以下の数式（１）〜（１０）を用いて変換される。

Ｖｍａｘ＝ｍａｘ｛Ｒ，Ｇ，Ｂ｝・・・（１）
Ｖｍｉｎ＝ｍｉｎ｛Ｒ，Ｇ，Ｂ｝・・・（２）
として、
Ｖ＝ Ｖｍａｘ ・・・（３）
Ｓ＝（Ｖｍａｘ−Ｖｍｉｎ）／Ｖｍａｘ ・・・（４）
Ｈ＝（π／３）（ｂ−ｇ） （Ｒ＝Ｖｍａｘのとき） ・・・（５）
Ｈ＝（π／３）（２＋ｒ−ｂ） （Ｇ＝Ｖｍａｘのとき） ・・・（６）
Ｈ＝（π／３）（４＋ｇ−ｒ） （Ｂ＝Ｖｍａｘのとき） ・・・（７）

ただし、
ｒ＝（Ｖｍａｘ−Ｒ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（８）
ｇ＝（Ｖｍａｘ−Ｇ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（９）
ｂ＝（Ｖｍａｘ−Ｂ）／（Ｖｍａｘ−Ｖｍｉｎ） ・・・（１０）
なお、式（５）〜（７）で変換された結果、Ｈ＜０の時には、Ｈに２πを加える。また、Ｖｍａｘ＝０の時は、Ｓ＝０，Ｈ＝不定となる。

連結領域判定部６１では、対象画像を構成する各画素について、上述の式（１）〜（１０）で示すＨＳＶ変換処理を実行する。その後、輝度値Ｙを求め、対象画像平面に対応する輝度平面を生成する。
輝度情報Ｙの求め方は、人間の見た目と近い輝度情報を得るためには次のような算式が使用される。
Ｙ＝（０．２９９＊Ｒ＋０．５８９＊Ｇ＋０．１１４＊Ｂ）／２５５・・・（１１）

ついで、連結領域判定部６１は、上記のようにして求められた輝度平面に対して逆ガンマ補正をかけ、入出力の関係を線形に戻す。
すなわち、逆ガンマ補正後のＹ’は、輝度値Ｙを使って、
Ｙ’＝（Ｙ）^γ・・・（１２）
によって算出する。
これは、画像処理装置５０に入力された対象画像は表示装置等に対応すべくガンマ補正によって明るさ，調子，色のバランスなどの調整が行われているが、以降の画像処理を容易とするために入出力が線形となるように戻すための処理である。

そして、連結領域判定部６１は、このようにして得られた輝度平面Ｙ’に対して、縦方向横方向に微分フィルタをかけてそれぞれの差分Δ_ｘｆ（ｉ，ｊ），Δ_ｙｆ（ｉ，ｊ）を求め、下記式（１３）によって画素の勾配（ｇｒａｄ）を計算し、これによって輝度勾配平面を得る。

輝度勾配平面では、ゴミ影の周縁部では高い画素値を示し、空などの一様な平面では低い画素値を示す。つまり、エッジ部分では高い画素値を示し、これによってゴミ影のエッジ部分を検出できる。

また、連結領域判定部６１は、所定の閾値を設定して、輝度勾配平面を２値画像に変換する。すなわち、閾値より高い輝度勾配値を有する画素を「１」、閾値より低い輝度勾配値を有する画素を「０」と置換する。本実施形態では、閾値を０．３とする。
そして、連結領域判定部６１は、このようにして得られた２値画像から、「１」の画素が連結した領域（連結画素領域）を抽出する。連結画素領域とは、たとえば、矩形の画素の４辺の内の少なくとも１辺で連続した（４近傍の）画素領域とする。この連結画素領域が、ゴミ影によるゴミ影の可能性のある領域である。

対象領域抽出部６２は、連結領域判定部６１によって抽出された連結画素領域の中から、ゴミ影のサイズ（大小）に基づいてゴミ影部の可能性のある領域を抽出する。
ここで、対象領域抽出部６２は、連結画素領域からゴミ影部の可能性のある領域を抽出する際において、ゴミ影を生じさせるゴミ影の大きさを基準とする。

まず、ゴミ影の大きさ判定の基準となる方法について説明する。
ここでは、一般的なゴミのサイズである最小１００μｍ×１００μｍ〜最大４００μｍ×４００μｍのゴミによって投影されるゴミ影を検出対象とするように画素数によって規定された閾値を基準とし、連結画素領域の大きさがこの閾値内に含まれるものが補正対象となり得るゴミ影であるとしてゴミ影部の可能性のある領域と判定し、選択する。

輝度判定部６３は、先の連結領域判定部６１において説明したＨＳＶ変換によって求められた輝度値Ｙと画像平面に対応する輝度平面とを用い、連結画素領域における内外の輝度を比較する。ここで、ゴミ影は、内部の輝度が周辺の輝度に比較して低く、輝度比は１よりとても小さい。このため、１より小さい所定の閾値を設定し、連結画素領域の輝度比がこの閾値より小さいに場合にのみ、補正対象となり得るゴミ影であるとしてゴミ影部の可能性のある領域と判定し、選択する。

色相判定部６４は、先の連結領域判定部６１において説明したＨＳＶ変換によって、各画素の色相値Ｈを求めて画像平面に対応する色相平面を生成する。色相判定６６は、色相値Ｈと色相平面とを用い、連結画素領域における内外の色相を比較する。ここで、ゴミ影は、輝度には大きく影響するものの色相にはほとんど影響を与えず、連結画素領域の内外における色相比はほとんど１に近い。このため、１に近い所定の範囲を設定し、色相比がこの範囲内にある場合にのみ、補正対象とすべきゴミ影であるとしてゴミ影部の可能性のある領域と判定し、選択する。

第１の彩度判定部６５は、先の連結領域判定部６１において説明したＨＳＶ変換によって、各画素の彩度値Ｓを求めて画像平面に対応する彩度平面を生成する。第１の彩度判定部６５は、彩度値Ｓと彩度平面とを用い、連結画素領域における内外の彩度を比較する。

このような彩度比による判定を行う理由は、以下の通りである。
ゴミ部分では、ゴミ周辺の輝度よりゴミ内部の輝度が低く、輝度比は１よりとても小さい。そして、ゴミ影は色相情報にほとんど影響を与えないので、ゴミ内外で色相比はほとんど１に近い。しかし、画像によっては輝度比が１より小さく、色相比がほとんど１に近いような被写体が存在し、この２つの条件だけでは誤検出を起こしてしまうからである。

そこで、ゴミ内外の彩度比を判定に組み込む。一般的にゴミは影であり、黒っぽい点像として画像に写り込む。したがって、ゴミ部分の彩度値は周辺部に比べて低くなり、ゴミ内外の彩度比は１よりも小さくなる。反対に、ゴミではない被写体部分での彩度比は１より大きくなる箇所も存在する。この特徴を使って判別することで、抽出してきたエリアがゴミであるか、被写体であるかを区別することができ、誤検出を排除してゴミの検出精度を高めることが出来る。

この第１の彩度判定における彩度の算出には、上で説明した、ＨＳＶ変換式中の彩度の式（４）を用いる。
Ｓ＝（Ｖｍａｘ−Ｖｍｉｎ）／Ｖｍａｘ ・・・（４）

しかし、上記式（４）では、Ｖｍａｘとの比を取っているため、画像中の暗い部分で低彩度とならないことがあり、すなわち、ゴミ部分でも周辺との彩度比を計算したときに、１よりも大きな値となってしまうことがある。例えば、Ｒ＝１２、Ｇ＝７、Ｂ＝３という暗いピクセルがあり、この彩度を上記算式で求めると、
（１２−３）／１２＝０．７５
となり、最大値１の彩度に対して０．７５とかなり高い値となってしまう。

ゴミの判別条件として彩度比が１以下であることを用いると、濃いゴミが検出されないという問題が生じてしまう。彩度比が１以上を許してしまうと、誤検出が発生してしまう。この問題を解決するために用いるのが、本実施形態では、第２の彩度判定部６６を用いる。第２の彩度判定部においては、上式（４）の代わりに、彩度Ｓを修正彩度Ｓとして以下の式により求める。

上述した、Ｒ＝１２、Ｇ＝７、Ｂ＝３という暗いピクセルについて、この修正彩度Ｓで計算してみると、最大値１の彩度に対して０．０３となり、暗い部分で彩度が低い値で算出される。
この修正彩度Ｓを用いることで、画像全体の暗い部分の彩度を人間の感覚にそった値で算出でき、ゴミ検出パラメータの彩度比パラメータも範囲を限定することで誤検出を排除することができる。

しかし、上式（１４）を用いた計算を全ての画素領域に対して行うと、式（４）と比べて式が複雑であるため、処理速度が遅くなる。このため、明るさ判定及び色相判定の結果と、第１彩度判定との結果が異なる場合のみ、上式（１４）を用いて大絵彩度判定部６６による第２彩度判定を行う。

そして、補正部５１は、ゴミ影判定部６０によって判定・選択されたゴミ影領域に対して、その影響を低減する画像補正を行う。

つぎに、図６に示すフローチャートに従って、画像処理装置５０におけるゴミ影補正処理の流れを説明する。また、図６、図７および以下の説明中、ステップを「Ｓ」とも略記する。

画像処理装置５０は、メモリカード４０を介して、または、カメラ１の外部インターフェース部１８を介して入力された補正対象画像データを読み込む（Ｓ０１）。

読み込んだ対象画像データの、ＲＧＢデータから輝度Ｙを求める（Ｓ０２）。
輝度Ｙに対して逆ガンマ補正してＹ’を求め、輝度平面Ｙ’に平均化フィルタをかけてノイズ処理を行う（Ｓ０３）。

その後、Ｙの勾配（Ｙｇｒａｄ）を計算する（Ｓ０４）。
輝度勾配Ｙｇｒａｄが閾値以上のエリアを抽出する（Ｓ０５）。

続いて、連結領域判定部６１により連結画素領域を抽出する（Ｓ０６）。
さらに、抽出された連結画素領域の大きさ判定を行う（Ｓ０７）。

次いで、輝度判定部６３によって、連結画素領域における内外の輝度比に基づいてゴミ影部の可能性のある領域に該当するか否かを判定する（Ｓ０８）。
さらに、色相判定部６４によって、連結画素領域における内外の色相比に基づいてゴミ影部の可能性のある領域に該当するか否かを判定し（Ｓ０９）、次に彩度判定を行う（Ｓ１０）。

図７は図６における彩度判定（Ｓ１０）を詳細に説明するフローチャートである。
まず、第１彩度判定部６５によって、式（４）を用いた連結画素領域の彩度比の判定（第１彩度判定）を行う（Ｓ１０１）。明るさ判定及び色相判定によりゴミ影部の可能性のある領域であると判定されているが、第１彩度判定の結果によるとゴミ影部の可能性のある領域と判定されなかった場合（Ｓ１０１，ＮＯ）、第２彩度判定部６６による第２彩度判定を行う（Ｓ１０２）。

一方、明るさ判定及び色相判定によりゴミ影部の可能性のある領域であると判定され、さらに第１彩度判定の結果によってもゴミ影部の可能性のある領域と判定された場合（Ｓ１０１，ＹＥＳ）、彩度判定においてゴミ影部の可能性のある領域と判定されたものとして（Ｓ１０３）、図６のフローに戻る。

また、第２彩度判定部６６による第２彩度判定の結果、ゴミ影部の可能性のある領域と判定された場合（Ｓ１０２，ＹＥＳ）も、彩度判定においてゴミ影部の可能性のある領域と判定されたものとして（Ｓ１０３）、図６のフローに戻る。

第２彩度判定部６６による第２彩度判定の結果、ゴミ影部の可能性のある領域と判定されなかった場合（Ｓ１０２，ＮＯ）、彩度判定においてゴミ影部の可能性のある領域ではないと判定されたものとして（Ｓ１０４）、図６のフローに戻る。

図６に戻り、誤検出排除部６７によって、連結画素領域が明るいエリアにあり、且つ、領域周辺の輝度標準偏差が小さく、ゴミ影部の可能性のある領域に該当するか否かを判定する（Ｓ１１）。

そして、ゴミ情報を保存し（Ｓ１２）、上記ステップ全てにおいてゴミ影部の可能性のある領域と判定されたものについて補正部５１によりゴミ影の補正を行う（Ｓ１３）。

以上、本実施形態によると、彩度判定において、通常は計算付加が少なく、処理時間の早い式を用い、その式の結果に疑義のある場合のみ、より精度の高い式を用いる。したがって、処理速度を著しく低下することなく、且つ正確な彩度判定を行うことが出来る。

（第２実施形態）
第２実施形態の基本構成は第１実施形態と同様である。
第１実施形態と異なる点は、図６のステップ１０における彩度比判定である。図８は第２実施形態における彩度比判定のフローチャートである。第２実施形態では、輝度判定部６３においてゴミ影部の可能性のある領域と判定されたものについて、さらに輝度における第２の閾値を設けて、第２の閾値以上か、それより小さいかを判定する（Ｓ２０１）。
第２の閾値以上のものについては薄い影とし（Ｓ２０１，ＹＥＳ）、第２の閾値以下のものについては濃い影として判別する（Ｓ２０１，ＮＯ）。

そして、薄い影及び濃い影のいずれに対しても第１実施形態と同様に色相判定を行う（Ｓ２０２，Ｓ２０３）。その後、薄い影については、第１の彩度判定部６５により第１の彩度判定を行い（Ｓ２０４）、濃い影については第２の彩度判定部６６により第２の彩度判定（Ｓ２０５）を行う。
第１の彩度判定及び第２の彩度判定でゴミ影部と判定された場合（Ｓ２０４，ＹＥＳ）（Ｓ２０５，ＹＥＳ）、彩度判定においてゴミ影部の可能性のある領域であると判定されたものとして（Ｓ１０４）、図６のフローに戻る。
第１の彩度判定及び第２の彩度判定でゴミ影部でないと判定された場合（Ｓ２０４，ＮＯ）（Ｓ２０５，ＮＯ）、彩度判定においてゴミ影部の可能性のある領域ではないと判定されたものとして（Ｓ１０４）、図６のフローに戻る。

本実施形態において、このようなフローにしたのは、上述したように、第１の彩度判定部６５において用いる式（４）において、ゴミの影であっても、濃い影に対しては高い値の彩度を示すことがあるからである。
そこで、本実施形態では、薄い影においては式（４）でも誤検出の可能性が低いとして式（４）を用いた第１の彩度判別を行う。これにより高速な処理速度が得られる。しかし、濃い影については、式（４）では誤検出の可能性があるため、式（１４）を用いた第２の彩度判別を行う。これにより、正確な判定を行うことが出来る。

（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。

（１）上記実施形態では、電子スチルカメラであるカメラ１で撮影した画像データを処理する例を説明したが、必ずしもこの内容に限定する必要はない。本発明は、動画を扱うビデオカメラで撮影した画像データにも適用できる。また、カメラつき携帯電話などで撮影した画像データにも適用できる。さらに、コピー機やスキャナー等にも適用できる。すなわち、撮像素子を使用して撮像したあらゆる画像データに対して、本発明を適用することができる。

（２）上記実施の形態では、電子スチルカメラであるカメラ１で撮影した画像データをＰＣ（パソコン）３１で処理してゴミの影響を除去する例を説明したが、この内容に限定するものではない。電子カメラ１にそのようなプログラムを備えてもよい。また、プリンタや投影装置などにそのようなプログラムを備えてもよい。すなわち、画像データを扱うあらゆる装置に、本発明は適用することができる。

（３）ＰＣ３１で実行するプログラムは、ＣＤ−ＲＯＭなどの記録媒体に限らず、インターネットなどのデータ信号を通じて提供することができる。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。

１：カメラ、１２：光学フィルタ、１３：撮像素子、１７：メモリカード用インターフェース部、１８：外部インターフェース部、３０：パーソナルコンピュータ（ＰＣ）、３３：ＣＤ−ＲＯＭ、４０：メモリカード、５０：画像処理装置、５１：補正部、６０：ゴミ影判定部、６１：連結領域判定部、６２：対象領域抽出部、６３：輝度判定部、６４：色相判定部、６５：第１彩度判定部、６６：第２彩度判定部、６７：誤検出排除判定部

Claims (5)

1. 撮像素子に撮像された処理対象画像に移り込んでいる影部の輝度情報を用いて、光学部材に付着したゴミによるゴミ影部の可能性がある影部か否かを判定する輝度判定部と、
   前記影部の色相情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する色相判定部と、
   第１の式を用いて求めた前記影部の彩度情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する第１彩度判定部と、
   前記第１の式と異なる第２の式を用いて求めた前記影部の彩度情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する第２彩度判定部と、を有し、
   前記影部が、前記輝度判定部、前記色相判定部及び前記第１彩度判定部において前記ゴミ影部の可能性がある影部と判定された場合、該影部をゴミ影部と判定し、
   前記影部が、前記輝度判定部及び前記色相判定部において前記ゴミ影部の可能性がある影部と判定され、前記第１彩度判定部において前記ゴミ影部の可能性がある影部と判定されなかった場合、さらに前記第２彩度判定部における判定を行い、該第２彩度判定部において前記ゴミ影部の可能性がある影部と選択された場合、ゴミ影部と判定するゴミ影判定部を備えること、
   を特徴とする画像処理装置。
2. 撮像素子に撮像された処理対象画像に移り込んでいる影部の輝度情報を用いて、光学部材に付着したゴミによるゴミ影部の可能性がある影部か否かを判定する輝度判定部と、
   前記影部の色相情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する色相判定部と、
   第１の式を用いて求めた前記影部の彩度情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する第１彩度判定部と、
   前記第１の式と異なる第２の式を用いて求めた前記影部の彩度情報を用いて、前記ゴミ影部の可能性がある影部か否かを判定する第２彩度判定部と、を有し、
   前記輝度判定部は、前記影部の輝度を検出可能で、前記影部の輝度が閾値以上、前記輝度判定部、前記色相判定部及び前記第１彩度判定部においてゴミ影部の可能性がある影部か否かを判定し、
   前記影部の輝度が前記閾値より低い場合、前記輝度判定部、前記色相判定部及び前記第２彩度判定部においてゴミ影部の可能性がある影部か否かを判定するゴミ影判定部を備えること、
   を特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記第２の式は、前記第１の式よりも、前記画像処理装置における演算付加が大きいこと、
   を特徴とする画像処理装置。
4. 請求項１から３のいずれか１項に記載の画像処理装置であって、
   前記第１彩度判定部及び前記第２彩度判定部は、影部外の彩度に対する影部内の彩度の比が１より小さい場合、前記ゴミ影部の可能性がある影部であると判定すること、
   を特徴とする画像処理装置。
5. 請求項１から４のいずれか１項に記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。

Images