JP2009543214A - 画像特徴を意識した画像欠陥除去 - Google Patents

Abstract

【課題】スキャンされた写真又は他の画像から欠陥を除去することに適用可能なシステム、方法および処理技法を提供する。
【解決手段】局所的画像特性を使用して、画像内のいずれの潜在的欠陥が補正されるべきかを判断するシステム、方法、及び技法が提供される。代表的な一実施の形態では、画像内の潜在的欠陥は、そのエッジの鮮明度に基づいて特定され、種々の潜在的欠陥の強度の測定値が計算される。次に、潜在的欠陥の強度の測定値は、補正される画像欠陥を特定するために、このような潜在的欠陥のすぐ近傍における、画像の一定の局所的特性を考慮して評価される。
【選択図】図１

Description

本発明は、画像処理システム、画像処理方法、及び画像処理技法に関し、特に、スキャンされた写真又は他の画像から欠陥を除去することに適用可能である。

ほこり、ひっかき傷、及び他の欠陥を画像から除去するための既存の自動化された技法に関する重大な問題は、このような技法が、多くの場合、線分及びさまざまなテクスチャ等の実際の画像特徴を、写真をスキャンする時に生じるアーティファクト等の真の欠陥と十分に区別することができないということである。
加えて、このような既存の技法は、多くの場合、特に、このような低コントラストの欠陥がより暗い領域に位置している場合に、低コントラストの欠陥を分離するのが非常に不得手であり、このような技法の本来的な限界により、多くの場合、このような欠陥を頻繁に見落とすか、又は、画像特徴を欠陥として頻繁に分類を誤るかの二者択一に直面する。

本発明は、スキャンされた写真又は他の画像から欠陥を除去することに適用可能なシステム、方法および処理技法を提供する。

本発明は、局所的画像特性を使用して、画像内のいずれの潜在的欠陥が補正されるべきかを判断することにより、この問題に対処する。
代表的な一実施の形態では、画像内の潜在的欠陥は、そのエッジの鮮明度に基づいて特定され、種々の潜在的欠陥の強度の測定値が計算される。
次に、潜在的欠陥の強度の測定値は、補正される画像欠陥を特定するために、このような潜在的欠陥のすぐ近傍における、画像の一定の局所的特性を考慮して評価される。

上記概要は、単に、本発明の一般的な性質の簡潔な説明を提供することを意図しているにすぎない。
本発明のより完全な理解は、特許請求の範囲、及び、添付の図面に関する好ましい実施形態の以下の詳細な説明を参照することによって得ることができる。

本発明の第１の代表的な実施形態による、画像欠陥を除去するためのシステムを示すブロック図である。 本発明の代表的な一実施形態による、第１の構造要素を使用する画像のトップハット変換の結果を示す図である。 本発明の代表的な一実施形態による、第２の構造要素を使用する画像のトップハット変換の結果を示す図である。 本発明の代表的な一実施形態による、第１のスケールにおける欠陥マップを示す図である。 本発明の代表的な一実施形態による、第２のスケールにおける欠陥マップを示す図である。 本発明の第２の代表的な実施形態による、画像欠陥を除去するためのシステムを示すブロック図である。 本発明の第３の代表的な実施形態による、画像欠陥を除去するためのシステムを示すブロック図である。

図１は、本発明の第１の代表的な実施形態による、画像欠陥を除去するためのシステム１０を示すブロック図である。図示するように、画像１２（たとえば、スキャンされた写真又は他の任意のデジタル写真）がシステム１０に入力される。

欠陥を検出するために、本発明は、包括的には、画像特徴を比較して、欠陥エッジの鮮明度の差分に依拠する。
この点について、画像内の欠陥は、たとえば、写真プリント上のひっかき傷の結果の場合もあるし、又はスキャナプラテン上のほこり、インク、若しくは毛髪の結果の場合もある。

このような欠陥は、一般に、周辺エッジ、すなわち、異なるピクセル値の領域を分離する比較的細い線又は他の形状の曲線、を有する閉じた形状によって表すことができる。
換言すれば、エッジは、ピクセル値の突然の変化が生じる境界をマークするものである。
実際の画像のコンテキストでは、このようなエッジ又は境界は、多くの場合、「画像特徴」と呼ばれる。
以下の論述では、エッジは、欠陥エッジであろうと画像特徴であろうと、多くの場合、「特徴」と呼ばれる。

エッジの鮮明度は、ピクセル値がどれくらい突然に変化するのかを示す。
すなわち、２つの異なる領域間のピクセル値の変化に関して、それらの領域間で遷移領域の幅がどれくらい狭いのかを示す。
たとえば、非常に鮮明なエッジの場合、変化全体を２つの隣接するピクセル間で観察することができる（すなわち、真のエッジは、３つのピクセルにわたるピクセル境界に正確に含まれない。ただし、その場合でも、傾きは２ピクセルである）。
他のエッジは、たとえば、４〜５ピクセルにわたって、幾分、より段階的な変化を示す。
これらのエッジは、適度な高解像度画像の場合、依然として肉眼にはかなり鮮明に見える。

上記で言及した鮮明度の差分は、画像が十分な高解像度（たとえば、２００ドット毎インチ（ｄｐｉ）以上）でスキャンされた場合に、欠陥が、多くの場合、画像特徴のエッジよりも鮮明なエッジを示すという観察結果に基づいている。
たとえ画像特徴の全体のコントラストが欠陥のコントラストよりも大きくなる可能性があっても、画像特徴は、通例、より大きな度合いのブラーを示す。
より具体的には、画像特徴は、欠陥エッジについてよくある段差状の変化ではなく、通例、グレイレベルプロファイルの直線的で単調な変化を有する。
この差は、画像特徴が、多くの場合、複数のブラーを受けるということに起因する可能性が最も高い。
たとえば、多くの場合、最初のブラーリング段階は、写真が撮影されたカメラの光学素子によって引き起こされる。
また、デジタル写真撮影の場合、圧縮及びノイズ除去等のさまざまな画像後処理ステップがあり、さらなる量のブラーリングを引き起こす。
最後に、写真がスキャンされる時は、スキャナ光学素子によってブラーリングが引き起こされる。

これとは対照的に、たとえば、ひっかき傷及びほこりによる遮蔽によって引き起こされる物理的な欠陥の結果としてスキャン画像に現れるオブジェクトは、たった１つのブラーリング段階、すなわち、スキャナの光学素子によって導入されたブラーリング段階しか受けない。
したがって、これらの特徴は、非常に鮮明な段差状のエッジを有する傾向がある。

システム１０の初期処理段階１４は、画像１２内の潜在的欠陥の強度の測定値を求めると共に、それらの潜在的欠陥を特定して出力する。
より具体的には、好ましい実施形態では、潜在的欠陥は、それらの潜在的欠陥のエッジの鮮明度に少なくとも部分的に基づいて検出され、各欠陥の強度は、好ましくは、対応する潜在的欠陥のエッジの鮮明度、及び、潜在的欠陥の背景に対するその潜在的欠陥のコントラストの双方を反映する。

本発明による、このような潜在的欠陥を特定してこのような強度の測定値を求めるための好ましい技法は、形態学に基づいている。
具体的には、この技法は、２つの異なる構造要素を有するトップハット変換を適用することによって取得された２つの極大値マップを比較し、また、２つの異なる構造要素を有するトップハット変換を適用することによって取得された２つの極小値マップも比較する。

最初に、或る背景を論述する。２つの基本的なグレイ値形態学的演算が次のように定義される。
画像Ｘ［ｍ，ｎ］のグレイ値拡張

は、

によって定義される。

上記定義から、

の各出力座標［ｍ，ｎ］は、特定の構造要素Ｓを、画像Ｘのシフトされたバージョンとまず合計することによって取得される。
次に、ＳのＪ×Ｋ領域内のすべてのシフトにわたる最大値が結果として選ばれる。画像拡張（たとえば、対称的なもの）が、Ｘの境界エリアに使用される。

画像Ｘ［ｍ，ｎ］のグレイ値侵食は、

によって定義される。
グレイ値の拡張及び侵食の二重性を使用すると、

となることに留意されたい。
ここで、

は、Ｓ［ｊ，ｋ］をＳ［−ｊ，−ｋ］に置換することによって取得される。

上記グレイレベル形態学的演算の特別な場合は、単純な構造要素を使用することによって達成することができる。
たとえば、Ｓ＝定数＝０の特定の場合には、上記２つの演算は、領域［ｊ，ｋ］⊂Ｓ上の最小値及び最大値、すなわち、

に低減される。

より高レベルの形態学的演算は、以下のように定義される。
グレイ値のオープニングは、

である。
グレイ値のクロージングは、

である。
二重性を使用すると、

である。
クロージング演算子は、極小値の検出に適していることが知られている。
したがって、暗い欠陥（すなわち、それよりも明るい背景に対する）の検出にはクロージング演算子が使用される。
これとは対照的に、オープニング演算子は、極大値の検出に適しており、したがって、明るい欠陥（すなわち、それよりも暗い背景に対する）の検出にはオープニング演算子が使用される。

トップハット変換は、
Ｙ_ｄａｒｋ（Ｘ［ｍ，ｎ］，Ｓ）＝（Ｘ・Ｓ）［ｍ，ｎ］−Ｘ［ｍ，ｎ］、及び
Ｙ_{ｂｒｉｇｈｔ}（Ｘ［ｍ，ｎ］，Ｓ）＝Ｘ［ｍ，ｎ］−（ＸｏＳ）［ｍ，ｎ］
として計算される。
Ｙ_ｄａｒｋ（Ｘ［ｍ，ｎ］，Ｓ）は、極大値と、対応する局所的な背景レベルとの間の差分を反映することに留意されたい。
同様に、Ｙ_{ｂｒｉｇｈｔ}（Ｘ［ｍ，ｎ］，Ｓ）は、極小値と、対応する局所的な背景レベルとの間の差分を反映する。
換言すれば、これらは、一般的に、局所的な特徴コントラストのマップと考えることができる。

以下の論述では、提示を容易にするために、暗い欠陥（すなわち、それよりも明るい背景に対する）の場合のみに言及し、Ｙに関して「暗い」又は「明るい」というインデックスを省略することにする。
同様の考慮は、明るい欠陥（すなわち、それよりも暗い背景に対して）の場合にも適用される。

欠陥は、Ｙ_ｄａｒｋ（又はＹ_{ｂｒｉｇｈｔ}）が所定のしきい値Ｔ_１よりも大きいピクセルにおいて特定することができる。
しかしながら、このような手法の欠点は、この手法が、欠陥と、線分及びさまざまなテクスチャ等の本来的な画像特徴との区別を行わないということである。

したがって,好ましい実施形態では、以下の手法が採用される。
たとえば、L. Joyeux、S. Boukir、B. Besserer、O. Buisson著「Reconstruction of Degraded Image Sequences. Application to Film Restoration」（Image and Vision Computing, 19, 2001, pp. 503-516）に論述されているように、ピラミッド形状の構造要素が使用される。
より具体的には、好ましい実施形態では、以下のような２つの別個の構造要素、すなわち、

が構築される。
ここで、ｔは、たとえば１〜１０の範囲にある経験的に選択されたパラメータである。発明者のこれまでの経験では、本技法は、特に、ｔに使用される正確な値の特徴の影響は受けにくい。

構造要素は、オープニングを計算するのに使用されるとき、マスクとして働き、その結果のマップは、マスクパターンが見つかった箇所を特定する。
逆に、同じ構造要素が、クロージングを計算するのに使用されるとき、マスクパターンの反転したものが見つかった箇所を特定する。
したがって、Ｓ_１は、それらの背景とのコントラストを最も強く有する孤立した１ピクセルスポットを見つける傾向があるが、任意の線分及びエッジセグメントも特定する。
また、Ｓ_２も、それらの背景とのコントラストを有する１ピクセルスポットを見つける傾向があるが、このようなスポットが、３つの隣接するピクセルにわたってピクセル値の直線的な変化を示す場合に、いっそう大きな規模の結果を提供する。
同様に、Ｓ_２は、エッジも特定し、このようなエッジが、３つの隣接するピクセルにわたってピクセル値の直線的な変化を示す場合に、いっそう大きな規模の結果を提供する。換言すれば、Ｓ_１及びＳ_２は、エッジ鮮明度の異なるレベルに対して異なる応答を有するマスクとして機能する。
結果のトップハット変換は、このように、コントラストの関数だけでなくエッジ鮮明度の関数でもあり、特徴の強度の全体の測定値を提供する。特徴の鮮明度に対するトップハット変換の感度は、構造要素Ｓ_１及びＳ_２のいずれが使用されていたかによって決まる。

非常に鮮明なエッジと比較的平滑な（又はブラーリングされた）エッジとの間の相違を示すために、２つの異なる構造要素Ｓ_１及びＳ_２について取得される、画像の２つのトップハット変換の間の差分が以下のように計算される。
ｄＹ＝｜Ｙ（Ｘ［ｍ，ｎ］，Ｓ_１）−Ｙ（Ｘ［ｍ，ｎ］，Ｓ_２）｜
非常に鮮明な特徴は、一般に、双方のトップハット変換にほぼ同じように現れる。
これとは対照的に、単調でブラーのあるエッジプロファイルを示す特徴は、第２の構造要素Ｓ_２が使用されたときに、第１の構造要素Ｓ_１で取得された同じ特徴と比較してより強く現れる。

したがって、双方のマップＹ（Ｘ［ｍ，ｎ］，Ｓ_１）及びＹ（Ｘ［ｍ，ｎ］，Ｓ_２）に現れる特定の特徴が、欠陥に対応するのか、それとも、本来的な画像特徴であるのかの第１の指示は、差分マップｄＹから取得することができる。
対応するｄＹ値が所定のしきい値Ｔ_ｄＹ（たとえば、１グレイレベル）よりも小さい特徴は、非常に鮮明であり、したがって、ほこり、ひっかき傷、又は他の或るタイプの欠陥に対応すると考えられる。

その結果、以下のように、ｄＹがＴ_ｄＹよりも大きいＹのピクセルをゼロにすることによって、２つの構造要素の潜在的欠陥の初期しきい値処理マップ

が取得される。

同様に、

及び

は、極小値と、対応する局所的な背景レベルとの差分のＴ_ｄＹしきい値処理マップであることに留意されたい。
換言すれば、これらは、局所的な特徴コントラストのＴ_ｄＹしきい値処理マップである。
本発明の本実施形態では、（各欠陥の強度の測定値と共に潜在的欠陥を特定する）しきい値処理された

及び

のマップ１５が、検出モジュール１４から出力される。

３つ以上の異なる構造要素も本発明のさまざまな実施形態で使用できることに留意すべきである。
実際には、異なるサイズの欠陥を特定するには、構造要素を追加することが有益である可能性がある。

たとえば、上記で具体的に特定された２つの構造要素に関してのみトップハット変換を計算することによって、多くの場合、非常に大きな欠陥を特定することが困難になり、特に、低いコントラストを有する大きな欠陥を特定することが困難になる。
すなわち、この技法は、コントラストが十分大きいという条件で、欠陥の境界（非常に鮮明なエッジを有する）を特定することができるが、欠陥の内部（ほとんど変化を有しないか、又は、少なくとも全般に鮮明な変化を何ら有しない）を特定することはできない。
したがって、異なるサイズの欠陥を特定するには、他のいくつかの処理ステップが一般に望ましい。
１つの手法は、最大の構造要素が、予想される最大の欠陥を検出することができる、多数の異なるサイズの構造要素を使用することである。
代替的な一手法は、以下でより詳細に説明するように、原画像のいくつかのバージョン、すなわち、原画像のいくつかの異なる解像度に適用される上記２つの構造要素を使用することである。

より大きな潜在的欠陥を特定するために、２つの構造要素が、上述したものと同様の方法であるが、中央部分がより多くのゼロ値の要素を含む（欠陥の内部空間に対応する）方法で構成される。
たとえば、次に大きなスケールでは、２つの構造要素は、好ましくは、ゼロから成る２×２矩形行列（rectangle）を含み、その次に大きなスケールでは、２つの構造要素は、好ましくは、ゼロから成る４×４矩形行列を含み、以下同様である。
したがって、本処理は、異なるスケールに関して（すなわち、異なる潜在的欠陥サイズについて）繰り返すことができ、２つの構造要素は、各スケールにおいて使用される。
一般的に言えば、本実施形態は、単一のスケールのみを考慮する。後述する他の実施形態は、異なるサイズの欠陥を検出するために考慮すべき事項をより詳細に対処する。

また、上記説明は、より鮮明なエッジ又は特徴を、それよりも鮮明でないエッジ又は特徴と区別するための１つの技法にしか言及していない。
しかしながら、本発明によれば、さまざまな異なるエッジ検出技法及びさまざまな鮮明度測定値のいずれかをこの目的のために利用できることに留意すべきである。
この点について、本発明による技法は、たとえば異なるパラメータを有する２つ以上の異なるエッジ検出器を代わりに使用することができる。
たとえば、この目的のために、さまざまな度合いの平滑化を有する微分フィルタを画像１２に適用することができる。

いずれにしても、エッジが処理モジュール１４で特定されているのと同時に、局所的な画像解析が、モジュール１７で入力画像１２に対して行われる。
このような局所的な画像解析は、本来的な画像特徴と欠陥との弁別をさらに改善するのに使用されると共に、疑わしい欠陥に関する処理を調整するのにも使用される。
本発明の好ましい実施形態では、局所的な画像特性が計算され、それらの局所的な画像特性を使用して、特徴に依存したしきい値マップが生成される。
最後に、このようなマップは、暗い（又は明るい）欠陥のマップ１５

に適用される。
次の論述は、この技法の背後にある一定のヒューリスティクスを解説している。

第一に、モジュール１７で求められたしきい値は、好ましくは、局所ルミナンスレベルに依存する。
この点について、より明るい領域に現れる暗い欠陥は、より暗い領域に現れる同じ明るさの欠陥よりも知覚されるコントラストが高い。
したがって、本発明の一般的なルールとして、しきい値は、明るいエリアほど高く設定される。
このヒューリスティクスは、潜在的欠陥を誤って分類した可能性があるあらゆる可能性に基づくのではなく、人間の知覚（人間視覚モデルＨＶＳ）にのみ基づいていることに留意する。
換言すれば、このヒューリスティクスは、人間の知覚の一定の特性に依拠して、一定の状況において誤差のより大きなマージンを提供する。

第二に、ビジーな（たとえば、テクスチャを含むか又はエッジを含む）エリアでは、（たとえば、ほこりによる遮蔽によって引き起こされた）欠陥は、平滑なエリアに現れる欠陥よりも混乱を引き起こすことは少ない（別の考慮すべき事項は、一定の状況で誤差のより大きなマージンを許容できる人間の知覚に関係するものである）。
加えて、このようなエリアでは、一般に、本来的な画像特徴を欠陥として誤って分類する確率はより高くなる。
この後者の考慮すべき事項は、潜在的欠陥のマップ１５を生成する際に生じた可能性がある誤差に対応することを対象とする。
上記理由の双方により、本発明の一般的なルールとして、非常にビジーなエリアでは、しきい値は、平坦で平滑なエリアよりも高く設定される。

したがって、１）平均局所ルミナンスレベル、２）エリアのビジー度の指標である局所的分散、及び３）エッジが存在することの指標である、局所的勾配の絶対値の合計、の３つのパラメータの関数としてしきい値マップが定義される。
したがって、ルミナンスに加えて、局所的領域全体にわたる全体のピクセル変化（たとえば、分散）が考慮され、また、局所的領域内の直接的変化（たとえば、局所的勾配等のピクセルごとの変化）の或る複合測定値も考慮される。
換言すれば、ピクセル変化の２つの空間スケールが、各局所的領域内で考慮される。

全体のピクセル変化は、局所的領域にエッジ又はテクスチャのいずれかが存在することを示すことができる一方、直接的ピクセル変化は、局所的領域に複数のエッジが存在することを示す。
局所的領域それ自体は、好ましくは、検出モジュール１４でエッジを特定するのに使用された領域よりも大きくなるように定義される（後者は、一般に、幅が２〜３ピクセルにすぎない）。
一般に、他の統計的記述子を同様に（又は代わりに）使用することができる。
たとえば、ビジーで、テクスチャを含むか又はエッジを含むエリアを検出するために、局所的な尖度及び疎性を使用することができる。

本発明の本実施形態では、ブロックＢについて計算された最初の２つのパラメータである平均局所的ルミナンスμ_Ｂ及び局所的分散ｓ_Ｂは、

によって定義される。
本実施形態の第３のパラメータは、局所的勾配の絶対値の合計である。より具体的には、導関数の単純なゼロ次近似

が使用される。

本発明の好ましい実施形態では、コンテキスト適応型しきい値関数を構築するための以下のストラテジーが使用される。
まず、しきい値の初期値Ｔ_０が設定される。この値は、ユーザがインタラクティブに入力することもできるし、実証的研究に基づいて事前に設定することもできる。次に、鮮明なエッジ、すなわち、欠陥のマップ１５

及び

に現れる非ゼロの要素、の勾配値の経験的分布の平均及び標準偏差が評価される。

次に、最小欠陥しきい値（すなわち、許容される最小の欠陥コントラスト）が、

として定義される。
ここで、

及び

は、初期欠陥マップ

の経験的な平均及び経験的な標準偏差である（

についても同様である）。
Ｃ_σは、たとえばユーザによって定義された所望の検出レベルに反比例する定数である。
Ｃ_σの一般的な値は、１〜６である。

最小欠陥しきい値を定義するこのストラテジーの背後にある洞察は、以下の通りである。
たとえば、Ｔ_０が事前に２０に設定されていたが、

に関する欠陥コントラストの平均値が２０未満である場合であっても、上記定義を使用することによって、２０未満のコントラストを有する欠陥が見つけることが可能になる。
他方、あまりにも多くの誤った検出が見られる場合、これは、Ｃ_σの値をより高く設定することによって解決することができる。

上記しきい値は、開始点として使用され、画像の局所的なコンテンツに従って局所的に補正される。
本実施形態では、この補正は、上述したヒューリスティクスに基づいており、上記で言及した３つのパラメータの値（すなわち、平均局所ルミナンスレベル、局所的分散、及び、局所的勾配の絶対値の合計）に依存する。
より具体的には、本実施形態では、局所的なブロック依存しきい値は、
Ｔ_Ｂ（Ｓ_１）＝Ｔ_ｍｉｎ（Ｓ_１）［１＋Ｃ_１μ_Ｂ＋Ｃ_２ｓ_Ｂ＋Ｃ_３ｇ_Ｂ］、及び
Ｔ_Ｂ（Ｓ_２）＝Ｔ_ｍｉｎ（Ｓ_２）［１＋Ｃ_１μ_Ｂ＋Ｃ_２ｓ_Ｂ＋Ｃ_３ｇ_Ｂ］
によって定義される。
ここで、Ｃ_１、Ｃ_２、及びＣ_３は、経験的に求められる定数である。
好ましくは、これらの定数は、それらの対応するパラメータを正規化するように選ばれる。
たとえば、Ｃ_１、Ｃ_２、及びＣ_３は、１／ｍａｘ（μ_Ｂ）、１／ｍａｘ（ｓ_Ｂ）、及び１／ｍａｘ（ｇ_Ｂ）、にそれぞれ比例して選ぶことができる。
代替的な実施形態では、パラメータの非線形関数が代わりに使用される。これらの関数は、たとえばＨＶＳモデルに基づいて定義することができる。

欠陥マップ処理モジュール１９では、上記しきい値は、その後、以下のように、欠陥のマップ１５

及び

に適用される。

上述した前提によれば、欠陥は、２つの構造要素について計算された双方のマップに現れるはずである。
したがって、２つの構造要素のマップを結合することによって、欠陥Λの最終マップ２２が取得される。
好ましくは、これは、欠陥の２つのマップ

及び

の成分ごとの乗算、すなわち、

によって行われる。

上記論述は、一般に、単一のスケールのみが処理されると仮定していることに留意されたい。
複数のスケールが上記のように処理された場合、複数の複合欠陥マップΛ_ｉ（各異なる解像度ｉにつき１つ）が、マップの対応する対から生成される。
これらの複数の異なるマップΛ_ｉは、次に、平均化、又はピクセル単位の最大値の選択、すなわち、

等の算術演算を使用して結合され、欠陥Λの単一の最終マップ２２にされる。
或いは、欠陥が２値シンボル（たとえば、欠陥の場合に１、欠陥がない場合に０）を使用して特定されていた場合、マップは、ピクセル単位のブール「ＯＲ」演算子を使用して結合することができる。
いずれにしても、任意のスケールで所与のピクセルについてしきい値を超える場合、そのピクセルは、補正される欠陥とみなされるべきである。

再構成モジュール２４では、原画像１２が、最終欠陥マップ２２に基づいて修正される。
具体的には、最終マップ２２内の欠陥に対応する原画像１２内のピクセルは、周囲のピクセルデータに基づく画像データに置換される。
しかしながら、本発明は、単に周囲のピクセルデータの平均を使用するのではなく、好ましくは、画像データの任意の方向的な傾向を保存する、方向感受性の置換技法を使用する。
したがって、たとえば、欠陥が、原画像１２の特徴エッジ上に生じている場合、置換画像データは、好ましくは、そのエッジを維持する。

実際には、この時点で、１つは暗い欠陥を示し、１つは明るい欠陥を示す２つの欠陥マップ２２があることに留意すべきである。
これらは、以下で対処される。

画像データの方向感受性の置換を行うための１つの技法は、クロージング演算及びオープニング演算に基づいている。
まず、点接続性の問題に対処するために、欠陥ピクセルのマップ２２が拡張される（ただし、他の方法を代わりに使用することもできる）。
スキャンされた画像ピクセルは、マップ２２の対応するエントリーが非ゼロの値を有する場合に、欠陥として特定される。
次に、暗い欠陥の場合、これらの欠陥ピクセルは、画像１２のクロージングからの対応するピクセルに置換される。
明るい欠陥の場合、欠陥として特定されたピクセルは、画像１２のオープニングからの対応するピクセルに置換される。
すなわち、
Ｘ_ｄａｒｋ（［ｍ，ｎ］∈Ｄ）＝（Ｘ・Ｓ）（［ｍ，ｎ］∈Ｄ）、及び
Ｘ_{ｂｒｉｇｈｔ}（［ｍ，ｎ］∈Ｄ）＝（ＸｏＳ）（［ｍ，ｎ］∈Ｄ）
となる。
ここで、Ｄは、欠陥ピクセル、すなわち、Λの非ゼロの値のピクセル、の部分集合であり、Ｓ_２が、好ましくはＳの代わりに使用される。Ｄに含まれない、Ｘ内のピクセルは、変化しないままである。
原画像は、欠陥ピクセルが上述したように置換されると、その後、再構成画像２７として出力される。

図２〜図５は、上記処理の一例を示している。
より具体的には、図２は、上述したＳ_１構造要素を使用する一例の画像（図示せず）のトップハット変換５０を示し、図３は、上述したＳ_２構造要素を使用する同じ画像のトップハット変換５１を示している（すなわち、共に単一のゼロ値の中央ピクセルを有する）。
上述したように、変換５０及び５１の双方は、画像特徴（たとえば、特徴５２〜５４）を示す。
しかしながら、これらの画像特徴は、幾分、ブラーリングされ、それによって、構造要素Ｓ_２のパターンとより密接にマッチングするので、変換５０よりも変換５１ではるかに強くなっている。
同時に、欠陥６１〜６４が、変換５０及び５１の双方で全く同一に現れている。

欠陥６１及び６３は、変換５０及び５１の双方で全く同一に特定されるが、それよりも大きな欠陥６２及び６４は、輪郭の形でしか示されないことにも留意されたい。
すなわち、使用される２つの構造要素は、欠陥６２又は欠陥６４のいずれかのすべてをキャプチャするほど十分大きなものではない。
実際には、輪郭であっても、コントラストが十分高くない限り、キャプチャされていない可能性がある。
２つの変換５０と５１との差分を取り、次いで、指定されたしきい値よりも小さな対応する差分値を有する変換マップ（５０又は５１のいずれか）のあらゆるピクセルをゼロにした後の結果の欠陥マップ２２Ａを図４に示す。

欠陥マップ２２Ａにおいて特定された欠陥ピクセルを単に置換するだけで、欠陥６２又は６４の全体が削除されるものではなく、むしろそれらの欠陥の周囲しか削除されない（すなわち、それらの欠陥はより小さくなる）。したがって、これは、（異なる欠陥サイズに対応する）複数の異なるスケールにおける処理が望ましい場合の一例である。
構造要素のより大きな対による処理の結果、図５に示す欠陥マップ２２Ｂが得られる。図から分かるように、欠陥６１及び６３のいずれもこの欠陥マップ２２Ｂにおいてキャプチャされないが、欠陥６２及び６４の双方は、この場合、それらの全体がキャプチャされる。
しかしながら、たとえばブール「ＯＲ」演算又は算術演算（たとえば、最大化（max）又は平均化）を使用して、２つの欠陥マップ２２Ａ及び２２Ｂを結合することにより、すべての欠陥６１〜６４が十分特定される。

計算効率をより良くすることができる、異なるサイズの欠陥を検索する他の手法は、原画像１２の異なるバージョンを作成することを伴う。
各バージョンは、異なる解像度を有する。次に、上記技法の１つが、各異なる解像度に適用され、結果が結合される。

このようなシステム８０の一例が図６に示されている。容易に理解されるように、システム８０の処理モジュールの多くは、（図１に示す）システム１０の同じ要素符号を有する処理モジュールと同一である。
したがって、このような処理モジュールは、この実施形態では、概略のみが論述される。

本実施形態における１つの相違は、原画像１２がモジュール８５内で変換されて、複数の異なるバージョン８６にされるということである。
各バージョンは、異なる解像度を有する。これは、たとえば、ダウンサンプリング・平均演算を原画像に適用し、それに続いて、再帰的なダウンサンプリング・平均演算を各結果の画像に適用することにより行うことができる。
或いは、画像は、ウェーブレット変換技法やウェーブレットパケット技法等のマルチスケール変換に基づいていくつかの解像度で作成することもできるし、他の任意の技法に基づいて作成することもできる。

各結果の画像は、次に、上述したようなモジュール１４、１７、及び１９で処理される。
上述した異なるスケールでの処理と同様に、異なる欠陥マップΛ_ｉ'が、各解像度ｉで生成される。

処理モジュール８８では、異なる欠陥マップΛ_ｉ'は、まず、同じ解像度（たとえば、原画像１２の解像度）に変換される。
この場合も、このような変換は、ピクセル値を反復すること、補間すること、又は変換ベースの技法（たとえば、ゼロ詰め）を使用すること等による任意の既知の技法を使用して行うことができる。
その結果、たとえば、ピクセル単位で、平均化するか、最大値を取るか、又はブール「ＯＲ」演算子を使用するといった、上述した技法のいずれかを使用して結合できる一組の欠陥マップΛ_ｉが得られる。

欠陥マップが、処理モジュール８８で結合されて単一の最終マップ（実際には、暗い欠陥及び明るい欠陥のそれぞれについて１つ）にされると、再構成モジュール２４でそのマップを使用して原画像１２が再構成され、その結果、最終の再構成画像２７が得られる。

本発明によるシステム９０のさらなる実施形態が図７に示されている。
この実施形態では、この場合も、それぞれが異なる解像度を有する、原画像１２の複数のバージョン８６が、マルチグリッド変換処理モジュール８５で生成される。
しかしながら、直前の実施形態と異なり、この実施形態では、各結果画像は、（図１に示す）システム１０で原画像１２が処理された方法と同一に処理され、その結果、複数の再構成画像が、再構成処理モジュール２４によって出力される。

それらの個々の再構成画像は、次に、画像結合モジュール９２で結合される。それらの再構成画像は、異なる解像度であるので、それぞれが、好ましくは、（たとえば、上述した技法のいずれかを使用して）共通の解像度に変換される。
次に、解像度が変換された画像は、たとえば、ピクセルごとの算術演算（平均化等）を使用して、又は、ピクセル単位で、以下の優先順位に従って異なる画像から画像データを選択して、結合される。
この優先順位とは、（ｉ）ピクセルデータが、画像のいずれにおいても置換されていない場合、最も高い解像度の画像からピクセルデータを選択すること、又は、（ｉｉ）そうでない場合には、ピクセルデータが置換されたすべての画像にわたって、置換された画像データに対して算術演算を行うか、若しくは、置換された画像データの関数を別の方法で計算すること（たとえば、単純な平均若しくは画像の解像度に基づく加重平均）である。
後者の技法の目標は、欠陥がみつかったので画像データが置換されたという前提のもとで、可能な限り、置換された画像データを使用することである。
いずれにしても、最終結合画像２７が出力される。

上述した実施形態は、異なるサイズの欠陥を検出するためのさまざまな技法を含む。
これらの手法のいずれも採用されず、且つ、構造要素の最小の対しか利用されない場合、多くの場合、より大きな欠陥の周辺しか検出されないことになる。
このような場合、一般に、欠陥のエッジが特定された後に、あらゆる内部ピクセルを特定するための追加の処理を含めることが望ましい。

また、上述した実施形態では、欠陥マップが生成され、入力画像を補正するのに使用される。
本発明の欠陥マップは、他の目的にも同様に利用できることに留意されたい。
たとえば、本発明による処理を含むスキャナドライバソフトウェアを、複数のスキャンにわたって特定された欠陥のロケーションの経過を追跡するように構成することができる。
次に、欠陥が、同じロケーションで繰り返し再発する場合、スキャンプラテンをクリーニングすべきであることをユーザに自動的に通知することができる。
より特定的な実施形態では、汚染粒子が存在すると思われる場所のマップがユーザに提供される。

上述したように、本発明は、かなりの量の自動的な画像欠陥の検出を提供する。
しかしながら、同様に上述したように、本発明の一定の実施形態では、ユーザには、たとえば、欠陥サイズ、欠陥コントラスト、欠陥検出レベル、又は再構成品質を指定することによって、技法のいくつかのパラメータを変更する能力が提供される。
その上、半自動モードでは、ユーザには、欠陥が目に見える画像領域におおまかにマーキングする能力も提供することができる。

システム環境
一般的に言えば、本明細書で説明した方法及び技法のほぼすべては、汎用コンピュータシステムを使用することで実施することができる。
このようなコンピュータは、通常、たとえば、共通バスを介して互いに相互接続された以下のコンポーネントの少なくともいくつかを含む。
そのコンポーネントは、１つ又は複数の中央処理装置（ＣＰＵ）、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、他のデバイスとインターフェースすると共に１つ又は複数のネットワークに接続するための入出力ソフトウェア及び回路部（本発明の多くの実施形態では、１つ又は複数のネットワークは、インターネット又は他の任意のネットワークに接続する）、ディスプレイ（陰極線管ディスプレイ、液晶ディスプレイ、有機発光ディスプレイ、高分子発光ディスプレイ、又は他の任意の薄膜ディスプレイ等）、他の出力デバイス（１つ又は複数のスピーカ、ヘッドホンセット、及びプリンタ等）、１つ又は複数の入力デバイス（マウス、タッチパッド、タブレット、タッチ検知式ディスプレイ、又は他のポインティングデバイス；キーボード、マイクロホン、及びスキャナ等）、マスストレージユニット（ハードディスクドライブ等）、リアルタイムクロック、着脱可能ストレージ読み出し／書き込みデバイス（ＲＡＭ、磁気ディスク、磁気テープ、光磁気ディスク、光ディスク等からの読み出し用及びそれらへの書き込み用等）、並びにモデム（これも、好ましくは、ダイヤルアップ接続を介してインターネット又は他の任意のコンピュータネットワークに接続する）である。
動作時に、上記方法をこのような汎用コンピュータによって遂行される範囲で実施するためのプロセスステップは、通常、最初は、マスストレージ（たとえば、ハードディスク）に記憶され、ＲＡＭにダウンロードされ、次いで、ＲＡＭからＣＰＵによって実行されることになる。

本発明を実施する際の使用に適したコンピュータは、さまざまな製造供給元から取得することができる。
一方、タスクのサイズ及び複雑度に応じて、さまざまなタイプのコンピュータを使用することができる。
適したコンピュータには、スタンドアロンであるか、ネットワークに配線接続されているか、又はネットワークに無線接続されているかにかかわらず、メインフレームコンピュータ、マルチプロセッサコンピュータ、ワークステーション、パーソナルコンピュータ、及び、ＰＤＡ、無線電話、又は他の任意の電気機器若しくはデバイス等のさらに小さなコンピュータが含まれる。
加えて、汎用コンピュータシステムを上述したが、代替的な実施形態では、専用コンピュータが代わりに（又は追加して）使用される。
詳細には、上述した機能のいずれも、ソフトウェア、ハードウェア、ファームウェア、又はこれらの任意の組み合わせで実施することができ、特定の実施態様は、既知のエンジニアリングトレードオフに基づいて選択される。
この点について、当該技術分野で既知のように、上述した機能は、主として、固定論理ステップを通じて実施され、したがって、プログラミング（たとえば、ソフトウェア若しくはファームウェア）、論理コンポーネント（ハードウェア）の適切な配列、又はそれらの２つの任意の組み合わせを通じて達成できることに留意されたい。

本発明は、本発明の方法を遂行するためのプログラム命令が記憶されたマシン可読媒体にも関係していることが理解されるべきである。
このような媒体には、例として、磁気ディスク、磁気テープ、ＣＤ ＲＯＭ及びＤＶＤ ＲＯＭ等の光学的可読媒体、ＰＣＭＣＩＡカード等の半導体メモリ等が含まれる。
各場合において、媒体は、小型ディスク、ディスケット、カセット等のポータブルアイテムの形態を取る場合もあるし、コンピュータに設けられたハードディスクドライブ、ＲＯＭ、又はＲＡＭ等の比較的大きなアイテム又は固定アイテムの形態を取る場合もある。

上記説明は、主として、電子コンピュータに重点を置いている。
しかしながら、電子処理、光処理、生物学的処理、及び化学処理の任意の組み合わせを利用するコンピュータ等、他の任意のタイプのコンピュータを代わりに使用できることが理解されるべきである。

追加の考慮すべき事項
本発明のいくつかの異なる実施形態が上述され、このような各実施形態は、一定の特徴を含むものとして説明されている。
しかしながら、当業者には理解されるように、任意の単一の実施形態の論述に関連して説明された特徴は、その実施形態に限定されるものではなく、他の実施形態のいずれにも同様に含めることができ、さまざまな組み合わせで構成できることが意図されている。

同様に、上記論述では、機能は、時に、特定のモジュール又はコンポーネントのものとされている。
しかしながら、いくつかの場合には、特定のコンポーネント若しくはモジュールを完全に不要にするか、新しいコンポーネント若しくはモジュールの追加を必要とするか、又は、その双方を行い、一般に、所望に応じて、機能を任意の異なるモジュール又はコンポーネント間に分散し直すことができる。機能の正確な分散は、当業者に理解されるように、好ましくは、本発明の具体的な実施形態に関する既知のエンジニアリングトレードオフに従って行われる。

上記のように、本発明の例示の実施形態及び添付図面に関して、本発明を詳細に説明してきたが、本発明の精神及び範囲から逸脱することなく本発明のさまざまな適合及び変更を行えることが当業者には明らかなはずである。
したがって、本発明は、図面に示し上記で説明した正確な実施形態に限定されるものではない。そうではなく、本発明の精神から逸脱しないこのようなすべての変形は、本明細書に添付した特許請求の範囲によってのみ限定される本発明の範囲内にあるものとみなされることが意図されている。

１０・・・システム
１２・・・スキャン画像
１４・・・欠陥検出
１５・・・潜在的欠陥及び強度のマップ
１７・・・局所的画像解析−しきい値マッピング
１９・・・局所的特徴を意識した処理
２２・・・最終検出マップ
２４・・・画像再構成
２７・・・再構成画像
８０・・・システム
８５・・・マルチグリッド変換
８６・・・複数の解像度
８８・・・検出マップ結合
９０・・・システム
９２・・・画像結合

Claims (10)

1. 画像から欠陥を除去する方法であって、
   画像を取得すること、
   エッジ鮮明度に基づき、前記画像内の潜在的欠陥を特定すること、
   異なる前記潜在的欠陥の強度の測定値を求めること、
   前記画像内の異なる位置の局所的特性を計算すること、
   前記潜在的欠陥のすぐ近くの前記画像の前記局所的特性を考慮して前記潜在的欠陥の前記強度の測定値を評価することにより、画像欠陥を特定すること、及び
   前記画像欠陥に対応する画像データを、前記画像欠陥の周囲の画像データに基づいて置換すること、
   を含む方法。
2. 前記局所的特性は、局所的なピクセル値の変化の測定値を含む、請求項１に記載の方法。
3. 前記局所的特性は、局所的な近傍のエッジの広がりの測定値を含む、請求項１に記載の方法。
4. 前記潜在的欠陥及び前記強度の測定値は、第１の構造要素でトップハット変換を行うこと、第２の構造要素でトップハット変換を行うこと、及び、それらの結果を比較することによって特定される、請求項１に記載の方法。
5. 前記第１の構造要素及び前記第２の構造要素は、ピラミッド形状である、請求項４に記載の方法。
6. 異なる解像度の前記画像のコピーを取得するステップと、
   前記異なる解像度について、（ｉ）潜在的欠陥を特定するステップ、（ｉｉ）強度の測定値を求めるステップ、及び（ｉｉｉ）画像欠陥を特定するステップを遂行するステップと、
   をさらに含む、請求項１に記載の方法。
7. 前記画像データを置換するステップは、複数の再構成画像を取得するように前記異なる解像度のそれぞれについて遂行され、前記方法は、前記再構成画像を単一の補正された画像に結合するステップをさらに含む、請求項６に記載の方法。
8. 前記局所的特性は、前記潜在的欠陥のエッジを特定するのに使用されるものよりも大きな局所的領域に基づいて計算される、請求項１に記載の方法。
9. 前記画像データの前記置換は、前記画像欠陥の周囲の前記画像データの方向的なパターンに基づく、請求項１に記載の方法。
10. 前記潜在的欠陥を特定するステップは、エッジの鮮明度に基づいて異なる結果を生成する複数の異なるマスクで前記画像を処理することを含む、請求項１に記載の方法。

Images