JP2005293334A - テンプレートマッチング装置 - Google Patents

Abstract

【課題】 入力信号に幾何学的変化があっても正確に合致位置を特定できるテンプレートマッチング装置およびテンプレートマッチング方法を提供する。
【解決手段】 複数の色成分を含む既知のテンプレート信号の強度のヒストグラムを各色成分ごとに作成し（Ｓ１）、複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出し（Ｓ２）、部分信号の強度のヒストグラムを各色成分ごとに作成し（Ｓ３）、テンプレート信号の各色成分のヒストグラムと部分信号の各色成分のヒストグラムとに基づいて、同じ色成分どうしを比較することにより、テンプレート信号と部分信号との類似度を求める（Ｓ４〜Ｓ７）。そして、入力信号の各位置で求められた類似度を大小比較することにより、入力信号の中のテンプレート信号との合致位置を特定する（Ｓ１１）。
【選択図】 図３

Description

本発明は、画像情報または音声情報などを含む入力信号に対してテンプレートマッチングを行うテンプレートマッチング装置に関する。

テンプレートマッチングは、入力信号の中から既知のテンプレート信号に合致する部分信号（ターゲット）を探索して、ターゲットの位置（合致位置）を特定する処理である。この処理では、入力信号の中から抽出した演算用の部分信号と既知のテンプレート信号とのマッチング演算が、演算用の部分信号の抽出位置を少しずつ移動させながら、繰り返し行われる。そして、入力信号の中の各位置でのマッチング演算の結果を大小比較することで、合致位置が特定される。

また、マッチング演算には、周知の相互相関法や残差逐次検定法などが用いられる（例えば特許献１を参照）。これらの方法は、演算用の部分信号とテンプレート信号との対応位置どうしで信号強度の演算を行い、その結果を信号全体で集計するものである。
特開平５−８１４３３号公報

しかしながら、演算用の部分信号とテンプレート信号との対応位置どうしで信号強度の演算を行う上記の方法には、次の問題があった。例えば、画像情報を含む二次元の入力信号の場合、入力信号に幾何学的変化（回転や縮尺の変化など）があると、合致位置の特定を正確に行えるとは限らず、疑似マッチングやマッチング不可能になることがある。また、音声情報を含む一次元の入力信号の場合は、入力信号に幾何学的変化（縮尺の変化など）があると、同様に疑似マッチングやマッチング不可能になることがある。

本発明の目的は、入力信号に幾何学的変化があっても正確に合致位置を特定できるテンプレートマッチング装置を提供することにある。

請求項１に記載のテンプレートマッチング装置は、複数の色成分を含む既知のテンプレート信号の強度のヒストグラムを各色成分ごとに作成する第１の作成手段と、前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、前記抽出手段により抽出された前記部分信号の強度のヒストグラムを各色成分ごとに作成する第２の作成手段と、前記テンプレート信号の各色成分の前記ヒストグラムと前記部分信号の各色成分の前記ヒストグラムとに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えたものである。

請求項２に記載のテンプレートマッチング装置は、複数の色成分を含む既知のテンプレート信号の強度の慣性モーメントを各色成分ごとに算出する第１の算出手段と、前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、前記抽出手段により抽出された前記部分信号の強度の慣性モーメントを各色成分ごとに算出する第２の算出手段と、前記テンプレート信号の各色成分の前記慣性モーメントと前記部分信号の各色成分の前記慣性モーメントとに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えたものである。

請求項３に記載のテンプレートマッチング装置は、既知のテンプレート信号の予め定めた第１範囲と第２範囲との各々における平均強度の差を算出する第１の算出手段と、入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、前記抽出手段により抽出された前記部分信号の前記第１範囲と前記第２範囲との各々における平均強度の差を算出する第２の算出手段と、前記テンプレート信号の前記平均強度の差と前記部分信号の前記平均強度の差とに基づいて、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えたものである。

請求項４に記載のテンプレートマッチング装置は、複数の色成分を含む既知のテンプレート信号の予め定めた第１範囲と第２範囲との各々における平均強度の差を各色成分ごとに算出する第１の算出手段と、前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、前記抽出手段により抽出された前記部分信号の前記第１範囲と前記第２範囲との各々における平均強度の差を各色成分ごとに算出する第２の算出手段と、前記テンプレート信号の各色成分の前記平均強度の差と前記部分信号の各色成分の前記平均強度の差とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えたものである。

本発明によれば、入力信号に幾何学的変化があっても正確に合致位置を特定することができる。

以下、図面を用いて本発明の実施形態を詳細に説明する。
（第１実施形態）
ここでは、第１実施形態のテンプレートマッチング装置および方法について、図１に示す観察装置１０を例に説明する。観察装置１０には、ステージ１１と光学系１２とカメラ１３と画像処理部１４とが設けられる。ステージ１１は、試料１０Ａを支持する。光学系１２は、試料１０Ａの局所領域の光像を形成する。カメラ１３は、不図示の撮像素子により試料１０Ａの光像を撮像し、撮像信号を画像処理部１４に出力する。

画像処理部１４は、カメラ１３から撮像信号を取り込むと、これを所定ビット（例えば８ビット）のディジタル画像に変換し、入力画像として不図示のメモリに記憶させる。そして、入力画像に対して後述のテンプレートマッチングを行う。試料１０Ａは、例えば、半導体ウエハや液晶基板、プリント基板、生物標本(例えば細胞)などである。観察装置１０を用いて、試料１０Ａの観察や検査や位置合わせなどが行われる。

次に、画像処理部１４におけるテンプレートマッチングについて説明する。テンプレートマッチングは、例えば図２に示す入力画像２１の中から既知のテンプレート画像２２に合致する部分画像（ターゲット２３）を探索して、ターゲット２３の位置（以下「合致位置(Ｘ₁,Ｙ₁)」という）を特定する処理である。第１実施形態のテンプレートマッチングは、図３に示すフローチャートの手順（ステップＳ１〜Ｓ１１）にしたがって行われる。

図３の処理では、入力画像２１の中から抽出した演算用の部分画像２４とテンプレート画像２２とのマッチング演算（Ｓ４〜Ｓ７）が、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を少しずつ移動させながら、繰り返し行われる。マッチング演算（Ｓ４〜Ｓ７）は、後述の濃度ヒストグラムに基づいて、部分画像２４とテンプレート画像２２との類似度を求める演算である。類似度は、部分画像２４とテンプレート画像２２との「類似性に関する指標」の１つであり、「類似性に関する正確な指標」である。

また、図３の処理では、入力画像２１と演算用の部分画像２４とテンプレート画像２２が、各々、３つの色成分（つまり加色の三原色または光の三原色と呼ばれるＲＧＢ成分）を含むとする。ＲＧＢ成分を含む画像(２１,２４,２２)はカラー画像である。なお、入力画像２１は、「画像情報を含む入力信号」に対応する。テンプレート画像２２は、「画像情報を含むテンプレート信号」に対応する。演算用の部分画像２４は、「画像情報を含む演算用の部分信号」に対応する。

図３の処理（Ｓ１〜Ｓ１１）について順に説明する。
ステップＳ１において、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の濃度ヒストグラムＨ₂₂を各色成分ごとに作成する（図４(ａ)参照）。濃度ヒストグラムＨ₂₂の作成は、テンプレート画像２２の全画素の濃度値を調べ、各濃度値ごとに画素数を計数することにより行われる。テンプレート画像２２が８ビットの場合、画素の濃度値は２５６段階（０〜２５５）となる。濃度ヒストグラムＨ₂₂は、テンプレート画像２２の中に各濃度値の画素が現れる頻度（画素数）を表した濃度のヒストグラム（度数分布）である。濃度ヒストグラムＨ₂₂の横軸は濃度値、縦軸は画素数である。

次に（ステップＳ２）、画像処理部１４は、入力画像２１の中から演算用の部分画像２４を抽出する。演算用の部分画像２４は、テンプレート画像２２と縦横各々同じ大きさ(画素数)の矩形状である。演算用の部分画像２４とテンプレート画像２２は、共に、入力画像２１より小さい（画素数が少ない）。
次に（ステップＳ３）、画像処理部１４は、ステップＳ２で抽出した演算用の部分画像２４の全体からＲＧＢ成分の濃度ヒストグラムＨ₂₄を各色成分ごとに作成する（図４(ｂ)参照）。この濃度ヒストグラムＨ₂₄の作成も、上記したテンプレート画像２２の濃度ヒストグラムＨ₂₂と同様にして行われる。濃度ヒストグラムＨ₂₄も、横軸は濃度値、縦軸は画素数である。

次に（ステップＳ４）、画像処理部１４は、部分画像２４のＲ成分の濃度ヒストグラムＨ₂₄（図４(ｂ)参照）と、テンプレート画像２２のＲ成分の濃度ヒストグラムＨ₂₂（図４(ａ)参照）とを比較し、２つのＲ成分の濃度ヒストグラムＨ₂₄,Ｈ₂₂の重なり部分（図５の斜線部分）の画素数を集計する。この重なり部分（図５の斜線部分）の総画素数Ｋ_Rは、Ｒ成分の濃度ヒストグラムＨ₂₄,Ｈ₂₂の類似性に関する指標である。重なり部分（図５の斜線部分）とは、２つの濃度ヒストグラムＨ₂₄,Ｈ₂₂の同じ濃度値どうしで画素数を比較したときの小さい方の画素数に相当する。

同様に、ステップＳ５では、部分画像２４のＧ成分の濃度ヒストグラムＨ₂₄と、テンプレート画像２２のＧ成分の濃度ヒストグラムＨ₂₂とを比較し、２つのＧ成分の濃度ヒストグラムＨ₂₄,Ｈ₂₂の重なり部分の画素数を集計する（総画素数Ｋ_G）。さらに、ステップＳ６では、部分画像２４のＢ成分の濃度ヒストグラムＨ₂₄と、テンプレート画像２２のＢ成分の濃度ヒストグラムＨ₂₂とを比較し、２つのＢ成分の濃度ヒストグラムＨ₂₄,Ｈ₂₂の重なり部分の画素数を集計する（総画素数Ｋ_B）。

次に（ステップＳ７）、画像処理部１４は、上記ステップＳ４の集計結果（Ｒ成分の重なり部分の総画素数Ｋ_R）と、ステップＳ５の集計結果（Ｇ成分の重なり部分の総画素数Ｋ_G）と、ステップＳ６の集計結果（Ｂ成分の重なり部分の総画素数Ｋ_B）との和を求め、その値を「部分画像２４とテンプレート画像２２との類似度」とする。
ステップＳ７で求めた類似度（＝Ｋ_R＋Ｋ_G＋Ｋ_B）は、傾向として、その値が大きいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いことを表す。

上記のマッチング演算（Ｓ４〜Ｓ７）が終了すると、画像処理部１４は、次のステップＳ８において、マッチング演算の結果である類似度（＝Ｋ_R＋Ｋ_G＋Ｋ_B）を、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)と対応づけてメモリに保存する。これらのステップＳ２〜Ｓ８の処理を経て、入力画像２１の中の１つの抽出位置(Ｘ₂,Ｙ₂)に対する処理が終わる。そして、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を次の位置へ移動させる場合には（ステップＳ９がＹｅｓ）、ステップＳ１０の処理に進む。

ステップＳ１０の処理は、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)の移動処理である。画像処理部１４は、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を現在の位置から次の位置へ移動させる。その後、ステップＳ２の処理に戻り、新たな抽出位置(Ｘ₂,Ｙ₂)において、演算用の部分画像２４の抽出（Ｓ２）→ＲＧＢ成分の濃度ヒストグラムの作成（Ｓ３）→マッチング演算（Ｓ４〜Ｓ７）→結果保存（Ｓ８）を繰り返す。

このようにして、ステップＳ２→…→Ｓ１０→Ｓ２…の処理を繰り返すことにより、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出する毎に、ＲＧＢ成分の濃度ヒストグラムＨ₂₄,Ｈ₂₂に基づいてマッチング演算（Ｓ４〜Ｓ７）を行うことができる。
そして、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が終点に到達し、そこでのステップＳ２〜Ｓ８の処理が終了すると、画像処理部１４は、次の位置への移動を行わずに（Ｓ９がＮｏ）、ステップＳ１１の処理に進む。ステップＳ１１では、入力画像２１の中の異なる複数の位置で求められた類似度（＝Ｋ_R＋Ｋ_G＋Ｋ_B）を大小比較することにより、その値が最も大きく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を合致位置(Ｘ₁,Ｙ₁)と特定する。以上で入力画像２１に対するテンプレートマッチングの処理は終了となる。

上記のように、第１実施形態のテンプレートマッチングでは、ＲＧＢ成分の濃度ヒストグラムＨ₂₄,Ｈ₂₂に基づいて、同じ色成分どうしを比較することによりマッチング演算（Ｓ４〜Ｓ７）を行い、その結果である類似度（＝Ｋ_R＋Ｋ_G＋Ｋ_B）を大小比較する。ＲＧＢ成分の濃度ヒストグラムＨ₂₂は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の濃度ヒストグラムＨ₂₄は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量である。このように、特徴量が画素の位置に依存しない量として求められるので、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ₁,Ｙ₁)を特定することができる。

また、演算用の部分画像２４の濃度範囲とテンプレート画像２２の濃度範囲とを一致させることにより（正規化処理）、入力画像２１のコントラストの変化やノイズにも対応でき、正確に合致位置(Ｘ₁,Ｙ₁)を特定することができる。
さらに、第１実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算（Ｓ４〜Ｓ７）を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ₁,Ｙ₁)を特定できる。

なお、上記した第１実施形態では、図３のステップＳ７において、ステップＳ４〜Ｓ６の集計結果の和（＝Ｋ_R＋Ｋ_G＋Ｋ_B）を求め、その値を「部分画像２４とテンプレート画像２２との類似度」としたが、本発明はこれに限定されない。ステップＳ４〜Ｓ６の集計結果の平均値（＝[Ｋ_R＋Ｋ_G＋Ｋ_B]/３）を求め、その値を「部分画像２４とテンプレート画像２２との類似度」としてもよい。平均値（＝[Ｋ_R＋Ｋ_G＋Ｋ_B]/３）の場合でも、その値が大きいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いことを表す。

また、上記した第１実施形態では、図３のステップＳ４〜Ｓ６において、図５に示すような濃度ヒストグラムＨ₂₄,Ｈ₂₂の重なり部分（斜線部分）の画素数を集計したが、本発明はこれに限定されない。その他、濃度ヒストグラムＨ₂₄,Ｈ₂₂の差分の絶対値（図６の斜線部分）の画素数を集計してもよい。この場合、ステップＳ４〜Ｓ６のＲＧＢ成分の集計結果（濃度ヒストグラムＨ₂₄,Ｈ₂₂の差分の絶対値の総画素数Ｋ_R’,Ｋ_G’,Ｋ_B’）の和または平均値は、部分画像２４とテンプレート画像２２との類似度に相当し、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いことを表す。

さらに、上記した第１実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
（第２実施形態）
ここでは、演算用の部分画像２４とテンプレート画像２２とのマッチング演算を、後述の濃度慣性モーメントに基づいて行う場合を説明する。第２実施形態のテンプレートマッチングは、図３のステップＳ１,Ｓ３において“濃度ヒストグラム”の代わりに“濃度慣性モーメント”を算出し、図３のステップＳ４〜Ｓ７に代えて図７のステップＳ２１〜Ｓ２４の処理を実行するものである。第２実施形態でも、ＲＧＢ成分を含む画像(２１,２４,２２)を例に説明する。

まず（図３のＳ１のタイミングで）、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の濃度慣性モーメントＭ₂₂を各色成分ごとに算出する。例えば、Ｒ成分の濃度慣性モーメントＭ₂₂は、テンプレート画像２２のＲ成分（図８）の位置(ｘ,ｙ)における濃度値Ａ_iを用い、次の式(１)により算出される。濃度値Ａ_iの“ｉ”は、テンプレート画像２２の中での画素番号である。

Ｍ₂₂ ＝ Σ(ｘ_i ²＋ｙ_i ²)Ａ_i …(１)
式(１)の濃度慣性モーメントＭ₂₂は、原点（画像中心）まわりの濃度の慣性モーメントであり、Ｘ軸まわりの濃度の慣性モーメント（Ｍ_X＝Σｘ_i ²Ａ_i）と、Ｙ軸まわりの濃度の慣性モーメント（Ｍ_Y＝Σｙ_i ²Ａ_i）との和に相当する。Ｒ成分の他、Ｇ成分,Ｂ成分の濃度慣性モーメントＭ₂₂は、各々、テンプレート画像２２のＧ成分,Ｂ成分の全体から、上記の式(１)と同様の式により算出される。

また、画像処理部１４は、入力画像２１の中から演算用の部分画像２４を抽出すると、図３のＳ３のタイミングで、演算用の部分画像２４の全体からＲＧＢ成分の濃度慣性モーメントＭ₂₄を各色成分ごとに算出する。例えば、Ｒ成分の濃度慣性モーメントＭ₂₄の算出は、部分画像２４のＲ成分の全体から上記した式(１)と同様の式により行われる。Ｇ成分,Ｂ成分も同様である。

そして次に（図７のステップＳ２１）、画像処理部１４は、部分画像２４のＲ成分の濃度慣性モーメントＭ₂₄と、テンプレート画像２２のＲ成分の濃度慣性モーメントＭ₂₂とを比較し、２つのＲ成分の濃度慣性モーメントＭ₂₄,Ｍ₂₂の差分の絶対値を出力する。この場合の出力値Ｏ_Rは、Ｒ成分の濃度慣性モーメントＭ₂₄,Ｍ₂₂の類似性に関する指標である。

同様に、ステップＳ２２では、部分画像２４のＧ成分の濃度慣性モーメントＭ₂₄と、テンプレート画像２２のＧ成分の濃度慣性モーメントＭ₂₂とを比較し、２つのＧ成分の濃度慣性モーメントＭ₂₄,Ｍ₂₂の差分の絶対値を出力する（出力値Ｏ_G）。さらに、ステップＳ２３では、部分画像２４のＢ成分の濃度慣性モーメントＭ₂₄と、テンプレート画像２２のＢ成分の濃度慣性モーメントＭ₂₂とを比較し、２つのＢ成分の濃度慣性モーメントＭ₂₄,Ｍ₂₂の差分の絶対値を出力する（出力値Ｏ_B）。

次に（ステップＳ２４）、画像処理部１４は、上記したステップＳ２１のＲ成分の出力値Ｏ_Rと、ステップＳ２２のＧ成分の出力値Ｏ_Gと、ステップＳ２３のＢ成分の出力値Ｏ_Bとの和を求め、その値を「部分画像２４とテンプレート画像２２との類似度」とする。
ステップＳ２４で求めた類似度（＝Ｏ_R＋Ｏ_G＋Ｏ_B）は、傾向として、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いことを表す。

第２実施形態のテンプレートマッチングによれば、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出する毎に、ＲＧＢ成分の濃度慣性モーメントＭ₂₄,Ｍ₂₂に基づいてマッチング演算（Ｓ２１〜Ｓ２４）を行うことができる。そして、入力画像２１の中の異なる複数の位置で求められた類似度（＝Ｏ_R＋Ｏ_G＋Ｏ_B）を大小比較することにより、その値が最も小さく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を合致位置(Ｘ₁,Ｙ₁)と特定することができる。

上記のように、第２実施形態のテンプレートマッチングでは、ＲＧＢ成分の濃度慣性モーメントＭ₂₄,Ｍ₂₂に基づいて、同じ色成分どうしを比較することによりマッチング演算（Ｓ２１〜Ｓ２４）を行い、その結果である類似度（＝Ｏ_R＋Ｏ_G＋Ｏ_B）を大小比較する。ＲＧＢ成分の濃度慣性モーメントＭ₂₂は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の濃度慣性モーメントＭ₂₄は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量であり、このような特徴量を同じ色成分どうしで比較するため、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ₁,Ｙ₁)を特定することができる。

さらに、第２実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算(Ｓ２１〜Ｓ２４)を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ₁,Ｙ₁)を特定できる。
なお、上記した第２実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
（第３実施形態）
ここでは、演算用の部分画像２４とテンプレート画像２２とのマッチング演算を、後述の領域濃度差に基づいて行う場合を説明する。第３実施形態のテンプレートマッチングは、図３のステップＳ１,Ｓ３において“濃度ヒストグラム”の代わりに“領域濃度差”を算出し、図７のステップＳ２１〜Ｓ２４において“濃度慣性モーメント”の代わりに“領域濃度差”を用いるものである。第３実施形態でも、ＲＧＢ成分を含む画像(２１,２４,２２)を例に説明する。

まず（図３のＳ１のタイミングで）、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の領域濃度差Ｄ₂₂を各色成分ごとに算出する。例えば、Ｒ成分の領域濃度差Ｄ₂₂は、テンプレート画像２２のＲ成分（図９）の予め定めた中央領域２Ａと周辺領域２Ｂとの各々における平均濃度の差により算出される（式(２)）。なお、中央領域２Ａと周辺領域２Ｂは、請求項の「第１範囲」と「第２範囲」に対応する。

Ｄ₂₂ ＝ (中央領域２Ａの平均濃度)−(周辺領域２Ｂの平均濃度) …(２)
式(２)の領域濃度差Ｄ₂₂は、周辺領域２Ｂに対する中央領域２Ａの平均的な濃度差を表している。このため、例えば図１０(ａ)に示すように、テンプレート画像２２のＲ成分が、暗い背景（濃度値が最小）の中央に明るい点（濃度値が最大）を含むような場合、濃度値を２５６段階（０〜２５５）とすると、中央領域２Ａは大きな平均濃度(例えば２０５)、周辺領域２Ｂは小さな平均濃度(例えば２１)となり、式(２)の領域濃度差Ｄ₂₂は大きなプラスの値(例えば１８４)となる。逆に中央領域２Ａが暗く周辺領域２Ｂが明るい場合、領域濃度差Ｄ₂₂はマイナスの値になる。

また、例えば図１０(ｂ)に示すように、テンプレート画像２２のＲ成分が、暗い背景（濃度値が最小）の中に分散して多数の明るい点（濃度値が最大）を含むような場合、中央領域２Ａは中間的な平均濃度(例えば１２３)、周辺領域２Ｂも中間的な平均濃度(例えば１０８)となり、式(２)の領域濃度差Ｄ₂₂は小さな値(例えば１５)となる。
また、画像処理部１４は、入力画像２１の中から演算用の部分画像２４を抽出すると、図３のＳ３のタイミングで、演算用の部分画像２４の全体からＲＧＢ成分の領域濃度差Ｄ₂₄を各色成分ごとに算出する。例えば、Ｒ成分の領域濃度差Ｄ₂₄の算出は、部分画像２４のＲ成分の全体から、テンプレート画像２２と同じ中央領域２Ａ,周辺領域２Ｂ（図９）を用い、上記した式(２)と同様の式により行われる。Ｇ成分,Ｂ成分も同様である。

そして次に（図７のステップＳ２１のタイミングで）、画像処理部１４は、部分画像２４のＲ成分の領域濃度差Ｄ₂₄と、テンプレート画像２２のＲ成分の領域濃度差Ｄ₂₂（図１０(ａ)の場合は１８４)(図１０(ｂ)の場合は１５）とを比較し、２つのＲ成分の領域濃度差Ｄ₂₄,Ｄ₂₂の差分の絶対値を出力する。この出力値Ｐ_Rは、Ｒ成分の領域濃度差Ｄ₂₄,Ｄ₂₂の類似性に関する指標である。

同様に（図７のステップＳ２２のタイミングで）、部分画像２４のＧ成分の領域濃度差Ｄ₂₄と、テンプレート画像２２のＧ成分の領域濃度差Ｄ₂₂とを比較し、２つのＧ成分の領域濃度差Ｄ₂₄,Ｄ₂₂の差分の絶対値を出力する（出力値Ｐ_G）。さらに（ステップＳ２３のタイミングで）、部分画像２４のＢ成分の領域濃度差Ｄ₂₄と、テンプレート画像２２のＢ成分の領域濃度差Ｄ₂₂とを比較し、２つのＢ成分の領域濃度差Ｄ₂₄,Ｄ₂₂の差分の絶対値を出力する（出力値Ｐ_B）。

次に（ステップＳ２４のタイミングで）、画像処理部１４は、上記したＲ成分の出力値Ｐ_Rと、Ｇ成分の出力値Ｐ_Gと、Ｂ成分の出力値Ｐ_Bとの和を求め、その値を「部分画像２４とテンプレート画像２２との類似度」とする。この類似度（＝Ｐ_R＋Ｐ_G＋Ｐ_B）は、傾向として、その値が大きいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ₂,Ｙ₂)が合致位置(Ｘ₁,Ｙ₁)に近いことを表す。

第３実施形態のテンプレートマッチングによれば、演算用の部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出する毎に、ＲＧＢ成分の領域濃度差Ｄ₂₄,Ｄ₂₂に基づいてマッチング演算を行うことができる。そして、入力画像２１の中の異なる複数の位置で求められた類似度（＝Ｐ_R＋Ｐ_G＋Ｐ_B）を大小比較することにより、その値が最も大きく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置(Ｘ₂,Ｙ₂)を合致位置(Ｘ₁,Ｙ₁)と特定することができる。

上記のように、第３実施形態のテンプレートマッチングでは、ＲＧＢ成分の領域濃度差Ｄ₂₄,Ｄ₂₂に基づいて、同じ色成分どうしを比較することによりマッチング演算（Ｓ２１〜Ｓ２４）を行い、その結果である類似度（＝Ｐ_R＋Ｐ_G＋Ｐ_B）を大小比較する。ＲＧＢ成分の領域濃度差Ｄ₂₂は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の領域濃度差Ｄ₂₄は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量である。このように、特徴量が画素の位置に依存しない量として求められるので、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ₁,Ｙ₁)を特定することができる。

また、演算用の部分画像２４の濃度範囲とテンプレート画像２２の濃度範囲とを一致させることにより（正規化処理）、入力画像２１のコントラストの変化やノイズにも対応でき、正確に合致位置(Ｘ₁,Ｙ₁)を特定することができる。
さらに、第３実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算(Ｓ２１〜Ｓ２４)を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ₁,Ｙ₁)を特定できる。

なお、上記した第３実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
また、画像(２１,２４,２２)が複数の色成分を含まない場合、つまり単色の濃淡画像である場合にも、本発明を適用できる。この場合、部分画像２４の１つの領域濃度差Ｄ₂₄と、テンプレート画像２２の１つの領域濃度差Ｄ₂₂とを比較し、領域濃度差Ｄ₂₄,Ｄ₂₂のうち小さい方の値、または、領域濃度差Ｄ₂₄,Ｄ₂₂の差分の絶対値を「部分画像２４とテンプレート画像２２との類似度」とすればよい。

さらに、上記した第３実施形態では、領域濃度差Ｄ₂₄,Ｄ₂₂を算出するための領域として図９に示す中央領域２Ａと周辺領域２Ｂとを予め定めたが、本発明はこれに限定されない。領域の設定が、例えば左側領域と右側領域のように、上記とは異なる位置や形状の場合でも、同様の効果を得ることができる。
（変形例）
なお、上記した実施形態では、濃度ヒストグラムＨ₂₄,Ｈ₂₂に基づくマッチング演算の例と、濃度慣性モーメントＭ₂₄,Ｍ₂₂に基づくマッチング演算の例と、領域濃度差Ｄ₂₄,Ｄ₂₂に基づくマッチング演算の例をそれぞれ説明したが、本発明はこれに限定されない。任意の２種類を組み合わせてマッチング演算を行う場合にも、本発明を適用できる。あるいは相互相関や最小残差と濃度ヒストグラムなどを組み合わせてもよい。

また、上記した実施形態では、演算用の部分画像２４とテンプレート画像２２の形状が矩形状である例を説明したが、本発明はこれに限定されない。部分画像２４とテンプレート画像２２は、矩形状である必要はない。他の形状でも本質的な処理は同じである。
さらに、上記した実施形態では、図１の観察装置１０のような光学顕微鏡装置を例にテンプレートマッチングの説明を行ったが、本発明はこれに限定されない。その他、試料の局所領域を電子線で走査して画像を取り込む電子顕微鏡装置にも、本発明を適用できる。試料の局所領域の画像に限らず、試料の全面の画像を一括で取り込む装置にも、本発明を適用できる。観察装置１０などに接続された外部のコンピュータを用いた場合でも、同様の効果を得ることができる。

また、上記した実施形態では、図１の観察装置１０のカメラ１３から取り込んだ入力画像（画像情報を含む二次元の入力信号）に対してテンプレートマッチングを行う例について説明したが、本発明はこれに限定されない。その他、音声情報を含む一次元の入力信号（入力音声）に対してテンプレートマッチングを行う場合（信号処理）にも、本発明を適用できる。一次元の入力信号を対象とする場合、上述の「画像の濃度」を「信号の強度」に置き換えて考えればよい。「平均濃度」は「平均強度」に対応する。一次元の入力信号の場合には、入力信号に幾何学的変化（縮尺の変化など）があっても正確に合致位置を特定することができる。

観察装置１０の概略図である。 入力画像２１,テンプレート画像２２,ターゲット２３,演算用の部分画像２４を説明する図である。 第１実施形態のテンプレートマッチングの処理手順を示すフローチャートである。 テンプレート画像２２のＲＧＢ成分の濃度ヒストグラムＨ₂₂を説明する図である。 ＲＧＢ成分の濃度ヒストグラムＨ₂₄,Ｈ₂₂の重なり部分に基づくマッチング演算について説明する図である。 ＲＧＢ成分の濃度ヒストグラムＨ₂₄,Ｈ₂₂の差分に基づくマッチング演算について説明する図である。 第２実施形態のテンプレートマッチングにおける処理手順の一部を示すフローチャートである。 Ｒ成分の濃度慣性モーメントＭ₂₂について説明する図である。 第３実施形態において領域濃度差Ｄ₂₄,Ｄ₂₂を算出するための領域について説明する図である。 テンプレート画像２２のＲ成分の一例について説明する図である。

符号の説明

１０ 観察装置
１１ ステージ
１２ 光学系
１３ カメラ
１４ 画像処理部
２１ 入力画像
２２ テンプレート画像
２３ ターゲット
２４ 演算用の部分画像

Claims (4)

1. 複数の色成分を含む既知のテンプレート信号の強度のヒストグラムを各色成分ごとに作成する第１の作成手段と、
   前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分信号の強度のヒストグラムを各色成分ごとに作成する第２の作成手段と、
   前記テンプレート信号の各色成分の前記ヒストグラムと前記部分信号の各色成分の前記ヒストグラムとに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、
   前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えた
   ことを特徴とするテンプレートマッチング装置。
2. 複数の色成分を含む既知のテンプレート信号の強度の慣性モーメントを各色成分ごとに算出する第１の算出手段と、
   前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分信号の強度の慣性モーメントを各色成分ごとに算出する第２の算出手段と、
   前記テンプレート信号の各色成分の前記慣性モーメントと前記部分信号の各色成分の前記慣性モーメントとに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、
   前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えた
   ことを特徴とするテンプレートマッチング装置。
3. 既知のテンプレート信号の予め定めた第１範囲と第２範囲との各々における平均強度の差を算出する第１の算出手段と、
   入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分信号の前記第１範囲と前記第２範囲との各々における平均強度の差を算出する第２の算出手段と、
   前記テンプレート信号の前記平均強度の差と前記部分信号の前記平均強度の差とに基づいて、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、
   前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えた
   ことを特徴とするテンプレートマッチング装置。
4. 複数の色成分を含む既知のテンプレート信号の予め定めた第１範囲と第２範囲との各々における平均強度の差を各色成分ごとに算出する第１の算出手段と、
   前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、
   前記抽出手段により抽出された前記部分信号の前記第１範囲と前記第２範囲との各々における平均強度の差を各色成分ごとに算出する第２の算出手段と、
   前記テンプレート信号の各色成分の前記平均強度の差と前記部分信号の各色成分の前記平均強度の差とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、
   前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えた
   ことを特徴とするテンプレートマッチング装置。

Images