JP2014078110A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】入力画像に存在し得る変動領域による影響に対してロバストな画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】画像処理装置は、複数の第１のテンプレートのうちより大きな第１のテンプレートを用いたマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索する第１の探索手段と、第１の探索手段による探索結果に対する変動領域の悪影響度を評価する評価手段と、悪影響度が予め定められた値より大きいときに、変動領域による影響を抑制したマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索する第２の探索手段と、第１の探索手段または第２の探索手段による探索結果を利用して、より小さな第１のテンプレートを用いたマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索する第３の探索手段とを含む。
【選択図】図１

Description

本発明は、階層的にテンプレートマッチングを行なう画像処理装置、画像処理方法および画像処理プログラムに関する。

従来から、画像のマッチング処理についての技術が各種提案されてきた。このようなマッチングの一つとして、予めテンプレートを用意しておき、当該テンプレートと探索対象の画像との間でマッチングを行なう、テンプレートマッチングが知られている。このようなテンプレートマッチングは、例えば、生産ライン上で不良品検査等に応用される。

このようなテンプレートマッチングにおいて、探索精度の向上についていくつかの改善が提案されている。

特開平０７−１２９７７０号公報（特許文献１）は、特別なノウハウを必要とせず、認識精度を低下させることなく処理時間を短縮できる画像処理装置を開示している。この画像処理装置は、回転粗サーチによって対象物の大まかな姿勢を求めてサーチ領域を絞り込み、絞り込まれたサーチ領域に対して部分テンプレートサーチを行って正確な位置を求めるように構成されている。

特開昭６３−２１１４７４号公報（特許文献２）は、大きさが異なる複数のテンプレート領域を階層化構造的に使用するテンプレート・マッチング方法を開示する。このテンプレート・マッチング方法では、マッチングが階層的に実行される。

特開平０７−１２９７７０号公報 特開昭６３−２１１４７４号公報

上述の特開昭６３−２１１４７４号公報（特許文献２）に開示されるような、テンプレートマッチングを階層的に実行することで、より探索精度を高めることができる。この階層的なテンプレートマッチングでは、まず、探索領域がより広くなるように設定したテンプレートを用いてマッチング処理を行ない、続いて、その探索結果を用いて、探索対象の領域についての位置や姿勢を順次絞り込む。

このようなテンプレートマッチングに用いられるテンプレートに、マッチング処理に適していない情報（例えば、環境変動に弱い領域）が含まれる場合がある。より具体的には、対象となる複数の入力画像の間で共通に含まれる情報ではなく、特定の入力画像にしか含まれない情報（以下「変動領域」とも称す。）がテンプレートに含まれてしまう場合がある。例えば、ロバスト性の高いＰＯＣ法において、このような変動領域を含むテンプレートを用いてマッチング処理を行なうと、探索精度が低下するという課題がある。

このような課題の回避策として、変動領域を含まないようにテンプレートに含まれる領域を小さくする方法が考えられる。あるいは、変動領域を含まないように設定した複数のテンプレートを用いて、これらの複数のテンプレートによるマッチング処理の結果を組み合わせて、探索対象の領域についての位置や姿勢を決定する方法が考えられる。

しかしながら、これらの方法では、いずれもテンプレートに含まれる範囲（テンプレートの領域）が狭くなるので、探索範囲も狭くなるという課題がある。そのため、できるだけ広い探索範囲を確保したまま、変動領域の影響を受けないロバストなテンプレートマッチングが求められている。

特開平０７−１２９７７０号公報（特許文献１）および特開昭６３−２１１４７４号公報（特許文献２）は、このような課題について何ら開示していない。

本発明の目的は、入力画像に存在し得る変動領域による影響に対してロバストな画像処理装置、画像処理方法および画像処理プログラムを提供することである。

本発明のある局面に従えば、予め設定された画像に対応する領域を入力画像から探索する画像処理装置が提供される。画像処理装置は、複数のテンプレートを保持する保持手段を含む。複数のテンプレートは、基準の被写体を撮像することで取得された基準画像に対して、探索対象の領域を含むように設定された大きさの異なる複数の領域にそれぞれ対応する複数の第１のテンプレートを含む。画像処理装置は、複数の第１のテンプレートのうちより大きな第１のテンプレートを用いたマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索する第１の探索手段と、第１の探索手段による探索結果に対する変動領域の悪影響度を評価する評価手段と、悪影響度が予め定められた値より大きいときに、変動領域による影響を抑制したマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索する第２の探索手段と、第１の探索手段または第２の探索手段による探索結果を利用して、より小さな第１のテンプレートを用いたマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索する第３の探索手段とを含む。

好ましくは、保持手段は、さらに複数の第１のテンプレートにそれぞれ対応付けられた複数の第２のテンプレートを保持しており、複数の第２のテンプレートの各々は、基準画像に対して、予想される変動領域を含まないように設定されたテンプレートであり、第２の探索手段は、第１の探索手段において用いられた第１のテンプレートに対応する第２のテンプレートを用いて、入力画像の中から探索対象の領域を探索する。

さらに好ましくは、複数の第２のテンプレートの各々は、対応する第１のテンプレートに含まれる複数の部分テンプレートの組み合わせである。

好ましくは、評価手段は、第１の探索手段によるマッチング処理によって算出されるマッチング度の逆数に基づいて、悪影響度を算出する。

好ましくは、評価手段は、第１のテンプレートに含まれる変動領域に対応する領域を新たなテンプレートとし、当該新たなテンプレートを用いたマッチング処理の結果に基づいて、悪影響度を算出する。

好ましくは、マッチング処理は、周波数の位相差を利用した方法を含む。
好ましくは、第２の探索手段は、第１のテンプレートの変動領域に対応する入力画像の領域を周辺の値で補正した上で、マッチング処理を行なう。

好ましくは、悪影響度が予め定められた値より大きいと評価されると、以後の処理では、悪影響度を評価することなく、変動領域による影響を抑制したマッチング処理が行なわれる。

本発明の別の局面に従えば、予め設定された画像に対応する領域を入力画像から探索する画像処理装置が提供される。画像処理装置は、複数のテンプレートを保持する保持手段を含む。複数のテンプレートは、基準の被写体を撮像することで取得された入力画像に対応するそれぞれ異なる解像度を有する複数の探索対象画像にそれぞれ対応した複数の第１のテンプレートを含む。複数の第１のテンプレートの各々は、対応する探索対象画像内の探索対象の領域を含むように設定されている。画像処理装置は、複数の第１のテンプレートのうちより解像度の低い探索対象画像に対応した第１のテンプレートを用いたマッチング処理を行なうことで、当該探索対象画像の中から探索対象の領域を探索する第１の探索手段と、第１の探索手段による探索結果に対する変動領域の悪影響度を評価する評価手段と、悪影響度が予め定められた値より大きいときに、変動領域による影響を抑制したマッチング処理を行なうことで、当該探索対象画像の中から探索対象の領域を探索する第２の探索手段と、第１の探索手段または第２の探索手段による探索結果を利用して、より解像度の高い探索対象画像に対応した第１のテンプレートを用いたマッチング処理を行なうことで、当該探索対象画像の中から探索対象の領域を探索する第３の探索手段とを含む。

本発明のさらに別の局面に従えば、予め設定された画像に対応する領域を入力画像から探索する画像処理方法が提供される。画像処理方法は、複数のテンプレートを用意するステップを含む。複数のテンプレートは、基準の被写体を撮像することで取得された基準画像に対して、探索対象の領域を含むように設定された大きさの異なる複数の領域にそれぞれ対応する複数の第１のテンプレートを含む。画像処理方法は、複数の第１のテンプレートのうちより大きな第１のテンプレートを用いたマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索するステップと、第１のテンプレートを用いたマッチング処理による探索結果に対する変動領域の悪影響度を評価するステップと、悪影響度が予め定められた値より大きいときに、変動領域による影響を抑制したマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索するステップと、第１のテンプレートを用いたマッチング処理、または、変動領域による影響を抑制したマッチング処理による探索結果を利用して、より小さな第１のテンプレートを用いたマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索するステップとを含む。

本発明のさらに別の局面に従えば、予め設定された画像に対応する領域を入力画像から探索する画像処理プログラムが提供される。コンピューターは、複数のテンプレートを保持している。複数のテンプレートは、基準の被写体を撮像することで取得された基準画像に対して、探索対象の領域を含むように設定された大きさの異なる複数の領域にそれぞれ対応する複数の第１のテンプレートを含む。画像処理プログラムはコンピューターに、複数の第１のテンプレートのうちより大きな第１のテンプレートを用いたマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索するステップと、第１のテンプレートを用いたマッチング処理による探索結果に対する変動領域の悪影響度を評価するステップと、悪影響度が予め定められた値より大きいときに、変動領域による影響を抑制したマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索するステップと、第１のテンプレートを用いたマッチング処理、または、変動領域による影響を抑制したマッチング処理による探索結果を利用して、より小さな第１のテンプレートを用いたマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索するステップとを実行させる。

本発明によれば、入力画像に存在し得る変動領域による影響に対してロバストに画像処理を実行できる。

本発明の実施の形態に従う画像処理の概要を説明するための図である。 本実施の形態に従うテンプレートマッチングの適用例を示す模式図である。 本実施の形態に従う画像処理装置をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。 本実施の形態に従う画像処理装置の機能構成を示すブロック図である。 本実施の形態に従う画像処理装置において用いられるテンプレート生成用画像１２の一例を示す図である。 図５に示すテンプレート生成用画像から生成される標準テンプレートおよび変動対応テンプレートの一例を示す。 本実施の形態に従う位置探索部におけるマッチング処理を説明するための模式図である。 図７に示すマッチング処理（ＲＩＰＯＣ法）の処理内容をより詳細に説明するための模式図である。 本実施の形態に従うテンプレートマッチングの処理手順を示すフローチャートである。 本実施の形態の変形例３に従うテンプレートマッチングの処理手順を示すフローチャートである。 本発明の実施の形態の変形例５に従うテンプレートマッチングの概要を説明するための模式図である。 本発明の実施の形態の変形例５に従うテンプレートマッチングにおいて使用される入力画像および階層画像とテンプレートとの一例を示す図である。 本発明の実施の形態の変形例５に従うテンプレートマッチングの内容を概略する図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

［Ａ．概要］
本実施の形態は、予め設定された画像に対応する領域を入力画像から探索する画像処理装置および画像処理方法に向けられている。より具体的には、本実施の形態に従う画像処理装置および画像処理方法は、複数のテンプレートを用いて、階層的にテンプレートマッチングを行なう。

図１は、本発明の実施の形態に従う画像処理の概要を説明するための図である。図１に示す画像処理例では、変動領域による影響を抑制したマッチング処理に一例として、予想される変動領域を含まないように設定されたテンプレートを用いる方法を示す。

具体的には、入力画像１８に対して、予め保持（用意）されている複数のテンプレートを用いて、テンプレートマッチングが実行される。このテンプレートは、複数の標準テンプレート１４−１，１４−２，１４−３（以下、「標準テンプレート１４」と総称する場合もある。）と、複数の変動対応テンプレート１６−１（以下、「変動対応テンプレート１６」と総称する場合もある。）とを含む。

標準テンプレート１４は、基準の被写体を撮像することで取得された基準画像（以下、「テンプレート生成用画像」とも称す。）に対して、探索対象の領域を含むように設定された大きさの異なる複数の領域にそれぞれ対応する。すなわち、テンプレート生成用画像にそれぞれ設定された複数の領域がそれぞれ標準テンプレート１４として抽出される。図１に示す例では、第３標準テンプレート１４−３が最も大きな探索領域を有しており、最も短時間でマッチング処理を完了できる。但し、本来の探索対象の領域以外の情報を多く含むので、探索精度は相対的に低くなる。そこで、より探索領域の小さな第２標準テンプレート１４−２および第１標準テンプレート１４−１を用いて順次マッチング処理を行なうことで、探索対象の領域をより高い精度で特定する。このとき、前階層のマッチング処理の結果を次階層に利用することで、マッチング処理に要する時間を短縮する。具体的には、前段のマッチング処理によって取得された探索結果（典型的には、入力画像１８に含まれる探索対象の領域に対応する領域の位置情報（例えば、座標値）や姿勢情報（例えば、回転量や倍率）；以下「位置姿勢情報」とも称す。）から、次階層のマッチング処理に用いる基準位置や基準姿勢などの初期条件を決定する。これにより、予め探索する範囲を制限できるので、マッチング処理をより短時間に完了できる。

ところで、マッチング処理の対象となる入力画像１８は、探索対象の被写体を撮像することで取得される場合が多いが、このような撮像によって取得された入力画像１８に含まれる、探索対象の被写体以外の領域には、どのような被写体が存在しているのかを予め知ることができない。このような入力画像１８に含まれる情報の中には、撮像タイミングや撮像条件などに応じて変動するものもある。すなわち、テンプレート生成用画像から生成した標準テンプレート１４と、探索処理の対象となる入力画像１８とを比較した場合に、互いの類似度が低い領域（変動領域）が存在する場合がある。このような場合、標準テンプレート１４を用いてマッチング処理を行なうと、マッチング度が低下する。

そこで、本実施の形態においては、上述のような階層的なテンプレートマッチングにおいて、いずれかの階層において、標準テンプレート１４を用いたマッチング処理による探索精度が低い場合（典型的には、マッチング度が低い場合）には、上述した変動領域による悪影響が生じていると判断し、対応する変動対応テンプレート１６を用いたマッチング処理を実行する。すなわち、変動領域による影響を抑制したマッチング処理が実行される。そして、変動対応テンプレート１６を用いたマッチング処理の結果を当該階層における探索結果として採用する。

変動対応テンプレート１６−１，１６−２，１６−３は、標準テンプレート１４−１，１４−２，１４−３にそれぞれ対応付けられている。変動対応テンプレート１６−１，１６−２，１６−３の各々は、対応する標準テンプレート１４−１，１４−２，１４−３に含まれる複数の部分テンプレートの組み合わせからなる。変動対応テンプレート１６は、テンプレート生成用画像に対して、予想される変動領域を含まないように設定されたテンプレートである。変動対応テンプレート１６の詳細については、後述する。

このように、本実施の形態に従う画像処理では、探索領域が広くなるように設定した標準テンプレート１４を用いてマッチング処理を行ないながら、探索対象の領域の位置や姿勢を順次絞り込んでいくが、いずれかの階層において、マッチング度の低下がみられると、変動対応テンプレート１６を用いることで変動領域の影響を抑制する。これにより、ロバストなテンプレートマッチングを実現できる。

本明細書において、「悪影響度」は、上述したような変動領域が入力画像１８に含まれることにより、マッチング処理による探索精度が低下する度合いを意味し、マッチング度や相関値などが低下することを意味する。

図１を参照して、本実施の形態に従う画像処理についてさらに詳細に説明する。図１に示す例では、３段階の階層的なテンプレートマッチングの例を示すが、これに限られるものではなく、２段階の階層的なテンプレートマッチングを採用してもよいし、４段階以上の階層的なテンプレートマッチングを採用してもよい。

まず、入力画像１８に対して、第３標準テンプレート１４−３を用いたマッチング処理が実行され、目的の領域が探索される（（１）探索）。すなわち、複数の標準テンプレート１４のうちより大きな標準テンプレート１４−１を用いたマッチング処理を行なうことで、入力画像１８の中から探索対象の領域を探索する処理が実行される。続いて、このマッチング処理によって取得された探索結果（位置姿勢情報）に対する変動領域の悪影響度が評価される（（２）悪影響度評価）。すなわち、最初のマッチング処理による探索結果に対する悪影響度を評価する処理が実行される。

悪影響度が高い場合には、第３標準テンプレート１４−３に対応する第３変動対応テンプレート１６−３を用いたマッチング処理が実行され、目的の領域が探索される（（１’）探索）。すなわち、悪影響度が予め定められた値より大きいときに、変動領域による影響を抑制したマッチング処理を行なうことで、入力画像の中から探索対象の領域を探索する処理が実行される。より具体的には、悪影響度が予め定められた値より大きいときに、先のマッチング処理において用いられた第３標準テンプレート１４−３に対応する第３変動対応テンプレート１６−３を用いて、入力画像１８の中から探索対象の領域を探索する処理が実行される。

そして、次の階層におけるテンプレートマッチングが実行される。すなわち、悪影響度が低い場合には、第３標準テンプレート１４−３を用いたマッチング処理により取得された探索結果に基づいて、あるいは、悪影響度が高い場合には、第３変動対応テンプレート１６−３を用いたマッチング処理により取得された探索結果に基づいて、第２標準テンプレート１４−２を用いたマッチング処理についての、基準位置および／または基準姿勢が決定される（（３）基準位置／基準姿勢決定）。そして、決定された基準位置および／または基準姿勢に基づいて、入力画像１８に対して、第２標準テンプレート１４−２を用いたマッチング処理を行なうことで、目的の領域が探索される（（４）探索）。すなわち、第３標準テンプレート１４−３を用いたマッチング処理による探索結果、または、第３変動対応テンプレート１６−３を用いたマッチング処理による探索結果を利用して、より小さな第２標準テンプレート１４−２を用いて、入力画像１８の中から探索対象の領域を探索する処理が実行される。

以下同様にして、第２標準テンプレート１４−２を用いたマッチング処理によって取得された探索結果（位置姿勢情報）に対する変動領域の悪影響度が評価される（（５）悪影響度評価）。そして、悪影響度が高い場合には、第２標準テンプレート１４−２に対応する第２変動対応テンプレート１６−２を用いたマッチング処理が実行され、目的の領域が探索される（（４’）探索）。

さらに、次の階層におけるテンプレートマッチングが実行される。すなわち、悪影響度が低い場合には、第２標準テンプレート１４−２を用いたマッチング処理により取得された探索結果に基づいて、あるいは、悪影響度が高い場合には、第２変動対応テンプレート１６−２を用いたマッチング処理により取得された探索結果に基づいて、第１標準テンプレート１４−１を用いたマッチング処理についての、基準位置および／または基準姿勢が決定される（（６）基準位置／基準姿勢決定）。そして、決定された基準位置および／または基準姿勢に基づいて、入力画像１８に対して、第１標準テンプレート１４−１を用いたマッチング処理が実行され、目的の領域が探索される（（７）探索）。

さらに、第１標準テンプレート１４−１を用いたマッチング処理により取得された探索結果（位置姿勢情報）に対する変動領域の悪影響度が評価される（（８）悪影響度評価）。そして、悪影響度が高い場合には、第１標準テンプレート１４−１に対応する第１変動対応テンプレート１６−１を用いたマッチング処理が実行され、目的の領域が探索される（（７’）探索）。

最終的に、悪影響度が低い場合には、第１標準テンプレート１４−１を用いたマッチング処理により取得された探索結果が位置姿勢情報として出力され、あるいは、悪影響度が高い場合には、第１変動対応テンプレート１６−１を用いたマッチング処理により取得された探索結果が位置姿勢情報として出力される。

このような一連の階層的なテンプレートマッチングによって、予め設定された画像に対応する領域が入力画像１８から探索される。

［Ｂ．ハードウェア構成］
次に、本実施の形態に従う画像処理装置を実装した場合の構成例について説明する。

《ｂ１：適用例》
図２は、本実施の形態に従うテンプレートマッチングの適用例を示す模式図である。図２を参照して、本実施の形態に従うシステム１は、一例として、ベルトコンベア２を含む生産ラインに向けられる。このシステム１において、探索対象３（ワーク）はベルトコンベア２上を連続的に搬送されるとともに、探索対象３をカメラ４により撮像することで、探索対象３の外観を含む入力画像１８が取得される。

入力画像は、画像処理装置１００へ伝送される。画像処理装置１００は、予め格納しているテンプレート（標準テンプレート１４および変動対応テンプレート１６）を用いて、予め設定された探索対象３を示す画像に対応する領域を入力画像１８から探索する。画像処理装置１００は、上述したような階層的なテンプレートマッチングにより取得された探索結果、すなわち、予め設定された画像に対応する領域の位置姿勢情報（例えば、座標値、回転量、倍率）を結果として出力する。

《ｂ２：パーソナルコンピューターによる実現例》
図３は、本実施の形態に従う画像処理装置１００をパーソナルコンピューターにより実現した場合の構成を示すブロック図である。パーソナルコンピューターにより実現される画像処理装置１００は、主として、汎用的なアーキテクチャーを有するコンピューター上に実装される。

図３を参照して、画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０２と、ＲＡＭ（Random Access Memory）１０４と、ＲＯＭ（Read Only Memory）１０６と、ネットワークインターフェイス（Ｉ／Ｆ）１０８と、補助記憶装置１１０と、表示部１２０と、入力部１２２と、メモリーカードインターフェイス（Ｉ／Ｆ）１２４と、カメラインターフェイス（Ｉ／Ｆ）１２８とを含む。各コンポーネントは、バス１３０を介して、互いに通信可能に接続されている。

ＣＰＵ１０２は、ＲＯＭ１０６や補助記憶装置１１０などに格納された、オペレーティングシステム（ＯＳ：Operating System）、テンプレート生成処理プログラム１１２、および、テンプレートマッチングプログラム１１４などの各種プログラムを実行する。ＲＡＭ１０４は、ＣＰＵ１０２でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一次的に格納する。ＲＯＭ１０６は、画像処理装置１００において起動時に実行される初期プログラム（ブートプログラム）などを格納する。

ネットワークインターフェイス１０８は、各種の通信媒体を介して、他の装置（サーバー装置など）とデータを遣り取りする。より具体的には、ネットワークインターフェイス１０８は、イーサネット（登録商標）などの有線回線（ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）など）、および／または、無線ＬＡＮなどの無線回線を介してデータ通信を行なう。

補助記憶装置１１０は、典型的には、ハードディスクなどの大容量磁気記録媒体などからなり、本実施の形態に従う各種処理を実現するための画像処理プログラム（テンプレート生成処理プログラム１１２、および、テンプレートマッチングプログラム１１４）、テンプレート生成用画像１２、標準テンプレート１４、ならびに、変動対応テンプレート１６などを格納する。テンプレート生成用画像１２は、テンプレート生成用画像１２および標準テンプレート１４を生成するために用いられる。補助記憶装置１１０には、オペレーティングシステムなどのプログラムが格納されてもよい。

表示部１２０は、オペレーティングシステムが提供するＧＵＩ（Graphical User Interface）画面に加えて、テンプレート生成処理プログラム１１２、および、テンプレートマッチングプログラム１１４の実行によって生成される画像などを表示する。

入力部１２２は、典型的には、キーボード、マウス、タッチパネルなどからなり、ユーザーから受付けた指示の内容をＣＰＵ１０２などへ出力する。

メモリーカードインターフェイス１２４は、ＳＤ（Secure Digital）カードやＣＦ（Compact Flash（登録商標））カードなどの各種メモリーカード（不揮発性記録媒体）１２６との間で、データの読み書きを行なう。

カメラインターフェイス１２８は、探索対象３などの被写体を撮像することで取得される、各種画像をカメラ４から取り込む。カメラ４は、画像を取得する画像取得手段として機能する。但し、画像処理装置１００本体が被写体を撮像する機能を有していなくともよい。この場合には、典型的には、何らかの装置で取得した各種画像を格納したメモリーカード１２６を介して、必要な画像が取り込まれる。すなわち、メモリーカードインターフェイス１２４にメモリーカード１２６が装着され、メモリーカード１２６から読み出された各種画像は、補助記憶装置１１０などへ格納（コピー）される。

補助記憶装置１１０に格納される、テンプレート生成処理プログラム１１２、および／または、テンプレートマッチングプログラム１１４は、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記録媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置などから配信される。テンプレート生成処理プログラム１１２、および／または、テンプレートマッチングプログラム１１４は、画像処理装置１００（パーソナルコンピューター）で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、テンプレート生成処理プログラム１１２、および／または、テンプレートマッチングプログラム１１４自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。また、テンプレート生成処理プログラム１１２、および／または、テンプレートマッチングプログラム１１４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、プログラム自体には、他のプログラムと共通に利用されるようなモジュールは含まれず、当該他のプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない形態であっても、本実施の形態に従う画像処理装置１００の趣旨を逸脱するものではない。

さらに、テンプレート生成処理プログラム１１２、および／または、テンプレートマッチングプログラム１１４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

《ｂ３：その他の構成による実現例》
上述したパーソナルコンピューターにより実現する例に加えて、例えば、デジタルカメラ、携帯電話、あるいはスマートフォン上に実装してもよい。さらに、少なくとも１つのサーバー装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態であってもよい。この場合、ユーザーは、自身の端末（パーソナルコンピューターやスマートフォンなど）を用いて、少なくとも２つの処理対象画像をサーバー装置（クラウド側）へ送信し、当該送信された処理対象画像に対して、サーバー装置側が本実施の形態に従う画像処理を行なうような構成が想定される。さらに、サーバー装置側がすべての機能（処理）を行なう必要はなく、ユーザー側の端末とサーバー装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。

［Ｃ．機能構成］
次に、本実施の形態に従う画像処理装置および／または画像処理プログラムの機能構成について説明する。

図４は、本実施の形態に従う画像処理装置１００の機能構成を示すブロック図である。図４を参照して、本実施の形態に従う画像処理装置１００は、その主たる機能構成として、テンプレート生成用画像取得部１５０と、テンプレート生成部１５２と、テンプレート保持部１５４と、入力画像取得部１５６と、位置探索部１６０とを含む。

これらの機能構成は、図３に示す画像処理装置１００においては、ＣＰＵ１０２がテンプレート生成処理プログラム１１２およびテンプレートマッチングプログラム１１４を実行することで実現される。以下、各機能構成の詳細について説明する。

《ｃ１：テンプレート生成用画像取得部１５０》
テンプレート生成用画像取得部１５０は、テンプレート（標準テンプレート１４および変動対応テンプレート１６）を生成するための入力画像を取得する。典型的には、接続されたカメラ４が被写体を撮像することで生成される画像をテンプレート生成用画像１２として取得する。より具体的には、テンプレート生成用画像取得部１５０は、カメラ４を用いて探索対象３を事前に撮像して得られた画像の中から１枚をテンプレート生成用画像１２として使用する。テンプレート生成用画像１２は、被写体である探索対象３を含む。

なお、何らかの外部装置で生成された画像を各種の記録媒体または通信媒体を介して取得するようにしてもよい。

また、テンプレート生成用画像１２は、１枚ではなく複数枚としてもよい。この場合には、テンプレート生成用画像取得部１５０は、複数枚のテンプレート生成用画像１２を受付けるとともに、これらのテンプレート生成用画像１２に対して統計処理（例えば、平均処理など）を行なうことで、１枚のテンプレート生成用画像１２を生成するようにしてもよい。

《ｃ２：テンプレート生成部１５２》
テンプレート生成部１５２は、テンプレート生成用画像取得部１５０によって取得されたテンプレート生成用画像１２に対して、大きさの異なる複数のテンプレート領域を設定する。テンプレート生成部１５２は、テンプレート生成用画像１２から検出対象を含むように第１標準テンプレート１４−１を設定するとともに、第１標準テンプレート１４−１が含まれるように、テンプレート生成用画像１２から大きさの異なる複数の標準テンプレートを設定する。これらのテンプレート領域は、ユーザーが明示的に指定してもよいし、公知の方法を用いて自動的に設定してもよい。一般的な方法として、テンプレート生成部１５２は、その重心位置が探索対象の領域（例えば、探索対象３の中心位置）と一致するように、複数のテンプレート領域を設定する。

図５は、本実施の形態に従う画像処理装置１００において用いられるテンプレート生成用画像１２の一例を示す図である。図６は、図５に示すテンプレート生成用画像１２から生成される標準テンプレート１４および変動対応テンプレート１６の一例を示す。

図５に示すようなテンプレート生成用画像１２の略中心に探索対象が存在しているとする。図５の探索対象を含むように、大きさの異なる複数の領域がそれぞれ設定される。それぞれの設定された領域から、標準テンプレート１４が抽出される。図６（ａ）には、探索領域の異なる３つの標準テンプレート１４（第１標準テンプレート、第２標準テンプレート、第３標準テンプレート）が生成される例を示す。

それぞれの標準テンプレート１４に対応付けて、図６（ｂ）に示すような変動対応テンプレート１６がそれぞれ生成される。変動対応テンプレート１６の各々は、対応する標準テンプレート１４に含まれる変動領域を避けるように設定した複数テンプレート（図６（ｂ）において太枠で区切られた部分画像）で構成される。すなわち、変動対応テンプレート１６の各々は、対応する標準テンプレート１４に含まれる１つ以上の部分画像からなる。言い換えれば、変動対応テンプレート１６は、複数のテンプレートを組み合わせることで構成される。変動対応テンプレート１６は、変動領域を含まないテンプレートであり、具体的には、変動領域を含まない複数のテンプレートの組み合わせからなる。そして、このような変動領域を含まないテンプレートを用いることで、変動領域の影響を抑制したマッチング処理を実現する。

変動領域については、ユーザーが予め設定するようにしてもよいし、複数のテンプレート生成用画像１２について統計処理を行なうことで、変動が生じている領域を自動的に特定するようにしてもよい。そして、この特定された変動領域を含まない範囲が変動対応テンプレート１６として設定される。

なお、変動対応テンプレート１６は、標準テンプレート１４毎に設定されるが、変動対応テンプレート１６を構成するテンプレート（図６（ｂ）において太枠で区切られた部分画像）の数やサイズなどは互いに独立に設定できる。すなわち、異なる階層間において、変動対応テンプレート１６を構成するテンプレート（部分画像）の個数を同一にする必要もなく、かつ、変動対応テンプレート１６を構成するテンプレートの間で相似形を維持する必要もない。

このような変動対応テンプレート１６を用いてマッチング処理を行なう場合には、それを構成する各テンプレートを用いたマッチング処理の結果（位置情報）を平均化などの手法を用いて統合することで、最終的な探索結果が出力される。

さらに、単一の変動対応テンプレート１６を用いてもよい。すなわち、図６（ｂ）には、変動領域を含まないように設定された複数のテンプレートを組み合わせて変動対応テンプレート１６としたが、必ずしも複数のテンプレートを用いる必要はない。例えば、変動領域に対応する部分を欠いた領域に対応する、単一のテンプレートを用いてもよい。このような単一のテンプレートを用いることで、マッチング処理に要する処理時間の面で有利になる。

上述の例では、探索したい位置が探索領域の概重心位置になるように設定する構成について示したが、探索領域は任意に設定できる。例えば、探索したい位置に対して、ある一定量（Δｘ、Δｙ）だけ離れた位置に探索領域を設定してもよい。この場合、テンプレート（標準テンプレート１４、または変動対応テンプレート１６）を用いてマッチング処理によって得られた位置情報に対して、当該一定量（Δｘ、Δｙ）だけ結果をシフトさせることで、探索したい位置を特定できる。このとき、探索したい位置がテンプレートに含まれている必要もない。

また、探索領域（テンプレートの範囲）は、任意の大きさの矩形領域とすればよいが、後述するように、回転不変位相限定相関法（ＲＩＰＯＣ法：Rotation Invariant Phase-Only Correlation法）を用いる場合には、内部処理としてフーリエ変換を実行するので、このフーリエ変換として、高速フーリエ変換を採用できるように、探索領域（テンプレートの範囲）のサイズは、２のべき乗とすることが好ましい。

《ｃ３：テンプレート保持部１５４》
テンプレート保持部１５４は、テンプレート生成部１５２によって生成されたテンプレート（標準テンプレート１４および変動対応テンプレート１６）を保持する。そして、位置探索部１６０によってマッチング処理が実行される場合に、必要に応じて読み出される。

《ｃ４：入力画像取得部１５６》
入力画像取得部１５６は、マッチング処理の対象となる入力画像１８を取得する。すなわち、入力画像取得部１５６は、検出対象を探索するための入力画像１８を取得する。典型的には、図１に示すような生産ラインを順次流れるワークをカメラ４が撮像することで生成される入力画像１８を順次取得する。入力画像取得部１５６は、取得した入力画像１８を位置探索部１６０へ出力する。

《ｃ５：位置探索部１６０》
位置探索部１６０は、入力画像１８に対して、階層的なテンプレートマッチングを実行することで、テンプレートに対応する領域を特定する。すなわち、位置探索部１６０は、複数の標準テンプレート１４のうち、より広範囲な領域が含まれる標準テンプレート１４を利用して探索用画像の中から検出対象の位置姿勢情報を特定する。そして、位置探索部１６０は、特定した位置姿勢情報を次の探索の基準位置や基準姿勢として、他の標準テンプレートを用いて順次マッチング処理を行なうことで、入力画像１８における最終的な検出対象の位置姿勢情報を特定する。

より具体的には、図１を参照して説明したように、位置探索部１６０は、各階層において、標準テンプレート１４を用いたマッチング処理を実行するとともに、当該マッチング処理により取得された探索結果（位置姿勢情報）に対して、変動領域の悪影響度が評価される。そして、悪影響度が高い場合には、位置探索部１６０は、変動対応テンプレート１６を用いたマッチング処理を実行する。

すなわち、位置探索部１６０は、複数の標準テンプレート１４の変動領域に相当する入力画像１８中の領域が、最も大きな標準テンプレート１４によるマッチング処理において与える悪影響度を測定し、マッチング処理への変動領域の悪影響度が大きい場合は、変動領域の影響を抑制した変動対応テンプレート１６を用いたマッチング処理に切り替える。

そして、位置探索部１６０は、ある階層において取得された標準テンプレート１４または変動対応テンプレート１６を用いたマッチング処理により取得された探索結果を利用して、次の階層においてマッチング処理を実行する。このように、位置探索部１６０は、探索対象の領域についての位置や姿勢を順次絞り込んでいく。

位置探索部１６０によって実行されるマッチング処理はいずれの手法を採用してもよいが、典型的には、ＲＩＰＯＣ法を採用することができる。

図７は、本実施の形態に従う位置探索部１６０におけるマッチング処理を説明するための模式図である。図８は、図７に示すマッチング処理（ＲＩＰＯＣ法）の処理内容をより詳細に説明するための模式図である。

図７を参照して、ＲＩＰＯＣ法は、テンプレートに対して抽出領域画像（入力画像１８に対して順次設定される比較対象となる領域に含まれる画像）がどれだけ回転しているかを算出するとともに、テンプレートの回転量（探索対象の姿勢に対応）を補正する処理（参照符号１６０Ａ）と、回転量の補正によって取得された補正テンプレートと抽出領域画像との間でどれだけの類似度および平行移動量が存在するのかを算出する処理（参照符号１６０Ｂ）とを含む。

位置探索部１６０においては、標準テンプレート１４または変動対応テンプレート１６（あるいは、変動対応テンプレート１６を構成する各テンプレート）が図７のテンプレートとして用いられ、テンプレートに対応する大きさの領域が入力画像１８に逐次設定され、これらが抽出領域画像として用いられる。

より具体的には、位置探索部１６０は、フーリエ変換部１６１，１６４と、対数化処理部１６２，１６５と、極座標変換部１６３，１６６と、第１ＰＯＣ処理部１６７と、回転量補正部１６８と、第２ＰＯＣ処理部１６９とを含む。

フーリエ変換部１６１および１６４は、それぞれテンプレートおよび抽出領域画像に含まれる周波数情報（振幅成分および位相成分）を算出する。本ＲＩＰＯＣ処理においては、位相成分は必ずしも必要ではないので、算出しなくともよい。

対数化処理部１６２および極座標変換部１６３は、テンプレートについての振幅成分を対数化するとともに、極座標へ変換する。同様に、対数化処理部１６２および極座標変換部１６６は、抽出領域画像についての振幅成分を対数化するとともに、極座標へ変換する。この極座標への変換によって、回転量が２次元座標上の座標点として表現される。

第１ＰＯＣ処理部１６７は、極座標変換部１６３および１６６からそれぞれ出力される極座標変換された結果について、類似度および平行移動量（回転量に相当）を算出する。図８には、第１ＰＯＣ処理部１６７での処理結果を模式的に示す。図８に示すように、２つの画像間の平行移動量がピーク位置として表される。ＰＯＣ処理では、画像同士を順次ずらすとともに、それぞれに含まれる空間周波数の成分の間で相関値を算出することで、最も類似度の高いもの（ＰＯＣ値のピーク値）を探索する。なお、画像間の平行移動量は、テンプレートの画像サイズのおおよそ±１／４程度の範囲をサーチすれば算出できる。すなわち、第１ＰＯＣ処理部１６７は、極座標変換された結果同士で類似度が最も高くなる位置を特定し、それに対応する回転量を回転量補正部１６８へ出力する。

回転量補正部１６８は、テンプレートを第１ＰＯＣ処理部１６７において算出された回転量に従って回転補正する。すなわち、回転量補正部１６８は、テンプレートを回転補正して補正テンプレートを生成する。

回転量補正部１６８にけるテンプレートを回転補正する方法としては、テンプレートそのものを実空間で回転させる方法を採用することができる。あるいは、後述するように、第２ＰＯＣ処理部１６９において周波数空間を扱うような場合には、実空間で回転させる必要はなく、ＰＯＣ処理の内部表現であるフーリエ変換後のデータ（振幅情報および位相情報）を回転させる方法を採用してもよい。

第２ＰＯＣ処理部１６９は、補正後テンプレートと抽出領域画像との間で、類似度および位置（平行移動量）を算出する。類似度が最も高くなる位置が、入力画像に含まれる補正後テンプレートと一致する領域を示す。そして、第２ＰＯＣ処理部１６９は、回転量および倍率などの情報を含む位置情報を出力する。

このように、位置探索部１６０は、画像に含まれる周波数の位相差を利用してマッチング処理を実行する。このような周波数の位相差を利用したマッチング処理では、変動領域などの不適切な部分が含まれると、テンプレートと入力画像との間で位相情報が大きく相違するため、位相差を正しく算出することができず、探索精度が著しく劣化してしまう。そのため、上述したように、標準テンプレート１４および変動対応テンプレート１６を適宜切り替えて利用することで、探索精度を低下させることなく、マッチング処理を実行できる。

なお、ＲＩＰＯＣ法のような周波数の位相差を利用する方法に代えて、差分絶対値総和法（ＳＡＤ法：Sum of Absolute Difference法）のような輝度差分を利用する方法を採用してもよい。

《ｃ６：悪影響度》
ここで、悪影響度の算出例について説明する。上述のようなＲＩＰＯＣ法などの相関値を利用する方法を用いた場合には、標準テンプレート１４によるマッチング処理によって算出されるマッチング度（相関値）の逆数に基づいて「悪影響度」を算出してもよい。すなわち、「悪影響度」は、ＲＩＰＯＣ法によって算出される画像間の類似度を示すピーク値の逆数に相当する。このような悪影響度を用いることで、実際に算出されたマッチング度を反映した値となり、各階層において、標準テンプレート１４が適切であるか否かを確実に判断できる。そのため、算出される悪影響度に応じて、標準テンプレート１４と変動対応テンプレート１６とを適宜切り替えて、より好適なマッチング処理を実行できる。

ＳＡＤ法のような輝度差分を利用する方法を用いた場合には、この輝度差分の総和をそのまま悪影響度としてもよい。

［Ｄ．処理手順］
次に、本実施の形態に従うテンプレートマッチングの処理手順について説明する。

図９は、本実施の形態に従うテンプレートマッチングの処理手順を示すフローチャートである。図９に示す各ステップは、画像処理装置１００のＣＰＵ１０２がテンプレートマッチングプログラム１１４（いずれも図３参照）を実行することで実現される。なお、標準テンプレート１４および変動対応テンプレート１６については、予め取得されているものとする。すなわち、標準テンプレート１４および変動対応テンプレート１６を用意する処理が予め実行されている。

図９を参照して、画像処理装置１００は、探索対象３をカメラ４により撮像するなどして入力画像１８を取得する（ステップＳ１００）。続いて、画像処理装置１００は、入力画像１８に対して、マッチング処理の初期位置および初期姿勢を設定する（ステップＳ１０２）。入力画像１８中に探索対象３が存在しそうな位置が事前情報として存在しない場合には、入力画像１８の中央部がマッチング処理の初期位置として設定されてもよい。

続いて、画像処理装置１００は、階層的なテンプレートマッチングに用いるテンプレートがまだ残っているか否かを判断する（ステップＳ１０４）。例えば、図６に示すように、３階層でテンプレートマッチングを行なう場合には、第３標準テンプレート、第２標準テンプレート、第１標準テンプレートの順に、テンプレートマッチングが行なわれる。ステップＳ１０４においては、第１標準テンプレートによるマッチング処理が完了しているか否かが判断される。

階層的なテンプレートマッチングに用いるテンプレートがまだ残っている場合（ステップＳ１０４においてＹＥＳの場合）には、画像処理装置１００は、残っているテンプレートのうち最も探索範囲の大きな標準テンプレートを用いてマッチング処理を行なう（ステップＳ１０６）。本実施の形態においては、マッチング処理として、ＲＩＰＯＣ法が実行される。このマッチング処理によって、画像間の類似度を示すピーク値を取得できる。すなわち、ステップＳ１０６においては、複数の標準テンプレート１６のうちより大きな標準テンプレート１６を用いたマッチング処理を行なうことで、入力画像１８の中から探索対象の領域を探索する処理が実行される。

続いて、画像処理装置１００は、ステップＳ１０６のマッチング処理による探索結果に対する変動領域の悪影響度を評価する。ＲＩＰＯＣ法を用いた場合には、算出した画像間の類似度を示すピーク値の逆数を変動領域による悪影響度とみなし、画像処理装置１００は、算出された悪影響度が予め定められた値より大きいか否かを判断する（ステップＳ１０８）。

悪影響度が予め定められた値より小さい場合（ステップＳ１０８においてＮＯの場合）には、悪影響度が低いとして、ステップＳ１１２の処理が実行される。これに対して、悪影響度が予め定められた値より大きい場合（ステップＳ１０８においてＹＥＳの場合）には、悪影響度が高いとして、ステップＳ１１０の処理が実行される。

変動領域による悪影響度が高いと判断されると、画像処理装置１００は、ステップＳ１０６のマッチング処理において用いられた標準テンプレート１４に対応する変動対応テンプレート１６を用いて、マッチング処理を再度行なう（ステップＳ１１０）。すなわち、画像処理装置１００は、悪影響度が予め定められた値より大きいときに、変動領域による影響を抑制したマッチング処理を行なうことで、入力画像１８の中から探索対象の領域を探索する処理を実行する。より具体的には、画像処理装置１００は、対応する変動対応テンプレート１６を用いて、探索対象の位置姿勢情報を再度推定する。

上述したように、変動対応テンプレート１６は、複数のテンプレートからなる場合もあり、このような場合の位置姿勢情報の探索については、各種の方法を採用できる。例えば、個々のテンプレートを用いて位置姿勢情報を推定し、これらの推定した複数の位置姿勢情報を重み付け平均することで、変動対応テンプレート１６の位置姿勢情報として出力してもよい。あるいは、図８に示すＰＯＣ分布をテンプレート毎に重ね合わせることで、変動対応テンプレート１６全体についてのＰＯＣ分布を作成し、その上でピーク位置を特定し、そのピーク位置に対応する位置姿勢情報を算出してもよい。そして、ステップＳ１１２の処理が実行される。

このように、ステップＳ１１０においては、悪影響度が予め定められた値より大きいときに、ステップＳ１０６のマッチング処理において用いられた標準テンプレート１４に対応する変動対応テンプレート１６を用いて、入力画像１８の中から探索対象の領域を探索する処理が実行される。

そして、画像処理装置１００は、ステップＳ１０６またはステップＳ１１０において取得された位置姿勢情報を用いて、次階層のマッチング処理に用いる基準位置や基準姿勢などの初期条件を決定する（ステップＳ１１２）。ＲＩＰＯＣ法では、姿勢情報（例えば、回転量や倍率）も算出されるので、この姿勢情報に従って、次階層のマッチング処理に用いる標準テンプレート１６または入力画像１８が回転補正および／または倍率補正される。そして、ステップＳ１０４以下の処理が実行される。

すなわち、画像処理装置１００は、標準テンプレート１４を用いたマッチング処理による探索結果、または、変動対応テンプレート１６を用いたマッチング処理による探索結果を利用して、より小さな標準テンプレート１４を用いて、入力画像１８の中から探索対象の領域を探索する処理を実行する。

階層的なテンプレートマッチングに用いるテンプレートがもう残っていない場合（ステップＳ１０４においてＮＯの場合）には、直前のマッチング処理によって得られた位置姿勢情報が最終的な探索結果として出力される（ステップＳ１１４）。そして、処理は終了する。

［Ｅ．変形例１］
上述の実施の形態においては、標準テンプレート１４によるマッチング処理によって算出されるマッチング度（相関値）の逆数を「悪影響度」とする例について説明した。これに代えて、または加えて、標準テンプレート１６に含まれる変動領域に対応する領域を新たなテンプレートとし、その新たなテンプレートを用いたマッチング処理の結果を利用して、「悪影響度」を算出してもよい。

具体的には、上述の実施の形態においては、悪影響度を決定する尺度として、標準テンプレート１４によるマッチング度（ＰＯＣ値のピーク値）を利用したが、図６（ｂ）に示すような変動対応テンプレート１６として用いられていない領域（すなわち、太枠で囲まれていない領域）を新たなテンプレートとして採用し、この新たなテンプレートを用いたマッチング処理を行なって算出されるマッチング度を用いてもよい。すなわち、本変形例においては、標準テンプレート１４に含まれる変動領域に対応する領域を新たなテンプレートとし、当該新たなテンプレートを用いたマッチング処理の結果に基づいて、悪影響度を算出する。

これによって、変動しそうな領域の情報だけを用いてマッチング度を評価できるので、悪影響度をより敏感に測定することができる。

この場合、標準テンプレート１４を用いたマッチング処理の実行とともに、悪影響度を算出するためのマッチング処理を並行して実行してもよいし、標準テンプレート１４を用いたマッチング処理の結果から必要な情報を抽出して、悪影響度を算出してもよい。

本変形例を採用することで、変動しそうな領域だけに限定してマッチングをとることがで、これによって、悪影響度をより敏感に測定できる。

［Ｆ．変形例２］
上述の実施の形態においては、変動領域による影響を抑制したマッチング処理に一例として、予想される変動領域を含まないように設定されたテンプレートを用いる方法を採用したが、入力画像に対して画像処理を行なうことで、同様の効果を得るようにしてもよい。すなわち、標準テンプレート１４の変動領域に対応する入力画像１８の領域を周辺の値で補正した上で、マッチング処理を行なうことで、変動領域の影響を抑制するようにしてもよい。

例えば、何か別の物体が入力画像に映り込むようなケースであれば、変動領域の画素をその周辺画素の輝度値に置換することで、あたかも変動領域が存在しないようにすることができる。さらに、境界部分を滑らかにするために、Ｇａｕｓｓフィルタなどを適用してもよい。

別の方法として、変動領域の画素を周辺画素の輝度値で単純に置換するのではなく、変動領域の画素と周辺画素とが滑らかにつながるような補間を行なってもよい。

あるいは、変動領域における変動要素がノイズのようなものであれば、該当の領域について、メディアンフィルタを施すことでノイズの影響を抑制してもよい。

このように、変動領域の影響を抑制したマッチング処理としては、標準テンプレート１４中の変動領域に相当する入力画像中の領域を、周辺の値で補正するようにしてもよい。

［Ｇ．変形例３］
上述の実施の形態においては、各階層において悪影響度を評価し、その評価結果に基づいて、標準テンプレート１４と変動対応テンプレート１６とを切り替えて適用する処理例について説明した。これに対して、一旦、変動対応テンプレート１６を適用すると判断された場合には、それ以降の階層においても、変動対応テンプレート１６を常に適用するようにしてもよい。これは、ある階層において変動領域による悪影響が有意に生じている場合には、それより小さいテンプレートを用いた場合にも、その悪影響が生じることが予測できるからである。

以下、変動対応テンプレート１６を用いたマッチング処理に切り替えた場合、以降の処理ではすべて変動対応テンプレート１６を用いる処理例について説明する。

図１０は、本実施の形態の変形例３に従うテンプレートマッチングの処理手順を示すフローチャートである。図１０に示すステップのうち、図９に示すステップと同様の内容を実行するステップについては、同一の参照符号を付している。

図１０を参照して、画像処理装置１００は、探索対象３をカメラ４により撮像するなどして入力画像１８を取得する（ステップＳ１００）。続いて、画像処理装置１００は、入力画像１８に対して、マッチング処理の初期位置および初期姿勢を設定する（ステップＳ１０２）。

続いて、画像処理装置１００は、階層的なテンプレートマッチングに用いるテンプレートがまだ残っているか否かを判断する（ステップＳ１０４）。階層的なテンプレートマッチングに用いるテンプレートがまだ残っている場合（ステップＳ１０４においてＹＥＳの場合）には、画像処理装置１００は、変動対応フラグがオンになっているか否かを判断する（ステップＳ１０５）。この変動対応フラグは、いずれかの階層において、悪影響度が高いと判断されたことを示す情報である。最初の階層では、変動対応フラグはオフになっているので、最初のうちはステップＳ１０６の処理が実行される。但し、ステップＳ１０８において悪影響度が高いと判断されると、続くステップＳ１０９において、変動対応フラグはオンに遷移されるので、それ以降の処理では、ステップＳ１０６の処理がスキップされる。すなわち、変動対応フラグがオンになっている場合（ステップＳ１０５においてＹＥＳの場合）には、ステップＳ１１０の処理が実行される。

変動対応フラグがオフになっている場合（ステップＳ１０５においてＮＯの場合）には、画像処理装置１００は、残っているテンプレートのうち最も探索範囲の大きな標準テンプレートを用いてマッチング処理を行なう（ステップＳ１０６）。続いて、画像処理装置１００は、ステップＳ１０６のマッチング処理による探索結果に対する変動領域の悪影響度を評価する。画像処理装置１００は、算出された悪影響度が予め定められた値より大きいか否かを判断する（ステップＳ１０８）。

悪影響度が予め定められた値より小さい場合（ステップＳ１０８においてＮＯの場合）には、悪影響度が低いとして、ステップＳ１１２の処理が実行される。これに対して、悪影響度が予め定められた値より大きい場合（ステップＳ１０８においてＹＥＳの場合）には、悪影響度が高いとして、ステップＳ１０９およびＳ１１０の処理が実行される。

変動領域による悪影響度が高いと判断されると、画像処理装置１００は、変動対応フラグをオンに遷移し（ステップＳ１０９）、続いて、ステップＳ１０６のマッチング処理において用いられた標準テンプレート１４に対応する変動対応テンプレート１６を用いて、マッチング処理を再度行なう（ステップＳ１１０）。この変動対応テンプレート１６を用いたマッチング処理の詳細は、上述したので、詳細な説明は繰り返さない。

そして、画像処理装置１００は、ステップＳ１０６またはステップＳ１１０において取得された位置姿勢情報を用いて、次階層のマッチング処理に用いる基準位置や基準姿勢などの初期条件を決定する（ステップＳ１１２）。

階層的なテンプレートマッチングに用いるテンプレートがもう残っていない場合（ステップＳ１０４においてＮＯの場合）には、直前のマッチング処理によって得られた位置姿勢情報が最終的な探索結果として出力される（ステップＳ１１４）。そして、処理は終了する。

このように、本変形例では、悪影響度が予め定められた値より大きいと評価されると、以後の処理では、悪影響度を評価することなく、変動領域による影響を抑制したマッチング処理が行なわれる。

［Ｈ．変形例４］
上述の実施の形態においては、テンプレートマッチングの一例として、ＲＩＰＯＣ法を採用する例について説明した。これに加えて、あるいは、これに代えて、サイズも含めた幾何学的なずれがあっても対応可能なアルゴリズム方法を採用できる。例えば、文献１（Qin-Sheng Chen, "Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. I6, NO. 12, DECEMBER 1994）に開示されるフーリエメリン変換を用いたマッチング方法を採用してもよい。

また、ＰＯＣ以外にも画像中の周波数情報を利用したマッチングアルゴリズムとして、文献２（貴家仁志、「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」、首都大学東京 システムデザイン学部、動的画像処理実利用化ワークショップ２００７（２００７．３．８））に開示されるマッチング方法を採用してもよい。

［Ｉ．変形例５］
上述の実施の形態においては、大きさの異なる複数のテンプレートを用いて、階層的にテンプレートマッチングを行なう処理について例示した。これに加えて、入力画像に対応する、解像度の異なる複数の探索対象画像を用意し、これらの複数の探索対象画像に応じた複数のテンプレートを用いて、階層的にテンプレートマッチングを行なう方法を採用してもよい。

より具体的には、本変形例においては、入力画像／階層画像（に含まれる部分画像）とテンプレート（標準テンプレート／変動対応テンプレート）との間に相対的なずれを考慮した探索処理と、多重解像度を用いた粗密戦略とを組み合わせて、テンプレートに対応する領域を入力画像から探索する方法を採用する。

本変形例においては、解像度毎に、標準テンプレートおよび変動対応テンプレートが用意されているとする。各解像度の標準テンプレートおよび変動対応テンプレートについては、上述した標準テンプレートおよび変動対応テンプレートと同様である。

より具体的には、入力画像からそれぞれ異なる解像度を有する画像群を取得し、解像度の低い画像から順に、テンプレートマッチングを行なうことで、テンプレートに対応する領域を探索する。解像度の低い画像に対するテンプレートマッチングでは、その演算時間は短くて済むが、探索された位置の精度は相対的に低い（対応する解像度の精度が限界となる）。続いて、より解像度の高い画像に対するテンプレートマッチングが実行される。このとき、先に実行されたテンプレートマッチングの結果を利用して、効率的に処理が行われる。そのため、解像度が高くとも演算時間を短縮できる。以下同様の処理を行なうことで、最も解像度の高い画像において探索された位置情報が結果として出力される。

図１１は、本発明の実施の形態の変形例５に従うテンプレートマッチングの概要を説明するための模式図である。図１１には、入力画像の画像サイズが１６００×１２００ｐｉｘ（ピクセル／画素）とした場合に、変換倍率を１／２とし、階層数を４としたときの多重解像度解析の例を示す。図１１を参照して、入力画像２００から解像度が異なる複数の画像が生成される。この例では、入力画像２００を８００×６００ｐｉｘの画像サイズに縮小した画像が、第１階層の画像（以下、「第１階層画像２１０」とも称す。）として生成される。さらに、第１階層画像２１０を４００×３００ｐｉｘの画像サイズに縮小した画像が、第２階層の画像（以下、「第２階層画像２２０」とも称す。）として生成される。さらに、第２階層画像２２０を２００×１５０ｐｉｘの画像サイズに縮小した画像が、第３階層の画像（以下、「第３階層画像２３０」とも称す。）として生成される。

図１１を参照して、まず、第３階層画像２３０に対して探索範囲２３２が設定されるとともに、探索範囲２３２から順次抽出される領域（以下、「抽出領域」とも称す。）と対応するテンプレートとの間でテンプレートマッチングが実行される。典型的に、抽出領域は、テンプレートと同じ画像サイズを有する。このテンプレートマッチングによって、最も類似度の高い抽出領域の位置２３４が特定されたとする。

この特定された抽出領域の位置２３４を基準として、第２階層画像２２０に対して探索範囲２２２が設定されるとともに、探索範囲２２２から順次抽出される抽出領域と対応するテンプレートとの間でテンプレートマッチングが実行される。このテンプレートマッチングによって、最も類似度の高い抽出領域の位置２２４が特定されたとする。

さらに、この抽出領域の位置２２４を基準として、第１階層画像２１０に対して探索範囲２１２が設定されるとともに、探索範囲２１２から順次抽出される抽出領域と対応するテンプレートとの間でテンプレートマッチングが実行される。このテンプレートマッチングによって、最も類似度の高い抽出領域の位置２１４が特定されたとする。

最終的に、この抽出領域の位置２１４を基準として、入力画像２００に対して探索範囲２０２が設定されるとともに、探索範囲２０２から順次抽出される抽出領域と対応するテンプレートとの間のテンプレートマッチングが実行される。このテンプレートマッチングによって、最も類似度の高い抽出領域の位置２０４が特定されたとする。そして、この抽出領域の位置２０４が探索結果として出力される。

各解像度におけるテンプレートマッチングにおいて、まず標準テンプレートを用いたテンプレートマッチングが行なわれ、変動領域の悪影響度が評価される。そして、悪影響度が高い場合には、その標準テンプレートに対応する変動対応テンプレートを用いたマッチング処理が実行され、目的の領域が探索される。

図１２は、本発明の実施の形態の変形例５に従うテンプレートマッチングにおいて使用される入力画像および階層画像とテンプレートとの一例を示す図である。図１２を参照して、本変形例においては、入力画像およびそれぞれの階層画像に対して、共通のサイズ（例えば、１２８×１２８ｐｉｘ）を有するテンプレート（標準テンプレート２５４−１〜２５４−３／変動対応テンプレート標準テンプレート２５６−１〜２５６−３）を用いて探索処理が実行される。この際、入力画像／階層画像（に含まれる部分画像）とテンプレートとの間に相対的なずれに応じて、テンプレートが適宜補正された上で、マッチング処理が実行される。このとき、前の階層における探索結果を利用して処理が効率化される。

次に、本変形例に従うテンプレートマッチングにおける処理の効率化手法について説明する。本変形例においては、入力画像／階層画像（に含まれる部分画像）とテンプレートとの間に相対的なずれを補正した探索処理が実行される。この相対的なずれ量としては、入力画像／階層画像（に含まれる部分画像）とテンプレートの間の、相対的な回転量や相対的な倍率などを含む。以下では、典型例として、相対的なずれ量として回転量を考慮する例について説明するが、これに限られず、相対的な倍率を考慮する構成についても同様の適用可能である。

図１３は、本発明の実施の形態の変形例５に従うテンプレートマッチングの内容を概略する図である。図１３には、第３階層画像および第２階層画像に対する処理の内容を例示するが、同様の手順によって、第１階層画像および入力画像に対しても同様の処理が実行される。

図１３を参照して、まず、第３階層画像に対して探索範囲が設定されるとともに、探索範囲からマッチング処理の対象となる抽出領域が抽出され、この抽出領域と第３階層用の標準テンプレートとの間で回転量についての探索処理（（１）マッチング）が実行される。この探索処理の結果から変動領域の悪影響度が評価される。悪影響度が予め定められた値より大きいときには、第３階層用の変動対応テンプレートを用いて探索処理が再度実行される。

なお、第３階層画像における探索範囲は、第３階層画像の全体であってもよい。この回転量についての探索処理によって、第３階層における、抽出領域とテンプレート（標準テンプレート／変動対応テンプレート）との間の相対的な回転量（相対的なずれ量）が算出される（（２）回転量算出）。そして、この算出された相対的な回転量を用いて、標準テンプレートまたは変動対応テンプレートが補正される（（３）回転量補正）。

続いて、抽出領域と補正後のテンプレートとの間で位置についての探索処理（（４）マッチング）が実行される。この位置についての探索処理によって、第３階層における、抽出領域と補正後のテンプレートとの間の類似度が算出される。図１３に示す（１）〜（４）の手順が繰り返されることで、第３階層において、補正後のテンプレートとの間で最も類似度が高くなる抽出領域が特定される。この最も類似度が高くなった抽出領域を示す位置が算出される（（５）位置算出）。これで、第３階層における探索処理は完了する。

続いて、第２階層における探索処理が開始される。この第２階層における探索処理では、第３階層において算出された、最も類似度が高い抽出領域についての、テンプレートとの間の相対的な回転量（相対的なずれ量）、および平行移動量が利用される。

具体的には、第２階層画像に対して探索範囲が設定されるとともに、探索範囲からマッチング処理の対象となる抽出領域が設定され、この抽出領域と第２階層用のテンプレートとの間で回転量についての探索処理（（６）マッチング）が実行される。このとき、探索範囲は、第３階層において算出された最も類似度が高い抽出領域を示す位置を基準として設定される。この探索処理の結果から変動領域の悪影響度が評価される。悪影響度が予め定められた値より大きいときには、第２階層用の変動対応テンプレートを用いて探索処理が再度実行される。

また、回転量についての探索処理は、第３階層において算出された最も類似度が高い抽出領域についての回転量を基準とする範囲のみが対象となる。例えば、第３階層において算出された回転量がθであれば、第２階層における回転量についての探索処理では、θ±α（α：予め定められた変動角度）の範囲だけ探索が行なわれる。

すなわち、第２階層におけるテンプレートマッチングにおいては、位置についての探索処理の対象となる探索範囲（すなわち、抽出領域）、および回転量についての探索処理の対象となる探索範囲（角度変動範囲）がテンプレートマッチングの結果に基づいて制限される。

回転量についての探索処理によって、第２階層における、抽出領域とテンプレートとの間の相対的な回転量（相対的なずれ量）が算出される（（７）回転量算出）。そして、この算出された相対的な回転量を用いて、テンプレートが補正される（（８）回転量補正）。この補正によって、補正後のテンプレートが生成される。

続いて、抽出領域と補正後のテンプレートとの間で位置についての探索処理（（９）マッチング）が実行される。この位置についての探索処理によって、第２階層における、抽出領域と補正後のテンプレートとの間の類似度が算出される。図１３に示す（６）〜（９）の手順が繰り返されることで、補正テンプレートとの間で最も類似度が高くなる抽出領域が特定される。この最も類似度が高くなった抽出領域を示す位置（探索範囲内における補正テンプレートと最も一致する抽出領域の相対位置を示す平行移動量）が算出される（（１０）位置算出）。これで、第２階層における探索処理は完了する。

以下同様にして、第１階層および入力画像についても同様の探索処理が実行される。
このように、本実施の形態に従う画像処理装置１００は、以下のような機能を発揮することで、テンプレート生成用画像（基準画像）に対応する領域を入力画像から探索する。すなわち、画像処理装置１００は、予め設定された画像に対応する領域を入力画像から探索する。画像処理装置１００は、複数のテンプレート（標準テンプレート２５４−１〜２５４−３／変動対応テンプレート標準テンプレート２５６−１〜２５６−３）を保持する。これらのテンプレートは、基準の被写体を撮像することで取得された入力画像に対応するそれぞれ異なる解像度を有する複数の探索対象画像にそれぞれ対応したテンプレートからなる。そして、各テンプレートは、対応する探索対象画像内の探索対象の領域を含むように設定されている。

画像処理装置１００は、標準テンプレート２５４−１〜２５４−３のうちより解像度の低い探索対象画像に対応した標準テンプレート２５４を用いたマッチング処理を行なうことで、当該探索対象画像の中から探索対象の領域を探索する。このとき、画像処理装置１００は、標準テンプレート２５４を用いたマッチング処理の結果に対する変動領域の悪影響度を評価する。そして、悪影響度が予め定められた値より大きいときに、画像処理装置１００は、変動対応テンプレート２５６を用いて、変動領域による影響を抑制したマッチング処理を行なうことで、当該探索対象画像の中から探索対象の領域を探索する。さらに、画像処理装置１００は、標準テンプレート２５４または変動対応テンプレート２５６を用いたマッチング処理の結果を利用して、より解像度の高い探索対象画像に対応した標準テンプレート２５４を用いたマッチング処理を行なうことで、当該探索対象画像の中から探索対象の領域を順次探索する。

このように、本変形例に従う画像処理装置１００は、前の階層においてなされたテンプレートマッチングの結果を利用して、処理を効率化する。

［Ｊ．利点］
本実施の形態によれば、探索領域が広くなるように設定した標準テンプレート１４を用いてマッチング処理を行ないながら、探索対象の領域の位置や姿勢を順次絞り込んでいくが、いずれかの階層において、マッチング度の低下がみられると、変動対応テンプレート１６を用いることで変動領域の影響を抑制する。これにより、ロバストなテンプレートマッチングを実現できる。すなわち、大きさの異なる複数の領域にそれぞれ対応する複数のテンプレートを利用して階層的にテンプレートマッチングを行なうことで、検出対象の位置姿勢情報を特定する探索方法において、標準テンプレート１４によるマッチングがうまくいかないときは、変動領域の影響を抑制した変動対応テンプレート１６（部分テンプレートおよび／または複数テンプレートの組み合わせ）に切り替えることで、ロバスト性を高めることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ システム、２ ベルトコンベア、３ 探索対象、４ カメラ、１２ テンプレート生成用画像、１４ 標準テンプレート、１６ 変動対応テンプレート、１８ 入力画像、１００ 画像処理装置、１０２ ＣＰＵ、１０４ ＲＡＭ、１０６ ＲＯＭ、１０８ ネットワークインターフェイス、１１０ 補助記憶装置、１１２ テンプレート生成処理プログラム、１１４ テンプレートマッチングプログラム、１２０ 表示部、１２２ 入力部、１２４ メモリーカードインターフェイス、１２６ メモリーカード、１２８ カメラインターフェイス、１３０ バス、１５０ テンプレート生成用画像取得部、１５２ テンプレート生成部、１５４ テンプレート保持部、１５６ 入力画像取得部、１６０ 位置探索部、１６１，１６４ フーリエ変換部、１６２，１６５ 対数化処理部、１６３，１６６ 極座標変換部、１６７ 第１ＰＯＣ処理部、１６８ 回転量補正部、１６９ 第２ＰＯＣ処理部。

Claims (11)

1. 予め設定された画像に対応する領域を入力画像から探索する画像処理装置であって、
   複数のテンプレートを保持する保持手段を備え、前記複数のテンプレートは、基準の被写体を撮像することで取得された基準画像に対して、探索対象の領域を含むように設定された大きさの異なる複数の領域にそれぞれ対応する複数の第１のテンプレートを含み、
   前記複数の第１のテンプレートのうちより大きな第１のテンプレートを用いたマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索する第１の探索手段と、
   前記第１の探索手段による探索結果に対する変動領域の悪影響度を評価する評価手段と、
   前記悪影響度が予め定められた値より大きいときに、前記変動領域による影響を抑制したマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索する第２の探索手段と、
   前記第１の探索手段または前記第２の探索手段による探索結果を利用して、より小さな第１のテンプレートを用いたマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索する第３の探索手段とを備える、画像処理装置。
2. 前記保持手段は、さらに前記複数の第１のテンプレートにそれぞれ対応付けられた複数の第２のテンプレートを保持しており、
   前記複数の第２のテンプレートの各々は、前記基準画像に対して、予想される変動領域を含まないように設定されたテンプレートであり、
   前記第２の探索手段は、前記第１の探索手段において用いられた第１のテンプレートに対応する第２のテンプレートを用いて、前記入力画像の中から前記探索対象の領域を探索する、請求項１に記載の画像処理装置。
3. 前記複数の第２のテンプレートの各々は、対応する第１のテンプレートに含まれる複数の部分テンプレートの組み合わせである、請求項２に記載の画像処理装置。
4. 前記評価手段は、前記第１の探索手段によるマッチング処理によって算出されるマッチング度の逆数に基づいて、悪影響度を算出する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記評価手段は、前記第１のテンプレートに含まれる変動領域に対応する領域を新たなテンプレートとし、当該新たなテンプレートを用いたマッチング処理の結果に基づいて、悪影響度を算出する、請求項１〜３のいずれか１項に記載の画像処理装置。
6. 前記マッチング処理は、周波数の位相差を利用した方法を含む、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記第２の探索手段は、前記第１のテンプレートの変動領域に対応する入力画像の領域を周辺の値で補正した上で、マッチング処理を行なう、請求項１に記載の画像処理装置。
8. 前記悪影響度が予め定められた値より大きいと評価されると、以後の処理では、前記悪影響度を評価することなく、前記変動領域による影響を抑制したマッチング処理が行なわれる、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 予め設定された画像に対応する領域を入力画像から探索する画像処理装置であって、
   複数のテンプレートを保持する保持手段を備え、前記複数のテンプレートは、基準の被写体を撮像することで取得された入力画像に対応するそれぞれ異なる解像度を有する複数の探索対象画像にそれぞれ対応した複数の第１のテンプレートを含み、前記複数の第１のテンプレートの各々は、対応する探索対象画像内の探索対象の領域を含むように設定されており、
   前記複数の第１のテンプレートのうちより解像度の低い探索対象画像に対応した第１のテンプレートを用いたマッチング処理を行なうことで、当該探索対象画像の中から前記探索対象の領域を探索する第１の探索手段と、
   前記第１の探索手段による探索結果に対する変動領域の悪影響度を評価する評価手段と、
   前記悪影響度が予め定められた値より大きいときに、前記変動領域による影響を抑制したマッチング処理を行なうことで、当該探索対象画像の中から前記探索対象の領域を探索する第２の探索手段と、
   前記第１の探索手段または前記第２の探索手段による探索結果を利用して、より解像度の高い探索対象画像に対応した第１のテンプレートを用いたマッチング処理を行なうことで、当該探索対象画像の中から前記探索対象の領域を探索する第３の探索手段とを備える、画像処理装置。
10. 予め設定された画像に対応する領域を入力画像から探索する画像処理方法であって、
    複数のテンプレートを用意するステップを備え、前記複数のテンプレートは、基準の被写体を撮像することで取得された基準画像に対して、探索対象の領域を含むように設定された大きさの異なる複数の領域にそれぞれ対応する複数の第１のテンプレートを含み、
    前記複数の第１のテンプレートのうちより大きな第１のテンプレートを用いたマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索するステップと、
    前記第１のテンプレートを用いたマッチング処理による探索結果に対する変動領域の悪影響度を評価するステップと、
    前記悪影響度が予め定められた値より大きいときに、前記変動領域による影響を抑制したマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索するステップと、
    前記第１のテンプレートを用いたマッチング処理、または、前記変動領域による影響を抑制したマッチング処理による探索結果を利用して、より小さな第１のテンプレートを用いたマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索するステップとを備える、画像処理方法。
11. 予め設定された画像に対応する領域を入力画像から探索する画像処理プログラムであって、コンピューターは、複数のテンプレートを保持しており、前記複数のテンプレートは、基準の被写体を撮像することで取得された基準画像に対して、探索対象の領域を含むように設定された大きさの異なる複数の領域にそれぞれ対応する複数の第１のテンプレートを含み、前記画像処理プログラムはコンピューターに、
    前記複数の第１のテンプレートのうちより大きな第１のテンプレートを用いたマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索するステップと、
    前記第１のテンプレートを用いたマッチング処理による探索結果に対する変動領域の悪影響度を評価するステップと、
    前記悪影響度が予め定められた値より大きいときに、前記変動領域による影響を抑制したマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索するステップと、
    前記第１のテンプレートを用いたマッチング処理、または、前記変動領域による影響を抑制したマッチング処理による探索結果を利用して、より小さな第１のテンプレートを用いたマッチング処理を行なうことで、前記入力画像の中から前記探索対象の領域を探索するステップとを実行させる、画像処理プログラム。