JP6732214B2 - 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム - Google Patents

Description

本発明は、テンプレートマッチングにより画像から対象物を検出する技術に関する。

物体認識画像から対象物を検出する方法の一つとしてテンプレートマッチングがある。テンプレートマッチングは、検出対象となる物体のモデル（テンプレート）を予め用意しておき、テンプレート画像を入力画像で操作させ、入力画像上の各位置における類似度を算出し、算出した類似度を評価することで画像中の物体の位置や姿勢を検出する手法である。テンプレートマッチングによる物体検出は、ＦＡ（Factory Automation）における検査やピッキング、ロボット・ビジョン、監視カメラなど多岐にわたる分野で利用されている。特に、近時のテンプレートマッチングにおいては、２次元計測を利用した対象物の位置・姿勢の検出から、３次元計測を利用した対象物の位置・姿勢の検出へ応用する技術に注目が集まっている。

３次元計測を利用したテンプレートマッチングとして、様々な視点から見た姿勢ごとに個別のテンプレートを用意し、それらのテンプレートに対して総当たりでマッチングを行う探索処理方法が提案されているが、２次元計測を利用した場合に比べて用意しなければならないテンプレートの数は非常に多く、処理時間の増大が問題となる（例えば、特許文献１参照）。

このような問題への対応策として、粗密探索によるテンプレートマッチングが知られている。粗密探索は、テンプレートマッチングによる探索処理を高速化する技術の一つであり、解像度を段階的に異ならせた画像群（いわゆる、画像ピラミッド）を用意し、低解像度の画像で粗い探索を行い、探索結果をもとに探索範囲を絞り込み、絞り込んだ探索範囲について高解像度の画像でさらに探索を行う、という処理を繰り返し行い、最終的に元の解像度における対象物の位置・姿勢を検出するといったものである。

ここで、図９は、画像ピラミッドを利用した粗密探索の基本概念を示す図である。
図９に示すように、粗密探索では、解像度を段階的に異ならせた第１層から第ｋ層（ｋ≧２以上の整数）のｋ枚の画像群（画像ピラミッド）を用いる。第１層の解像度が最も解像度が低く、第２層、…、第ｋ層の順位で解像度が高くなる。図９は、ｋ＝３の例であり、第３層が元画像に対応しており、第２層、第１層の順で解像度が低くなっている。

粗密探索では、最初に最も低解像度の第１層画像に対してテンプレートマッチングによる探索処理が行われ、第１層のなかでの物体の存在位置（正解候補）が検出される（図９の第１層画像内に示す検出位置参照）。次に、第２層に対する探索処理では、第１層での検出位置に対応する第２層画像が探索範囲として設定され、その探索範囲に対する探索処理が行われる（図９の第２層画像内に示す検出位置参照）。同様に、第２層での検出結果に基づき第３層画像での探索範囲が設定され、その探索範囲に対する探索処理が行われ、最終的に第３層（元画像）内での物体位置が特定される（図９の第３層画像内に示す検出位置参照）。

このように、低解像度の画像（以下、「低解像度画像」ともいう。）から高解像度の画像（以下、「高解像度画像」ともいう。）に向けて探索範囲を段階的に絞りこんでいくことで、テンプレートのマッチング回数を削減でき、処理時間を短縮することができる。

特開２０１６−２０７１４７号公報

しかしながら、粗密探索においては、低解像度画像から高解像度画像に向かうにつれ、マッチングすべきテンプレートの数（すなわち、正解候補となるテンプレートの数）が多くなる。このため、探索範囲を絞ることで処理時間を短縮できたとしても、高解像度画像においてはマッチング処理を多数回実行しなければならず、マッチング処理に要する処理時間が長くなる。結果として、全体の処理時間の短縮の効果が十分得られないという問題があった。

本発明は、以上説明した事情を鑑みてなされたものであり、テンプレートマッチングを用いた物体認識において、マッチング処理を高速化するための技術を提供することを目的とする。

本発明の一態様に係る画像処理装置は、テンプレートマッチングにより物体の認識を行う画像処理装置であって、物体の入力画像を取得する画像取得部と、それぞれ異なる視点から見た物体に対応する複数の標準テンプレートを作成する標準テンプレート作成部と、各標準テンプレートの間での差異部分をあらわす複数の識別テンプレートを作成する識別テンプレート作成部と、作成した複数の識別テンプレートを用いて物体の入力画像とのマッチングを行うテンプレートマッチング部とを具備する。

上記構成によれば、それぞれ異なる視点から見た物体に対応する複数の標準テンプレートに基づき、標準テンプレート間の差異部分を示す識別テンプレートを作成し、作成した識別テンプレートを用いてマッチング処理を行う。このように、標準テンプレート間の差異部分のみをあらわす識別テンプレートを用いたマッチングを利用することで、標準テンプレートによるマッチングを行う場合よりも処理速度を高速化することができる。

上記態様において、識別テンプレート作成部は、複数の識別テンプレートのほか、各標準テンプレートの間での共通部分をあらわす共通テンプレートを作成し、テンプレートマッチング部は、作成した共通テンプレート及び複数の識別テンプレートを用いて物体の入力画像とのマッチングを行う構成としてもよい。

上記構成において、物体の入力画像から、解像度を段階的に異ならせた低解像度画像と、低解像度画像よりも解像度の高い高解像度画像とを生成する画像ピラミッド生成部をさらに具備し、標準テンプレート作成部は、低解像度画像に対応した低解像度用の複数の標準テンプレート、及び高解像度画像に対応した高解像度用の複数の標準テンプレートを作成し、識別テンプレート作成部は、高解像度用の複数の標準テンプレートに基づいて、高解像度用の複数の識別テンプレートを作成し、テンプレートマッチング部は、低解像度画像に対して、低解像度用の複数の標準テンプレートを用いてマッチングを行うことで、正解候補の標準テンプレートの絞り込みを行い、絞り込み結果に基づいて高解像度画像における探索範囲を設定し、設定した探索範囲での高解像度画像に対して、高解像度用の複数の識別テンプレートを用いてマッチングを行う構成としてもよい。

上記構成において、低解像度画像及び前記高解像度画像から、それぞれ特徴量を抽出する特徴抽出部をさらに備え、テンプレートマッチング部は、低解像度画像の前記特徴量と、低解像度用の複数の標準テンプレートとを用いてマッチングを行うことで正解候補の標準テンプレートの絞込みを行い、絞込み結果に基づいて高解像度画像における探索範囲を設定し、設定した探索範囲での高解像度画像の特徴量と、高解像度用の複数の識別テンプレートを用いてマッチングを行う構成としてもよい。

上記構成において、粗密探索におけるテンプレートマッチングにより物体の位置認識を行う構成としてもよい。

本発明の他の態様に係る画像処理方法は、テンプレートマッチングにより物体の認識を行う画像処理方法であって、物体の入力画像を取得するステップと、それぞれ異なる視点から見た物体に対応する複数の標準テンプレートを作成するステップと、各標準テンプレートの間での差異部分をあらわす複数の識別テンプレートを作成するステップと、作成した複数の識別テンプレートを用いて物体の入力画像とのマッチングを行うステップとを含む。

本発明の他の態様に係るプログラムは、テンプレートマッチングにより物体の認識を行う画像処理を、コンピュータに実行させるためのプログラムであって、コンピュータに、物体の入力画像を取得するステップと、それぞれ異なる視点から見た物体に対応する複数の標準テンプレートを作成するステップと、各標準テンプレートの間での差異部分をあらわす複数の識別テンプレートを作成するステップと、作成した複数の識別テンプレートを用いて物体の入力画像とのマッチングを行うステップとを実行させる。

本発明によれば、テンプレートマッチングを用いた物体認識において、マッチング処理を高速化するための技術を提供することが可能となる。

物体認識装置の全体構成を示す図である。 物体認識装置のハードウェア構成を示す図である。 画像処理装置の機能構成を示す図である。 カメラから取り込まれる画像を例示した図である。 テンプレート作成装置によって実行されるテンプレート作成処理を示すフローチャートである。 標準テンプレートのみを用いたテンプレートマッチングの説明図である。 標準テンプレート、共通テンプレート及び識別テンプレートを用いたテンプレートマッチングの説明図である。 物体認識処理装置によって実行される物体認識処理を示すフローチャートである。 画像ピラミッドを利用した粗密探索の基本概念を示す図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。また、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。さらに、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。

Ａ．本実施形態
Ａ−１．（物体認識装置の全体構成）
図１を参照して、本発明の実施形態に係る物体認識装置の全体構成及び適用場面について説明する。

物体認識装置１は、ピッキングシステムを備えた生産ラインなどに設置され、カメラ１１から取り込まれた画像を用いて、テンプレートマッチングによりトレイ３上の物体２の認識を行うシステムである。トレイ３上には、認識対象の物体２がバラ積みされている。物体認識装置１は、カメラ１１から所定の時間間隔で画像を取り込み、画像処理装置１０によって画像に含まれる各物体２の位置及び姿勢を認識する処理を実行し、その結果をＰＬＣ（プログラマブルロジックコントローラ）４やディスプレイ１２などに出力する。物体認識装置１の出力である認識結果は、例えば、ピッキング・ロボットの制御、加工装置や印字装置の制御、物体２の検査や計測などに利用される。

Ａ−２．（ハードウェア構成）
図２を参照して、物体認識装置１のハードウェア構成を説明する。物体認識装置１は、概して、カメラ１１と画像処理装置１０から構成される。
カメラ１１は、物体２のデジタル画像を画像処理装置１０に取り込むための撮像デバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。解像度、カラー／モノクロ、静止画像／動画、階調、データ形式などの入力画像の形式は任意であり、物体２の種類やセンシングの目的に合わせて適宜選択することができる。Ｘ線画像やサーモ画像など、可視光像以外の特殊な画像を物体認識や検査に利用する場合には、その画像に合わせたカメラを用いてもよい。

画像処理装置１０は、ＣＰＵ（中央演算処理装置）１１０と、ワークメモリとして用いられるメインメモリ１１２と、固定記憶部であるハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続されている。

カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１との間のデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部との間のデータ伝送を仲介する。入力部には、マウス１３、キーボード、タッチパネル、ジョグコントローラなどが含まれる。表示コントローラ１２０は、液晶モニタなどのディスプレイ１２に接続され、当該ディスプレイでの表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４との間のデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール、あるいはパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１４との間のデータ伝送を仲介する。

画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４又はメモリカード１４に格納されたプログラムを読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード１４や光ディスクなどのコンピュータ読取可能な記録媒体に格納された状態で流通するか、インターネットなどを通じて提供される。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部又は全部がＡＳＩＣなどの専用回路で代替されてもよい。

Ａ−３．（機能構成）
図３に、画像処理装置１０の機能構成を示す。画像処理装置１０は、テンプレート作成装置２０としての機能部と、物体認識処理装置３０としての機能部とを備える。

テンプレート作成装置２０は、物体認識処理で利用するテンプレートを作成する機能部であり、３次元ＣＡＤデータ取得部２０１、標準テンプレート作成部２０２、識別テンプレート作成部２０３、記憶部２０４を備える。
物体認識処理装置３０は、カメラ１１から取り込まれた画像に対し、テンプレート作成装置２０によって作成・記憶されたテンプレートを用いてテンプレートマッチングを実行することで、画像中の物体を認識する機能部である。物体認識処理装置３０は、テンプレート情報取得部３０１、画像取得部３０２、画像ピラミッド生成部３０３、特徴抽出部３０４、テンプレートマッチング部３０５、認識結果出力部３０６を備える。テンプレート作成装置２０及び物体認識処理装置３０の機能は、後に詳述する。

図４は、カメラ１１から取り込まれる画像を例示した図である。図４に示すように、画像の中には、複数の物体２が含まれており、かつ、各物体２の位置（ＸＹＺ座標）及び姿勢（ＸＹＺの３軸周りの角度）は任意である。完全な球体である場合を除き、カメラ１１に対する物体の姿勢（向き）が異なると、画像に移る物体の形態（形状、色など）も異なる。本実施形態では、粗密探索を用いたテンプレートマッチングにより探索処理を行うため、まず、第１段階として、画像ピラミッドを構成する各層ごとに、物体の各姿勢をあらわす個別のテンプレートを用意する。従来の粗密探索では、低解像度画像（例えば１層画像）において物体の位置や姿勢を絞りこんだとしても、第２層画像、第３層画像と解像度が高くなるにつれ、高解像度画像において正解候補となるテンプレートの数が多くなり、テンプレートのマッチング処理の処理速度が低下してしまう問題があった（発明が解決しようとする課題の項を参照）。

本願発明者は、低解像度画像において既に物体の位置や姿勢が絞り込まれた結果として、高解像度画像における正解候補のテンプレートが得られることから、その特徴は似通ったものが多いことに着目し、高解像度画像においてマッチング処理に利用するテンプレートについては、各テンプレート間での差異部分をあらわす識別テンプレート（必要に応じて、各テンプレートの共通部分をあらわす共通テンプレート）を作成し、識別テンプレートを利用してマッチング処理を行うことを創案した。このように、識別テンプレートを利用することで、高解像度画像におけるテンプレートマッチングの処理速度の向上、ひいては全体の処理速度の向上が可能となる（詳細は後述）。

Ａ−４．（テンプレート作成処理）
以下、図５のフローに従って、テンプレート作成装置２０によって実行されるテンプレート作成処理を説明する。
３次元ＣＡＤデータ取得部２０１は、認識対象の物体２の３次元形状を表す３次元データを取得する（ステップＳ４０１）。３次元ＣＡＤデータ取得部２０１は、認識対象の物体２を立体図形として認識可能な任意の３次元データを取得することができ、本実施形態では、３次元ＣＡＤデータを取得するものとする。３次元ＣＡＤデータ取得部２０１は、外部の３次元ＣＡＤサーバ等から３次元ＣＡＤデータを取得することもできるし、メモリ（図示略）から３次元ＣＡＤデータを取得することもできる。

標準テンプレート作成部２０２は、３次元ＣＡＤデータ取得部２０１が取得した３次元データを用いて、様々な視点から見た物体２の２Ｄ画像を生成し、生成した２Ｄ画像に基づき、複数のテンプレートを作成する（ステップＳ４０２）。本実施形態では、標準テンプレート作成部２０２によって作成される様々な視点からみた物体２に対応するテンプレートを「標準テンプレート」と呼ぶ。ここで、テンプレートは、認識対象の物体２の画像特徴を表すデータであり、テンプレートには任意の形式を用いることができる。例えば、テンプレートとして画像中の複数の特徴点の特徴量を記述した配列形式を用いることができる。

特徴量としては、例えば、ピクセル値（輝度）、輝度勾配方向、量子化勾配方向、Ｈｏｇ（Histograms of Oriented Gradients）、ＨＡＡＲ−Ｌｉｋｅ、ＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることができる。輝度勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向(角度)を連続値で表すものであり、量子化勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す(例えば、８方向を０〜７の１バイトの情報で保持する)ものである。

前述したように、本実施形態では、解像度が段階的に異なる各層の画像（画像ピラミッド）を用いた粗密探索を行うため、前提となる各層ごとのテンプレートを作成する必要がある。よって、標準テンプレート作成部２０２は、各層ごとに解像度が異なる複数の標準テンプレートを作成する。解像度が異なる複数の標準テンプレートを作成する方法としては、解像度が異なる複数の物体画像からそれぞれ標準テンプレートを作成する方法や、最も高い解像度の物体画像から作成した標準テンプレートに対し低解像度化処理を施すことで必要な解像度の標準テンプレートを作成する方法等がある。低解像度化処理とは、各特徴点の位置関係を基に、近傍にある複数の特徴点を統合することで、テンプレートの解像度を下げる処理である。もっとも、いずれの方法を用いて解像度が異なる複数の標準テンプレートを作成するかは任意である。

標準テンプレート作成部２０２は、解像度が段階的に異なる各層の画像について、それぞれ複数の標準テンプレートを作成すると、各層用の標準テンプレートとして識別テンプレート作成部２０３に供給する。

識別テンプレート作成部２０３は、標準テンプレート作成部２０２から供給される各層用の標準テンプレートに基づき、各層用の共通テンプレート及び識別テンプレートを作成する（ステップＳ４０３）。具体的には、各層ごとに、複数の標準テンプレートの共通部分をあらわす「共通テンプレート」と、複数のテンプレート間での差異部分をあらわす「識別テンプレート」とを作成する（ただし最上層である第１層を除く）。なお、低解像度画像における標準テンプレートを用いたマッチングの結果が信頼できる場合（例えば、高解像度画像テンプレート以外の候補や背景、無関係の物体である可能性がほとんどない場合）には、下層レベルでの共通テンプレートを用いたマッチング処理は不要となる。この場合、識別テンプレート作成部２０３は、各層ごとに、共通テンプレートを作成することなく、識別テンプレートのみを作成すれば良い（ただし最上層である第１層を除く）。

図６は、標準テンプレートのみを用いたテンプレートマッチング（従来例）の説明図であり、図７は、標準テンプレート、共通テンプレート及び識別テンプレートを用いたテンプレートマッチング（本実施例）の説明図である。図６及び図７では、説明の便宜上、低解像度画像として最も解像度が低い第１層画像、高解像度画像として２番目に解像度が低い第２層画像を例示している。

図６に示す従来例では、第１層画像において、正解候補となるテンプレートが２画素×２画素の標準テンプレート１個に絞り込まれると、第１層画像の２倍の解像度を有する第２層画像では、第２層用の標準テンプレートの全て、すなわち標準テンプレート２０個とのマッチング処理が行われる。ここで、第２層用の標準テンプレートは、４画素×４画素＋α（図６ではα＝１）画素であることから、第２層画像では、１７（＝４×４＋１）画素×２０個＝３４０回のマッチング処理が必要となる。

一方、図７に示す本実施例では、第１層画像において、正解候補となるテンプレートが２画素×２画素の標準テンプレート１個に絞り込まれるまでは従来例と同様であるが、第２層画像では、２０個の標準テンプレートの共通部分（＝４画素×４画素）である共通テンプレート１個と、各標準テンプレートの特徴部分（＝１画素）である識別テンプレート２０個を利用してマッチング処理が行われる。すなわち、第２層画像では、１６（＝４×４）画素＋（１画素×２０個）＝３６回のマッチング処理で済むため、３４０回のマッチング処理が必要な従来例と比較して、処理時間を約１／１０に短縮することが可能となる。

既に述べたように、粗密探索の下層レベルは、既に上層の画像（低解像度画像）において検出候補が絞り込まれている、すなわち全く無関係な検出候補は除かれている。よって、下層レベル（高解像度画像）におけるテンプレートマッチングは、クラス分類問題（識別問題）として扱うことが可能であり、学習サンプルを用いた様々な識別手法（例えば、フィッシャーの線形判別、ロジスティック回帰、ＳＶＭ（Support Vector Machine）、ランダムフォレスト、サポートベクトルマシン、ニューラルネットワークなど）にも適用可能である。本実施例に示すテンプレートマッチングでは、既に上層の画像（低解像度画像）において検出候補が絞り込まれていることから、下層レベルの候補テンプレートの間に共通部分は多く、差異部分（識別のために利用される特徴量）は少ない傾向にある。このような特性を利用することで、最上層である第１層を除く下層レベルでは、共通テンプレート及び識別テンプレートを利用した高速なマッチング処理が可能となる。

図５に戻り、識別テンプレート作成部２０３は、第１層を除く各層の画像（高解像度画像）について、複数の標準テンプレートの共通部分をあらわす共通テンプレートと、複数のテンプレート間での差異部分をあらわす識別テンプレートを作成すると、これら共通テンプレート及び識別テンプレートを記憶部２０４に記憶する（ステップＳ４０４）。一方、最上層である第１層の画像（低解像度画像）については、識別テンプレート作成部２０３は、共通テンプレート及び識別テンプレートを作成することなく、標準テンプレート作成部２０２によって作成された標準テンプレートを、そのまま記憶部２０４に記憶する（ステップＳ４０４）。なお、以下の説明では、記憶部２０４に記憶されている標準テンプレート、共通テンプレート及び識別テンプレートについて特に区別する必要がない場合には、これらをまとめて「テンプレート情報」と呼ぶ。

Ａ−５．（物体認識処理）
次に、図８のフローに従って、物体認識処理装置３０によって実行される物体認識処理を説明する。

まず、テンプレート情報取得部３０１は、テンプレート作成装置２０の記憶部２０４に記憶されているテンプレート情報を取得し、テンプレートマッチング部３０５に供給する（ステップＳ５０１）。
画像取得部３０２は、カメラ１１から入力画像を取り込む（ステップＳ５０２）。この画像には、任意の姿勢の物体２が写っているものとする。

画像ピラミッド生成部３０３は、取り込まれた入力画像（元画像）から低解像度画像を生成し、画像ピラミッドを生成する（ステップＳ５０３）。例えば、第１層画像として１６０画素×１２０画素、第２層画像として３２０画素×２４０画素等で構成される画像ピラミッドを構成することができる。

特徴抽出部３０４は、画像ピラミッドを構成する各層画像に対し特徴抽出処理を施す（ステップＳ５０４）。抽出される特徴量は、テンプレートのものと同種の特徴量であり、例えば量子化勾配方向などが挙げられる。最上層である第１層画像に対する特徴抽出処理の結果として、第１層画像と同じ解像度を有し、第１層画像の各画素位置で抽出された特徴量データ（特徴値）を画素値としてもつ画像（以下、「第１層特徴画像」ともいう。）が得られる。同様に、第２層画像に対する特徴抽出処理の結果として第２層特徴画像が得られる。

テンプレートマッチング部３０５は、テンプレート情報取得部３０１から供給される各テンプレート情報と、各テンプレート情報に対応する特徴抽出部３０３が算出した各特徴量とを用いてテンプレートマッチングを行う。

具体的には、まず、最上層テンプレートマッチング部３０５ａが、第１層特徴画像と第１層用のテンプレートを用いてマッチング処理を行う（ステップＳ５０５）。最上層テンプレートマッチング部３０５ａは、最も解像度の低い第１層用のテンプレートとして、標準テンプレートを用いる（図７の第１層参照）。図７に示す場合であれば、最上層テンプレートマッチング部３０５ａは、標準テンプレートを用いたマッチング処理の結果、正解候補となる標準テンプレート（２画素×２画素）を１個検出すると、検出結果を下層テンプレートマッチング部３０５ｂに通知する。

下層テンプレートマッチング部３０５ｂは、最上層テンプレートマッチング部３０５ａから通知される検出結果に基づき、第２層特徴画像の探索範囲を設定し、第２層特徴画像と第２層用のテンプレートを用いてマッチング処理を行う（ステップＳ５０６）。下層テンプレートマッチング部３０５ｂは、下層テンプレートとして、各テンプレート間で共通の共通テンプレートと、各テンプレート間での差異をあらわす識別テンプレートを用いる（図７の第２層参照）。図７に示す場合であれば、下層テンプレートマッチング部３０５ｂは、２０個の標準テンプレートに共通する共通テンプレート（４画素×４画素）を１個と、各標準テンプレートを識別するための２０個の識別テンプレート（１画素）を用いてマッチング処理を行う。

マッチング処理の回数は、既に説明したように、共通テンプレートのマッチング処理で１６回（＝４×４）、識別テンプレートのマッチング処理で２０回（＝１×２０）、合計３６回のマッチング処理で済み、標準テンプレートのみを利用して３４０回（＝１７×２０）のマッチング処理を行う従来例（図６参照）と比較して処理時間を約１／１０に短縮することができる。なお、低解像度画像における標準テンプレートを用いたマッチングの結果が信頼できる場合には、下層レベルでの共通テンプレートを用いたマッチング処理を省略し、識別テンプレートのみを用いたマッチング処理を行えば良い。図７に示す場合であれば、共通テンプレートを用いたマッチング処理（１６回）を省略し、識別テンプレートのみを用いたマッチング処理（２０回）を行うことで、マッチング処理のさらなる高速化を実現することができる。

ここで、上記例では、下層テンプレートマッチング部３０５ｂによるマッチング処理として、第２層画像のマッチング処理のみを例示したが、第３層画像、第４層画像が存在する場合には、これらの層画像に対しても同様な処理が行われる。例えば、第３層画像が存在する場合、下層テンプレートマッチング部３０５ｂは、第２層画像でのマッチング処理の結果に基づき、第３層特徴画像の探索範囲を設定し、第３層特徴画像と第３層用のテンプレートを用いてマッチング処理を行う。このような処理が行われる結果、最下層（図７に示す場合であれば第２層）における物体の存在位置を認識することが可能となる。

テンプレートマッチング部３０５は、物体の存在位置や姿勢などを認識すると、認識結果を示す認識情報を認識結果出力部３０６に出力する（ステップＳ５０７）。認識結果出力部３０６は、テンプレートマッチング部３０５から供給される認識情報を、外部装置や液晶パネルなどに出力する。認識情報は、例えば、物体２の検査・計測や、ピッキング・ロボットの制御などに利用される。

以上説明したように、本実施形態によれば、粗密探索によるテンプレートマッチングにおいて、下層レベルにおけるマッチング処理では、テンプレート間の共通部分を示す共通テンプレート及びテンプレート間の差異部分を示す識別テンプレートを用いたマッチング処理を行う。このように、標準テンプレート間の差異部分のみをあらわす識別テンプレートを用いたマッチングを利用することで、標準テンプレートによるマッチングを行う場合よりも処理速度を高速化することができる。

Ｂ．変形例
上記実施形態では、最上層レベル（低解像度画像）において、正解候補のテンプレートを１つに絞り込む場合について説明したが（図７に示す第１層参照）、これに限る趣旨ではない。例えば、低解像度画像（第１層画像）とのマッチング確率が閾値以上であるすべてのテンプレートを正解候補として選択し、下層レベル（高解像度画像）でのマッチング処理で正解（物体の位置や姿勢など）を得るようにしてもよい。

また、低解像度画像における標準テンプレートを用いたマッチングの結果が信頼できない場合には、高解像度画像における共通テンプレート及び識別テンプレートを用いたマッチングの結果を組み合わせることで、物体の認識精度を向上させても良い。

さらに、上記実施形態では、３次元ＣＡＤデータから得たテンプレートを用いることで、３次元における物体の位置・姿勢の認識（いわゆる３次元の物体認識）を行う場合について説明したが、２次元の物体認識にも適用可能である。例えば、不規則に積み重ったバラ積み物体の位置・姿勢を認識（３次元の物体認識）し、１つずつ取り出すバラ積みピッキングシステムや、重なりなく平置きされた物体の位置や姿勢（回転）を認識（２次元の物体認識）し、１つずつ取り出す平置きピッキングシステムなどにも適用可能である。

さらにまた、上記実施形態では、粗密探索によるテンプレートマッチングに適用した場合について説明したが、物体の位置の絞り込みを伴う粗密探索に限定する趣旨ではない。物体の種類や姿勢を段階的に絞り込むような（この場合、物体の位置の絞り込みを伴わない）、階層的なマッチング手法にも適用可能である。

なお、本明細書において、「部」とは、単に物理的構成を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的構成や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されてもよい。

また、本明細書において上述した各処理におけるステップは、処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

さらにまた、本明細書において説明した各処理を実施するプログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、画像処理装置１０に、上記プログラムをインストールすることができる。ここで、上記プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体は特に限定されないが、例えば、ＣＤ−ＲＯＭ等の記録媒体であっても良い。

（付記１）
少なくとも１つのハードウェアプロセッサを備え、テンプレートマッチングにより物体の認識を行う画像処理装置であって、
前記ハードウェアプロセッサは、所定のプログラムを実行することにより、
前記物体の入力画像を取得する画像取得部と、
それぞれ異なる視点から見た前記物体に対応する複数の標準テンプレートを作成する標準テンプレート作成部と、
前記各標準テンプレートの間での差異部分をあらわす複数の識別テンプレートを作成する識別テンプレート作成部と、
作成した前記複数の識別テンプレートを用いて前記物体の入力画像とのマッチングを行うテンプレートマッチング部として機能する、画像処理装置。
（付記２）
少なくとも１つのハードウェアプロセッサによって、テンプレートマッチングにより物体の認識を行う画像処理方法であって、
前記ハードウェアプロセッサは、
前記物体の入力画像を取得するステップと、それぞれ異なる視点から見た前記物体に対応する複数の標準テンプレートを作成するステップと、前記各標準テンプレートの間での差異部分をあらわす複数の識別テンプレートを作成するステップと、作成した前記複数の識別テンプレートを用いて前記物体の入力画像とのマッチングを行うステップとを実行する、画像処理方法。

１…物体認識装置、２…物体、３…トレイ、４…ＰＬＣ、１０…画像処理装置、１１…カメラ、１２…ディスプレイ、１３…マウス、１４…メモリカード、１１２…メインメモリ、１１４…ハードディスク、１１６…カメラインターフェイス、１１６ａ…画像バッファ、１１８…入力インターフェイス、１２０…表示コントローラ、１２２…インターフェイス、１２４…通信インターフェイス、１２６…ライタ、１２８…バス、２０…テンプレート作成装置、２０１…３次ＣＡＤ元データ取得部、２０２…標準テンプレート作成部、２０３…識別テンプレート作成部、２０４…記憶部、３０…物体認識処理装置、３０１…テンプレート情報取得部、３０２…画像取得部、３０３…画像ピラミッド生成部、３０４…特徴抽出部、３０５…テンプレートマッチング部、３０５ａ…最上層テンプレートマッチング部、３０５ｂ…下層テンプレートマッチング部、３０６…認識結果出力部

Claims (5)

1. テンプレートマッチングにより物体の認識を行う画像処理装置であって、
   前記物体の入力画像を取得する画像取得部と、
   それぞれ異なる視点から見た前記物体に対応する複数の標準テンプレートを作成する標準テンプレート作成部と、
   前記各標準テンプレートの間での差異部分をあらわす複数の識別テンプレートを作成する識別テンプレート作成部と、
   作成した前記複数の識別テンプレートを用いて前記物体の入力画像とのマッチングを行うテンプレートマッチング部と、
   前記物体の入力画像から、解像度を段階的に異ならせた低解像度画像と、前記低解像度画像よりも解像度の高い高解像度画像とを生成する画像ピラミッド生成部と、
   前記低解像度画像及び前記高解像度画像から、それぞれ特徴量を抽出する特徴抽出部とを具備し、
   前記標準テンプレート作成部は、
   前記低解像度画像に対応した低解像度用の前記複数の標準テンプレート、及び前記高解像度画像に対応した高解像度用の前記複数の標準テンプレートを作成し、
   前記識別テンプレート作成部は、
   前記高解像度用の前記複数の標準テンプレートに基づいて、前記高解像度用の前記複数の識別テンプレートを作成し、
   前記テンプレートマッチング部は、
   前記低解像度画像の前記特徴量と、低解像度用の前記複数の標準テンプレートとを用いてマッチングを行うことで正解候補の前記標準テンプレートの絞込みを行い、絞込み結果に基づいて前記高解像度画像における探索範囲を設定し、設定した探索範囲での前記高解像度画像の前記特徴量と、高解像度用の前記複数の識別テンプレートを用いてマッチングを行う、画像処理装置。
2. 前記識別テンプレート作成部は、
   前記複数の識別テンプレートのほか、前記各標準テンプレートの間での共通部分をあらわす共通テンプレートを作成し、
   前記テンプレートマッチング部は、
   作成した前記共通テンプレート及び前記複数の識別テンプレートを用いて前記物体の入力画像とのマッチングを行う、請求項１に記載の画像処理装置。
3. 粗密探索におけるテンプレートマッチングにより前記物体の認識を行う、請求項１または２に記載の画像処理装置。
4. テンプレートマッチングにより物体の認識を行う画像処理方法であって、
   前記物体の入力画像を取得する画像取得ステップと、
   それぞれ異なる視点から見た前記物体に対応する複数の標準テンプレートを作成する標準テンプレート作成ステップと、
   前記各標準テンプレートの間での差異部分をあらわす複数の識別テンプレートを作成する識別テンプレート作成ステップと、
   作成した前記複数の識別テンプレートを用いて前記物体の入力画像とのマッチングを行うテンプレートマッチングステップと、
   前記物体の入力画像から、解像度を段階的に異ならせた低解像度画像と、前記低解像度画像よりも解像度の高い高解像度画像とを生成する画像ピラミッド生成ステップと、
   前記低解像度画像及び前記高解像度画像から、それぞれ特徴量を抽出する特徴抽出ステップとを含み、
   前記標準テンプレート作成ステップにおいては、
   前記低解像度画像に対応した低解像度用の前記複数の標準テンプレート、及び前記高解像度画像に対応した高解像度用の前記複数の標準テンプレートを作成し、
   前記識別テンプレート作成ステップにおいては、
   前記高解像度用の前記複数の標準テンプレートに基づいて、前記高解像度用の前記複数の識別テンプレートを作成し、
   前記テンプレートマッチングにおいては、
   前記低解像度画像の前記特徴量と、低解像度用の前記複数の標準テンプレートとを用いてマッチングを行うことで正解候補の前記標準テンプレートの絞込みを行い、絞込み結果に基づいて前記高解像度画像における探索範囲を設定し、設定した探索範囲での前記高解像度画像の前記特徴量と、高解像度用の前記複数の識別テンプレートを用いてマッチングを行う、画像処理方法。
5. テンプレートマッチングにより物体の認識を行う画像処理を、コンピュータに実行させるためのプログラムであって、
   コンピュータに、
   前記物体の入力画像を取得する画像取得ステップと、
   それぞれ異なる視点から見た前記物体に対応する複数の標準テンプレートを作成する標準テンプレート作成ステップと、
   前記各標準テンプレートの間での差異部分をあらわす複数の識別テンプレートを作成する識別テンプレート作成ステップと、
   作成した前記複数の識別テンプレートを用いて前記物体の入力画像とのマッチングを行うテンプレートマッチングステップと、
   前記物体の入力画像から、解像度を段階的に異ならせた低解像度画像と、前記低解像度画像よりも解像度の高い高解像度画像とを生成する画像ピラミッド生成ステップと、
   前記低解像度画像及び前記高解像度画像から、それぞれ特徴量を抽出する特徴抽出ステップとを実行させ、
   前記標準テンプレート作成ステップにおいては、
   前記低解像度画像に対応した低解像度用の前記複数の標準テンプレート、及び前記高解像度画像に対応した高解像度用の前記複数の標準テンプレートを作成し、
   前記識別テンプレート作成ステップにおいては、
   前記高解像度用の前記複数の標準テンプレートに基づいて、前記高解像度用の前記複数の識別テンプレートを作成し、
   前記テンプレートマッチングにおいては、
   前記低解像度画像の前記特徴量と、低解像度用の前記複数の標準テンプレートとを用いてマッチングを行うことで正解候補の前記標準テンプレートの絞込みを行い、絞込み結果に基づいて前記高解像度画像における探索範囲を設定し、設定した探索範囲での前記高解像度画像の前記特徴量と、高解像度用の前記複数の識別テンプレートを用いてマッチングを行う、プログラム。