JP2023155753A - テンプレートマッチング装置、テンプレートマッチング方法およびテンプレートマッチングシステム - Google Patents

Abstract

【課題】撮像装置の移動に伴って撮像装置からの対象物の姿勢が可変となる状況下でも対象物の高精度なテンプレートマッチングを実現する。
【解決手段】テンプレートマッチング装置は、対象物を撮像かつ移動が可能な撮像装置の位置情報と対象物のテンプレートとを関連付けて複数記憶する記憶部との間で通信する通信部と、撮像装置の位置情報を取得する取得部と、撮像装置の位置情報を基に、記憶部に記憶されている複数のテンプレートの中から対象物のテンプレートマッチングに用いるテンプレートを予測する予測処理を行う予測部と、撮像装置により撮像された対象物の入力画像とテンプレートの予測結果とを用いて、テンプレートマッチングを行うマッチング部と、を備える。
【選択図】図６

Description

本開示は、テンプレートマッチング装置、テンプレートマッチング方法およびテンプレートマッチングシステムに関する。

工場内の生産工程では、ロボットハンド等のエンドエフェクタによりピッキングしようとする部品が正しい部品（例えば工業製品の生産に使用する部品）であるか否かを判定することがある。このような判定の際には、判定処理をできるだけ高速に行うことにより生産工程のタクトタイムを低下させないことが求められる。従来の判定処理として、例えば予め用意された部品のテンプレート（例えば画像）と工場内に設置されたカメラにより撮像された部品の画像とを比較してマッチング処理するテンプレートマッチング法が知られている。

特許文献１は、テンプレートマッチングにより物体の認識を行う物体認識装置で用いられるテンプレートのセットを作成するテンプレート作成装置を開示している。テンプレート作成装置は、一つの物体の異なる姿勢に対する複数の画像のそれぞれから複数のテンプレートを取得し、複数のテンプレートから選ばれる２つのテンプレート間の画像特徴の類似度を計算し、類似度に基づき複数のテンプレートを複数のグループに分けるクラスタリングを行う。テンプレート作成装置は、複数のグループのそれぞれについてグループ内の全てのテンプレートを１つの統合テンプレートへ統合し、グループごとに統合テンプレートを有したテンプレートセットを生成する。

特開２０１６－２０７１４７号公報

特許文献１では、物体認識装置は、階層的なテンプレートセットを作成し、解像度の低いテンプレートセットによるラフな認識を行い、その結果を用いて解像度の高いテンプレートセットによる詳細な認識を行う、といった階層的探索を行う。ところが、解像度の低いテンプレートセットを用いた認識処理、解像度の高いテンプレートセットを用いた認識処理のように少なくとも二段階でマッチング処理を行う必要があり、物体認識装置の処理負荷の増大を免れない。

また、上述した工場内の生産工程においてエンドエフェクタによりピッキングしようとする部品が正しい部品であるかを判定するためにエンドエフェクタおよびカメラを移動させてピッキングしようとする部品をカメラで撮像する際に、特許文献１の技術を適用しようとすると次のような課題が生じる。具体的には、エンドエフェクタの移動に伴ってカメラも移動するとなると、エンドエフェクタの位置変化に伴ってカメラからの部品の見え方（言い換えると、部品の姿勢）が変化する。このため、テンプレートマッチングの際に、エンドエフェクタの位置（言うなれば、カメラの位置）を考慮しなければ、予め生成されたテンプレートセットを使っても効率的なテンプレートマッチングを行うことができず、テンプレートマッチングの信頼性も向上しない。

本開示は、従来の事情に鑑みて案出され、撮像装置の移動に伴って撮像装置からの対象物の姿勢が可変となる状況下でも対象物の高精度なテンプレートマッチングを実現するテンプレートマッチング装置、テンプレートマッチング方法およびテンプレートマッチングシステムを提供することを目的とする。

本開示は、対象物を撮像かつ移動が可能な撮像装置の位置情報と前記対象物のテンプレートとを関連付けて複数記憶する記憶部との間で通信する通信部と、前記撮像装置の位置情報を取得する取得部と、前記撮像装置の位置情報を基に、前記記憶部に記憶されている複数の前記テンプレートの中から前記対象物のテンプレートマッチングに用いるテンプレートを予測する予測処理を行う予測部と、前記撮像装置により撮像された前記対象物の入力画像と前記テンプレートの前記予測処理の結果とを用いて、前記テンプレートマッチングを行うマッチング部と、を備える、テンプレートマッチング装置を提供する。

また、本開示は、テンプレートマッチング装置により実行されるテンプレートマッチング方法であって、対象物を撮像かつ移動が可能な撮像装置の位置情報と前記対象物のテンプレートとを関連付けて複数記憶する記憶部との間で通信するステップと、前記撮像装置の位置情報を取得するステップと、前記撮像装置の位置情報を基に、前記記憶部に記憶されている複数の前記テンプレートの中から前記対象物のテンプレートマッチングに用いるテンプレートを予測する予測処理を行うステップと、前記撮像装置により撮像された前記対象物の入力画像と前記テンプレートの予測処理の結果とを用いて、前記テンプレートマッチングを行うステップと、を有する、テンプレートマッチング方法を提供する。

また、本開示は、対象物を撮像かつ移動が可能な撮像装置と、前記撮像装置との間で通信可能に接続されるテンプレートマッチング装置と、を備え、前記テンプレートマッチング装置は、前記撮像装置の位置情報と前記対象物のテンプレートとを関連付けて複数記憶する記憶部との間で通信する通信部と、前記撮像装置の位置情報を取得する取得部と、前記撮像装置の位置情報を基に、前記記憶部に記憶されている複数の前記テンプレートの中から前記対象物のテンプレートマッチングに用いるテンプレートを予測する予測処理を行う予測部と、前記撮像装置により撮像された前記対象物の入力画像と前記テンプレートの予測処理の結果とを用いて、前記テンプレートマッチングを行うマッチング部と、を備える、テンプレートマッチングシステムを提供する。

本開示によれば、撮像装置の移動に伴って撮像装置からの対象物の姿勢が可変となる状況下でも対象物の高精度なテンプレートマッチングを実現できる。

ピッキングシステムの構成例を簡易的に示す図 実施の形態１に係るピッキングシステムの詳細な内部構成例を示すブロック図 実施の形態１に係る画像処理装置によるテンプレートの登録の動作手順例を示すフローチャート 実施の形態１においてディスプレイに表示されるテンプレート登録画面の一例を示す図 実施の形態２に係るピッキングシステムの詳細な内部構成例を示すブロック図 実施の形態２に係る画像処理装置によるテンプレートマッチングの動作手順例を示すフローチャート 実施の形態２においてディスプレイに表示されるマッチング結果画面の一例を示す図

（実施の形態１に至る経緯）
特開２０１６－２０７１４７号公報では、テンプレート作成装置を備える物体認識装置がカメラから取り込まれた画像を用いてコンベア上の物体を認識し、カメラ自体は生産ライン等に対して移動不能な固定箇所に設置されていることが想定されている。また、物体認識装置が実際にマッチング処理を行う際、グループごとの統合テンプレートからなるテンプレートセットがそのまま使用される。

ところが、上述した工場内の生産工程においてエンドエフェクタによりピッキングしようとする部品が正しい部品であるかを判定するためにエンドエフェクタおよびカメラを移動させてピッキングしようとする部品をカメラで撮像する際に、特開２０１６－２０７１４７号公報の技術を適用しようとすると次のような課題が生じる。具体的には、エンドエフェクタの移動に伴ってカメラも移動するとなると、エンドエフェクタの位置変化に伴ってカメラからの部品の見え方（言い換えると、部品の姿勢）が変化する。このため、テンプレートマッチングの際に、エンドエフェクタの位置（言うなれば、カメラの位置）を考慮しなければ、予め生成されたテンプレートセットを使っても効率的なテンプレートマッチングを行うことができず、テンプレートマッチングの信頼性も向上しない。

そこで、以下の実施の形態１では、撮像装置の移動に伴って撮像装置からの対象物の姿勢が可変となる状況下でもテンプレートマッチングに使用可能な対象物の高精度なテンプレートを登録するテンプレート登録装置、テンプレート登録方法およびテンプレート登録システムの例を説明する。

以下、添付図面を適宜参照しながら、本開示に係るテンプレート登録装置、テンプレート登録方法およびテンプレート登録システムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１：概要）
実施の形態１では、例えば工場内の生産工程において、ロボットハンド等のエンドエフェクタによりピッキングしようとする部品（例えば工業製品の生産に使用する部品）を正しく認識するか否かをテンプレートマッチングによって判定するに際して、テンプレートマッチングに必要となるテンプレートを登録するユースケースを例示して説明する。本開示に係るテンプレート登録装置（例えば画像処理装置）は、対象物を撮像かつ移動が可能な撮像装置により撮像された対象物の入力画像に基づく情報（後述参照）と撮像装置の位置情報とを取得し、対象物の入力画像に基づく情報（後述参照）をテンプレートマッチングに用いるテンプレートとして、撮像装置の位置情報と対象物の入力画像に基づく情報（後述参照）とを関連付けて記憶部に登録する。

（実施の形態１：詳細）
図１は、ピッキングシステム１００の構成例を簡易的に示す図である。図２は、実施の形態１に係るピッキングシステム１００の詳細な内部構成例を示すブロック図である。図２に示すように、ピッキングシステム１００（テンプレート登録システムの一例）は、アクチュエータＡＣＴ１と、カメラＣＡＭ１と、画像処理装置１０と、操作デバイス２０と、ディスプレイ３０と、テンプレート登録デバイス４０とを含む。アクチュエータＡＣＴ１と画像処理装置１０との間、カメラＣＡＭ１と画像処理装置１０との間、画像処理装置１０と操作デバイス２０との間、画像処理装置１０とディスプレイ３０との間、画像処理装置１０とテンプレート登録デバイス４０との間は、それぞれデータ信号の入出力（送受信）が可能となるように接続されている。

アクチュエータＡＣＴ１の制御に基づくカメラＣＡＭ１と対象物ＯＢ１との間の位置関係について、図１を参照して説明する。なお、図１の説明は、実施の形態１だけでなく後述する実施の形態２にも同様に適用可能である。

以下の説明において、対象物ＯＢ１は、工場内に配備されるピッキングシステム１００のエンドエフェクタＥＦ１によりピッキングされる対象物であり、例えば工業部品、工業製品である。工業部品であれば、例えばピッキングされた後に完成品を組み立てるために別のレーン（生産ライン）に移動される。工業製品であれば、例えばピッキングされた後に段ボール等の箱に収納される。なお、対象物ＯＢ１の種類は上述した工業部品、工業製品に限定されないことは言うまでもない。

図１に示すように、アクチュエータＡＣＴ１は、カメラＣＡＭ１を３次元的に移動可能に制御することにより、工場内の所定場所（例えば定盤ＦＬ１）に固定載置されている対象物ＯＢ１とカメラＣＡＭ１との間の位置関係を制御する。図１には、３次元位置（座標）を規定するため、Ｘ軸、Ｙ軸およびＺ軸からなる直交座標系が図示されている。なお、この直交座標系の原点は図１には図示が省略されている。Ｘ軸およびＹ軸が実空間上の水平面を構成し、Ｚ軸は水平面に垂直な重力方向と平行な方向を示す。Ｘ軸は図１の紙面左右方向であり、Ｙ軸はＸ軸に垂直な方向（言い換えると、図１の直交座標系の奥行き方向）である。

定盤ＦＬ１は、例えば床面等の水平な面を示すものであれば、その種類は特に限定されない。カメラＣＡＭ１の被写体である対象物ＯＢ１は、この定盤ＦＬ１上に固定載置されており、カメラＣＡＭ１とともに移動するエンドエフェクタＥＦ１（例えばロボットハンド）によりピッキングされる。

アクチュエータＡＣＴ１は、Ｘ軸方向に延伸しているＸレールＸＲＬ１に沿って移動可能なＸアームＸＤＲ１、Ｙ軸方向に延伸しているＹレール（図示略）に沿って移動可能なＹアームＹＤＲ１、Ｚ軸方向に延伸しているＺレールＺＲＬ１に沿って移動可能なＺアームＺＤＲ１のそれぞれを個別に移動可能に制御する。つまり、アクチュエータＡＣＴ１は、画像処理装置１０から送られる制御指令を基にしてエンドエフェクタＥＦ１およびカメラＣＡＭ１のそれぞれの３次元位置（座標）を認識、維持、変更を制御可能であり、エンドエフェクタＥＦ１およびカメラＣＡＭ１のそれぞれの３次元位置を示す座標（位置情報の一例）を画像処理装置１０に常時あるいは周期的に送る。

エンドエフェクタＥＦ１は、例えばピッキングシステム１００に対応して配備されたロボットアーム（図示略）の先端部に設けられているロボットハンドであり、アクチュエータＡＣＴ１の制御によって対象物ＯＢ１に近づくように移動し、対象物ＯＢ１をピッキングすることができる。

カメラＣＡＭ１（撮像装置の一例）は、エンドエフェクタＥＦ１のすぐ近傍に配置され、アクチュエータＡＣＴ１の制御によって対象物ＯＢ１に近づくようにエンドエフェクタＥＦ１とペアを構成して移動し、画角（言い換えると、視野範囲ＦＶ１）内に含まれる対象物ＯＢ１を撮像することができる。カメラＣＡＭ１は、視野範囲ＦＶ１内の被写体である対象物ＯＢ１を所定のフレームレートで撮像し、この撮像の度に得られた対象物ＯＢ１の撮像画像（入力画像の一例）を都度、画像処理装置１０に送る。

画像処理装置１０（テンプレート登録装置の一例）は、アクチュエータＡＣＴ１からの位置情報とカメラＣＡＭ１からの対象物ＯＢ１の撮像画像（入力画像）とを用いて所定の処理（図３参照）を実行可能なコンピュータにより構成される。例えば、画像処理装置１０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）でもよいし、上述した所定の処理に特化した専用のハードウェア機器でもよい。画像処理装置１０は、上述した所定の処理を行うことにより、カメラＣＡＭ１から入力されてくる撮像画像のうち一部の撮像画像を、対象物ＯＢ１のテンプレートマッチング（実施の形態２参照）に用いるテンプレートとしてテンプレート登録デバイス４０に登録（保存）する。また、画像処理装置１０は、テンプレートの登録の可否をユーザ（例えばテンプレートの登録に関する操作を行う人物）に委ねるために、テンプレートの登録に関するテンプレート登録画面ＷＤ１（図４参照）を生成してディスプレイ３０に表示する。このため、画像処理装置１０は、テンプレート登録画面ＷＤ１へのユーザ操作に基づいて、登録予定のテンプレート（図４参照）の登録を決定してもよいし、そのテンプレートを破棄してもよい。また、画像処理装置１０は、テンプレートマッチング結果と所定の移動経路マップ（図４参照）とにしたがって、エンドエフェクタＥＦ１およびカメラＣＡＭ１の移動を指令するための制御指令を生成してアクチュエータＡＣＴ１に送ってもよい。

操作デバイス２０は、ユーザ操作の入力を検知するインターフェースであり、例えばマウス、キーボードあるいはタッチパネルにより構成される。操作デバイス２０は、ユーザ操作を受け付けると、その操作に基づく信号を生成して画像処理装置１０に送る。

ディスプレイ３０は、画像処理装置１０により生成された表示用画面（図４参照）を出力（表示）するデバイスであり、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）あるいは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）デバイスにより構成される。

テンプレート登録デバイス４０（記憶部の一例）は、例えばフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。テンプレート登録デバイス４０は、画像処理装置１０により登録すると決定されたテンプレート（画像）のデータを、そのテンプレートに相当する撮像画像を撮像したカメラＣＡＭ１の位置情報（３次元位置）と関連付けて非一時的に保存する。テンプレート登録デバイス４０に保存される、それぞれのテンプレートのデータは、テンプレート（画像）のデータあるいはそのテンプレートが圧縮されたデータと、そのテンプレートに相当する撮像画像を撮像したカメラＣＡＭ１の位置情報と、そのテンプレートに対して特徴抽出部１２１（後述参照）によって抽出された複数の特徴点の位置情報および特徴量とを少なくとも有する。テンプレート（画像）のデータ、あるいは、テンプレートが圧縮されたデータ（例えばサムネイル等）とテンプレートに対して特徴抽出部１２１によって抽出された複数の特徴点の特徴量は、入力画像に基づく情報の一例である。なお、テンプレートの特徴点およびその特徴量は、登録されたものを使ってもよいし、都度参照する時に再計算して取得してもよい。

ここで、画像処理装置１０の内部構成について詳細に説明する。

画像処理装置１０は、通信インターフェース１１と、プロセッサ１２と、メモリ１３とを少なくとも含む。通信インターフェース１１と、プロセッサ１２と、メモリ１３とは、互いにデータ信号の入出力が可能となるようにデータ伝送バス（図示略）を介して接続されている。

通信インターフェース１１（取得部あるいは通信部の一例）は、アクチュエータＡＣＴ１と画像処理装置１０との間、カメラＣＡＭ１と画像処理装置１０との間、画像処理装置１０と操作デバイス２０との間、画像処理装置１０とディスプレイ３０との間、画像処理装置１０とテンプレート登録デバイス４０との間のデータ信号の入出力（送受信）を行う通信回路である。添付図面では、インターフェースを「Ｉ／Ｆ」と略記している。通信インターフェース１１は、アクチュエータＡＣＴ１からの位置情報を常時あるいは周期的に受信してプロセッサ１２あるいはメモリ１３に一時的に保存する。通信インターフェース１１は、カメラＣＡＭ１から都度入力されてくる撮像画像（例えば対象物ＯＢ１が映る画像）を受信してメモリ１３に一時的に保存する。通信インターフェース１１は、プロセッサ１２により生成されるテンプレート登録画面（図４参照）をディスプレイ３０に出力する。通信インターフェース１１は、プロセッサ１２により生成されるエンドエフェクタＥＦ１およびカメラＣＡＭ１の移動に関する制御指令をアクチュエータＡＣＴ１に送る。

プロセッサ１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、あるいはＦＧＰＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。プロセッサ１２は、画像処理装置１０の全体的な動作を司るコントローラとして機能し、画像処理装置１０の各部の動作を統括するための制御処理、画像処理装置１０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ１２は、メモリ１３に記憶されたプログラムおよび制御用データにしたがって動作したり、動作時にメモリ１３を使用し、プロセッサ１２が生成または取得したデータもしくは情報をメモリ１３に一時的に保存したり通信インターフェース１１を介して外部装置（例えばディスプレイ３０、テンプレート登録デバイス４０、アクチュエータＡＣＴ１）に送ったりする。例えば、プロセッサ１２は、メモリ１３に記憶されたプログラムおよび制御用データにしたがって、特徴抽出部１２１、特徴マッチング部１２２、ＭｏＳ計算部１２３、ＭａＳ計算部１２４、テンプレート登録判定部１２５およびコントロール部１２６を機能的に実現することができる。

特徴抽出部１２１は、カメラＣＡＭ１から入力されてくる撮像画像を対象として、その撮像画像ごとに、その撮像画像から対象物ＯＢ１に関する複数の特徴点（つまり、対象物ＯＢ１が映る撮像画像の中で、例えば回転変化、スケール変化、輝度変化が最大となる等の画像上の特徴点的な位置）を抽出する。この抽出方法は、例えばＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）等の公知のアルゴリズムを利用可能である。特徴抽出部１２１は、入力された１枚の撮像画像から複数個の特徴点を抽出し、その抽出結果（例えば撮像画像中における複数の特徴点のそれぞれの位置を示す点群データならびに特徴点ごとの特徴量。以下同様。）をプロセッサ１２あるいはメモリ１３に一時的に保存する。以下、特徴点の抽出結果（つまり、特徴点の位置情報および特徴量）を「特徴」と総称する場合がある。

特徴マッチング部１２２は、アクチュエータＡＣＴ１からの位置情報に対応するテンプレートをテンプレート登録デバイス４０から通信インターフェース１１を介して取得する。特徴マッチング部１２２は、特徴抽出部１２１による撮像画像上の特徴点の抽出結果とテンプレート登録デバイス４０から得られたテンプレートとを用いて、対象物ＯＢ１のテンプレートマッチングを行う。例えば、特徴マッチング部１２２は、撮像画像上の特徴点の抽出結果を、テンプレート登録デバイス４０からのテンプレート上の特徴点および特徴量と撮像画像上で新たに抽出された特徴点および特徴量とに区別可能に分離する。

ＭｏＳ計算部１２３（指標算出部の一例）は、テンプレートを撮像した時のカメラＣＡＭ１の位置とカメラＣＡＭ１から入力されてくる撮像画像を撮像した時のカメラＣＡＭ１の位置との差分（言い換えると、位置の類似度）を示す第１指標の一例としてのＭｏＳ（Ｍｏｖｉｎｇ Ｓｃｏｒｅ）を算出する。このＭｏＳは、カメラＣＡＭ１が登録予定位置（図４参照）に存在している時にカメラＣＡＭ１により撮像された撮像画像（入力画像）をテンプレートとしてテンプレート登録判定部１２５が登録するべきか否かを判定するために用いられる。つまり、既に登録されているテンプレートと類似度が高い撮像画像が入力されてもそのような撮像画像をテンプレートとして登録することを極力避けるために、画像処理装置１０はＭｏＳを算出する。ＭｏＳ計算部１２３は、例えば式（１）の計算式によってＭｏＳを算出する。

式（１）において、ｐｔ_ｆは、ｆ番目のテンプレートになり得るフレーム（つまり撮像画像）を撮像した時のカメラＣＡＭ１もしくはエンドエフェクタＥＦ１の位置を示す３次元の座標（ｘ_ｆ，ｙ_ｆ，ｚ_ｆ）である。ｆは、そのｆ番目のフレーム（つまり撮像画像）をテンプレートとして登録する予定の位置（登録予定位置）の番号を示し、例えば図４に示す位置Ｐ６に相当する。ｐｔ_ｔｍは、ｔｍ番目のテンプレートであるフレーム（つまり撮像画像）を撮像した時のカメラＣＡＭ１もしくはエンドエフェクタＥＦ１の位置を示す３次元の座標（ｘ_ｔｍ，ｙ_ｔｍ，ｚ_ｔｍ）である。ｔｍは、直前にテンプレートが登録された時の番号（例えば登録順を示す番号）を示し、例えば図４に示す位置Ｐ５に相当する。つまり、ＭｏＳは、登録予定位置とその直前のテンプレート登録位置（図４参照）との差分の逆数により算出される。したがって、エンドエフェクタＥＦ１およびカメラＣＭＡ１の直前のテンプレート登録位置と現在の登録予定位置との差分が大きい場合には、ＭｏＳが小さく、テンプレート登録判定部１２５は現在の登録予定位置の撮像画像をテンプレートとして登録すると判定（決定）する。一方、エンドエフェクタＥＦ１およびカメラＣＭＡ１の直前のテンプレート登録位置と現在の登録予定位置との差分が小さい場合には、ＭｏＳが大きく、テンプレート登録判定部１２５は現在の登録予定位置の撮像画像をテンプレートとして登録しないと判定（決定）する。

ＭａＳ計算部１２４（指標算出部の一例）は、テンプレート中の対象物ＯＢ１の特徴と撮像画像中の対象物ＯＢ１の特徴との間の画像相関（言い換えると、画像の類似度）を示す第２指標の一例としてのＭａＳ（Ｍａｔｃｈｉｎｇ Ｓｃｏｒｅ）を算出する。このＭａＳは、カメラＣＡＭ１が登録予定位置（図４参照）に存在している時にカメラＣＡＭ１により撮像された撮像画像（入力画像）をテンプレートとしてテンプレート登録判定部１２５が登録するべきか否かを判定するために用いられる。ＭａＳ計算部１２４は、例えば式（２）の計算式によってＭａＳを算出する。式（２）のＭ_ｊは式（３）の条件にしたがう。式（２）において、ＦＳ_ｊは、ｊ番目の特徴のマッチングスコアを示す。

つまり、ＭａＳは、直前のテンプレート登録位置（図４参照）に対応して登録されたテンプレート上の特徴と現在の登録予定位置（図４参照）に対応してカメラＣＡＭ１から入力された撮像画像上の特徴とのマッチング割合を示す。したがって、エンドエフェクタＥＦ１およびカメラＣＭＡ１の直前のテンプレート登録位置のテンプレートの特徴と現在の登録予定位置の入力された撮像画像の特徴との差分が大きい場合には、マッチ（整合）する特徴同士の数が少ないためＭａＳが小さくなりやすいため（言い換えると、Ｍ_ｊが０になるものが多い）、テンプレート登録判定部１２５は現在の登録予定位置の撮像画像をテンプレートとして登録すると判定（決定）する。一方、エンドエフェクタＥＦ１およびカメラＣＭＡ１の直前のテンプレート登録位置のテンプレートの特徴と現在の登録予定位置のテンプレートの特徴との差分が小さい場合には、マッチ（整合）する特徴同士の数が多いためＭａＳが大きくなりやすいため（言い換えると、Ｍ_ｊが０にならないものが多い）、テンプレート登録判定部１２５は現在の登録予定位置の撮像画像をテンプレートとして登録しないと判定（決定）する。

テンプレート登録判定部１２５（登録判定部の一例）は、ＭｏＳ計算部１２３によるＭｏＳの算出結果とメモリ１３に保存されている閾値Ｔｈ１との比較結果、またはＭａＳ計算部１２４によるＭａＳの算出結果とメモリ１３に保存されている閾値Ｔｈ２との比較結果を基に、現在の登録予定位置の撮像画像をテンプレートとして登録するか否かを判定（決定）する。テンプレート登録判定部１２５（制御部の一例）は、現在の登録予定位置の撮像画像をテンプレートとして登録すると判定（決定）した場合、その撮像画像のデータとその撮像画像を撮像したカメラＣＡＭ１の位置情報（登録予定位置）とその撮像画像に対して抽出された複数の特徴点の位置および特徴量を含む抽出結果とを少なくとも関連付けてテンプレート登録デバイス４０に登録（保存）する。なお、テンプレート登録判定部１２５は、さらに直前のテンプレート登録位置と現在の登録予定位置との距離差分値とカメラＣＡＭ１の移動方向とを関連付けてテンプレート登録デバイス４０に登録（保存）してもよい。

コントロール部１２６は、プロセッサ１２により実行される各種の処理の統合的な制御管理を司る。コントロール部１２６は、メモリ１３に予め保存されている移動経路マップＭＰ１（図４参照）にしたがって、エンドエフェクタＥＦ１およびカメラＣＡＭ１の移動量分の移動に関する制御指令を生成し、通信インターフェース１１を介してアクチュエータＡＣＴ１に送る。アクチュエータＡＣＴ１は、画像処理装置１０から送られた制御指令を基に、エンドエフェクタＥＦ１およびカメラＣＡＭ１を３次元的に移動するように制御する。コントロール部１２６は、テンプレートの登録に関するテンプレート登録画面ＷＤ１を生成し、通信インターフェース１１を介してディスプレイ３０に表示する。

メモリ１３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを少なくとも含み、画像処理装置１０の動作の実行に必要なプログラムおよび制御用データ、さらには、画像処理装置１０の各部が処理の実行中に生成あるいは取得したデータを一時的に保持する。ＲＡＭは、例えば画像処理装置１０の各部が処理の実行中に使用されるワークメモリである。ＲＯＭは、例えば画像処理装置１０の各部の処理を規定するプログラムおよび制御用データを予め保持する。なお、メモリ１３は、例えばフラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）をさらに備えてもよく、テンプレート登録デバイス４０に登録（保存）されているテンプレート（図４参照）と同じデータを保存してもよい。

次に、実施の形態１に係る画像処理装置１０によるテンプレートの登録の動作手順例について、図３を参照して説明する。図３は、実施の形態１に係る画像処理装置１０によるテンプレートの登録の動作手順例を示すフローチャートである。図３に示す処理は、主に画像処理装置１０のプロセッサ１２によって実行される。

図３において、プロセッサ１２は、変数としてｉを初期化する（ステップＳｔ１）。ｉは、登録されたテンプレートの番号を示す変数であって、０以上の整数であってｔｍまでの値をとる。つまり、ｔｍは直前に登録されたテンプレートの番号を示す。プロセッサ１２は、カメラＣＡＭ１からの撮像画像（入力画像）を入力して取得し（ステップＳｔ２）、さらに、アクチュエータＡＣＴ１から少なくともカメラＣＡＭ１の位置情報を入力して取得する（ステップＳｔ３）。プロセッサ１２は、ステップＳｔ２で取得された撮像画像（入力画像）の特徴点を抽出する（ステップＳｔ４）。

ｉがゼロ（０）より大きくない場合（ステップＳｔ５、ＮＯ）、つまりｉ＝０である場合（まだ１つのテンプレートも登録されていない場合）、プロセッサ１２は、ｉをインクリメントし（ステップＳｔ１０）、ステップＳｔ２で取得された撮像画像（入力画像）をテンプレートとしてテンプレート登録デバイス４０に登録する（ステップＳｔ１１）。

一方、ｉがゼロ（０）より大きい場合（ステップＳｔ５、ＹＥＳ）、プロセッサ１２は、ステップＳｔ２で取得されたカメラＣＡＭ１の撮像画像（入力画像）とその直前（つまり、第ｔｍ番目）の撮像画像であるテンプレートとの間で対象物ＯＢ１のテンプレートマッチングを行う（ステップＳｔ６）。プロセッサ１２は、テンプレート中の対象物ＯＢ１の特徴と撮像画像中の対象物ＯＢ１の特徴との間の画像相関（言い換えると、画像の類似度）を示す指標の一例としてのＭａＳを算出する（ステップＳｔ７）。また、プロセッサ１２は、テンプレートを撮像した時のカメラＣＡＭ１の位置とカメラＣＡＭ１から入力されてくる撮像画像を撮像した時のカメラＣＡＭ１の位置との差分（言い換えると、位置の類似度）を示す第１指標の一例としてのＭｏＳを算出する（ステップＳｔ８）。なお、ステップＳｔ７，Ｓｔ８の処理の実行順序は順不同である。

プロセッサ１２は、ステップＳｔ７で算出されたＭａＳが閾値Ｔｈ２より小さいという条件、および、ステップＳｔ８で算出されたＭｏＳが閾値Ｔｈ１より小さいという条件のうち少なくとも１つを満たすか否かを判定する（ステップＳｔ９）。ＭａＳが閾値Ｔｈ２より大きくかつＭｏＳが閾値Ｔｈ１より大きいと判定された場合（ステップＳｔ９、ＮＯ）、プロセッサ１２の処理はステップＳｔ１２に進む。

一方、プロセッサ１２は、ＭａＳが閾値Ｔｈ２より小さい、もしくは、ＭｏＳが閾値Ｔｈ１より小さいと判定した場合（ステップＳｔ９、ＹＥＳ）、ｉをインクリメントし（ステップＳｔ１０）、ステップＳｔ２で取得されたカメラＣＡＭ１の撮像画像（入力画像）を第ｉ番目（つまりインクリメント前のｉ）のテンプレートとしてテンプレート登録デバイス４０に登録する（ステップＳｔ１１）。アクチュエータＡＣＴ１によってエンドエフェクタＥＦ１が動作（例えば移動）継続中であるとプロセッサ１２により判定された場合には（ステップＳｔ１２、ＹＥＳ）、プロセッサ１２の処理はステップＳｔ２に戻る。一方、アクチュエータＡＣＴ１によってエンドエフェクタＥＦ１が動作（例えば移動）継続中ではないとプロセッサ１２により判定された場合には（ステップＳｔ１２、ＮＯ）、プロセッサ１２は、移動経路マップＭＰ１（図４参照）に沿った巡回が終了したらテンプレートの登録処理を終了する。これにより、図３に示すプロセッサ１２の処理は終了する。

なお、ステップＳｔ１１の時点で、プロセッサ１２は、図４に示すテンプレート登録画面ＷＤ１をディスプレイ３０に表示することにより、現在の登録予定地点のテンプレートの登録の可否をユーザ操作に委ねてもよい。

図４は、実施の形態１においてディスプレイ３０に表示されるテンプレート登録画面ＷＤ１の一例を示す図である。テンプレート登録画面ＷＤ１は、例えばプロセッサ１２のコントロール部１２６により生成される。テンプレート登録画面ＷＤ１は、移動経路マップ表示領域ＳＤ１と、登録予定のテンプレート表示領域ＳＤ２と、登録済みのテンプレート表示領域ＳＤ３と、登録ボタンＢＴ１と、破棄ボタンＢＴ２とを有する。

移動経路マップ表示領域ＳＤ１は、エンドエフェクタＥＦ１およびカメラＣＡＭ１のペアの移動経路（移動履歴）を示す移動経路マップＭＰ１を表示する。位置ｐ１，ｐ２，ｐ３，ｐ４，ｐ５のそれぞれは、過去にエンドエフェクタＥＦ１およびカメラＣＡＭ１のペアが位置した際にテンプレートの登録が実行された位置を示す。位置ｐ６は、登録予定位置（つまり、直前の登録位置（例えば位置ｐ５）で登録されたテンプレートとの関係において、位置ｐ６でカメラＣＡＭ１により撮像された撮像画像をテンプレートとして登録を行うか否かの判断対象となっている位置）を示す。位置ｐ７は、エンドエフェクタＥＦ１およびカメラＣＡＭ１のペアの現在（最新）の位置を示す。位置ｐ１～ｐ７のそれぞれの３次元の位置を示す座標は、アクチュエータＡＣＴ１から画像処理装置１０に入力されている。

登録予定のテンプレート表示領域ＳＤ２は、登録予定位置（上述参照）でカメラＣＡＭ１により撮像された撮像画像（入力画像）を品番（例えば「ＸＸ３８ＹＺ１Ｘ」）とともに示すテンプレートとして登録予定の撮像画像ＩＭＧ６を表示する。この登録予定の撮像画像ＩＭＧ６は、プロセッサ１２の特徴抽出部１２１において抽出された全ての特徴点のうち、特徴マッチング部１２２により得られた新たに抽出された特徴点（丸印参照）と直前のテンプレートで抽出された特徴点（三角印参照）とを区別可能に示す。したがって、ユーザは、この登録予定のテンプレート表示領域ＳＤ２を閲覧することにより、登録予定の撮像画像ＩＭＧ６には新たに抽出された特徴点の数あるいはその割合を視覚的に判別でき、登録予定の撮像画像ＩＭＧ６をテンプレートとして登録するべきか否かを分かりやすく決めることができる。

登録済みのテンプレート表示領域ＳＤ３は、過去の登録位置（図４の例では位置ｐ１～ｐ５）においてテンプレートの登録が実行された時のテンプレート登録画像ＴＰＬ１，ＴＰＬ２，…を表示する。テンプレート登録画像ＴＰＬ１，ＴＰＬ２，…のそれぞれは、対応するテンプレートＩＭＧ１，ＩＭＧ２，…のそれぞれを、そのテンプレートを撮像したカメラＣＡＭ１の位置（つまり、該当する登録位置の３次元座標）と関連付けて表示する。図４の例では、位置ｐ１に相当する３次元の座標Ｐ１Ｚ（０，０，０）でカメラＣＡＭ１により撮像された撮像画像が登録されたテンプレートＩＭＧ１を含むテンプレート登録画像ＴＰＬ１、位置ｐ２に相当する３次元の座標Ｐ２Ｚ（１，０，０）でカメラＣＡＭ１により撮像された撮像画像が登録されたテンプレートＩＭＧ２を含むテンプレート登録画像ＴＰＬ２、…が示されている。なお、図４では図示が省略されているが、ユーザは、スクロールバーＳＣＢ１，ＳＣＢ２を適宜ドラッグ操作してスクロール等することにより、他に登録されているテンプレート登録画像を表示できる。

登録ボタンＢＴ１は、登録予定のテンプレート表示領域ＳＤ２に表示されている登録予定の撮像画像ＩＭＧ６をテンプレートとして登録する際にユーザ操作により押下されるボタンである。つまり、画像処理装置１０のプロセッサ１２は、ユーザ操作により登録ボタンＢＴ１が押下されたことを検知することにより、登録予定の撮像画像ＩＭＧ６をテンプレートとして登録できる。

破棄ボタンＢＴ２は、登録予定のテンプレート表示領域ＳＤ２に表示されている登録予定の撮像画像ＩＭＧ６をテンプレートとして登録しない際にユーザ操作により押下されるボタンである。つまり、画像処理装置１０のプロセッサ１２は、ユーザ操作により破棄ボタンＢＴ２が押下されたことを検知することにより、登録予定の撮像画像ＩＭＧ６をテンプレートとして登録せずに済むことができる。

以上により、実施の形態１に係るピッキングシステム１００では、画像処理装置１０は、対象物ＯＢ１を撮像かつ移動が可能なカメラＣＡＭ１により撮像された対象物ＯＢ１の入力画像とカメラＣＡＭ１の位置情報とを取得する通信インターフェース１１と、対象物ＯＢ１の入力画像に基づく情報をテンプレートマッチングに用いるテンプレートとして、カメラＣＡＭ１の位置情報と対象物ＯＢ１の入力画像に基づく情報とを関連付けてテンプレート登録デバイス４０に登録するコントロール部１２６と、を備える。入力画像に基づく情報は、例えば、テンプレート（画像）のデータ、あるいは、テンプレートが圧縮されたデータ（例えばサムネイル等）とテンプレートに対して特徴抽出部１２１によって抽出された複数の特徴点の特徴量である。これにより、画像処理装置１０は、カメラＣＡＭ１の移動に伴ってカメラＣＡＭ１からの対象物ＯＢ１の姿勢が可変となる状況下でも、テンプレートマッチングに使用可能な対象物の高精度なテンプレートを登録できる。

また、コントロール部１２６は、カメラＣＡＭ１が移動する移動経路マップＭＰ１上の位置情報と対象物ＯＢ１の入力画像に基づく情報とを関連付けてテンプレート登録デバイス４０に登録する。これにより、画像処理装置１０は、所定の移動経路マップＭＰ１上を移動することにより変化し得るカメラＣＡＭ１の位置情報と対象物ＯＢ１の入力画像に基づく情報とを対応付けてテンプレートとして登録できる。

また、画像処理装置１０は、テンプレートの登録の可否を判定するテンプレート登録判定部１２５、をさらに備える。テンプレート登録判定部１２５は、カメラＣＡＭ１の位置情報ごとにテンプレートの登録の可否を判定する。これにより、画像処理装置１０は、カメラＣＡＭ１が移動する度に対象物ＯＢ１の見え方（言い換えると、姿勢）が変化することに鑑みて、姿勢の異なる多種類のテンプレートを登録でき、テンプレートマッチングの精度向上に貢献できる。

また、画像処理装置１０は、入力画像から対象物ＯＢ１の特徴を抽出する特徴抽出部１２１と、テンプレート登録デバイス４０に記憶されたテンプレートに映る対象物ＯＢ１の特徴と入力画像に映る対象物ＯＢ１の特徴点の抽出結果とのマッチング処理を行う特徴マッチング部１２２と、特徴マッチング部１２２のマッチング結果とカメラＣＡＭ１の位置情報とを基に、テンプレートの登録の可否を判定するテンプレート登録判定部１２５と、をさらに備える。これにより、画像処理装置１０は、入力画像およびテンプレートのそれぞれに出現する対象物ＯＢ１の特徴を比較することにより、テンプレートの登録の可否を高精度に判定できる。

また、画像処理装置１０は、テンプレートを撮像した時のカメラＣＡＭ１の位置と入力画像を撮像した時のカメラＣＡＭ１の位置との差分を示す第１指標（例えばＭｏＳ）と、テンプレート中の対象物ＯＢ１の特徴と入力画像中の対象物ＯＢ１の特徴との間の画像相関を示す第２指標（例えばＭａＳ）を算出する指標算出部をさらに備える。ここで、指標算出部は、例えばＭｏＳ計算部１２３、ＭａＳ計算部１２４に相当する。テンプレート登録判定部１２５は、第１指標および第２指標のそれぞれの算出結果のうち少なくとも１つとメモリ１３に予め保存されている閾値（例えば閾値Ｔｈ１あるいは閾値Ｔｈ２）との関係を基に、テンプレートの登録の可否を判定する。これにより、画像処理装置１０は、ＭｏＳおよびＭａＳのうち少なくとも１つを用いて、入力画像をテンプレートとして登録してよいか否かを適切に判定できる。

また、テンプレート登録判定部１２５は、第１指標および第２指標のそれぞれの算出結果のうち少なくとも１つ（例えばＭｏＳおよびＭａＳのうち少なくとも１つ）が閾値（例えば閾値Ｔｈ１あるいは閾値Ｔｈ２）未満であると判定された場合、入力画像をテンプレートとしてテンプレート登録デバイス４０に登録すると判定する。これにより、画像処理装置１０は、例えば指標がＭｏＳである場合、ＭｏＳが閾値Ｔｈ１未満であればカメラＣＭＡ１の直前のテンプレート登録位置と現在の登録予定位置との差分が大きいので、入力画像をテンプレートとして新たに登録することにより、過去に登録されているテンプレートのテンプレートマッチングへの使用に起因する精度劣化を避けることができる。また、画像処理装置１０は、例えば指標がＭａＳである場合、ＭａＳが閾値Ｔｈ２未満であればカメラＣＭＡ１の直前のテンプレート登録位置と現在の登録予定位置との差分が大きいので、入力画像をテンプレートとして新たに登録することにより、過去に登録されているテンプレートのテンプレートマッチングへの使用に起因する精度劣化を避けることができる。

また、テンプレート登録判定部１２５は、第１指標および第２指標のそれぞれの算出結果のうち少なくとも１つ（例えばＭｏＳおよびＭａＳのうち少なくとも１つ）が閾値（例えば閾値Ｔｈ１あるいは閾値Ｔｈ２）以上であると判定された場合、入力画像をテンプレートとしてテンプレート登録デバイス４０に登録しないと判定する。これにより、画像処理装置１０は、例えば指標がＭｏＳである場合、ＭｏＳが閾値Ｔｈ２以上であればカメラＣＭＡ１の直前のテンプレート登録位置と現在の登録予定位置との差分が小さいので、過去に登録されているテンプレートを流用してテンプレートマッチングを高精度に行える。また、画像処理装置１０は、例えば指標がＭａＳである場合、ＭａＳが閾値Ｔｈ２以上であればカメラＣＭＡ１の直前のテンプレート登録位置と現在の登録予定位置との差分が小さいので、過去に登録されているテンプレートを流用してテンプレートマッチングを高精度に行える。

また、テンプレートは、カメラＣＡＭ１により直前の登録位置で撮像された対象物ＯＢ１の入力画像である。これにより、画像処理装置１０は、カメラＣＡＭ１の移動量が多くないと考えることができる直前の登録位置で撮像された対象物ＯＢ１の入力画像をテンプレートとして使用できるので、今のカメラＣＡＭ１の位置で撮像された入力画像をテンプレートとして登録してよいか否かを適切に判定できる。

また、画像処理装置１０は、入力画像から対象物ＯＢ１の特徴を抽出する特徴抽出部１２１をさらに備える。テンプレート登録判定部１２５は、テンプレート中で抽出された対象物ＯＢ１の特徴と入力画像中で新たに抽出された対象物ＯＢ１の特徴とを異なる色で着色した入力画像をディスプレイ３０に表示する。これにより、ユーザは、登録予定位置の入力画像において抽出された特徴点のうちテンプレート中の特徴点との比較により新たに抽出された特徴点を視覚的に確認できるので、その登録予定位置の入力画像をテンプレートとして登録するべきか否かを適切に判断できる。

また、テンプレート登録判定部１２５は、少なくとも１つのテンプレートの登録位置を示すカメラＣＡＭ１の移動経路マップＭＰ１をディスプレイ３０に表示する。これにより、ユーザは、テンプレートを登録するためにカメラＣＡＭ１の移動経路マップＭＰ１に沿った移動経路およびテンプレートの登録を行った地点の位置情報を視覚的に確認できる。

また、テンプレート登録判定部１２５は、テンプレート登録デバイス４０に登録されたテンプレートごとに、テンプレートの登録位置を示すカメラＣＡＭ１の位置情報とテンプレートとを関連付けてディスプレイ３０に表示する。これにより、ユーザは、過去に登録されたテンプレートの一覧だけでなく、一つ一つのテンプレートに映る対象物ＯＢ１の姿勢を視覚的に確認できる。

（実施の形態２に至る経緯）
特開２０１６－２０７１４７号公報では、物体認識装置は、階層的なテンプレートセットを作成し、解像度の低いテンプレートセットによるラフな認識を行い、その結果を用いて解像度の高いテンプレートセットによる詳細な認識を行う、といった階層的探索を行う。ところが、解像度の低いテンプレートセットを用いた認識処理、解像度の高いテンプレートセットを用いた認識処理のように少なくとも二段階でマッチング処理を行う必要があり、物体認識装置の処理負荷の増大を免れない。

また、上述した工場内の生産工程においてエンドエフェクタによりピッキングしようとする部品が正しい部品であるかを判定するためにエンドエフェクタおよびカメラを移動させてピッキングしようとする部品をカメラで撮像する際に、特開２０１６－２０７１４７号公報の技術を適用しようとすると次のような課題が生じる。具体的には、エンドエフェクタの移動に伴ってカメラも移動するとなると、エンドエフェクタの位置変化に伴ってカメラからの部品の見え方（言い換えると、部品の姿勢）が変化する。このため、テンプレートマッチングの際に、エンドエフェクタの位置（言うなれば、カメラの位置）を考慮しなければ、予め生成されたテンプレートセットを使っても効率的なテンプレートマッチングを行うことができず、テンプレートマッチングの信頼性も向上しない。

そこで、以下の実施の形態２では、撮像装置の移動に伴って撮像装置からの対象物の姿勢が可変となる状況下でも対象物の高精度なテンプレートマッチングを実現するテンプレートマッチング装置、テンプレートマッチング方法およびテンプレートマッチングシステムの例を説明する。

（実施の形態２：概要）
実施の形態２では、例えば工場内の生産工程において、実施の形態１で説明した方法で登録されたテンプレートを用いて、ロボットハンド等のエンドエフェクタＥＦ１によりピッキングしようとする部品（対象物ＯＢ１の一例）が正しい部品（例えば工業製品の生産に使用する部品）であるか否かをテンプレートマッチングで判定する例を説明する。本開示に係るテンプレートマッチング装置は、対象物を撮像かつ移動が可能な撮像装置の位置情報と対象物のテンプレートとを関連付けて複数記憶する記憶部との間で通信し、撮像装置の位置情報を取得し、撮像装置の位置情報を基に、記憶部に記憶されている複数のテンプレートの中から対象物のテンプレートマッチングに用いるテンプレートを予測する予測処理を行い、撮像装置により撮像された対象物の入力画像とテンプレートの予測結果とを用いて、テンプレートマッチングを行う。

（実施の形態２：詳細）
図５は、実施の形態２に係るピッキングシステム１００Ａの詳細な内部構成例を示すブロック図である。図５に示すように、ピッキングシステム１００Ａ（テンプレートマッチングシステムの一例）は、アクチュエータＡＣＴ１と、カメラＣＡＭ１と、画像処理装置１０Ａと、操作デバイス２０と、ディスプレイ３０と、テンプレート登録デバイス４０とを含む。実施の形態１と同様に、アクチュエータＡＣＴ１と画像処理装置１０Ａとの間、カメラＣＡＭ１と画像処理装置１０Ａとの間、画像処理装置１０Ａと操作デバイス２０との間、画像処理装置１０Ａとディスプレイ３０との間、画像処理装置１０Ａとテンプレート登録デバイス４０との間は、それぞれデータ信号の入出力（送受信）が可能となるように接続されている。

実施の形態２の説明において、実施の形態１に係るピッキングシステム１００の構成と同一の構成には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

画像処理装置１０Ａ（テンプレートマッチング装置の一例）は、アクチュエータＡＣＴ１からの位置情報とカメラＣＡＭ１からの対象物ＯＢ１の撮像画像（入力画像）とを用いて所定の処理（図６参照）を実行可能なコンピュータにより構成される。例えば、画像処理装置１０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）でもよいし、上述した所定の処理に特化した専用のハードウェア機器でもよい。画像処理装置１０Ａは、上述した所定の処理を行うことにより、カメラＣＡＭ１から入力されてくる撮像画像のテンプレートマッチングに用いるテンプレートを予測し、予測されたテンプレートと入力された撮像画像とを用いてテンプレートマッチングを行う。また、画像処理装置１０は、テンプレートマッチングの処理結果を示すマッチング結果画面ＷＤ２（図７参照）を生成してディスプレイ３０に表示する。また、画像処理装置１０Ａは、テンプレートマッチング結果と所定の移動経路マップ（図７参照）とにしたがって、エンドエフェクタＥＦ１およびカメラＣＡＭ１の移動を指令するための制御指令を生成してアクチュエータＡＣＴ１に送ってもよい。

テンプレート登録デバイス４０（記憶部の一例）は、例えばフラッシュメモリ、ＨＤＤあるいはＳＳＤである。テンプレート登録デバイス４０は、実施の形態１で説明した方法によってテンプレートマッチングに使用するように登録されたテンプレート（画像）のデータを、そのテンプレートに相当する撮像画像を撮像したカメラＣＡＭ１の位置情報（３次元位置）と関連付けて非一時的に保存する。テンプレート登録デバイス４０に保存される、それぞれのテンプレートのデータは、テンプレート（画像）のデータあるいはそのテンプレートが圧縮されたデータと、そのテンプレートに相当する撮像画像を撮像したカメラＣＡＭ１の位置情報および特徴量と、そのテンプレートに対して特徴抽出部１２１によって抽出された複数の特徴点の位置情報とを少なくとも有する。

ここで、画像処理装置１０Ａの内部構成について詳細に説明する。

画像処理装置１０Ａは、通信インターフェース１１と、プロセッサ１２Ａと、メモリ１３とを少なくとも含む。通信インターフェース１１と、プロセッサ１２Ａと、メモリ１３とは、互いにデータ信号の入出力が可能となるようにデータ伝送バス（図示略）を介して接続されている。

プロセッサ１２Ａは、例えばＣＰＵ、ＧＰＵ、ＤＳＰ、あるいはＦＧＰＡである。プロセッサ１２Ａは、画像処理装置１０Ａの全体的な動作を司るコントローラとして機能し、画像処理装置１０Ａの各部の動作を統括するための制御処理、画像処理装置１０Ａの各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ１２Ａは、メモリ１３に記憶されたプログラムおよび制御用データにしたがって動作したり、動作時にメモリ１３を使用し、プロセッサ１２Ａが生成または取得したデータもしくは情報をメモリ１３に一時的に保存したり通信インターフェース１１を介して外部装置（例えばディスプレイ３０、テンプレート登録デバイス４０、アクチュエータＡＣＴ１）に送ったりする。例えば、プロセッサ１２Ａは、メモリ１３に記憶されたプログラムおよび制御用データにしたがって、特徴抽出部１２１、特徴マッチング部１２２、コントロール部１２６、位置フィッティング部１２７、テンプレート予測部１２８およびテンプレート更新判定部１２９を機能的に実現することができる。

位置フィッティング部１２７は、特徴マッチング部１２２によるマッチング結果（図７参照）を基に、カメラＣＡＭ１の現在位置（図７参照）にて撮像された撮像画像（入力画像）に映る対象物ＯＢ１の位置を近似するフィッティング処理を行う。対象物ＯＢ１の位置は、例えば対象物ＯＢ１の中心位置を中心とした所定径の長さを有する円形状の範囲である。このフィッティング処理の結果は、例えばコントロール部１２６によるマッチング結果画面ＷＤ２の生成時に参照される。

テンプレート予測部１２８（予測部の一例）は、アクチュエータＡＣＴ１から常時あるいは周期的に送られるカメラＣＡＭ１の３次元座標からなる位置情報（つまり、カメラＣＡＭ１の移動量）と前回（直前）の特徴マッチング部１２２によるマッチング処理の結果とのうちいずれか１つまたはその両方を基に、テンプレート登録デバイス４０に登録されている複数のテンプレートの中で特徴マッチング部１２２が用いるテンプレートマッチング用のテンプレートを予測する。例えば、テンプレート予測部１２８は、カメラＣＡＭ１の３次元座標からなる位置情報を基に、その位置情報に対応する登録済みのテンプレートをテンプレートマッチング用のテンプレートとして予測する。また、テンプレート予測部１２８は、前回（直前）のマッチング処理の結果を用いてＭａＳ（実施の形態１参照）を算出し、このＭａＳが例えばメモリ１３に保存されている閾値Ｔｈ３以上であると判定した場合、特徴マッチング部１２２がテンプレートマッチングに用いたテンプレートをテンプレートマッチング用のテンプレートとして予測する。なお、テンプレート予測部１２８によるテンプレートの予測方法は上述した方法に限定されなくてもよい。

テンプレート更新判定部１２９（更新判定部の一例）は、次の特徴マッチング部１２２によるマッチング処理に用いるテンプレートとして、ユーザの操作に基づいて操作デバイス２０により指定されたテンプレートか、あるいは、テンプレート予測部１２８により予測されたテンプレートを用いるかを判定する。例えば、第１番目のカメラＣＡＭ１からのフレームの場合には、テンプレート更新判定部１２９は、次の特徴マッチング部１２２によるマッチング処理に用いるテンプレートとして、ユーザの操作に基づいて操作デバイス２０により指定されたテンプレートを用いると判定する。第２番目以降のカメラＣＡＭ１からのフレームの場合には、テンプレート更新判定部１２９は、次の特徴マッチング部１２２によるマッチング処理に用いるテンプレートとして、テンプレート予測部１２８により予測されたテンプレートを用いるかを判定する。

次に、実施の形態２に係る画像処理装置１０Ａによるテンプレートマッチングの動作手順例について、図６を参照して説明する。図６は、実施の形態２に係る画像処理装置１０Ａによるテンプレートマッチングの動作手順例を示すフローチャートである。図６に示す処理は、主に画像処理装置１０Ａのプロセッサ１２Ａによって実行される。

図６において、プロセッサ１２Ａは、カメラＣＡＭ１から撮像画像（入力画像）を入力して取得し（ステップＳｔ２１）、さらに、アクチュエータＡＣＴ１から少なくともカメラＣＡＭ１の位置情報を入力して取得する（ステップＳｔ２２）。プロセッサ１２Ａは、ステップＳｔ２１で取得された撮像画像（入力画像）の特徴を抽出する（ステップＳｔ２３）。

第１番目のカメラＣＡＭ１からのフレームである場合（ステップＳｔ２４、ＹＥＳ）、プロセッサ１２Ａは、マッチング結果画面ＷＤ２に表示されている移動経路マップＭＰ２上の登録位置における登録済みのテンプレートの中からユーザ操作により選択されたテンプレートを取得する（ステップＳｔ２５）。ステップＳｔ２５の後、プロセッサ１２Ａの処理はステップＳｔ２７に進む。

一方、第１番目のカメラＣＡＭ１からのフレームではない（つまり、第２番目以降のカメラＣＡＭ１からのフレームである）場合（ステップＳｔ２４、ＮＯ）、プロセッサ１２Ａは、カメラＣＡＭ１の３次元座標（つまり、位置情報の変化量である移動量）と前回（直前）の特徴マッチング部１２２によるマッチング処理の結果とを基に、テンプレート登録デバイス４０に登録されている複数のテンプレートの中で特徴マッチング部１２２が用いるテンプレートマッチング用のテンプレートを予測する（ステップＳｔ２６）。プロセッサ１２Ａは、予測されたテンプレート（つまり、登録済みのテンプレート）をテンプレート登録デバイス４０から読み出して取得する（ステップＳｔ２６）。

プロセッサ１２Ａは、ステップＳｔ２３で取得された撮像画像（入力画像）とステップＳｔ２６で取得されたテンプレートの予測結果（つまり、登録済みのテンプレート）とを用いて、対象物ＯＢ１のテンプレートマッチングを行う（ステップＳｔ２７）。プロセッサ１２Ａは、ステップＳｔ２７のテンプレートマッチングの処理結果（マッチング結果）を基に、対象物ＯＢ１の位置を近似するフィッティング処理を行う（ステップＳｔ２８）。プロセッサ１２Ａは、テンプレートマッチングの処理結果およびフィッティング処理の結果をマッチング結果画面ＷＤ２に表示する。

プロセッサ１２Ａは、ステップＳｔ２８のフィッティング処理の結果を基に、エンドエフェクタＥＦ１およびカメラＣＡＭ１の移動量を調整および決定する（ステップＳｔ２９）。さらに、プロセッサ１２Ａは、エンドエフェクタＥＦ１およびカメラＣＡＭ１の移動を制御するための制御指令を生成し、通信インターフェース１１を介してアクチュエータＡＣＴ１に送る（ステップＳｔ２９）。アクチュエータＡＣＴ１は、画像処理装置１０からの制御指令を基に、その制御指令で定められる移動量分、エンドエフェクタＥＦ１およびカメラＣＡＭ１の移動を制御する。

アクチュエータＡＣＴ１によってエンドエフェクタＥＦ１およびカメラＣＡＭ１の移動動作が継続中であるとプロセッサ１２Ａにより判定された場合には（ステップＳｔ３０、ＹＥＳ）、プロセッサ１２の処理はステップＳｔ２１に戻る。一方、アクチュエータＡＣＴ１によってエンドエフェクタＥＦ１およびカメラＣＡＭ１の移動動作が継続中ではないとプロセッサ１２Ａにより判定された場合には（ステップＳｔ３０、ＮＯ）、図６に示すプロセッサ１２Ａの処理は終了する。

なお、ステップＳｔ２８あるいはステップＳｔ２９の時点で、プロセッサ１２Ａは、図７に示すマッチング結果画面ＷＤ２をディスプレイ３０に表示することにより、カメラＣＡＭ１の現在位置でのマッチング結果をユーザに視覚的に報知してもよい。

図７は、実施の形態２においてディスプレイに表示されるマッチング結果画面ＷＤ２の一例を示す図である。マッチング結果画面ＷＤ２は、例えばプロセッサ１２Ａのコントロール部１２６により生成される。マッチング結果画面ＷＤ２は、移動経路マップ表示領域ＳＤ１Ａと、マッチング結果表示領域ＳＤ４と、登録済みのテンプレート表示領域ＳＤ３Ａと、使用ボタンＢＴ３とを有する。

移動経路マップ表示領域ＳＤ１Ａは、エンドエフェクタＥＦ１およびカメラＣＡＭ１のペアの移動経路（移動履歴）を示す移動経路マップＭＰ２を表示する。位置ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ７，ｐ８，ｐ９，ｐ１０，ｐ１１，ｐ１２，ｐ１３，ｐ１４，ｐ１５のそれぞれは、エンドエフェクタＥＦ１およびカメラＣＡＭ１のペアが位置した際にテンプレートの登録が過去に実行された位置を示す。位置ｐ６は、エンドエフェクタＥＦ１およびカメラＣＡＭ１の移動経路ＲＬ１上の現在の位置であり、図７のマッチング結果画面ＷＤ２が生成された時にエンドエフェクタＥＦ１およびカメラＣＡＭ１が現在存在している位置（つまり、現在位置）である。位置ｐ１～ｐ５，ｐ７～ｐ１５のそれぞれの３次元の位置を示す座標は、テンプレートのデータ（上述参照）が登録されているテンプレート登録デバイス４０から画像処理装置１０に入力されている。一方、現在位置である位置ｐ６を示す座標は、アクチュエータＡＣＴ１から画像処理装置１０に入力される。

マッチング結果表示領域ＳＤ４は、現在位置（例えば位置ｐ６）でカメラＣＡＭ１により撮像された品番（例えば「ＸＸ３８ＹＺ１Ｘ」）の対象物が映る撮像画像ＩＭＧ６とテンプレートマッチングに用いたテンプレートＴＰＬ５（例えば現在位置の一つ前の位置ｐ５に対応するテンプレート）との間のマッチング結果を示す。例えばマッチング結果表示領域ＳＤ４は、撮像画像ＩＭＧ６中で抽出された１３個の特徴点のうちテンプレートＴＰＬ５を用いたテンプレートマッチングにおいて９個の特徴点がマッチ（つまり整合）したことを示している。つまり、マッチングレートは９／１３＝６９．２％となる。したがって、ユーザは、このマッチング結果表示領域ＳＤ４を閲覧することにより、カメラＣＡＭ１の現在位置の撮像画像ＩＭＧ６とテンプレートマッチングに用いたテンプレートＴＰＬ５との間でどの特徴点が整合してどの程度マッチしているかを視覚的に判別できる。

登録済みのテンプレート表示領域ＳＤ３Ａは、過去の登録位置（図４の例では位置ｐ１～ｐ５，ｐ７～ｐ１５）においてテンプレートの登録が実行された時のテンプレート登録画像ＴＰＬ１，ＴＰＬ２，…，ＴＰＬ７，ＴＰＬ８，ＴＰＬ９，ＴＰＬ１０，…を表示する。テンプレート登録画像ＴＰＬ１，ＴＰＬ２，…，ＴＰＬ７，ＴＰＬ８，ＴＰＬ９，ＴＰＬ１０，…のそれぞれは、対応するテンプレートＩＭＧ１，ＩＭＧ２，…，ＩＭＧ７，ＩＭＧ８，ＩＭＧ９，ＩＭＧ１０，…のそれぞれを、そのテンプレートを撮像したカメラＣＡＭ１の位置（つまり、該当する登録位置の３次元座標）と関連付けて表示する。図７の例では、位置ｐ１に相当する３次元の座標Ｐ１Ｚ（０，０，０）でカメラＣＡＭ１により撮像された撮像画像が登録されたテンプレートＩＭＧ１を含むテンプレート登録画像ＴＰＬ１、位置ｐ２に相当する３次元の座標Ｐ２Ｚ（１，０，０）でカメラＣＡＭ１により撮像された撮像画像が登録されたテンプレートＩＭＧ２を含むテンプレート登録画像ＴＰＬ２、…、位置ｐ７に相当する３次元の座標Ｐ７Ｚ（１，０，１）でカメラＣＡＭ１により撮像された撮像画像が登録されたテンプレートＩＭＧ７を含むテンプレート登録画像ＴＰＬ７、位置ｐ８に相当する３次元の座標Ｐ８Ｚ（０，０，１）でカメラＣＡＭ１により撮像された撮像画像が登録されたテンプレートＩＭＧ８を含むテンプレート登録画像ＴＰＬ８、位置ｐ９に相当する３次元の座標Ｐ９Ｚ（０，０，２）でカメラＣＡＭ１により撮像された撮像画像が登録されたテンプレートＩＭＧ９を含むテンプレート登録画像ＴＰＬ９、位置ｐ１０に相当する３次元の座標Ｐ１０Ｚ（１，０，２）でカメラＣＡＭ１により撮像された撮像画像が登録されたテンプレートＩＭＧ１０を含むテンプレート登録画像ＴＰＬ２、…が示されている。なお、図７では図示が省略されているが、ユーザは、スクロールバーＳＣＢ１，ＳＣＢ２を適宜ドラッグ操作してスクロール等することにより、他に登録されているテンプレート登録画像を表示できる。

使用ボタンＢＴ３は、登録済みのテンプレート表示領域ＳＤ３Ａに表示されているテンプレート登録画像の中からユーザ操作により選択されたテンプレート登録画像がテンプレートマッチングに使用される際に押下されるボタンである。つまり、画像処理装置１０のプロセッサ１２は、ユーザ操作によりいずれか一つのテンプレート画像が選択された上で使用ボタンＢＴ３が押下されたことを検知することにより、その選択されたテンプレート画像をテンプレートマッチングに使用できる。

以上により、実施の形態２に係るピッキングシステム１００Ａでは、画像処理装置１０Ａは、対象物ＯＢ１を撮像かつ移動が可能なカメラＣＡＭ１の位置情報と対象物ＯＢ１のテンプレートとを関連付けて複数記憶するテンプレート登録デバイス４０との間で通信する通信部（例えば通信インターフェース１１）と、カメラＣＡＭ１の位置情報を取得する取得部（例えば通信インターフェース１１）と、カメラＣＡＭ１の位置情報を基に、テンプレート登録デバイス４０に記憶されている複数のテンプレートの中から対象物ＯＢ１のテンプレートマッチングに用いるテンプレートを予測する予測処理を行うテンプレート予測部１２８と、カメラＣＡＭ１により撮像された対象物ＯＢ１の入力画像とテンプレートの予測処理の結果とを用いて、テンプレートマッチングを行うマッチング部（例えば特徴マッチング部１２２）と、を備える。これにより、画像処理装置１０Ａは、カメラＣＡＭ１の移動に伴ってカメラＣＡＭ１からの対象物ＯＢ１の姿勢が可変となる状況下でも、対象物ＯＢ１の高精度なテンプレートマッチングを実現できる。

また、特徴マッチング部１２２は、操作デバイス２０により指定されたテンプレートを用いてテンプレートマッチングを行う。これにより、画像処理装置１０Ａは、例えば初めてテンプレートマッチングを行う場合でも、ユーザが操作デバイス２０を用いて選択したテンプレートを用いて効率的にテンプレートマッチングを行える。

また、テンプレート予測部１２８は、カメラＣＡＭ１が移動する度に、カメラＣＡＭ１の位置情報を取得し、かつ、その取得された位置情報を用いてテンプレートの予測処理を行う。これにより、画像処理装置１０Ａは、カメラＣＡＭ１が移動する度にテンプレートマッチングに使用する適切なテンプレートを予測して選択できる。

また、画像処理装置１０Ａは、入力画像から対象物ＯＢ１の特徴を抽出する特徴抽出部１２１をさらに備える。特徴マッチング部１２２は、テンプレートの予測処理の結果に映る対象物ＯＢ１の特徴と入力画像に映る対象物ＯＢ１の特徴の抽出結果とのマッチング処理であるテンプレートマッチングを行う。これにより、画像処理装置１０Ａは、入力画像およびテンプレートのそれぞれに出現する対象物ＯＢ１の特徴を比較することにより、テンプレートマッチングに使用する適切なテンプレートを予測できる。

また、画像処理装置１０Ａは、カメラＣＡＭ１の位置情報に基づく移動方向とテンプレートマッチングの結果とのうちいずれか一方を基に、テンプレートマッチングに用いるテンプレートを更新するか否かを決定するテンプレート更新判定部１２９をさらに備える。これにより、画像処理装置１０Ａは、テンプレートマッチングに使用するテンプレートの更新（言い換えると、他のテンプレートへの切り替え）の要否を適切に判定できる。

また、特徴マッチング部１２２は、カメラＣＡＭ１の一定区間の移動中、同一のテンプレートを用いてテンプレートマッチングを行う。これにより、画像処理装置１０Ａは、例えばカメラＣＡＭ１が微小距離等の一定区間の移動中であれば、カメラＣＡＭ１から見た対象物ＯＢ１の見え方（言い換えると、姿勢）がほぼ不変とみなすことができ、現在使用中のテンプレートをそのまま使用してテンプレートの更新の要否判定もしくはその更新に要する処理負荷の増大を抑制できる。

また、画像処理装置１０Ａは、入力画像から対象物ＯＢ１の特徴を抽出する特徴抽出部１２１と、テンプレートの予測処理の結果と入力画像とを対比的にディスプレイ３０に表示するコントロール部１２６とをさらに備える。コントロール部１２６は、テンプレートの予測処理の結果中で抽出された対象物ＯＢ１の特徴と入力画像中で抽出された対象物ＯＢ１の特徴とのうち同一の特徴点を識別可能に結線して表示する。これにより、ユーザは、ディスプレイ３０に対比的に表示された特徴点のマッチング状況（例えばマッチしている特徴点の数、割合）を視覚的に判断でき、カメラＣＡＭ１の現在位置の撮像画像とテンプレートマッチングに用いたテンプレートとの間でどの特徴点が整合してどの程度マッチしているかを視覚的に判別できる。

また、画像処理装置１０Ａは、カメラＣＡＭ１の移動経路マップＭＰ２をディスプレイ３０に表示するコントロール部１２６をさらに備える。これにより、ユーザは、ピッキングシステム１００ＡにおいてエンドエフェクタＥＦ１が対象物ＯＢ１をピッキングするためにどのような経路で移動しているかを視覚的に判別できる。

また、画像処理装置１０Ａは、テンプレート登録デバイス４０に登録されたテンプレートごとに、テンプレートの登録位置を示すカメラＣＡＭ１の位置情報とテンプレートとを関連付けてディスプレイ３０に表示するコントロール部１２６をさらに備える。これにより、ユーザは、過去に登録されたテンプレートの一覧だけでなく、一つ一つのテンプレートに映る対象物ＯＢ１の姿勢を視覚的に確認できる。

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、撮像装置の移動に伴って撮像装置からの対象物の姿勢が可変となる状況下でもテンプレートマッチングに使用可能な対象物の高精度なテンプレートを登録するテンプレート登録装置、テンプレート登録方法およびテンプレート登録システムとして有用である。

１０、１０Ａ 画像処理装置
１１ 通信インターフェース
１２、１２Ａ プロセッサ
１３ メモリ
２０ 操作デバイス
３０ ディスプレイ
４０ テンプレート登録デバイス
１００、１００Ａ ピッキングシステム
１２１ 特徴抽出部
１２２ 特徴マッチング部
１２３ ＭｏＳ計算部
１２４ ＭａＳ計算部
１２５ テンプレート登録判定部
１２６ コントロール部
１２７ 位置フィッティング部
１２８ テンプレート予測部
１２９ テンプレート更新判定部
ＡＣＴ１ アクチュエータ
ＣＡＭ１ カメラ

Claims (12)

1. 対象物を撮像かつ移動が可能な撮像装置の位置情報と前記対象物のテンプレートとを関連付けて複数記憶する記憶部との間で通信する通信部と、
   前記撮像装置の位置情報を取得する取得部と、
   前記撮像装置の位置情報を基に、前記記憶部に記憶されている複数の前記テンプレートの中から前記対象物のテンプレートマッチングに用いるテンプレートを予測する予測処理を行う予測部と、
   前記撮像装置により撮像された前記対象物の入力画像と前記テンプレートの前記予測処理の結果とを用いて、前記テンプレートマッチングを行うマッチング部と、を備える、
   テンプレートマッチング装置。
2. 前記マッチング部は、操作デバイスにより指定されたテンプレートを用いて前記テンプレートマッチングを行う、
   請求項１に記載のテンプレートマッチング装置。
3. 前記予測部は、前記撮像装置が移動する度に、前記撮像装置の位置情報を取得し、かつその取得された前記位置情報を用いて前記テンプレートの前記予測処理を行う、
   請求項１に記載のテンプレートマッチング装置。
4. 前記入力画像から前記対象物の特徴点を抽出する特徴抽出部、をさらに備え、
   前記マッチング部は、前記テンプレートの前記予測処理の結果あるいは操作デバイスにより指定されたテンプレートに映る前記対象物の特徴と前記入力画像に映る前記対象物の特徴の抽出結果とのマッチング処理である前記テンプレートマッチングを行う、
   請求項１に記載のテンプレートマッチング装置。
5. 前記撮像装置の位置情報に基づく移動方向と前記テンプレートマッチングの結果とのうちいずれか一方を基に、前記テンプレートマッチングに用いるテンプレートを更新するか否かを決定する更新判定部、をさらに備える、
   請求項４に記載のテンプレートマッチング装置。
6. 前記マッチング部は、前記撮像装置の一定区間の移動中、同一の前記テンプレートを用いて前記テンプレートマッチングを行う、
   請求項１に記載のテンプレートマッチング装置。
7. 前記入力画像から前記対象物の特徴を抽出する特徴抽出部と、
   前記テンプレートの予測処理の結果と前記入力画像とを対比的にディスプレイに表示する制御部と、をさらに備え、
   前記制御部は、前記テンプレートの予測処理の結果中で抽出された前記対象物の特徴と前記入力画像中で抽出された前記対象物の特徴とのうち同一の特徴点を識別可能に結線して表示する、
   請求項１に記載のテンプレートマッチング装置。
8. 前記撮像装置の移動経路マップをディスプレイに表示する制御部、をさらに備える、
   請求項１に記載のテンプレートマッチング装置。
9. 前記記憶部に登録された前記テンプレートごとに、前記テンプレートの登録位置を示す前記撮像装置の位置情報と前記テンプレートとを関連付けてディスプレイに表示する制御部、をさらに備える、
   請求項１に記載のテンプレートマッチング装置。
10. テンプレートマッチング装置により実行されるテンプレートマッチング方法であって、
    対象物を撮像かつ移動が可能な撮像装置の位置情報と前記対象物のテンプレートとを関連付けて複数記憶する記憶部との間で通信するステップと、
    前記撮像装置の位置情報を取得するステップと、
    前記撮像装置の位置情報を基に、前記記憶部に記憶されている複数の前記テンプレートの中から前記対象物のテンプレートマッチングに用いるテンプレートを予測する予測処理を行うステップと、
    前記撮像装置により撮像された前記対象物の入力画像と前記テンプレートの予測処理の結果とを用いて、前記テンプレートマッチングを行うステップと、を有する、
    テンプレートマッチング方法。
11. 対象物を撮像かつ移動が可能な撮像装置と、
    前記撮像装置との間で通信可能に接続されるテンプレートマッチング装置と、を備え、
    前記テンプレートマッチング装置は、
    前記撮像装置の位置情報と前記対象物のテンプレートとを関連付けて複数記憶する記憶部との間で通信する通信部と、
    前記撮像装置の位置情報を取得する取得部と、
    前記撮像装置の位置情報を基に、前記記憶部に記憶されている複数の前記テンプレートの中から前記対象物のテンプレートマッチングに用いるテンプレートを予測する予測処理を行う予測部と、
    前記撮像装置により撮像された前記対象物の入力画像と前記テンプレートの予測処理の結果とを用いて、前記テンプレートマッチングを行うマッチング部と、を備える、
    テンプレートマッチングシステム。
12. 前記撮像装置は、アクチュエータにより３次元方向に稼動可能でかつ前記対象物をピックアップ可能なエンドエフェクタが固定された稼動部に固定されて移動可能である、
    請求項１１に記載のテンプレートマッチングシステム。

Images