JP2021072000A - テンプレートマッチング方法 - Google Patents

Abstract

【課題】優れた検出精度を有するテンプレートマッチング方法を提供する。【解決手段】テンプレートマッチング方法は、撮像式エンコーダーを用い、撮像素子の撮像画像に対して基準画像と類似する座標をサブピクセル推定法により特定し、サブピクセル推定法の近似により生じるサブピクセル推定値を求めるステップＳ１３と、特定された座標を、サブピクセル推定値に応じた補正値に基づいて補正するステップＳ１５を含む。【選択図】図４

Description

本発明は、テンプレートマッチング方法に関する。

エンコーダーの一種として光学式のロータリーエンコーダーが一般に知られている。例えば、特許文献１に記載のエンコーダーは、グレイ符号等の数値パターンおよびストライプ状のパターンが形成されているコード板を撮像素子で読み取り、読み取った数値パターンおよびストライプ状のパターンから位置を検出する。

また、特許文献１のような光学式のエンコーダーよりも高い検出精度を容易にかつ安定して実現することのできるエンコーダーとして、基準画像および撮像画像を用いて撮像画像内で基準画像と最も類似する画素座標を特定するテンプレートマッチングを行うことにより位置を検出する撮像式のエンコーダーが考えられる。また、さらなる高精度化を実現するために、サブピクセル推定を行って分解能を向上することも考えられる。

特開昭６３−１８７１１８号公報

しかしながら、サブピクセル推定では分解能は向上するが、サブピクセル推定の手法によっては真値との誤差が生じてしまい、検出精度のさらなる高精度化を図ることが困難である。

本発明の適用例に係るテンプレートマッチング方法は、撮像式エンコーダーを用い、撮像素子の撮像画像に対して基準画像と類似する座標をサブピクセル推定法により特定し、
前記サブピクセル推定法の近似により生じるサブピクセル推定値を求め、
特定された前記座標を、前記サブピクセル推定値に応じた補正値に基づいて補正することを特徴とする。

本発明の第１実施形態に係るロボットを示す側面図である。 図１のロボットが有するエンコーダーを示す断面図である。 第１アームに設けられたマークを示す平面図である。 テンプレートマッチング方法を示すフローチャートである。 基準画像を取得する方法を説明する図である。 類似度マップを示す図である。 図６中の領域Ｑ１を拡大した図である。 サブピクセル推定値とサブピクセル推定誤差との関係を示すグラフである。 第１実施形態に係るテンプレートマッチング方法で用いる補正データの生成方法を示すグラフである。 第２実施形態に係るテンプレートマッチング方法で用いる補正データの生成方法を示すグラフである。 補正データとしてのテーブルを示す図である。 第３実施形態に係るテンプレートマッチング方法を示すフローチャートである。 サブピクセル推定値と検出角度誤差との関係を示すグラフである。 第３実施形態に係るテンプレートマッチング方法で用いる補正データの生成方法を示すグラフである。

以下、本発明のテンプレートマッチング方法を添付図面に示す好適な実施形態に基づいて詳細に説明する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係るロボットを示す側面図である。図２は、図１のロボットが有するエンコーダーを示す断面図である。図３は、第１アームに設けられたマークを示す平面図である。図４は、テンプレートマッチング方法を示すフローチャートである。図５は、基準画像を取得する方法を説明する図である。図６は、類似度マップを示す図である。図７は、図６中の領域Ｑ１を拡大した図である。図８は、サブピクセル推定値とサブピクセル推定誤差との関係を示すグラフである。図９は、第１実施形態に係るテンプレートマッチング方法で用いる補正データの生成方法を示すグラフである。なお、以下では、説明の便宜上、図１中の上側を「上」、下側を「下」と言う。また、図１中の基台側を「基端」、その反対側（エンドエフェクター側）を「先端側」と言う。また、図１の上下方向を「鉛直方向」とし、左右方向を「水平方向」とする。

図１に示すロボット１００は、水平多関節ロボットであり、例えば、精密機器等を製造する製造工程等で用いられ、精密機器や部品等の把持や搬送等を行うことができる。ロボット１００は、基台１１０と、基台１１０に対して第１軸Ｊ１まわりに回動する第１アーム１２０と、第１アーム１２０に対して第２軸Ｊ２まわりに回動する第２アーム１３０と、第２アーム１３０の先端部に設けられ、第２アーム１３０に対して第３軸Ｊ３まわりに回動し、第３軸Ｊ３に沿って上下移動するスプラインシャフト１４１を備える作業ヘッド１４０と、スプラインシャフト１４１の先端部に装着されているエンドエフェクター１５０と、を有する。そして、このようなロボット１００には、基台１１０に対する第１アーム１２０の第１軸Ｊ１まわりの回動角度を検出する第１エンコーダーや、第１アーム１２０に対する第２アーム１３０の第２軸Ｊ２まわりの回動角度を検出する第２エンコーダーが設けられている。本発明のテンプレートマッチング方法は、前記第１エンコーダーおよび前記第２エンコーダーの双方に適用可能であるが、以下、前記第１エンコーダーに適用した構成について説明し、第１エンコーダーをエンコーダー１として説明する。

図２に示すように、エンコーダー１は、撮像式エンコーダーであり、第１アーム１２０に設けられているスケール部２と、基台１１０に設けられ、スケール部２を検出する検出部３と、検出部３に電気的に接続されている回路部４と、を有する。

スケール部２は、第１アーム１２０の基台１１０と対向する部分に設けられている。スケール部２は、図３に示すように、第１アーム１２０の表面に設けられており、第１軸Ｊ１とは異なる位置で第１軸Ｊ１まわりに沿って配置されているユニークなパターンを有している。「ユニークなパターン」とは、スケール部２を第１軸Ｊ１まわりに必要な角度範囲にわたって回動させたとき、後述する撮像画像Ｇ内の所定領域に同じパターンが２回以上出現しないことを言う。そのため、スケール部２の互いに位置の異なる複数の部分のそれぞれを、スケール部２の周方向における位置識別のためのマーク２１として用いることができる。なお、図３では、複数のマーク２１が第１軸Ｊ１を中心とする円周に沿って並んでいる場合を図示している。また、図３に示すマーク２１の位置、大きさ、数等は、一例であり、これに限定されるものではない。

スケール部２のユニークなパターンは、白地に複数の黒地のドット２０をユニークに配置することにより構成されている。なお、ドット２０の形状は、図示では円形であるが、これに限定されず、例えば、楕円形、四角形、異形状等であってもよい。また、スケール部２のパターンは、前述した複数のドット２０で構成されたパターンのようなドットパターンに限定されず、例えば、直線状のラインで構成されたパターン、曲線状のラインで構成されたパターン、ドット、直線状のラインおよび曲線状のラインのうちの少なくとも２つを組み合わせて構成されたパターン、またはこれらの反転パターン等であってもよい。また、スケール部２のパターンは、検出部３で検出可能なパターンであればよく、例えば、染料、顔料等のインクで形成されたパターン、凹凸形状によるパターン、自然物に形成されているパターン等であってもよい。

また、スケール部２のマーク２１は、前述したパターンを用いたものに限定されず、例えば、数字を用いてもよいし、ローマ字、アラビア文字、漢字等の文字を用いてもよいし、文字以外の記号、符号、しるし、標章、図案、一次元バーコード、ＱＲコード（登録商標）等を用いてもよい。

また、スケール部２は、第１アーム１２０の表面に直に設けられている場合に限定されず、例えば、第１アーム１２０の表面に貼着されたシート状の部材に設けられていてもよいし、第１アーム１２０とともに回動するように設けられた板状の部材に設けられていてもよい。すなわち、スケール部２が設けられる部材は、第１アーム１２０とともに基台１１０に対して第１軸Ｊ１まわりに回動する部材であればよい。

図２に示すように、検出部３は、基台１１０内に設けられている撮像素子３１と、基台１１０が有する開口に設けられている結像光学系３２と、を有する。そして、撮像素子３１が結像光学系３２を介してスケール部２の周方向での一部である撮像領域ＲＩを撮像する。なお、検出部３は、必要に応じて、撮像素子３１の撮像領域ＲＩを照明する光源を備えていてもよい。撮像素子３１としては、特に限定されず、例えば、ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。

撮像素子３１は、撮影された画像を画素ごとの電気信号に変換して出力する。撮像素子３１は、二次元撮像素子（エリアイメージセンサ）、あるいは一次元撮像素子（ラインイメージセンサ）のどちらでも適用可能である。二次元撮像素子を用いた場合は、情報量の多い二次元画像を取得でき、後述のテンプレートマッチングによるマーク２１の検出精度を高めやすい。その結果、第１アーム１２０の回動状態を高精度に検出することができる。一方、一次元撮像素子を用いた場合は、画像取得周期いわゆるフレームレートが高いため、検出頻度を高めることが可能になり、高速動作時に有利となる。

ここで、図３に示すように、撮像素子３１の撮像領域ＲＩは、第１アーム１２０の下面に、スケール部２の周方向での一部に重なるように設定されている。これにより、撮像素子３１は、撮像領域ＲＩ内にあるマーク２１を撮像することができる。したがって、撮像領域ＲＩに位置するマーク２１を読み取ることにより、第１アーム１２０の回動状態を知ることができる。

図２に示すように、回路部４は、ＣＰＵ（Central Processing Unit）、テンプレートマッチング専用演算回路等の処理部５と、ＲＯＭ（Read only memory）、ＲＡＭ（Random Access Memory）等の記憶部６と、を有する。ここで、記憶部６には、処理部５で読み取り可能な指示が記憶されており、処理部５は、記憶部６から指示を適宜読み取って実行することで、各種機能を実現する。このような回路部４は、例えば、ＡＳＩＣ（application specific integrated circuit）またはＦＰＧＡ（field-programmable gate array）等を用いて構成することができる。このようにＡＳＩＣまたはＦＰＧＡを用いて回路部４をハードウエア化することで、回路部４の高処理速度化、小型化および低コスト化を図ることできる。

処理部５は、検出部３の検出結果に基づいて、基台１１０および第１アーム１２０の相対的な回動状態を推定する。この回動状態としては、例えば、回動角度、回動速度、回動方向等が挙げられる。特に、処理部５は、撮像素子３１の撮像画像に対して基準画像を用いてテンプレートマッチングすることでマーク２１を画像認識し、その認識結果を用いて、基台１１０に対する第１アーム１２０の回動角度を推定する。以下、基準画像の取得について詳述する。また、処理部５におけるテンプレートマッチングおよびそれを用いた回動状態の推定について、図４に示すフローチャートに基づいて詳述する。

テンプレートマッチングおよびそれを用いた回動状態の推定は、撮像素子３１を用いて撮像画像Ｇを取得する撮像画像取得ステップと、撮像画像Ｇに対して基準画像ＴＡを用いてサブピクセル推定法によりテンプレートマッチングを行うテンプレートマッチングステップと、テンプレートマッチングにより求められたサブピクセル推定値Ｘｓｕｂに応じた補正値Ｈｘを補正データＨＤから抽出し、抽出した補正値Ｈｘを用いてテンプレートマッチングにより特定された座標を補正する補正ステップと、を有する。

１．基準画像の取得
エンコーダー１は、補正データＨＤの生成およびテンプレートマッチングを用いて基台１１０に対する第１アーム１２０の回動状態を推定するのに先立って、テンプレートマッチングに用いる基準画像ＴＡを予め取得する。この基準画像ＴＡの取得は、最初のテンプレートマッチングの前に１回行うだけでよいが、その後必要に応じて適時行ってもよい。その場合、テンプレートマッチングに用いる基準画像ＴＡを、新たに取得した基準画像ＴＡに更新することができる。

基準画像ＴＡを取得する際には、第１アーム１２０を基台１１０に対して第１軸Ｊ１まわりに適宜回動させ、撮像素子３１で複数のマーク２１をそのマーク２１毎に撮像する。例えば、図２に示すように、この際の第１アーム１２０の回動は、検出誤差が極めて小さい非常に高精度な校正用エンコーダー１０を第１軸Ｊ１に直結し、基準画像ＴＡを取得した時の第１軸Ｊ１の角度情報を記録する。これにより、基準画像ＴＡおよび基準画像ＴＡに対応する角度情報を取得することができる。なお、校正用エンコーダー１０としては、撮像式エンコーダー、光学式エンコーダー等、如何なる構成のものであってもよい。また、エンコーダーでなくても、例えばレーザー測長計などを用いて、間接的に角度情報を求める方法でも構わない。

そして、得られた各撮像画像Ｇをトリミングして不要部分を削除することにより、マーク２１毎の基準画像ＴＡを生成する。つまり、マーク２１の数だけ基準画像ＴＡを生成する。生成された各基準画像ＴＡは、その画素座標情報および角度情報とともにこれらに対応付けられて記憶部６に記憶される。

より具体的に説明すると、図５に示すように、撮像画像Ｇは、撮像領域ＲＩに対応した形状であって、Ｘ方向に沿って延びている２つの辺と、Ｘ方向に直交するＹ方向に沿って延びている２つの辺とを有する矩形をなす。また、撮像画像ＧのＸ軸方向に沿って延びている２つの辺は、矢印で示すマーク２１の移動方向にできるだけ沿うように配置されている。また、撮像画像Ｇは、Ｘ方向およびＹ方向に行列状に並んでいる複数の画素を有する。ここで、画素の位置は、Ｘ方向での画素の位置を示す「Ｘ」、および、Ｙ方向での画素の位置を示す「Ｙ」で表される画素座標系（Ｘ，Ｙ）で表される。また、撮像画像Ｇの図中左上端の画素が画像座標系（Ｘ，Ｙ）の原点画素（０，０）に設定されている。

例えば、図５中のマーク２１Ａに対応する基準画像ＴＡを生成する場合、第１アーム１２０を基台１１０に対して適宜回動させ、マーク２１Ａを撮像画像Ｇ内の所定位置、図示ではＸ軸方向での中央に設定された中心線ＬＹ上に位置させる。なお、マーク２１が中心線ＬＹ上に位置するときの、基台１１０に対する第１アーム１２０の回動角度θＡ０は、測定等により事前に取得されている。

次に、マーク２１を中心線ＬＹ上に位置させた状態を撮像素子３１で撮像し、得られた撮像画像Ｇを、マーク２１Ａを包含する必要最小限の範囲となるような矩形の画素範囲でトリミングする。これにより、マーク２１Ａに対応する基準画像ＴＡが得られ、得られた基準画像ＴＡは、記憶部６に記憶される。このとき、基準画像ＴＡは、前述した回動角度θＡ０に関する角度情報および基準画像ＴＡの画素範囲に含まれる基準画素Ｐ０の画素座標である基準画素座標（Ｘｐ０，Ｙｐ０）に関する画素情報とともに、これらに対応付けられて記憶される。すなわち、基準画像ＴＡ、角度情報および画素座標情報がテンプレートマッチングに用いる１つのテンプレートセットとなる。

エンコーダー１がアブソリュート型である場合、このテンプレートセットにおける角度情報は絶対角度である。また、エンコーダー１がインクリメント型である場合、このテンプレートセットにおける角度情報は相対角度である。

２．補正データの生成
次に、補正データＨＤを生成する。生成された補正データＨＤは、記憶部６に記憶される。なお、補正データＨＤの生成方法については、テンプレートマッチングステップの説明を終えた後に詳細に説明する。

３．テンプレートマッチングおよびそれを用いた回動状態の推定
以下、処理部５におけるテンプレートマッチングおよびそれを用いた回動状態の推定について詳述する。

［撮像画像取得ステップ］
まず、処理部５は、ステップＳ１１として、撮像素子３１を用い、スケール部２の一部である撮像領域ＲＩを撮像して、撮像画像Ｇを得る。

［テンプレートマッチングステップ］
まず、処理部５は、ステップＳ１２として、撮像素子３１の撮像画像Ｇに対して、予め準備しておいた基準画像ＴＡを用いてテンプレートマッチングを行って類似度マップＭ１を生成する。具体的には、処理部５は、撮像画像Ｇの全域を探索領域とし、探索領域に基準画像ＴＡを重ね、探索領域と基準画像ＴＡとの重なり部分の類似度を算出する。処理部５は、基準画像ＴＡを、撮像画像Ｇの画素配列に沿って移動させて、探索領域全域の画素について、探索領域と基準画像ＴＡとの重なり部分の類似度を算出する。具体的には、処理部５は、基準画像ＴＡ中に設定されている基準画素Ｐ０の画素座標（Ｘｐ，Ｙｐ）を開始座標ＰＳｐから終了画素ＰＥｐまで１画素ずつ移動し、探索領域全域の画素について、探索領域と基準画像ＴＡとの重なり部分の類似度を算出する。つまり、処理部５は、類似度を基準画像ＴＡの基準画素Ｐ０の画素座標（Ｘｐ，Ｙｐ）ごとに算出する。そして、処理部５は、画素座標（Ｘｐ，Ｙｐ）毎に算出した類似度を画素座標（Ｘｐ，Ｙｐ）の位置に対応させて並べた、つまり、画素座標（Ｘｐ，Ｙｐ）の並び順に沿って並べた図６および図７に示すような類似度マップＭ１を生成する。図７に示す領域Ｑ１は、類似度が最大となる画素座標（Ｘｐ，Ｙｐ）＝（Ｘｎ，Ｙｎ）を含む領域である。生成された類似度マップＭ１は、記憶部６に記憶される。類似度を求める手法としては、ＳＡＤ、ＳＳＤ、ＺＮＣＣなどがある。ＳＡＤ、ＳＳＤではその値が最小、ＺＮＣＣではその値が最大のとき類似度が最大となる。

次に、処理部５は、ステップＳ１３として、得られた類似度マップＭ１に基づいてサブピクセル推定を行う。具体的には、図７に示すように、テンプレートマッチングにより画素サイズ間隔で得られた類似度マップＭ１から類似度最大の座標（Ｘｎ，Ｙｎ）とそれに隣接する８つの座標（Ｘｎ−１，Ｙｎ−１）、（Ｘｎ，Ｙｎ−１）、（Ｘｎ＋１，Ｙｎ−１）、（Ｘｎ−１，Ｙｎ）、（Ｘｎ＋１，Ｙｎ）、（Ｘｎ−１，Ｙｎ＋１）、（Ｘｎ，Ｙｎ＋１）および（Ｘｎ−１，Ｙｎ＋１）の類似度の値を抽出し、これらを放物曲面でフィッティングすることにより、これらの類似度間すなわち画素ピッチ間を近似して補完し、類似度が最大となる画素座標を特定する。このようなサブピクセル推定によれば、画素サイズよりも小さい分解能を得ることができるため、より高精度にマーク２１Ａの画素座標を求めることができる。以下では、フィッティングに用いた放物曲面の頂点の座標（Ｘｎ＋Ｘｓｕｂ，Ｙｎ＋Ｙｓｕｂ）のうち、座標（Ｘｎ，Ｙｎ）との差分値（Ｘｓｕｂ，Ｙｓｕｂ）をサブピクセル推定値と言う。サブピクセル推定値は、サブピクセル推定法の近似により生じる。

ここで、上述のような放物曲面フィッティング型のサブピクセル推定法によれば、画素単位で求めた類似度に基づいてサブピクセル推定値を計算できる。そのため、他のサブピクセル推定法、例えば、撮像画像Ｇや基準画像ＴＡを線形補間などによって擬似的に高解像度化してサブピクセル推定値を計算する疑似高解像度型のサブピクセル推定法等よりも少ない計算量で推定を行うことができる。そのため、ＡＳＩＣまたはＦＰＧＡを用いて回路部４をハードウエア化することが容易となり、回路部４の高処理速度化、小型化および低コスト化を図ることできる。

しかしながら、放物曲面フィッティング型のサブピクセル推定法は、上述のような有利な点を有する反面、フィッティングする関数に依存する特徴的な誤差が発生する。以下では、この誤差を「サブピクセル推定誤差」とも言う。そこで、処理部５は、サブピクセル推定誤差が小さくなるように、好ましくはゼロとなるように、サブピクセル推定法を用いたテンプレートマッチングによって検出したサブピクセル推定値（Ｘｓｕｂ，Ｙｓｕｂ）を、前述した補正データ生成において生成した補正データＨＤを用いて補正する。

ここで、本実施形態では、撮像画像Ｇがスケール部２に対して十分に小さく、かつ、第１軸Ｊ１から十分に離間して配置されているため、撮像画像Ｇ内では、マーク２１ＡがＸ方向に沿って移動するとみなせる。そのため、本実施形態では、マーク２１Ａの撮像画像Ｇ内でのＸ方向の座標さえ分かれば、第１アーム１２０の回動状態を推定することができる。したがって、サブピクセル推定値Ｘｓｕｂについてのみ補正すればよい。ただし、これに限定されず、サブピクセル推定値Ｙｓｕｂについても、同様の補正を行ってもよい。

改めて補正データ生成について詳細に説明する。補正データ生成では、まず、校正用エンコーダー１０を第１軸Ｊ１に直結した状態で、基台１１０に対して第１アーム１２０を所定角度だけ回動させ、その際に計測されたエンコーダー１の測定結果と校正用エンコーダー１０の測定結果とを比較する。なお、エンコーダー１の測定方法は、上述のテンプレートマッチング方法と同様であり、座標Ｘｐ＋Ｘｓｕｂに対応する回動角度が測定結果となる。

次に、エンコーダー１の測定結果と校正用エンコーダー１０の測定結果との差から、これらエンコーダー１、１０間の検出角度誤差Δθを求める。すなわち、エンコーダー１で測定された回動角度をθ１とし、校正用エンコーダー１０で測定された回動角度をθ２としたとき、Δθ＝θ２−θ１である。そして、この検出角度誤差Δθを予め求めておいた１画素あたりの角度を表す係数で除してサブピクセル推定誤差ＰＬｘに変換する。以上の作業を、基台１１０に対して第１アーム１２０が１画素分に相当する回動角以上となるまで繰り返し行い、各サブピクセル推定値Ｘｓｕｂにおけるサブピクセル推定誤差ＰＬｘの情報を収集する。

サブピクセル推定値Ｘｓｕｂとサブピクセル推定誤差ＰＬｘとの関係を図８のグラフに示す。同図に示すように、サブピクセル推定誤差ＰＬｘは、１画素内において周期的に変化する。なお、１画素とは、座標Ｘｐ＋Ｘｓｕｂのサブピクセル推定値Ｘｓｕｂが、−０．５から０．５となる範囲である。サブピクセル推定誤差ＰＬｘの計測を終えると、校正用エンコーダー１０は、第１軸Ｊ１から取り外される。

次に、図９に示すように、Ｘ方向のサブピクセル推定値Ｘｓｕｂに対するサブピクセル推定誤差ＰＬｘを関数に近似し、得られた補正関数ｆ（Ｘｓｕｂ）をサブピクセル推定誤差ＰＬｘの補正データＨＤとする。なお、近似する関数としては、特に限定されず、折れ線関数（１次関数）、３次多項式、正弦関数等の放物線関数（２次関数）、楕円放物面関数等が挙げられる。ここでは３次多項式で近似した例を示す。前述したテンプレートマッチングステップで実測されたサブピクセル推定値Ｘｓｕｂを補正関数ｆ（Ｘｓｕｂ）に代入することにより、補正値Ｈｘが得られる。

このように、補正値Ｈｘを、校正用エンコーダー１０の測定結果とエンコーダー１の測定結果との差に基づいて生成することにより、正確な補正値Ｈｘを生成することができる。

［補正ステップ］
まず、処理部５は、ステップＳ１４として、テンプレートマッチングステップによって求められたサブピクセル推定値Ｘｓｕｂの値を、予め準備しておいた補正関数ｆ（Ｘｓｕｂ）に代入することにより補正値Ｈｘを求める。次に、処理部５は、ステップＳ１５として、テンプレートマッチングステップによって求められたサブピクセル推定値Ｘｓｕｂを補正値Ｈｘで補正し、補正サブピクセル推定値Ｘｓｕｂ’を求める。すなわち、Ｘｓｕｂ’＝Ｘｓｕｂ−Ｈｘである。次に、処理部５は、ステップＳ１６として、類似度マップＭ１で最大値の類似度を有する画素座標（Ｘｐ，Ｙｐ）＝（Ｘｎ，Ｙｎ）と補正サブピクセル推定値Ｘｓｕｂ’とから、撮像画像Ｇ内でのマーク２１ＡのＸ方向の座標Ｘｍ＝Ｘｎ＋Ｘｓｕｂ’を求め、マッチング位置、つまり、マーク２１の画素座標として決定する。さらに、処理部５は、決定したマッチング位置、つまり、画素座標Ｘｍに対応する回動角度θを出力する。

以上のようなステップによって、マーク２１の座標が検出される。このような方法によれば、サブピクセル推定により生じる検出誤差を補正することができる、つまり、誤差の少なくとも一部、好ましくは全部をキャンセルすることができるため、マーク２１の座標をより高精度に検出することができるエンコーダー１となる。具体的には、校正用エンコーダー１０と同程度の精度で検出することができ、かつ、校正用エンコーダー１０よりも安価なエンコーダー１となる。

以上、本実施形態のテンプレートマッチング方法について説明した。このようなテンプレートマッチング方法は、撮像式エンコーダーであるエンコーダー１を用い、撮像素子３１の撮像画像Ｇに対して基準画像ＴＡと類似する座標をサブピクセル推定法により特定し、サブピクセル推定法の近似により生じるサブピクセル推定値Ｘｓｕｂを求め、特定された座標Ｘｍを、サブピクセル推定値Ｘｓｕｂに応じた補正値Ｈｘに基づいて補正する。このような方法によれば、サブピクセル推定により生じる検出誤差を補正することができる、つまり、誤差の少なくとも一部、好ましくは全部をキャンセルすることができるため、優れた位置検出精度を発揮することができる。

また、前述したように、テンプレートマッチング方法では、放物曲面フィッティング型のサブピクセル推定法を用いる。これにより、他のサブピクセル推定法と比べて計算量が少なくなる。そのため、ＡＳＩＣまたはＦＰＧＡを用いて回路部４をハードウエア化することが容易となり、回路部４の高処理速度化、小型化および低コスト化を図ることできる。

また、前述したように、テンプレートマッチング方法では、座標Ｘｍの特定よりも前に補正値Ｈｘを取得する。これにより、実際の駆動の際に校正用エンコーダー１０が不要となる。そのため、より安価なエンコーダー１となる。

また、前述したように、テンプレートマッチング方法では、補正値Ｈｘは、校正用エンコーダー１０の測定結果とエンコーダー１の測定結果との差に基づいて生成される。これにより、正確な補正値Ｈｘを生成することができる。

また、前述したように、テンプレートマッチング方法では、補正値Ｈｘをサブピクセル推定値Ｘｓｕｂの関数として表した補正式である補正関数ｆ（Ｘｓｕｂ）を補正データＨＤとして有し、補正関数ｆ（Ｘｓｕｂ）とサブピクセル推定値Ｘｓｕｂとに基づいて補正値Ｈｘを求める。これにより、簡単に、補正値Ｈｘを求めることができる。

＜第２実施形態＞
図１０は、第２実施形態に係るテンプレートマッチング方法で用いる補正データの生成方法を示すグラフである。図１１は、補正データとしてのテーブルを示す図である。

本実施形態は、補正データＨＤの生成方法およびサブピクセル推定値Ｘｓｕｂの補正方法が異なること以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した第１実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１０および図１１において、前述した第１実施形態と同様の構成については、同一符号を付している。

本実施形態のテンプレートマッチングおよびそれを用いた回動状態の推定は、基準画像ＴＡを取得する基準画像取得ステップと、補正データＨＤを生成する補正データ生成ステップと、撮像素子３１の撮像画像Ｇに対して基準画像ＴＡを用いてサブピクセル推定法によりテンプレートマッチングを行うテンプレートマッチングステップと、テンプレートマッチングにより求められたサブピクセル推定値に応じた補正値Ｈｘを補正データＨＤから抽出し、抽出した補正値Ｈｘを用いてテンプレートマッチングにより特定された座標を補正する補正ステップと、を有する。このうち、基準画像取得ステップおよびテンプレートマッチングステップについては、前述した第１実施形態と同様であるため、以下では、補正データ生成ステップおよび補正ステップについて説明する。

２．補正データの生成
まず、前述した第１実施形態と同様にして、サブピクセル推定誤差ＰＬｘを計測する。次に、処理部５は、例えば、図１０および図１１に示すように、１画素をＸ方向に所定幅で複数の区間に分割し、各区間のサブピクセル推定誤差ＰＬｘの平均値をその区間の補正値ＨｘとしたテーブルＴを補正データＨＤとする。生成された補正データＨＤは、記憶部６に記憶される。このテーブルＴからテンプレートマッチングステップで実測されたサブピクセル推定値Ｘｓｕｂに応じた補正値Ｈｘを選択することにより、簡単に、補正値Ｈｘが得られる。

このように、補正値Ｈｘを、校正用エンコーダー１０の測定結果とエンコーダー１の測定結果との差に基づいて生成することにより、正確な補正値Ｈｘを生成することができる。また、本実施形態の補正データＨＤを用いる場合の方が、前述した第１実施形態の補正データＨＤを用いる場合よりも少ない計算量でサブピクセル推定値Ｘｓｕｂの補正を行うことができる。そのため、本実施形態の補正データＨＤを用いる場合の方が、ＡＳＩＣまたはＦＰＧＡを用いて回路部４をハードウエア化することが容易となり、回路部４の高処理速度化、小型化および低コスト化を図り易くなる点で好ましい。

［補正ステップ］
まず、処理部５は、テンプレートマッチングステップによって求められたサブピクセル推定値Ｘｓｕｂの値に対応する補正値ＨｘをテーブルＴから選択する。次に、処理部５は、テンプレートマッチングステップによって求められたサブピクセル推定値Ｘｓｕｂを補正値Ｈｘで補正し、補正サブピクセル推定値Ｘｓｕｂ’を求める。すなわち、Ｘｓｕｂ’＝Ｘｓｕｂ−Ｈｘである。次に、処理部５は、類似度マップＭ１で最大値の類似度を有する画素座標（Ｘｐ，Ｙｐ）と補正サブピクセル推定値Ｘｓｕｂ’とから、撮像画像Ｇ内でのマーク２１ＡのＸ方向の座標Ｘｍ＝Ｘｎ＋Ｘｓｕｂ’を求め、マッチング位置、つまり、マーク２１の画素座標として決定する。さらに、処理部５は、決定したマッチング位置、つまり、画素座標Ｘｍに対応する回動角度θを出力する。

以上のようなステップによって、マーク２１の座標が検出される。このような方法によれば、サブピクセル推定により生じる検出誤差を補正することができる、つまり、誤差の少なくとも一部、好ましくは全部をキャンセルすることができるため、マーク２１の座標をより高精度に検出することができるエンコーダー１となる。具体的には、校正用エンコーダー１０と同程度の精度で検出することができ、かつ、校正用エンコーダー１０よりも安価なエンコーダー１となる。

以上のようなテンプレートマッチング方法では、前述したように、１画素を複数の区間に分割し、各区間ごとに補正値Ｈｘが設定されているテーブルＴを補正データＨＤとして有し、テーブルＴからサブピクセル推定値Ｘｓｕｂに対応する補正値Ｈｘを選択する。これにより、より簡単に、補正値Ｈｘを求めることができる。また、前述した第１実施形態の補正データＨＤを用いる場合と比べて、少ない計算量でサブピクセル推定値Ｘｓｕｂの補正を行うことができる。そのため、本実施形態の補正データＨＤを用いる場合の方が、ＡＳＩＣまたはＦＰＧＡを用いて回路部４をハードウエア化することが容易となり、回路部４の高処理速度化、小型化および低コスト化を図り易くなる。

以上のような第２実施形態によっても、前述した第１実施形態と同様の効果を発揮することができる。

＜第３実施形態＞
図１２は、第３実施形態に係るテンプレートマッチング方法を示すフローチャートである。図１３は、サブピクセル推定値と検出角度誤差との関係を示すグラフである。図１４は、第３実施形態に係るテンプレートマッチング方法で用いる補正データの生成方法を示すグラフである。

本実施形態は、テンプレートマッチング方法が異なること以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した第１実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１２、図１３、および図１４において、前述した第１実施形態と同様の構成については、同一符号を付している。

前述した第１、第２実施形態では、サブピクセル推定値Ｘｓｕｂを補正値Ｈｘで補正して得られた補正サブピクセル推定値Ｘｓｕｂ’に基づいて回動角度θを検出しているが、本実施形態では、サブピクセル推定値Ｘｓｕｂに基づいて回動角度θを検出し、検出した回動角度θを補正値Ｈｘで補正している。つまり、本実施形態と第１、第２実施形態とでは、補正値Ｈｘを用いて補正する対象が異なっている。

本実施形態のテンプレートマッチングおよびそれを用いた回動状態の推定は、撮像素子３１を用いて撮像画像Ｇを取得する撮像画像取得ステップと、撮像素子３１の撮像画像Ｇに対して基準画像ＴＡを用いてサブピクセル推定法によりテンプレートマッチングを行うテンプレートマッチングステップと、テンプレートマッチングにより特定された座標に基づいて、スケール部２の位置すなわち回動角度θを求める位置検出ステップと、回動角度θを、テンプレートマッチングにより求められたサブピクセル推定値Ｘｓｕｂに応じた補正値Ｈｘに基づいて補正する補正ステップと、を有する。以下、図１２に示すフローチャートに基づいて詳細に説明する。

１．基準画像の取得
エンコーダー１は、補正データＨＤの生成およびテンプレートマッチングを用いて基台１１０に対する第１アーム１２０の回動状態を推定するのに先立って、テンプレートマッチングに用いる予め基準画像ＴＡを取得する。前述した第１実施形態と同様であるため、その説明を省略する。

２．補正データの生成
次に、処理部５は、補正データＨＤを生成する。まず、前述した第１実施形態と同様にして、校正用エンコーダー１０を第１軸Ｊ１に直結した状態で、基台１１０に対して第１アーム１２０を所定角度だけ回動させ、その際に計測されたエンコーダー１の測定結果と校正用エンコーダー１０の測定結果とを比較する。次に、処理部５は、エンコーダー１の測定結果と校正用エンコーダー１０の測定結果との差から、エンコーダー１、１０間の検出角度誤差Δθを求める。以上の作業を、基台１１０に対して第１アーム１２０が１画素分に相当する回動角以上となるまで繰り返し行い、各サブピクセル推定値Ｘｓｕｂにおける検出角度誤差Δθの情報を収集する。

サブピクセル推定値Ｘｓｕｂと検出角度誤差Δθとの関係を図１３のグラフに示す。同図に示すように、検出角度誤差Δθは、１画素内において周期的に変化する。検出角度誤差Δθの計測を終えると、校正用エンコーダー１０は、第１軸Ｊ１から取り外される。

次に、処理部５は、例えば、図１４に示すように、１画素をＸ方向に所定幅で複数の区間に分割し、各区間の検出角度誤差Δθの平均値をその区間の補正値ＨｘとしたテーブルＴ（図１５）を補正データＨＤとする。生成された補正データＨＤは、記憶部６に記憶される。このテーブルＴからテンプレートマッチングステップで実測されたサブピクセル推定値Ｘｓｕｂに応じた補正値Ｈｘを選択することにより、簡単に、補正値Ｈｘが得られる。また、検出角度誤差Δθを補正関数に近似し、得られた補正関数ｆ（Ｘｓｕｂ）を検出角度誤差Δθの補正データＨＤとしてもよい。なお、近似する関数としては、特に限定されず、折れ線関数（１次関数）、３次多項式、正弦関数等の放物線関数（２次関数）、楕円放物面関数等が挙げられる。この場合、テンプレートマッチングステップで実測されたサブピクセル推定値Ｘｓｕｂを補正関数ｆ（Ｘｓｕｂ）に代入することにより、補正値Ｈｘが得られる。

このように、補正値Ｈｘを、校正用エンコーダー１０の測定結果とエンコーダー１の測定結果との差に基づいて生成することにより、正確な補正値Ｈｘを生成することができる。

３．テンプレートマッチングおよびそれを用いた回動状態の推定
以下、処理部５におけるテンプレートマッチングおよびそれを用いた回動状態の推定について詳述する。

［撮像画像取得ステップ］
まず、処理部５は、ステップＳ２１として、前述した第１実施形態と同様に、撮像画像Ｇを得る。

［テンプレートマッチングステップ］
まず、処理部５は、ステップＳ２２として、前述した第１実施形態と同様に、類似度マップＭ１を生成する。次に、処理部５は、ステップＳ２３として、前述した第１実施形態と同様に、得られた類似度マップＭ１に基づいてサブピクセル推定を行う。次に、処理部５は、ステップＳ２４として、類似度マップＭ１で最大値の類似度を有する画素座標（Ｘｐ，Ｙｐ）とサブピクセル推定値Ｘｓｕｂとから、撮像画像Ｇ内でのマーク２１ＡのＸ方向の座標Ｘｍ＝Ｘｎ＋Ｘｓｕｂを求め、マッチング位置、つまり、マーク２１の画素座標として決定する。さらに、処理部５は、決定したマッチング位置、つまり、画素座標Ｘｍに対応する回動角度θを求める。

［補正ステップ］
まず、処理部５は、ステップＳ２５として、テンプレートマッチングステップによって求められたサブピクセル推定値Ｘｓｕｂの値を補正関数ｆ（Ｘｓｕｂ）に代入することにより補正値Ｈｘを求める。次に、処理部５は、ステップＳ２６として、回動角度θを補正値Ｈｘで補正し、補正回動角度θ’を求める。すなわち、θ’＝θ−Ｈｘである。

以上のようなステップによって、マーク２１Ａの座標が検出される。なお、このようなテンプレートマッチングおよびそれを用いた補正回動角度θ’の算出を他のマーク２１についても同様に行う。ここで、任意の回動角度θにおいて、撮像画像Ｇ内に少なくとも１つのマーク２１が欠けなく映り、かつ、テンプレートマッチング可能なように各マーク２１に対応した基準画像ＴＡが登録されている。これにより、テンプレートマッチングが不可能な角度範囲が生じることを防止することができる。

このような方法によれば、サブピクセル推定により生じる検出誤差を補正することができる、つまり、誤差の少なくとも一部、好ましくは全部をキャンセルすることができるため、マーク２１Ａの座標をより高精度に検出することができるエンコーダー１となる。具体的には、校正用エンコーダー１０と同程度の精度で検出することができる。

以上、本実施形態のテンプレートマッチング方法について説明した。このようなテンプレートマッチング方法は、撮像式エンコーダーであるエンコーダー１を用い、撮像素子３１の撮像画像Ｇに対して基準画像ＴＡと類似する座標をサブピクセル推定法により特定し、特定された座標Ｘｍに基づいて、スケール部２の位置すなわち回動角度θを求め、サブピクセル推定法の近似により生じるサブピクセル推定値Ｘｓｕｂを求め、求めた回動角度θを、サブピクセル推定値Ｘｓｕｂに応じた補正値Ｈｘに基づいて補正する。このような方法によれば、サブピクセル推定により生じる検出誤差を補正することができる、つまり、誤差の少なくとも一部、好ましくは全部をキャンセルすることができるため、優れた位置検出精度を発揮することができる。

なお、本実施形態では、前述した第２実施形態と同様に、予め生成しておいたテーブルＴから補正値Ｈｘを選択しているが、これに限定されず、例えば、前述した第１実施形態と同様に、補正関数ｆ（Ｘｓｕｂ）に代入することにより、補正値Ｈｘを取得してもよい。

以上、本発明のテンプレートマッチング方法を図示の好適な実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成や各ステップは、同様の機能を有する任意の構成のものに置換することができる。また、他の任意の構成物やステップが付加されていてもよい。また、前述した２つ以上の実施形態の構成を組み合わせてもよい。

また、前述したエンコーダー１は、アブソリュート型およびインクリメンタル型のいずれの形式にも適用可能である。また、エンコーダー１は、ロータリーエンコーダーだけではなく、リニアエンコーダーにも適用可能である。

また、前述したエンコーダー１は、前述した第２軸Ｊ２まわりの回動角度を検出する第２エンコーダーに適用してもよい。また、前述したエンコーダー１は、前述した水平多関節ロボット以外の型のロボット、例えば、６軸多関節ロボット、双腕ロボット等にも設置可能である。また、エンコーダー１は、ロボット１００以外の電子機器、例えば、プリンター、プロジェクター等に搭載してもよい。さらには、エンコーダー１、車輌、航空機、船舶等の移動体に搭載してもよい。

１…エンコーダー、２…スケール部、２０…ドット、２１、２１Ａ…マーク、３…検出部、３１…撮像素子、３２…結像光学系、４…回路部、５…処理部、６…記憶部、１０…校正用エンコーダー、１００…ロボット、１１０…基台、１２０…第１アーム、１３０…第２アーム、１４０…作業ヘッド、１４１…スプラインシャフト、１５０…エンドエフェクター、Ｇ…撮像画像、ＨＤ…補正データ、Ｈｘ…補正値、Ｊ１…第１軸、Ｊ２…第２軸、Ｊ３…第３軸、ＬＹ…中心線、Ｍ１…類似度マップ、Ｐ０…基準画素、ＰＥｐ…終了画素、ＰＬｘ…サブピクセル推定誤差、ＰＳｐ…開始座標、Ｑ１…領域、ＲＩ…撮像領域、Ｓ１１〜Ｓ１７、Ｓ２１〜Ｓ２７…ステップ、Ｔ…テーブル、ＴＡ…基準画像、Ｘｍ…座標、Ｘｓｕｂ…サブピクセル推定値、Ｘｓｕｂ’…補正サブピクセル推定値、Ｙｓｕｂ…サブピクセル推定値、ｆ…補正関数、Δθ…検出角度誤差、θ…回動角度、θ’…補正回動角度

Claims (7)

1. 撮像式エンコーダーを用い、撮像素子の撮像画像に対して基準画像と類似する座標をサブピクセル推定法により特定し、
   前記サブピクセル推定法の近似により生じるサブピクセル推定値を求め、
   特定された前記座標を、前記サブピクセル推定値に応じた補正値に基づいて補正することを特徴とするテンプレートマッチング方法。
2. 撮像式エンコーダーを用い、撮像素子の撮像画像に対して基準画像と類似する座標をサブピクセル推定法により特定し、
   特定された前記座標に基づいて、前記撮像画像内での位置を求め、
   前記サブピクセル推定法の近似により生じるサブピクセル推定値を求め、
   前記位置を、前記サブピクセル推定値に応じた補正値に基づいて補正することを特徴とするテンプレートマッチング方法。
3. 放物曲面フィッティング型の前記サブピクセル推定法を用いる請求項１または２に記載のテンプレートマッチング方法。
4. 前記座標の特定よりも前に前記補正値を取得する請求項１ないし３のいずれか１項に記載のテンプレートマッチング方法。
5. 前記補正値は、校正用エンコーダーの測定結果と前記撮像式エンコーダーの測定結果との差に基づいて生成される請求項４に記載のテンプレートマッチング方法。
6. 前記補正値を前記サブピクセル推定値の関数として表した補正式を補正データとして有し、
   前記補正式と前記サブピクセル推定値とに基づいて前記補正値を求める請求項１ないし５のいずれか１項に記載のテンプレートマッチング方法。
7. １画素を複数の区間に分割し、各前記区間ごとに前記補正値が設定されているテーブルを補正データとして有し、
   前記テーブルから前記サブピクセル推定値に対応する前記補正値を選択する請求項１ないし５のいずれか１項に記載のテンプレートマッチング方法。

Images