JP2009220247A - ロボット装置及びロボット装置の制御方法 - Google Patents

Abstract

【課題】対象物について多数の基準画像を用意する必要がなく、また、撮像手段が取付けられたマニピュレータを移動させながら撮像する必要がなく、撮像手段と対象物との位置関係を迅速に求めることができるロボット装置及びロボット装置の制御方法を提供する。
【解決手段】対象物１０１の外形形状及びこの対象物１０１における２個以上の穴の位置を記憶しておき、カメラ６により対象物１０１の画像を一度撮像し、この画像と記憶された対象物１０１の外形形状及び穴位置とのパターンマッチングを行い、画像における穴位置を推定し、穴位置を精密計測することで前記対象物の特徴点とし、この特徴点より対象物１０１とカメラ６との平行移動及び光軸周りの回転を計算し、この計算結果に応じてマニピュレータ１を制御して、目的の位置まで移動させる。
【選択図】図１

Description

本発明は、対象物に対し所望の操作を行うマニピュレータを有するロボット装置に関し、また、このようなロボット装置を制御するためのロボット装置の制御方法に関する。

従来、精密部品の搬送や組立を行うため、対象物に対し所望の操作を行うマニピュレータを有するロボット装置が提案されている。このようなロボット装置の制御においては、マニピュレータの先端部に設けられた先端ツール機構（把持機構等）を対象物に向けて迅速に移動させることが求められる。

このような制御方法として、特許文献１には、基準画像として対象物を複数の方向から撮像した複数の画像を予め用意しておき、これら基準画像から、マニピュレータに取り付けたカメラにより対象物を撮像した撮像画像に最も近接した画像を検索し、検索された画像に基づいて、カメラと対象物との位置関係を計算する方法が記載されている。

また、特許文献２には、対象物の基準画像を予め用意しておき、カメラが取付けられたマニピュレータを移動させながら、このカメラにより対象物を撮像し、基準画像に近い画像が撮像される位置を探すことによって、カメラと対象物との位置関係を求める方法が記載されている。

さらに、対象物の画像から、位置が既知の特徴点を複数抽出し、これら特徴点間の位置関係に基づいて、カメラと対象物との位置関係を計算する方法も提案されている。

特開２００３−２３１０７８ 特開２０００−２６３４８２

ところで、前述の特許文献１に記載されたロボット装置の制御方法においては、一つの対象物について多数の基準画像を用意しておく必要があるため煩雑であり、また、カメラにより撮像された画像と多数の基準画像との比較を行う必要があるため、カメラと対象物との位置関係を計算する処理に長時間を要するという問題がある。

また、特許文献２に記載されたロボット装置の制御方法においては、カメラが取付けられたマニピュレータを移動させながら撮像し、画像処理を繰り返さなければならないため、カメラと対象物との位置関係を求めるのに長時間を要するという問題がある。

さらに、対象物の画像から複数の特徴点を抽出する方法においては、対象物の形状が複雑である場合、特徴点の抽出が困難であるという問題がある。また、一つのカメラにより撮像した画像に基づいて、特徴点間の位置関係により全６自由度の位置姿勢を計測しても、高精度の計測は行えない。計測の精度を上げるために、対象物にマーカを設けることが考えられるが、対象物によってはマーカを設けることができない場合もある。

そこで、本発明は、前記の実情に鑑みてなされたものであり、その目的は、対象物について多数の基準画像を用意する必要がなく、また、撮像手段が取付けられたマニピュレータを移動させながら撮像する必要がなく、撮像手段と対象物との位置関係を迅速に求めることができるロボット装置及びロボット装置の制御方法を提供することにある。

前述の課題を解決し、前記目的を達成するため、本発明は、以下の構成のいずれか一を有するものである。

〔構成１〕
対象物に対し所望の操作を行うマニピュレータを有するロボット装置において、対象物を含む領域の撮像を行う撮像手段と、この撮像手段により得られた画像に基づく演算を行うとともにこの演算結果に応じてマニピュレータを制御する制御手段とを備え、制御手段は、対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しており、撮像手段により対象物の画像を一度撮像し、この画像と記憶された対象物の外形形状及び穴位置とのパターンマッチングを行い、画像における穴位置を推定し、穴位置を精密計測することで対象物の特徴点とし、この特徴点より対象物と撮像手段との平行移動及び光軸周りの回転を計算し、この計算結果に応じてマニピュレータを制御して、目的の位置まで移動させることを特徴とするものである。

〔構成２〕
構成１を有するロボット装置において、撮像手段は、マニピュレータに取付けられていることを特徴とするものである。

〔構成３〕
構成１、または、構成２を有するロボット装置において、撮像手段は、照明手段を備えており、対象物の画像を撮像するときに、照明手段により、対象物を照明することを特徴とするものである。

〔構成４〕
対象物に対し所望の操作を行うマニピュレータを有するロボット装置を制御するロボット装置の制御方法であって、対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しておき、撮像手段により対象物の画像を一度撮像し、撮像された画像と記憶された対象物の外形形状及び穴位置とのパターンマッチングを行って画像における穴位置を推定し、穴位置を精密計測することで対象物の特徴点としこの特徴点より対象物と撮像手段との平行移動及び光軸周りの回転を計算し、計算結果に応じてマニピュレータを制御して目的の位置まで移動させることを特徴とするものである。

〔構成５〕
構成４を有するロボット装置の制御方法において、撮像手段は、マニピュレータに取付けておくことを特徴とするものである。

〔構成６〕
構成４、または、構成５を有するロボット装置の制御方法において、対象物の画像を撮像するときに、所定の照明状態により対象物を照明することを特徴とするものである。

構成１を有するロボット装置においては、制御手段は、構成４を有するロボット装置の制御方法を実施することにより、対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しており、撮像手段により対象物の画像を一度撮像し、この画像と記憶された対象物の外形形状及び穴位置とのパターンマッチングを行い、画像における穴位置を推定する。

したがって、このロボット装置及びロボット装置の制御方法においては、一つの対象物について多数の基準画像を用意する必要がなく、新規の対象物にも容易に対応することができる。また、一度の撮像のみによって計測を行うことができるので、迅速な処理を行うことができる。さらに、長時間を要するパターンマッチングを低精度で打ち切ることができるので、処理の高速化が可能である。

そして、このロボット装置及びロボット装置の制御方法においては、穴位置を計測することで対象物の特徴点とし、この特徴点より対象物と撮像手段との平行移動及び光軸周りの回転を計算する。

したがって、このロボット装置及びロボット装置の制御方法においては、対象物にあけられているネジ穴や軸穴を特徴点とすることができるため、対象物に特殊なマーカ等を設ける必要がなく、多くの機械部品等に適用可能である。また、穴位置の精密計測は、推定した穴位置に基づいて実施するので、短時間でも精度の高い計測を行うことができる。そして、誤差の出やすい回転２自由度については計測対象にしないため、一つの撮像手段により撮像した画像に基づく計測であっても、必要な精度を確保することができる。

構成２を有するロボット装置においては、撮像手段は、マニピュレータに取付けられているので、構成５を有するロボット装置の制御方法を実施することにより、対象物の画像を撮像するときに、マニピュレータの位置に対応した範囲を撮像することができる。

構成３を有するロボット装置においては、撮像手段は、照明手段を備えており、構成６を有するロボット装置の制御方法を実施することにより、対象物の画像を撮像するときに、照明手段により対象物を照明するので、不要な輪郭が取り除かれ、常に一定条件での計測が可能になる。

すなわち、本発明は、対象物について多数の基準画像を用意する必要がなく、また、撮像手段が取付けられたマニピュレータを移動させながら撮像する必要がなく、撮像手段と対象物との位置関係を迅速に求めることができるロボット装置及びロボット装置の制御方法を提供することができるものである。

以下、本発明を実施するための最良の形態について図面を参照して説明する。

〔本発明に係るロボット装置の構成〕
図１は、本発明に係るロボット装置の構成を示す模式的な側面図である。

本発明に係るロボット装置は、図１に示すように、マニピュレータ１を有し、このマニピュレータ１により、対象物１０１の把持、運搬及び他の部材への組立や加工などの操作が可能となされているものである。

マニピュレータ１は、複数のアクチュエータ（駆動装置）とリンク（剛体の構造物）とによって構成されており、６自由度を有している。すなわち、各リンク間は、回動（屈曲）、または、旋回可能な関節２ａ，２ｂ，２ｃ，２ｄ，２ｅ，２ｆを介して接続されており、それぞれアクチュエータによって相対駆動されるようになっている。各アクチュエータは、制御手段となるコンピュータ３によって制御される。

このマニピュレータ１において、第１のリンク（基端部のリンク）１ａは、基台部４に対し、基端側を第１の関節２ａを介して接続されて設置されている。第１の関節２ａは、鉛直軸（ｚ軸）回りに旋回可能な関節である。この第１のリンク１ａの先端側には、第２の関節２ｂを介して、第２のリンク１ｂの基端側が接続されている。第２の関節２ｂは、水平な軸回りに第２のリンク１ｂを回動可能とする関節である。第２のリンク１ｂの先端側には、第３の関節２ｃを介して、第３のリンク１ｃの基端側が接続されている。第３の関節２ｃは、水平な軸回りに第３のリンク１ｃを回動可能とする関節である。

そして、第３のリンク１ｃの先端側には、第４の関節２ｄを介して、第４のリンク１ｄの基端側が接続されている。第４の関節２ｄは、第３のリンク１ｃの軸回りに第４のリンク１ｄを旋回可能とする関節である。第４のリンク１ｄの先端側には、第５の関節２ｅを介して、第５のリンク１ｅの基端側が接続されている。第５の関節２ｅは、第４のリンク１ｄの軸に直交する軸回りに第５のリンク１ｅを回動可能とする関節である。第５のリンク１ｅの先端側には、第６の関節２ｆを介して、第６のリンク１ｆの基端側が接続されている。第６の関節２ｆは、第５のリンク１ｅの軸回りに第６のリンク１ｆを旋回可能とする関節である。

このように、マニピュレータ１においては、回動可能な関節と、旋回可能な関節とが、交互に計６個設けられていることにより、６自由度が確保されている。

第６のリンク１ｆの先端側（以下、「手先」という。）には、対象物１０１を把持したり加工したりする先端ツール機構５が設けられている。この先端ツール機構５は、コンピュータ３や図示しないその他の制御装置によって制御される。

図２は、本発明に係るロボット装置のカメラの構成を示す模式的な側面図である。

また、手先の近傍には、図２に示すように、撮像レンズ及びＣＣＤ（固体撮像素子）からなる撮像手段となるカメラ６が取付けられている。また、カメラ６には、光源として、ＬＥＤ照明からなるカメラ照明７が取り付けられている。

図３は、画像特徴データテーブルに記憶された画像データ及び数値データの例を示す図表である。

コンピュータ３は、画像特徴データテーブル３ａを有している。この画像特徴データテーブル３ａには、図３に示すように、複数の対象物１０１の形状を示す画像データ及び数値データが記憶されている。対象物１０１には、他の部材への組立てのための軸穴やねじ穴があけられており、記憶されている数値データには、対象物１０１にあけられた穴の位置及び半径が含まれている。また、コンピュータ３は、画像処理部３ｂを有しており、カメラ６から送られる画像信号から対象物１０１の形状を抽出し、この形状と、画像特徴データテーブル３ａに記憶された画像データ及び数値データとの照合を行う。そして、コンピュータ３は、動作指令生成部３ｃを有している。この動作指令生成部３ｃは、画像処理部３ｂにおける画像信号と画像特徴データテーブル３ａ内のデータとの照合結果に応じて、マニピュレータ１の各アクチュエータに対する動作指令信号を生成し、各アクチュエータに送る。

そして、マニピュレータ１においては、第１のリンク１ａに対する第２のリンク１ｂの位置、第２のリンク１ｂに対する第３のリンク１ｃの位置、第３のリンク１ｃに対する第４のリンク１ｄの位置と、順次先端側のリンクの位置が制御されることにより、手先の位置が制御され、この手先において先端ツール機構５によって対象物１０１に対して所定の操作を実行することができる。

このロボット装置は、作業台上に対象物１０１が平置きされているものとして動作する。

〔本発明に係るロボット装置の制御方法〕
前述のように構成された本発明に係るロボット装置は、以下に説明する本発明に係るロボット装置の制御方法を実行する。

すなわち、このロボット装置は、マニピュレータ１の手先の近傍に取付けられたカメラ６を対象物１０１が置かれている作業台と、カメラ６の画像面が平行となるように移動させ、このカメラ６によって対象物１０１を撮像する。そして、画像処理部３ｂにより、対象物１０１における穴位置の推定した後、高精度計測を実施して、対象物１０１の位置を計測する。この計測結果に基づいて、対象物１０１に向けて先端ツール機構５を移動させ、対象物１０１に対して所定の操作を実行する。以下に、これらの動作について詳述する。

〔１〕画像計測アルゴリズムの概要
本発明に係るロボット装置の制御方法においては、対象物１０１をカメラ６により撮像し、撮像された画像を用いた計測により、位置姿勢計測を行う。計測する位置姿勢は、並進３自由度と、Ｚ軸（鉛直軸）周りの回転で、計４自由度である。この計測は、以下の手順で行う。

図４は、本発明に係るロボット装置の制御方法の手順を示すフローチャートである。

本発明に係るロボット装置の制御方法における計測アルゴリズムは、図４に示すように、粗探索、円抽出、位置姿勢計算の３段階に分かれている。

すなわち、Ｓ１で計測を開始すると、Ｓ２に進み、粗探索として、撮像された画像と画像特徴データテーブル３ａに記憶された画像データとの形状べースパターンマッチングを行う。この形状べースパターンマッチングにより、対象物１０１の大まかな位置を推定する。この処理によって、軸穴やねじ穴の中心位置や半径を見積もることができる。

次に、Ｓ３からＳ７の円抽出では、粗探索で見積もった穴位置に基づいて、探索範囲を絞り込み、エッジ抽出と円フィッティングにより、穴の中心位置を計算する。

そして、Ｓ８の位置姿勢計算では、算出された穴の位置関係より、対象物１０１の位置姿勢を計算する。

〔２〕粗探索
図４のＳ２の粗探索では、抽出すべきねじ穴、軸穴の位置を見積もるために、形状べースパターンマッチングを行う。この粗探索における探索手法としては、形状ベースパターンマッチングの他にも、２値化による探索が考えられるが、照明や背景などの条件変化に対してロバストであり、テンプレートを変更するだけで他の対象物にも適用可能であることから、形状ベースパターンマッチングが好ましい。なお、計測時間は２値化のほうが短いが、形状ベースパターンマッチングにおいても、計測時間の長さは許容範囲内である。

この粗探索は、対象物１０１における穴位置及び半径を見積もるためのもので、精度はそれほど必要ではない。そのため、粗いレベルのみで探索することで、計算時間を節約することができる。

〔３〕円抽出
並進３自由度と鉛直軸周り回転の計４自由度を位置姿勢計算するには少なくとも２個の特徴点が必要である。また、より多くの特徴点を使用することで計測精度を向上させることが可能である。たとえば、対象物１０１には図３に示すように３個の穴があけられており、これらを位置姿勢計算のための特徴点とするために円抽出を行う。この円抽出では、図４のＳ３に示すように、これらの穴を順に選択し、円フィッティングにより抽出する。

Ｓ４では、実際の寸法とマッチング結果より、画像上での穴位置及び穴径を推定する。Ｓ５で、この推定値をもとに領域を絞り込み、Ｓ６で、円フィッティングを行って円抽出を行う。この円抽出にあたっては、Ｓ７で、他に抽出すべき円があるかを判別し、他に抽出すべき円がある場合にはＳ３に戻る。対象物にあけられた３個の穴を全て抽出した段階で、次の位置姿勢計算（Ｓ８）に進む。

〔４〕位置姿勢計算
Ｓ８では、位置姿勢計算を行う。この計測アルゴリズムでは、画像面と計測面が平行であると仮定して位置姿勢計算を行っている。まず、円抽出によって算出した円の中心位置をカメラ６から距離１ｍの平面にマッピングする。この結果に対して実際の寸法との倍率より距離を算出し、幾何的な位置関係から回転角を算出する。

通常、位置姿勢計算には多くの特徴点を必要とするが、画像面と計測面が平行となるように撮像することによって、少ない特徴点からでも十分な精度での位置姿勢計算が可能となるようにしている。

本発明に係るロボット装置の構成を示す模式的な側面図である。 本発明に係るロボット装置のカメラの構成を示す模式的な側面図である。 画像特徴データテーブルに記憶された画像データ及び数値データの例を示す図表である。 本発明に係るロボット装置の制御方法の手順を示すフローチャートである。

符号の説明

１ マニピュレータ
１ａ 第１のリンク
１ｂ 第２のリンク
１ｃ 第３のリンク
１ｄ 第４のリンク
１ｅ 第５のリンク
１ｆ 第６のリンク
２ａ 第１の関節
２ｂ 第２の関節
２ｃ 第３の関節
２ｄ 第４の関節
２ｅ 第５の関節
２ｆ 第６の関節
３ コンピュータ
５ 先端ツール機構
６ カメラ
１０１ 対象物

Claims (6)

1. 対象物に対し所望の操作を行うマニピュレータを有するロボット装置において、
   前記対象物を含む領域の撮像を行う撮像手段と、
   前記撮像手段により得られた画像に基づく演算を行うとともに、この演算結果に応じて前記マニピュレータを制御する制御手段と
   を備え、
   前記制御手段は、前記対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しており、前記撮像手段により前記対象物の画像を一度撮像し、この画像と記憶された前記対象物の外形形状及び穴位置とのパターンマッチングを行い、前記画像における穴位置を推定し、穴位置を精密計測することで前記対象物の特徴点とし、この特徴点より前記対象物と前記撮像手段との平行移動及び光軸周りの回転を計算し、この計算結果に応じて前記マニピュレータを制御して、目的の位置まで移動させる
   ことを特徴とするロボット装置。
2. 前記撮像手段は、前記マニピュレータに取付けられている
   ことを特徴とする請求項１記載のロボット装置。
3. 前記撮像手段は、照明手段を備えており、前記対象物の画像を撮像するときに、前記照明手段により、前記対象物を照明する
   ことを特徴とする請求項１、または、請求項２記載のロボット装置。
4. 対象物に対し所望の操作を行うマニピュレータを有するロボット装置を制御するロボット装置の制御方法であって、
   前記対象物の外形形状及びこの対象物における２個以上の穴の位置を記憶しておき、
   撮像手段により前記対象物の画像を一度撮像し、
   撮像された画像と記憶された前記対象物の外形形状及び穴位置とのパターンマッチングを行って前記画像における穴位置を推定し、
   穴位置を精密計測することで前記対象物の特徴点とし、この特徴点より前記対象物と前記撮像手段との平行移動及び光軸周りの回転を計算し、
   前記計算結果に応じて前記マニピュレータを制御して、目的の位置まで移動させる
   ことを特徴とするロボット装置の制御方法。
5. 前記撮像手段は、前記マニピュレータに取付けておく
   ことを特徴とする請求項４記載のロボット装置の制御方法。
6. 前記対象物の画像を撮像するときに、所定の照明状態により前記対象物を照明する
   ことを特徴とする請求項４、または、請求項５記載のロボット装置の制御方法。

Images