JP2010214546A - 組立装置および組立方法 - Google Patents

Abstract

【課題】安価な構成で、ワークの把持時のバラツキや微小変形にも対応可能な組立装置を提供することである。
【解決手段】提案する組立装置は、ロボットや位置決め装置等のマニピュレーターと視覚装置とを備え、形状既知のワークをマニピュレーターで把持した状態で第１の視点からの撮像を行って、該第１の視点に対応する第１基準画像と該撮像した画像との比較により、前記ワークの位置・姿勢を測定し、前記第１の視点からの撮像結果としての位置・姿勢に基づいて、前記ワークを把持したマニピュレーターを第２の視点まで移動させて撮像を行って、該第２の視点に対応する第２基準画像と該撮像した画像との比較により、前記ワークの位置・姿勢を測定する。
【選択図】 図２

Description

本発明は、マニピュレーター（ロボットや位置決め装置等）でワークを搬送し、視覚装置でそのワークの位置や姿勢のずれ量を測定して位置決めを行って組み立てる技術に関する。

自動化された組立工場では、急速な市場の変化に対応するため、大量生産方式から変種変量生産方式への移行が進み、ロボットによるセル生産システムも拡大しつつある。
ロボットによるセル生産システムでは、１台のロボットで多品種のワークを組み立てることになり、当然のこととして、ワーク毎に、ワークの色や形状・サイズ等が異なることになる。

例えば、ネジや引っ張りばねおよびモールド部品等、単純な形状から複雑な形状まで多種多様なワークを取り扱うことになる。
また、ロボットによるワークの組み立て作業では、ワークの形状や位置・姿勢等をロボットに認識させる必要があり、ワークを認識する方法としての視覚装置の採用が進んでいる。この視覚装置は、カメラ、レンズ、照明装置、画像処理装置等で構成されており、カメラで撮像した画像からワークが写っている部分に相当する画像を抽出し、その抽出した画像を処理してワークの特徴点等を認識している。

図５は、第１の従来技術のシステム構成を示す図である。
図５に示すように、このシステムは、先端部にワーク２３を吸着するための吸着ノズル２２が設けられたロボットアーム２１と、カメラ２５、照明装置２４、画像処理装置２６、を有する視覚装置とにより構成される。

ロボットアーム２１の先端に吸着されたワーク２３は、ロボットアーム２１が移動することで、撮像位置まで搬送される。その撮像位置において、照明装置２４によりワーク２３が照らされて、カメラ２５によりワーク２３が撮像される。

撮像した画像は画像処理装置２６に取り込まれ、その画像処理装置２６において、その撮像した画像からワーク２３が写っている部分に相当する画像が画像処理の結果として抽出され、そのワーク２３の形状や姿勢等が認識される。

このように、ワーク２３は、ロボットアーム２１に吸着して供給され、画像処理装置２６による画像処理によって、吸着したワーク２３の位置や姿勢（あるいは、その吸着したワーク２３の位置や姿勢の所定位置を基準とした座標、そのときのその所定位置を原点とする座標系の、例えば、ロボットアーム２１の初期状態のときの各軸となす角度）を検出し補正することで、高精度な組立てを行なっている。

ワーク２３としては、組立てに３次元の位置や姿勢情報を必要としない平板等と、組立てに３次元の位置や姿勢情報を必要とする一般的な３次元物体とがある。特許文献１では、一般的な３次元物体の位置・姿勢を推定する方法が示されている。この方法によれば、３次元モデルとして事前に登録することで形状が既知であるワークを、２次元の画像情報を取り込むカメラにより１回撮像し、その撮像した画像から画像処理の結果として特徴点（稜線や端点）を抽出し、抽出された特徴点と、事前に登録された３次元モデルの特徴点とを比較して、ワークの位置・姿勢を推定している。

また、この特許文献１の方法を改善したものとして、特許文献２の３次元座標測定方法がある。
特許文献２の方法では、図６に示すように、システムは、先端部にレーザーレンジセンサー３７が取り付けられたロボットアーム３１と、カメラ３５、画像処理装置（図６では不図示）、を有する視覚装置とにより構成される。

カメラ３５で撮像した画像は画像処理装置に取り込まれ、その画像処理装置において、その撮像した画像からワーク３３の特徴点が画像処理の結果として抽出される。そして、ロボットアーム３１に取り付けられたレーザーレンジセンサー３７により、そのワーク３３のロボット座標系（これは、例えば、ロボットアームの根元位置を基準とした座標系である）における位置・姿勢が求められる。

しかし、特許文献１に記載の技術では、事前に登録した３次元モデルから、ワークの３次元での位置・姿勢を推定するため、部品バラツキや微小な変形等への対応が困難であるとともに、その位置・姿勢を高精度に測定することもできない。さらに、ワークを把持することにより発生する微小な位置ずれにも対応できない、という不具合がある。

また、特許文献２に記載の技術では、視覚装置とレーザーレンジセンサー３７とを用いてワークの位置や姿勢を測定しているため、それぞれの測定装置が必要となり、設備コストが増大する。また、視覚装置と比較してレーザーレンジセンサー３７はスキャンタイムが長く、データ処理も煩雑になる。さらに、それぞれのシステム（視覚装置とレーザーレンジセンサー３７）は個別に設置されるため、設置スペースが増加する、という不具合がある。

特開平２−５１００８号公報 特開平７−１３６９５９号公報

本発明は、以上の問題点を考慮してなされたものであり、安価な構成で、ワークの把持時のバラツキや微小変形にも対応可能な組立装置および組立方法を提供することを目的とする。

提案する組立装置は、ワークを保持して所定位置へ搬送するマニピュレーターと、前記ワークを複数の異なる視点から撮像した画像を取得し、該複数の画像に基づいて前記ワークの保持位置・姿勢を演算する視覚装置と、を備えた組立装置であって、前記視覚装置は、前記ワークの形状に対応して定めた複数の異なる視線方向から撮像した前記ワークの画像であって予め記憶されている基準画像と、前記視線方向から撮像した前記マニピュレーターに保持された前記ワークの画像であるワーク画像と、を比較し、前記マニピュレーターに保持された前記ワークの視線方向に基づく位置および姿勢を演算するワーク位置・姿勢演算部を備え、前記ワーク位置・姿勢演算部で求めた複数の視線方向に基づく前記ワークの位置および姿勢にから、前記ワークの前記マニピュレーターに保持された位置・姿勢を演算し、該演算結果を用いて、前記ワークを保持したマニピュレーターを制御して前記ワークの組立作業を行うことを特徴とする組立装置。

さらに提案する組立装置は、ワークの位置・姿勢を２方向からの視線による画像により演算できる場合には、ワークを保持して所定位置へ搬送するマニピュレーターと、前記ワークを２つの異なる視点から撮像した画像を取得し、該２つの画像に基づいて前記ワークの保持位置・姿勢を演算する視覚装置と、を備えた組立装置であって、前記視覚装置は、前記ワークの形状に対応して定めた第１の視線方向から撮像した前記ワークの画像であって予め記憶されている第１基準画像と、前記第１の視線方向から撮像した前記マニピュレーターに保持された前記ワークの画像である第１ワーク画像と、を比較し、前記マニピュレーターに保持された前記ワークの第１の視線方向に基づく位置および姿勢を演算する第１ワーク位置・姿勢演算部と、前記第１ワーク位置・姿勢演算部で求める第１の視線方向に基づく前記ワークの位置および姿勢に対応して定めた第２の視線方向から撮像した前記ワークの画像であって予め記憶されている第２基準画像と、前記第２の視線方向から撮像した前記マニピュレーターに保持された前記ワークの画像である第２ワーク画像と、を比較し、前記ワークの第２の視線方向に基づく前記ワークの位置および姿勢を演算する第２ワーク位置・姿勢演算部と、前記第１および第２ワーク位置・姿勢演算部の演算結果から、前記ワークの前記マニピュレーターに保持された位置・姿勢を演算する第３ワーク位置・姿勢演算部と、を備え、前記第３ワーク位置・姿勢演算部の演算結果を用いて、前記ワークを保持したマニピュレーターを制御して前記ワークの組立作業を行うことを特徴としている。

提案する組立装置によれば、第１の視点からの撮像の結果得られたワークの位置・姿勢に基づき、ワークを把持したマニピュレーターを第２の視点まで移動させて撮像を行って、ワークの３次元の位置・姿勢データを取得している。このため、ワークの把持時のバラツキや微小変形にも対応することが可能となる。

また、マニピュレーターでワークを把持した状態で撮像を行ない、位置・姿勢を測定するため、ワークのロボット座標系における３次元の位置・姿勢データを取得できる。また、２次元の画像処理装置を使用する結果、レーザーレンジセンサー等の高価で設置スペースをとる測定装置が不要となり、安価で高速な画像処理が可能となる。

本発明の一実施形態に係る３次元物体の位置・姿勢測定システムの構成を示すブロック図である。 本システムによる組立作業のフローチャートである。 ワークとしての引っ張りばねを第１カメラで撮像した画像を、第１基準画像とともに示した図である。 ワークとしての引っ張りばねを第２カメラで撮像した画像を、第２基準画像とともに示した図である。 第１の従来技術のシステム構成を示す図である。 第２の従来技術のシステム構成を示す図である。

以下図面に基づいて、本発明の実施形態について詳細を説明する。
図１は、本発明の一実施形態に係る３次元物体の位置・姿勢測定システムの構成を示すブロック図である。

図１に示すように、このシステムは、ワークとしての引っ張りばね８を把持して移動させるマニピュレーター１と、２次元の画像処理装置６と、２台のカメラ５−１、５−２と、照明装置４とにより構成されている。なお、図１には示されていないが、画像処理装置６からの処理結果情報に基づいてマニピュレーター１を制御する制御装置もこのシステムには含まれる。

このシステムを使用してワーク同士を引っ掛けるなどして組立作業を行なう前に、第１カメラ５−１とマニピュレーター１とのキャリブレーション作業、第２カメラ５−２とマニピュレーター１とのキャリブレーション作業を行って、第１カメラ５−１の座標系とマニピュレーター１のロボット座標系および第２カメラ５−２の座標系とマニピュレーター１のロボット座標系の関係を予め求めておく。

例えばこのキャリブレーション作業では、第１カメラ５−１の視野内にマニピュレーター１上の第１のマーカー（不図示）が写るように撮像を行なうとともに、第２カメラ５−２の視野内にマニピュレーター１上の第２のマーカー（不図示）が写るように撮像を行なう。

また、ワークとしての引っ張りばね８をマニピュレーター１で把持した第１の基準状態にて第１カメラ５−１で撮像した画像を第１基準画像として画像処理装置６のメモリ（不図示）に記憶（登録）するとともに、ワークとしての引っ張りばね８をマニピュレーター１で把持した第２の基準状態を第２カメラ５−２で撮像した画像を第２基準画像として画像処理装置６のメモリ（不図示）に記憶（登録）する。

以上の準備を行った後、組立作業に移る。
この組立作業では、引っ張りばね８はトレー（不図示）から整列した状態（あるいはテーピングした状態）で供給される。そして、トレー上の引っ張りばね８をマニピュレーター１で把持して、所定の位置まで移動させる。例えばこの組立作業では、引っ張りばね８の両端のフック９の例えば一方を他のワーク（不図示）に引っ掛ける。

引っ張りばね８の中央部分をマニピュレーター１で把持すると、引っ張りばね８は軸の回転方向とスラスト方向（軸方向）に位置ずれが生じる。そこで、他のワークに引っ張りばね８のフック９を引っ掛けるには、その都度、引っ張りばね８をマニピュレーター１で把持した状態で撮像し、３次元の位置・姿勢データを測定する必要がある。

図２は、本システムによる組立作業のフローチャートである。このフローチャートは一連の組立処理のうちの一部分（引っ張りばね８の一方のフック９を相手のワークに引っ掛ける部分）を記述したものである。

始めに、ステップＳ１で、トレー上の引っ張りばね８をマニピュレーター１により把持し、ステップＳ２で、撮像を行なうべき位置として予め定められた位置（引っ張りばね８の軸方向が第１カメラ５−１に正対するような位置）までマニピュレーター１を移動させる。

なお、マニピュレーター１の形状の関係から、図１に示すように、引っ張りばね８の軸方向（図１の矢印Ｂ方向）がマニピュレーター１のアーム方向（図１の矢印Ａ方向）に対してぶれないこと（直交あるいはほぼ直交すること）になっている。その結果として、各アームの長さ、各アーム間の角度に基づく順運動学により、引っ張りばね８の軸方向が第１カメラ５−１に正対するような位置（ばね８の主体としての円筒部分の軸方向と第１カメラ５−１のレンズの視線方向とが一致する位置）を制御信号として制御装置からマニピュレーター１に出力することができる。

そして、続くステップＳ３で、第１カメラ５−１により引っ張りばね８を撮像する。この結果、図３に示すような画像１２が得られる。
ステップＳ４では、図３に示すように、ステップＳ３で撮像した画像１２と、予め記憶しておいた第１基準画像１１とが画像処理装置６において比較される。この比較の結果として、フック９の第１基準画像１１から見た回転角度（フック９によって決定される平面の回転角度）と、引っ張りばね８のらせん状のばねが作る円形状の中心位置の第１基準画像１１のらせん状のばねが作る円形状の中心位置から見た変位とが求められ、制御装置に出力される。

続くステップＳ５では、算出された回転角度と変位とに基づいて、制御装置からマニピュレーター１に制御信号が出力され、第２カメラ５−２によりフック９の円形状が正面から撮像できるように、マニピュレーター１が移動する。

そして、ステップＳ６で、第２カメラ５−２により引っ張りばね８のフック９の円形状が撮像される。この結果、図４に示すような画像１４が得られる。
続く、ステップＳ７では、図４に示すように、ステップＳ６で撮像した画像１４と、予め記憶しておいた第２基準画像１３とが画像処理装置６において比較される。この比較の結果として、第２基準画像１３を基準とするフック９の円形状の中心位置の変位が求められ、制御装置に出力される。

そして、ステップＳ８で、ステップＳ６およびステップＳ７で算出された回転角度と変位に基づいて引っ張りばね８の保持位置・姿勢を演算し、その演算結果に基づいて制御装置からマニピュレーター１に制御信号が出力され、相手のワークに対して引っ張りばね８の一方のフック９が引っ掛けられる。

以上説明したように、本システムによれば、第１カメラ５−１が設置された第１の視点からの撮像の結果得られたワークの位置・姿勢に基づき、ワーク（引っ張りばね８）を把持したマニピュレーター１を第２カメラ５−２が設置された第２の視点から撮像可能で、かつ、上記第２基準画像１３と比較可能な画像を撮像できる位置まで移動させて撮像を行って、ワークの３次元の位置・姿勢データを取得している。このため、ワークの把持時のバラツキや微小変形にも対応することが可能となる。

また、マニピュレーター１でワークを把持した状態で撮像を行ない、位置・姿勢を測定するため、ワークのロボット座標系における３次元の位置・姿勢データを取得できる。また、２次元の画像処理装置を使用する結果、レーザーレンジセンサー等の高価で設置スペースをとる測定装置が不要となり、安価で高速な画像処理が可能となる。

なお、本システムでは、２台のカメラを使用してワークの撮像を行なうことにより、マニピュレーター１（ロボット）の移動量を最小限に抑えているが、１台のカメラによりシステムを構成することも可能である。

カメラが１台の場合には、ロボットアーム等でワークの姿勢を変えて複数の特徴部分を撮像するか、または、カメラを移動させて複数の特徴部分を撮像する。そして、ワークのロボット座標系における３次元の位置・姿勢データを取得する。

また、２以上の複数の視線方向から撮像したワークの画像と、その視線方向に対応する基準画像とに基づいて、マニピュレーターに把持されたワークの３次元の位置・姿勢データを求めても良い。例えば、更に第３のカメラを設けるとともに予め第３基準画像を記憶し、第１および第２の視線方向に基づくワークの位置および姿勢に基づきワークを第３のカメラに対応する位置・姿勢に制御装置により制御して第３のカメラにより撮像し、その撮像された画像と第３基準画像とを用いて画像処理装置により比較し、マニピュレータに保持されたワークの位置・姿勢を演算しても良い。

１ マニピュレーター
４、２４ 照明装置
５−１ 第１カメラ
５−２ 第２カメラ
６、２６ 画像処理装置
８ 引っ張りばね
９ フック
１１ 第１基準画像
１２ 第１カメラで撮像した画像
１３ 第２基準画像
１４ 第２カメラで撮像した画像
２１、３１ ロボットアーム
２２ 吸着ノズル
２３、３３ ワーク
２５、３５ カメラ
３７ レーザーレンジセンサー

Claims (7)

1. ワークを保持して所定位置へ搬送するマニピュレーターと、前記ワークを複数の異なる視点から撮像した画像を取得し、該複数の画像に基づいて前記ワークの保持位置・姿勢を演算する視覚装置と、を備えた組立装置であって、
   前記視覚装置は、
   前記ワークの形状に対応して定めた複数の異なる視線方向から撮像した前記ワークの画像であって予め記憶されている基準画像と、前記視線方向から撮像した前記マニピュレーターに保持された前記ワークの画像であるワーク画像と、を比較し、前記マニピュレーターに保持された前記ワークの視線方向に基づく位置および姿勢を演算するワーク位置・姿勢演算部を備え、
   前記ワーク位置・姿勢演算部で求めた複数の視線方向に基づく前記ワークの位置および姿勢にから、前記ワークの前記マニピュレーターに保持された位置・姿勢を演算し、該演算結果を用いて、前記ワークを保持したマニピュレーターを制御して前記ワークの組立作業を行うことを特徴とする組立装置。
2. ワークを保持して所定位置へ搬送するマニピュレーターと、前記ワークを２つの異なる視点から撮像した画像を取得し、該２つの画像に基づいて前記ワークの保持位置・姿勢を演算する視覚装置と、を備えた組立装置であって、
   前記視覚装置は、
   前記ワークの形状に対応して定めた第１の視線方向から撮像した前記ワークの画像であって予め記憶されている第１基準画像と、前記第１の視線方向から撮像した前記マニピュレーターに保持された前記ワークの画像である第１ワーク画像と、を比較し、前記マニピュレーターに保持された前記ワークの第１の視線方向に基づく位置および姿勢を演算する第１ワーク位置・姿勢演算部と、
   前記第１ワーク位置・姿勢演算部で求める第１の視線方向に基づく前記ワークの位置および姿勢に対応して定めた第２の視線方向から撮像した前記ワークの画像であって予め記憶されている第２基準画像と、前記第２の視線方向から撮像した前記マニピュレーターに保持された前記ワークの画像である第２ワーク画像と、を比較し、前記ワークの第２の視線方向に基づく前記ワークの位置および姿勢を演算する第２ワーク位置・姿勢演算部と、
   前記第１および第２ワーク位置・姿勢演算部の演算結果から、前記ワークの前記マニピュレーターに保持された位置・姿勢を演算する第３ワーク位置・姿勢演算部と、
   を備え、
   前記第３ワーク位置・姿勢演算部の演算結果を用いて、前記ワークを保持したマニピュレーターを制御して前記ワークの組立作業を行うことを特徴とする組立装置。
3. 前記視覚装置は、前記第１および第２の各視線方向に対応する位置に固定された２台のカメラを備え、前記各カメラで前記第１ワーク画像と前記第２ワーク画像を撮像することを特徴とする請求項２記載の組立装置。
4. 前記視覚装置は、１台のカメラを第１および第２の各視線方向に対応する位置に順次移動させ、前記第１ワーク画像と前記第２ワーク画像を撮像することを特徴とする請求項２記載の組立装置。
5. 前記視覚装置は、固定された１台のカメラを備え、前記マニピュレーターを制御して前記カメラの視線方向が前記第１および第２の各視線方向に対応する前記ワークの位置・姿勢とし、前記第１ワーク画像と前記第２ワーク画像を撮像することを特徴とする請求項２記載の組立装置。
6. 前記ワークは、円筒形状のワークであることを特徴とする請求項２乃至４の何れか１項に記載の組立装置。
7. ワークを保持して所定位置へ搬送するマニピュレーターと、前記ワークを２つの異なる視点から撮像した画像を取得し、該２つの画像に基づいて前記ワークの保持位置・姿勢を演算する視覚装置と、を備えた組立装置によるワークの組立方法であって、
   前記ワークの形状に対応して定めた第１の視線方向から撮像した前記ワークの画像であって予め記憶されている第１基準画像と、前記第１の視線方向から撮像した前記マニピュレーターに保持された前記ワークの画像である第１ワーク画像と、を比較し、前記マニピュレーターに保持された前記ワークの第１の視線方向に基づく位置および姿勢を演算する第１ワーク位置・姿勢演算ステップと、
   前記第１ワーク位置・姿勢演算ステップで求める第１の視線方向に基づく前記ワークの位置および姿勢に対応して定めた第２の視線方向から撮像した前記ワークの画像であって予め記憶されている第２基準画像と、前記第２の視線方向から撮像した前記マニピュレーターに保持された前記ワークの画像である第２ワーク画像と、を比較し、前記ワークの第２の視線方向に基づく前記ワークの位置および姿勢を演算する第２ワーク位置・姿勢演算ステップと、
   前記第１および第２ワーク位置・姿勢演算ステップの演算結果から、前記ワークの前記マニピュレーターに保持された位置・姿勢を演算する第３ワーク位置・姿勢演算ステップと、
   を備え、
   前記第３ワーク位置・姿勢演算ステップの演算結果を用いて、前記ワークを保持したマニピュレーターを制御して前記ワークの組立作業を行うことを特徴とするワークの組立方法。