JP2019107730A

JP2019107730A - ワークに対する作業方法

Info

Publication number: JP2019107730A
Application number: JP2017241728A
Authority: JP
Inventors: 正小田島; Tadashi Odajima; 直行武居; Naoyuki Takei; 直樹尾田; Naoki Oda
Original assignee: Toyota Motor Corp; Tokyo Metropolitan Public University Corp
Current assignee: Toyota Motor Corp; Tokyo Metropolitan Public University Corp
Priority date: 2017-12-18
Filing date: 2017-12-18
Publication date: 2019-07-04
Anticipated expiration: 2037-12-18
Also published as: JP6923429B2

Abstract

【課題】十分な精度が得られたワーク上の作業軌道に沿って作業を行うことができるワークに対する作業方法を提供する。【解決手段】ウインドガラスに接着剤を塗布する方法において、テーブル上に載置されたマーカ用平板上に校正用打点を打点する打点工程(ST1)と、各校正用打点の実空間座標値とカメラで撮像した各々の校正用打点の画像上座標値とを記憶する校正情報取得工程(ST3)と、マーカ用平板に替えてテーブル上にウインドガラスを載置する交換工程(ST4)と、予め設定されたウインドガラスに対する仮作業軌道を画像上で生成する仮作業軌道生成工程(ST7)と、仮作業軌道の近傍の前記画像上座標値と、該画像上座標値に対応する実空間座標値とから算出した実空間座標値である実際の作業位置に対して接着剤を塗布し、作業軌道の終端に到達するまで該作業を繰り返す作業工程(ST8〜ST12)とを有する。【選択図】図４

Description

本発明はワークに対する作業方法に係る。特に、本発明は、ワーク上に作業を行うための作業軌道を生成し、この作業軌道に沿って作業を行う方法に関する。

従来、例えば自動車の製造工場等にあっては、ワークに対して所定の作業を自動で行うために、このワーク上に作業を行う作業軌道を予め適正に生成しておくことが望まれる。例えば、ウインドガラス上にロボット等によって接着剤を塗布する場合、テーブル上にウインドガラスを置き、カメラによってウインドガラスを撮像することで接着剤を塗布する軌道を予め適正に生成しておくことが望まれる。

特許文献１には、カメラによって物体検出を行うに際し、カメラパラメータの影響による誤差が大きくなってしまうことに鑑み、カメラが撮像する直線マーカの画像からカメラ内部パラメータを求める校正手段を備えさせた構成が開示されている。

特開２００６−１３５６２１号公報

しかしながら、ワーク上に作業軌道を生成するにあたっては、カメラによる画像認識系の誤差（レンズゆがみやカメラ設置位置のズレ等）だけでなく、装置の機械的な誤差（組み付け誤差等）も考慮する必要があり、これら誤差に対して個別にキャリブレーションを行っても作業軌道の十分な精度を得ることは難しかった。

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、十分な精度が得られたワーク上の作業軌道に沿って作業を行うことができるワークに対する作業方法を提供することにある。

前記の目的を達成するための本発明に係るワークに対する作業方法は、カメラと、該カメラと相対移動可能なテーブルと、該テーブルと相対移動可能な打点装置および作業部と、前記テーブル上に載置される校正ワークおよび本ワークと、前記テーブルを移動させる移動部と、該移動部による前記テーブルの移動を制御する制御部と、実空間座標値および画像上座標値を記憶する記憶部と、仮作業軌道生成部と、を備え、前記テーブル上に載置された前記校正ワークを前記テーブルと共に移動させながら前記打点装置によって前記校正ワーク上に校正用打点を打点する打点工程と、各々の前記校正用打点の実空間座標値と、前記カメラで撮像した各々の前記校正用打点の画像上座標値と、を前記記憶部に記憶する校正情報取得工程と、前記校正ワークに替えて前記テーブル上に前記本ワークを載置する交換工程と、前記仮作業軌道生成部が、予め設定された前記本ワークに対する仮作業軌道を画像上で生成する仮作業軌道生成工程と、前記仮作業軌道の近傍の前記記憶部に記憶された前記画像上座標値と、該画像上座標値に対応する前記記憶部に記憶された前記実空間座標値と、から実際の作業位置である実空間座標値を算出する実空間座標値算出工程と、前記実空間座標値である実際の作業位置に対して前記作業部が作業し、前記仮作業軌道の終端に到達するまで、前記作業位置の算出と前記作業部の作業とを繰り返す、または、前記仮作業軌道の終端に到達するまで、前記作業位置の算出を行った後、前記作業位置に対して前記作業部が作業する作業工程と、を有することを特徴とする。

この特定事項により、カメラの光学的な誤差と、カメラとテーブルとの相対位置に起因する誤差と、移動部の機械的な誤差とに基づいて各座標系を取得することになり、これら誤差を一括して低減した校正を行うことができる。また、座標全体を一度に校正するのではなく、仮作業軌道の近傍の点のみを逐次校正するようにしているため、カメラレンズの局所的なゆがみを排除でき、校正の確実性を向上できる。

本発明では、予め設定された本ワークに対する仮作業軌道の近傍の画像上座標値と、該画像上座標値に対応する実空間座標値とから算出した実空間座標値である実際の作業位置に対して作業部が作業を行うようにしている。このため、カメラの光学的な誤差、カメラとテーブルとの相対位置に起因する誤差、移動部の機械的な誤差を一括して低減した校正を行うことができる。また、カメラレンズの局所的なゆがみを排除でき、校正の確実性を向上できる。

実施形態に係る接着剤塗布装置の概略構成を示す図である。軌道生成システムの構成を示すブロック図である。打点装置の概略構成を示す図である。軌道生成動作および接着剤塗布動作の手順を示すフローチャート図である。マーカ用平板に打点が付された状態を示す平面図である。マーカ用平板上のピクセル座標の近接点を示す図５相当図である。

以下、本発明の実施の形態を図面に基づいて説明する。本実施形態は、車両に適用されるウインドガラスに対して接着剤を塗布するための方法として本発明を適用した場合について説明する。

−接着剤塗布装置の概略構成−
図１は、本実施形態に係る接着剤塗布装置１の概略構成を示す図である。また、図２は、接着剤塗布装置１に備えられた軌道生成システム２の構成を示すブロック図である。

これらの図に示すように、接着剤塗布装置１は、軌道生成システム２および作業部３を備えている。また、軌道生成システム２は、軌道生成装置系４および画像認識系５を備えている。

軌道生成装置系４は、テーブル４１、移動機構（移動部）４２、制御装置（制御部）４３、および、打点装置４４を含んで構成されている。画像認識系５は、カメラ５１、画像校正装置（記憶部）５２、軌道情報記憶装置５３、ワーク判別装置５４、目標軌道生成装置（仮作業軌道生成部）５５、および、軌道生成装置用指令変換装置５６を含んで構成されている。以下、それぞれについて説明する。

テーブル４１は、後述するワーク（校正ワークとしてのマーカ用平板Ｗ１（図３を参照）および本ワークとしてのウインドガラスＷ２（図１を参照）のうちの一方）が載置され、このワークＷ１，Ｗ２を吸着等の手段によって把持する。

移動機構４２は、前記テーブル４１を鉛直軸周りに回転させたり水平方向にスライド移動させたりするものであり、図示しない移動用モータ等を動力源として前記テーブル４１の移動を行うようになっている。つまり、テーブル４１は、この移動機構４２によってカメラ５１と相対移動可能となっている。なお、テーブル４１を水平方向にスライド移動させる機構としてはラックアンドピニオン機構４１ａが適用されている。テーブル４１を移動させる構成および移動させる方向は前述のものには限定されず、任意に設定可能である。また、この移動機構４２は、前記作業部３を構成している接着剤塗布ノズル３１を上下移動させたり回転させたりするようにもなっている。なお、接着剤塗布ノズル３１の上下移動や回転は手動で行われるようになっていてもよい。

制御装置４３は、前記軌道生成装置用指令変換装置５６からの指令信号を受け、この指令信号に従って前記移動機構４２に移動制御信号を出力し、これによりテーブル４１や接着剤塗布ノズル３１の移動を制御する。また、この制御装置４３は、打点装置４４の移動も制御する。

打点装置４４は、テーブル４１に把持されたマーカ用平板Ｗ１に対してマーカを打点するものである。このマーカ用平板Ｗ１に対するマーカ（打点）は、カメラ５１と接着剤塗布装置１との間のキャリブレーションのために行われる。この打点装置４４は、前記移動機構４２によって移動されてマーカを打点する位置を調整する。つまり、この打点装置４４は、テーブル４１と相対移動可能となっている。

図３は、この打点装置４４の概略構成を示す図である。この図３に示すように、打点装置４４は、テーブル４１の上方に配設されており、マーカ用平板Ｗ１上にマーカを描くためのマーカペン４４ａと、該マーカペン４４ａを保持した状態で昇降移動（上下移動）可能な昇降機構４４ｂとを有している。この昇降機構４４ｂの構成としては、モータやエア等を動力源とした周知の機構が適用されている。なお、この打点装置４４は、マーカペン４４ａが取り付けられた状態にあってはマーカ用平板Ｗ１に対してマーカを打点する装置となるが、このマーカペン４４ａが取り外され接着剤塗布ノズル３１が備えられた状態では、前記作業部３を構成することになる。このように本実施形態では、昇降機構４４ｂとしての機能部分と作業部３としての機能部分とが一部兼用されている。

カメラ５１は、テーブル４１の上方に配設されており、該テーブル４１に把持されたマーカ用平板Ｗ１やウインドガラスＷ２を上方から撮像する。

画像校正装置５２は、前記カメラ５１によって撮像された画像（カメラ画像）と、前記マーカ用平板Ｗ１上に描かれたマーカとの対応位置関係をキャリブレーション情報として取得・記憶する。つまり、この画像校正装置５２は、実際のマーカの位置を表す実空間座標値およびカメラ画像におけるマーカの位置を表す画像上座標値を記憶する。また、この画像校正装置５２としては、前記カメラ５１を複数台用意して繊細な画像を得て処理するようになっていてもよい。

軌道情報記憶装置５３は、テーブル４１にウインドガラスＷ２が把持された状態での該ウインドガラスＷ２の位置および姿勢に対するティーチングやＣＡＤ等の目標となる軌道情報を記憶している。

ワーク判別装置５４は、接着剤塗布装置１において接着剤が塗布される複数種類のワーク（ウインドガラスＷ２）の画像を記憶していると共に、カメラ５１からの画像データを受信し、前記カメラ５１で撮像されたウインドガラスＷ２の実画像から、テーブル４１に把持されているウインドガラスＷ２の種類を判別する。

目標軌道生成装置５５は、前記ワーク判別装置５４からのワーク種別情報を受信し、ウインドガラスＷ２の種類に対し、前記軌道情報記憶装置５３からの軌道情報を適合させて（軌道情報記憶装置５３に記憶されている軌道情報からウインドガラスＷ２に適合する軌道情報を抽出し）、目標となる軌道をカメラ画像上に生成する。この生成された軌道の情報が仮の目標軌道情報となる。

軌道生成装置用指令変換装置５６は、前記目標軌道生成装置５５からの仮の目標軌道情報を受信し、その情報を、前記画像校正装置５２に記憶されているキャリブレーション情報をもとに前記制御装置４３への指令信号に変換し、この指令信号を制御装置４３に送信する。

−軌道生成動作、接着剤塗布動作−
次に、前記軌道生成システム２による軌道生成動作、および、作業部３による接着剤塗布動作について図４のフローチャートに沿って説明する。

前記軌道生成動作としては、校正動作、ウインドガラス判別動作、目標軌道生成動作が順に行われる。

（校正動作）
先ず、校正動作について説明する。

この校正動作では、図３に示すようにテーブル４１上にマーカ用平板Ｗ１を載置し、該マーカ用平板Ｗ１をテーブル４１上に把持する。このマーカ用平板Ｗ１としては、ウインドガラスＷ２と同程度の高さ寸法および大きさであることが好ましい。

次に、打点装置４４の昇降機構４４ｂにマーカペン４４ａを取り付け、昇降機構４４ｂの昇降動作によってマーカペン４４ａがマーカ用平板Ｗ１上にマーカを打点する（描く）ようにする。

そして、マーカ用平板Ｗ１上に任意の間隔でマーカペン４４ａによるマーカの打点を行う（ステップＳＴ１；本発明でいう「テーブル上に載置された校正ワークをテーブルと共に移動させながら打点装置によって校正ワーク上に校正用打点を打点する打点工程」）。この打点はキャリブレーション用のものであり、本実施形態では、前記制御装置４３からの移動制御信号に従うテーブル４１の移動および打点装置４４の作動により、全自動でマーカの打点を行うようになっている。

次に、前記マーカの打点が行われたマーカ用平板Ｗ１をカメラ５１で撮像し（ステップＳＴ２）、マーカ用平板Ｗ１上の各打点を特徴点として抽出する。図５は、マーカ用平板Ｗ１上に各打点が付された状態を示す平面図である。この特徴点を抽出する手法としては、一般的な画像処理が利用可能である。この場合、どの特徴点が軌道生成装置系４によって描かれた打点であるのかが対応できないので、マーカ用平板Ｗ１上の中心点Ｏ１および開始点Ｏ２を指定しておく。

そして、これら中心点Ｏ１および開始点Ｏ２の座標をもとに、前記マーカ（打点）の座標を所定の順序で規定の範囲をマスクしながら特徴点として検索し、カメラ５１で撮像された画像（カメラ画像）の座標と対応付けて記憶していく（ステップＳＴ３）。この特徴点を検索していく順序としては、図５に破線の矢印で示すように、マーカ用平板Ｗ１上の中心点Ｏ１に近い側の打点であって、該中心点Ｏ１から等距離にある複数の打点に対し、前記開始点Ｏ２を起点として所定の回転方向（時計回り方向または反時計回り方向）に沿って検索してカメラ画像の座標と対応付けていき、その後、順次、マーカ用平板Ｗ１上の中心点Ｏ１から遠い位置にある打点に対して同様の検索を行ってカメラ画像の座標と対応付けていく。

以上の動作により、軌道生成装置系４によって描かれた打点の座標データ［ｘｉ，ｙｉ］群と、カメラ画像のピクセル座標データ［Ｘｉ，Ｙｉ］群との直接的な対応表がキャリブレーション情報として画像校正装置５２に記憶されることになる（本発明でいう「各々の校正用打点の実空間座標値と、カメラで撮像した各々の校正用打点の画像上座標値とを記憶部に記憶する校正情報取得工程」）。

以上が校正動作である。

この校正動作の終了後は、テーブル４１上からマーカ用平板Ｗ１が取り外され、また、昇降機構４４ｂからマーカペン４４ａが取り外される。

（ウインドガラス判別動作）
次に、ウインドガラス判別動作について説明する。

このウインドガラス判別動作では、図１に示すようにテーブル４１上にウインドガラスＷ２を載置し、該ウインドガラスＷ２をテーブル４１上に把持する（ステップＳＴ４；本発明でいう「校正ワークに替えてテーブル上に本ワークを載置する交換工程」）。

その後、このテーブル４１上に把持されたウインドガラスＷ２をカメラ５１によって撮像して画像データを取得した後（ステップＳＴ５）、予め記憶されている複数種類のウインドガラスＷ２のうち、何れのウインドガラスＷ２に適合するか（ウインドガラスＷ２の種類）を判別する（ステップＳＴ６）。そして、テーブル４１上におけるウインドガラスＷ２の位置および姿勢をカメラ画像に基づいて算出する。このウインドガラスＷ２の判別手法およびウインドガラスＷ２の位置や姿勢の算出は、任意のパターンマッチング手法が利用可能である。

そして、ワーク判別装置５４に記憶されている各種の軌道情報のうち前記判別されたウインドガラスＷ２の種類に適合した軌道情報を抽出し、その軌道情報に従って接着剤を塗布する仮の目標軌道をカメラ画像のピクセル座標上に生成する（ステップＳＴ７；本発明でいう「仮作業軌道生成部が、予め設定された本ワークに対する仮作業軌道を画像上で生成する仮作業軌道生成工程」）。

以上がウインドガラス判別動作である。

（目標軌道生成動作）
次に、目標軌道生成動作について説明する。

この目標軌道生成動作では、前記カメラ画像のピクセル座標上の指令点に対して、前記校正動作で得られたキャリブレーション情報から近接点を抽出する（ステップＳＴ８）。例えば、指令点を取り囲む４点を近接点として見つける。この近接点としては３点以上であればよい。

図６は、マーカ用平板Ｗ１上におけるピクセル座標の近接点を示す図５相当図である。この図６では領域Ａ１内に指令点が存在する場合の近接点がａ１，ｂ１，ｃ１，ｄ１の４点であることを表している。また、領域Ａ２内に指令点が存在する場合の近接点がａ２，ｂ２，ｃ２，ｄ２の４点であることを表している。

そして、前記近接点の数をｎとし、前述したように軌道生成装置系４によって描かれた打点の座標データを［ｘｉ，ｙｉ］、カメラ画像のピクセル座標データを［Ｘｉ，Ｙｉ］として（ｉ＝１〜ｎ）、以下の式（１）〜式（３）によって射影変換行列Ｈを求める（ステップＳＴ９）。

前記式（１）は、軌道生成装置系４によって描かれた打点の座標値から作られた行列であり、前記式（２）は、カメラ画像のピクセル座標値から作られた行列である。

このようにして求めた射影変換行列Ｈを用い、以下の式（４）により、指令点のピクセル座標データ［Ｘ，Ｙ］から軌道生成装置系４の座標データ［ｘ，ｙ］を算出する（ステップＳＴ１０；本発明でいう「仮作業軌道の近傍の記憶部に記憶された画像上座標値と、該画像上座標値に対応する記憶部に記憶された実空間座標値と、から実際の作業位置である実空間座標値を算出する実空間座標値算出工程）。この座標データ［ｘ，ｙ］が最終的な目標軌道を決める座標（軌道生成座標データ）となる。

このようにして算出された座標データ［ｘ，ｙ］が前記接着剤塗布ノズル３１の通過位置、つまり接着剤塗布軌道として設定されて、接着剤塗布ノズル３１からウインドガラスＷ２に向けて接着剤を塗布していく接着剤塗布作業が行われる（ステップＳＴ１１）。つまり、前記演算式を利用した各近接点に対する重み付けを行って、この各近接点に囲まれた領域の中の座標（目標軌道上の座標）を決定し、この領域内での軌道（目標軌道）に対して接着剤塗布作業が行われることになる。

このような動作が、前記接着剤塗布ノズル３１が接着剤塗布軌道の終点に達するまで（ステップＳＴ１２でＹＥＳ判定されるまで）繰り返される。つまり、接着剤塗布ノズル３１が接着剤塗布軌道の終点に達しておらず、ステップＳＴ１２でＮＯ判定された場合にはステップＳＴ８に戻り、カメラ画像のピクセル座標上の新たな指令点に対して、前記校正動作で得られたキャリブレーション情報から近接点を抽出する。例えば、図６を用いて前述したように、異なる領域での指令点に対して近接点が抽出されて、新たに射影変換行列Ｈが算出され、この射影変換行列Ｈを用いて軌道生成装置系４の座標データ［ｘ，ｙ］が算出され、それに従って接着剤塗布作業が行われることになる（本発明でいう「実空間座標値である実際の作業位置に対して作業部が作業し、仮作業軌道の終端に到達するまで、作業位置の算出と作業部の作業とを繰り返す作業工程」）。

そして、接着剤塗布ノズル３１が接着剤塗布軌道の終点に達し、ステップＳＴ１２でＹＥＳ判定された場合にはステップＳＴ１３に移り、次のワーク（ウインドガラスＷ２）が存在しているか否かを判定する。そして、次のウインドガラスＷ２が存在しており、ステップＳＴ１３でＹＥＳ判定された場合には、ステップＳＴ４に戻り、次のウインドガラスＷ２をテーブル４１上に載置し、該ウインドガラスＷ２をテーブル４１上に把持して、前述したステップＳＴ５〜ステップＳＴ１２の動作を繰り返す。

そして、次のウインドガラスＷ２が存在しなくなると、ステップＳＴ１３でＮＯ判定され、本ルーチンを終了する。

以上説明したように、本実施形態では、カメラ５１の光学的な誤差と、カメラ５１とテーブル４１と（マーカ用平板Ｗ１およびウインドガラスＷ２）の相対位置に起因する誤差と、移動機構４２の機械的な誤差とに基づいて各座標系を取得することになり、これら誤差を一括して低減した校正を行うことができる。また、座標全体を一度に校正するのではなく、仮の目標軌道（仮作業軌道）の近傍の点のみを逐次校正するようにしているため、カメラレンズの局所的なゆがみを排除でき、校正の確実性を向上することができる。

（変形例）
次に、変形例について説明する。前記実施形態では、実空間座標値である実際の作業位置に対して作業部が作業し、仮作業軌道の終端に到達するまで、前記作業位置の算出と作業部の作業とを繰り返すようにしていた。本変形例では、前記仮作業軌道の終端に到達するまで、前記作業位置の算出を行った後、前記作業位置に対して前記作業部が作業するようにしている。

具体的な制御手順としては、図４で示したフローチャートにおいて、未だ接着剤塗布作業を行うことなく、ステップＳＴ１０で算出した軌道生成座標データを記憶していき、ステップＳＴ１２とステップＳＴ１３との間で、前記記憶した軌道生成座標データによる接着剤塗布作業を行うようにしたものである。

−他の実施形態−
なお、本発明は、前記実施形態に限定されるものではなく、特許請求の範囲および該範囲と均等の範囲で包含される全ての変形や応用が可能である。

例えば、前記実施形態では、ウインドガラスＷ２に対して接着剤を塗布するための方法として本発明を適用した場合について説明した。本発明はこれに限らず、その他のワークに対して作業軌道を生成し、この作業軌道に沿って作業を行う方法にも適用することが可能である。

本発明は、ウインドガラスに対して接着剤を塗布するための作業軌道を生成し、この作業軌道に沿って接着剤を塗布する方法に適用可能である。

１接着剤塗布装置
２軌道生成システム
３作業部
３１接着剤塗布ノズル
４軌道生成装置系
４１テーブル
４２移動機構（移動部）
４３制御装置（制御部）
４４打点装置
５画像認識系
５１カメラ
５２画像校正装置（記憶部）
５３軌道情報記憶装置
５４ワーク判別装置
５５目標軌道生成装置（仮作業軌道生成部）
５６軌道生成装置用指令変換装置
Ｗ１マーカ用平板（校正ワーク）
Ｗ２ウインドガラス（本ワーク）

Claims

カメラと、該カメラと相対移動可能なテーブルと、該テーブルと相対移動可能な打点装置および作業部と、前記テーブル上に載置される校正ワークおよび本ワークと、前記テーブルを移動させる移動部と、該移動部による前記テーブルの移動を制御する制御部と、実空間座標値および画像上座標値を記憶する記憶部と、仮作業軌道生成部と、を備え、
前記テーブル上に載置された前記校正ワークを前記テーブルと共に移動させながら前記打点装置によって前記校正ワーク上に校正用打点を打点する打点工程と、
各々の前記校正用打点の実空間座標値と、前記カメラで撮像した各々の前記校正用打点の画像上座標値と、を前記記憶部に記憶する校正情報取得工程と、
前記校正ワークに替えて前記テーブル上に前記本ワークを載置する交換工程と、
前記仮作業軌道生成部が、予め設定された前記本ワークに対する仮作業軌道を画像上で生成する仮作業軌道生成工程と、
前記仮作業軌道の近傍の前記記憶部に記憶された前記画像上座標値と、該画像上座標値に対応する前記記憶部に記憶された前記実空間座標値と、から実際の作業位置である実空間座標値を算出する実空間座標値算出工程と、
前記実空間座標値である実際の作業位置に対して前記作業部が作業し、前記仮作業軌道の終端に到達するまで、前記作業位置の算出と前記作業部の作業とを繰り返す、または、前記仮作業軌道の終端に到達するまで、前記作業位置の算出を行った後、前記作業位置に対して前記作業部が作業する作業工程と、を有することを特徴とするワークに対する作業方法。