JP2010000589A - ロボットシステム - Google Patents

Abstract

【課題】
組立を自動的に行うロボットシステムにおいて、部品をロボットで保持した時の部品の位置や姿勢のズレを画像処理により把握する際に利用するマーカを、部品に合わせて最適な形状や色とすることにより、多種類の部品の組立精度を向上することを目的とする。
【解決手段】
部品を搬送するロボットアームと、撮像装置と、制御装置と、から構成され、前記ロボットアームは、カラー画像を表示する表示機をロボットアーム先端に備え、前記制御装置は、前記表示機にマーカを表示させるマーカ表示部と、前記撮像装置で撮像された前記部品と前記マーカとが含まれる画像を用いて、前記マーカを基準に前記ロボットアームと前記部品との位置と姿勢の相対関係を求める部品姿勢演算部と、前記部品の位置と姿勢の相対関係に基づきロボットアームの動作を補正する補正部と、を有する。
【選択図】 図２

Description

ロボットにて製品の組立を自動的に行うロボットシステムにおいて、部品をロボットで保持した時の部品の位置および姿勢のズレを、ロボットに保持した部品を撮像した画像に基づき補正する技術に関するものである。

ロボットにて組立作業を自動で行うロボットシステムにおいて、所定の位置に置かれた部品をロボットでピックアップしても、ロボットが常に同じ位置および姿勢で部品を保持することは難しい。一方、組立作業においては、部品を常に同じ位置および姿勢となるように組み立てる必要がある。そのため、ロボットシステムはロボットで保持した部品の位置および姿勢を撮像装置にて撮像された画像を用いて把握し、保持した部品が同じ位置および姿勢となるようにロボットへの動作指令を補正して組立作業を行っている。
通常、ロボットに保持された部品の撮像と同時に、その時のロボット位置を把握するためにロボット位置を記憶し、撮像された部品の位置および姿勢と記憶されたロボット位置とに基づき、ロボットが保持した部品の位置および姿勢を把握する。
しかし、撮像とロボット位置の記憶とに微小な時間的ズレが生じるため、ロボットが保持した部品の位置および姿勢が、現実とロボットシステムの認識とでズレが生ずることとなる。このズレにより、ロボットシステムが把握するロボットが保持した部品の位置および姿勢と、現実のロボットが保持した部品の位置および姿勢とにズレが生じ、精密な組立作業を実施する場合に組立作業ができない等の問題が生ずることがあった。
上記問題の解決手段として、特許文献１に記載されているように、位置が既知であるマーカをロボットに固定し、部品を保持した後にマーカと部品が一つの画像内に収まるように撮像装置で撮像し、その画像のマーカを基準として保持された部品の位置および姿勢を把握し、ロボットの動作指令を補正して組立作業を行う技術が知られている。
特開平５−１９８９９４号公報

しかし、特許文献１に記載の技術においては、大量生産を行う生産ラインで使用されることを前提としており、一のロボットシステムは１部品１作業を行うため、マーカも当該１部品１作業に特化した形状となるのが通例である。
近年、多品種少量生産に適したセル生産方式の自動組立ラインの構築が要求されている。セル生産方式では１つのロボットシステムで複数の部品の組立を行う必要がある。そのため、特許文献１の技術をそのままセル生産方式のロボットシステムに利用しようとすると、マーカを部品毎に設けることとなる。
このように複数のマーカを有する場合には、ロボットが保持した一の部品の位置および姿勢を把握するために撮像した画像に、本来不用であるマーカが含まれることとなる。この不用であるマーカが画像処理を行うときにノイズとなり、部品の位置および姿勢の把握精度が悪化することがある。
さらに、複数のマーカが固定されている場合には、マーカと部品が同一画像内に写るようにするため、部品によってロボットの移動軌道や撮像装置の配置位置の変更を要する場合があり、部品を変えたときの設定に時間を要することがあった。
また、セル生産方式のロボットシステムにおいては、例えば部品の供給装置や組立治具なども複数の部品で共有することが望まれ、当然にマーカにおいても複数の部品で共有することが求められる。

しかし、マーカを共通化すると、マーカと部品との位置関係や、マーカと部品との色の関係により、部品の位置および姿勢の把握精度が悪化することがある。
さらに、照明なども部品の種類毎に異なる照明装置を用いることが要求されることもある。
そこで、本発明は上記課題に鑑みてなされたもので、ロボットにて製品の組立を自動的に行うロボットシステムにおいて、部品をロボットで保持した時の部品の位置および姿勢のズレを画像処理により把握する際に利用するマーカを、部品毎に最適な形状や色とし、多種類の部品の組立精度を向上することを目的とする。

上記課題を解決するために、請求項１に係るロボットシステムは、部品を搬送するロボットと、前記部品と前記ロボットのアーム先端を撮像する撮像装置と、前記ロボットと前記撮像装置を制御する制御装置と、から構成され、前記ロボットは、カラー画像を表示する表示機をロボットのアーム先端に備え、前記制御装置は、前記表示機にマーカを表示させるマーカ表示部と、前記撮像装置で撮像された前記部品と前記マーカとが含まれる画像を用いて、前記マーカを基準に前記ロボットと前記部品との位置および姿勢の相対関係を求める部品姿勢演算部と、前記位置および姿勢の相対関係に基づきロボットの動作補正量を演算する補正部と、前記動作補正量を用いてロボットの動作を制御するロボット制御部と、を有すること、を特徴とする。
請求項２に係る発明は、請求項１のロボットシステムにおいて、前記マーカ表示部は、前記表示機に部品毎に設定されたマーカを表示させることを特徴とする。
請求項３に係る発明は、請求項１または２に記載のロボットシステムにおいて、前記マーカ表示部は、前記表示機に任意の形状および色のマーカを表示させることを特徴とする。

本発明によって、マーカを交換することなくマーカの形状や色を任意に設定できるので、対応できる部品の種類が多くなる。
複数の部品を取り扱う場合でも、ロボットが保持している部品のマーカのみを表示することができるため、ノイズとなる不用なマーカがない画像を用いて画像処理が可能となり、保持された部品の位置および姿勢の把握精度が高くなり、組立精度の向上が実現される。
さらに、表示機に表示するマーカを任意の位置に表示できるので、全ての部品においてロボットの移動軌道や撮像装置の配置位置を共通化しておき、マーカと部品が同一画像内に写るようにマーカを表示する位置を変えることで、部品による設定の変更等の手間を少なくすることができる。

以下に図を用いて本発明の実施形態について説明をする。
図１はロボットシステム全体のシステム構成の概略図である。
図２はロボットシステム全体のブロック図である。
本発明に係るロボットシステムは、ロボット２０、ロボットに固定された表示機１０、撮像装置３０、これらを制御する制御装置４０から構成されている。ロボット２０のアーム先端には部品１を保持する機能を有している。例えば、負圧により部品を吸着保持する吸着保持部を有することにより、部品１の保持機能を実現できる。
制御装置４０は、マーカ表示部４１と部品姿勢演算部４２と補正部４３とロボット制御部４４より構成されている。
マーカ表示部４１は、表示機１０に表示させるマーカを指令するとともに、部品毎に表示すべきマーカを記憶している。
部品姿勢演算部４２は、撮像装置３０からの画像データとマーカ表示部からのマーカ情報とに基づき画像処理にて部品とマーカとの位置および姿勢の相対関係を演算し、予め記憶された部品とマーカとの正規の位置および姿勢の相対関係である基準情報と比較し、保持された部品の位置および姿勢のズレを演算する。

補正部４３は、部品姿勢演算部４２から受け取った保持された部品の位置および姿勢のズレ情報に基づき、部品を正しい組立位置に移動させるためのロボットへの動作指令の補正量を演算する。

ロボット制御部４４は、補正部４３からの補正量を受け取り、ロボット２０に動作指令を与える。なお、ロボット制御部４４はロボット２０の制御に必要な他の従来技術を当然に含んでいる。
なお図示していないが、制御装置４０は、ＣＰＵ、メモリ、入出力部（Ｉ／Ｏ）、インターフェース部（Ｉ／Ｆ）、記憶装置等により構成され、予め記憶装置等に記憶されたプログラムがＣＰＵにて実行されることで、上記各機能が実現される。
次に、動作について、フローチャートに基づき説明する。
まず、マーカの設定動作について，図４のマーカの設定動作に関するフローチャートを用いて説明する。
Ｓ１１にて、ロボット２０に部品１を位置および姿勢のズレが無い状態で保持させ、部品１を撮像装置３０にて撮像できる位置までロボット２０を動作させる。
Ｓ１２にて、マーカ表示部４１より表示機１０を部品１の色や材質等に合わせた色や明るさで表示させる。具体的には、画像処理において部品１の形状を把握しやすい色や明るさで表示機を表示させる。例えば部品１が黒色である場合には白色を表示させ、部品１が赤色である場合には青色を表示する等、部品に合わせて色を変えることができる。

なお、ここで表示する色を決定するに際して、人が制御装置４０のインターフェース（Ｉ／Ｆ）を用いて決定するようにしても良いし、撮像装置３０にて部品１を撮像し、その画像を制御装置４０にて画像処理を行い、部品の色を認識した上で部品の形状認識するために最適な表示機の表示色や明るさを自動的に決定することもできる。
Ｓ１３にて、部品１と表示機１０とが包含される一の画像を撮像装置３０で撮像し取得する。
Ｓ１４にて、Ｓ１３で撮影した前記画像を画像処理して部品の形状を把握し、後述する部品とマーカとの位置および姿勢の相対関係を把握するための部品の認識基準を決定する。ここで、認識基準とは、頂点、中心点、重心、輪郭線など部品形状の特徴を表す要素であり、かつ、部品の位置および姿勢を表現できる要素のことである。なお、認識基準は画像処理により最も精度よく検出できる画像要素であることが望ましく、これらを複数組み合せたものであってもよい。
認識基準の決定方法は、Ｓ１３で撮像した画像を画像処理し、いくつかの候補を制御装置４０のインターフェースを用いて表示し、人がその中から選択して決定するようにしても良いし、公知の技術を用いて自動で決定してもよい。例えば、自動で決定する方法として、部品形状の重心と一の輪郭線を認識基準として自動に決定することができる。部品形状の重心位置の移動により部品の位置のズレが把握でき、一の輪郭線の回転角度により相対的な部品姿勢のズレが把握できるからである。

Ｓ１５にて、部品の認識基準の位置および姿勢のズレを検出するためのマーカを設定する。マーカは形状、色、位置は任意に設定できるので、部品毎に認識基準との位置および姿勢の相対関係を最も計測しやすいマーカを作成し、マーカ表示部４１に設定する。また、画像において部品の背景となる部分は、画像処理で部品形状を認識しやすい色を設定することもできる。
マーカの設定は、制御装置４０のインターフェースを利用して部品の画像を表示するとともに、人が任意の形状、色、位置にマーカを制御装置４０のインターフェース（Ｉ／Ｆ）を利用して設定することができる。また、公知の技術を用いて自動で決定することもできる。例えば、Ｓ１４にて認識している部品の輪郭線から、予め設定されている距離だけ離れた位置に輪郭線と平行となるようにマーカを配置することにより自動で設定することができる。
Ｓ１６にて、Ｓ１５で設定されたマーカを表示し、マーカおよび部品の画像を撮像装置３０にて撮像し、位置および姿勢のズレが無い状態の部品とマーカとの位置および姿勢の相対関係を基準情報として部品姿勢演算部４２に記憶させる。
図３は、表示機１０の表示面に垂直な方向から見た、マーカ設定時の表示機および部品を示した図である。図３において、１は部品、１０は表示機、１１はマーカを表している。なお、１２は部品１の形状を画像処理で認識しやすくするための背景部である。

上記Ｓ１１からＳ１６を部品毎に実行することで、複数の部品に最適なマーカをマーカ表示部４１に設定することができる。
次に、組立作業時おける動作について，図５の組立作業に関するフローチャートを用いて説明する。
Ｓ２１にて、ロボット２０は図１に図示しない部品供給部にて部品１を把持する。この時、ロボット２０は部品１を常に同じ位置および姿勢で保持できないため、ロボットに保持された部品１は位置および姿勢のズレが生じる。
Ｓ２２にて、マーカ表示部４１により予め設定された保持した部品用のマーカを表示機に表示させる。図６は、表示機１０の表示面に垂直な方向から見た、部品１と表示機１０の状態を具体的に示した図である。なお、部品１の位置および姿勢が異なるが、表示機１０、マーカ１１、背景１２は、図３と同一である。
Ｓ２３にて、部品を撮像位置に移動させ、撮像装置３０により表示機１０と部品１とが含まれる画像を撮像する。
Ｓ２４にて、部品姿勢演算部４２でマーカ１１の画像内における位置および姿勢を画像処理により計測し、次いで部品１の位置および姿勢を画像処理により計測し、マーカ１１と部品１との位置および姿勢の相対関係を計算する。次に、前記相対関係と予め記憶されている基準情報との差異を演算し、ロボット２０による部品保持の位置ズレ量と姿勢ズレ量を算出する。

これは、表示機１０とロボット２０の位置関係が固定されているため、マーカを基準として部品１の位置および姿勢の差異を把握できれば、画像撮像時のロボット２０の位置を把握しなくてもマーカを基準にロボット２０に対する部品１の位置および姿勢は演算することができるからである。
Ｓ２５にて、Ｓ２４で求めたロボット２０による部品保持の位置ズレ量と姿勢ズレ量に基づき、ロボット動作指令に対する補正量を演算する。具体的には、ロボット２０をそのまま動作させると部品１が組立作業に不適切な位置および姿勢で搬送されるため、部品１を保持した位置および姿勢のズレ量に基づき、ロボット２０の搬送位置および搬送姿勢の補正量を求めることとなる。
Ｓ２６にて、Ｓ２５で求めた補正量をロボット制御部４４に指令する。Ｓ２７にて、ロボット２０はロボット制御部４４から与えられた補正後の目標位置および目標姿勢に基づき、組立作業に適切な位置に部品を搬送することとなる。
上記Ｓ２１からＳ２７を組立部品毎に実行することで、複数の部品による組立作業においても、精度良くロボットを使用した部品の組立作業が可能となる。
マーカ１１のその他の実施例を図７から図１２に示す。

図７，８はマーカ１１を直線とした具体例である。なお、マーカ１１を３本以上としても良い。
図９，１０はマーカ１１を点とした具体例である。なお、点は十字である必要はなく、円であっても良い。さらに、マーカ１１を３点以上としてもよい。
図１１はマーカ１１を点と直線とした具体例である。なお、複数の点と複数の直線との組み合せとしても良い。
図１２はマーカ１１を部品の外形形状の相似形状とした具体例である。部品の外形形状を画像処理で把握できれば、容易に自動でマーカ形状を決定できる利点がある。

ロボットシステム全体のシステム構成の概略図である。 ロボットシステム全体のブロック図である。 表示機１０の表示面に垂直な方向から見た、マーカ設定時の表示機および部品を表した図である。 マーカの設定動作に関するフローチャートである。 組立作業に関するフローチャートである。 表示機１０の表示面に垂直な方向から見た、組立作業時の表示機および部品を表した図である。 １本の直線によるマーカの具体例である。 ２本の直線によるマーカの具体例である。 ２つの点によるマーカの第１の具体例である。 ２つの点によるマーカの第２の具体例である。 １つの点と１本の直線によるマーカの具体例である。 部品の外形形状の相似形状をマーカの具体例である。

符号の説明

１０ 表示機
２０ ロボット
３０ 撮像装置
４０ 制御装置
４１ マーカ表示部
４２ 部品姿勢演算部
４３ 補正部
４４ ロボット制御部

Claims (3)

1. 部品を搬送するロボットと、
   前記部品と前記ロボットのアーム先端を撮像する撮像装置と、
   前記ロボットと前記撮像装置を制御する制御装置と、から構成され、
   前記ロボットは、カラー画像を表示する表示機をロボットのアーム先端に備え、
   前記制御装置は、
   前記表示機にマーカを表示させるマーカ表示部と、
   前記撮像装置で撮像された前記部品と前記マーカとが含まれる画像を用いて、前記マーカを基準に前記ロボットと前記部品との位置および姿勢の相対関係を求める部品姿勢演算部と、
   前記位置および姿勢の相対関係に基づきロボットの動作補正量を演算する補正部と、
   前記動作補正量を用いてロボットの動作を制御するロボット制御部と、
   を有すること、
   を特徴とするロボットシステム。
2. 前記マーカ表示部は、前記表示機に部品毎に設定されたマーカを表示させることを特徴とする請求項１のロボットシステム。
3. 前記マーカ表示部は、前記表示機に任意の形状および色のマーカを表示させることを特徴とする請求項１または２に記載のロボットシステム。