JP2022042867A - ロボット制御方法 - Google Patents

Abstract

【課題】ロボットに対する作業内容の指示が簡単なロボット制御方法を提供する。
【解決手段】物体または部位に対して作業を行うロボットを制御する方法であって、前記作業の内容を示す作業情報を表現する２次元コード５０を前記物体Ｓまたは部位の近傍に配置する工程と、第１視覚センサ３０を用いて前記作業情報を読み取る工程と、第２視覚センサ３１で前記物体または部位を撮像し、取得した画像と前記作業情報に基づいて動作情報を生成する工程と、前記動作情報に基づいて制御部３２が前記ロボット２０に動作を指示して、前記ロボットが前記物体または部位に対して前記作業を行う工程とを有するロボット制御方法。
【選択図】図１

Description

本発明は物体または部位に対して作業を行うロボットを制御する方法に関する。

物体を３次元カメラ等で認識して自律的に作業するロボットの普及が進んでいる。例えば、特許文献１には、複数の線状物の３次元形状を計測し、そのうちの１本を他の線状物と干渉しないで把持可能かを判定して、ロボットハンドで把持する方法が開示されている。特許文献２には、線状物の色の違いを利用して、複数の線状物の中から特定の線状物を抽出して、その３次元形状を高速に計測する方法が記載されている。

また、ロボットの自律的な作業を補助するために、物体の表面に２次元コード等を利用することが行われている。例えば、特許文献３には、ロボットによる物体の把持作業において、把持位置までの相対位置が符号化された情報パターンを含む二次元コードを物体に記しておき、ロボットが備えるカメラで二次元コードを撮像し、把持位置を算出して、ロボットのハンド部で物体を把持することが記載されている。ここでは、物体に記した二次元コードによって当該物体の把持位置をロボットに知らせている。特許文献４には、ロボットに作業を自動的に行わせるにあたり、道具表面に認識用の二次元表示を設け、二次元表示を視覚情報入力部で撮影して道具の位置等の認識を行い、あるいは、命令通信部を介して供給された命令を解析して使用する道具を選択することが記載されている。ここでは、道具に設けた二次元表示によって、当該道具の位置や種類をロボットに知らせている。

国際公開第２０１９／０９８０７４号 国際公開第２０１９／０１７３６０号 特開２００７－０９０４４８号公報 特開２０００－２５４８８３号公報

特許文献３や特許文献４に記載された二次元コード等は物体や道具表面に設けられ、当該物体や道具に関する情報を表現するものであった。しかし、ロボットによる作業内容自体を変更する場合には、依然としてロボットの制御プログラムや各種パラメータを変更して変更内容を制御部等に入力する必要があった。ロボットへの作業指示方法には効率化の余地があった。また、線状物のように細く可撓性がある物体の場合、ワーク自体に２次元コードを設けることは困難であった。

本発明は上記を考慮してなされたものであり、自律的に作業可能なロボットに対して作業内容を簡単に指示できるロボット制御方法を提供することを目的とする。

本発明のロボット制御方法は、物体または部位に対して作業を行うロボットを制御する方法であって、前記作業の内容を示す作業情報を表現する２次元コードを前記物体または部位の近傍に配置する工程と、第１視覚センサを用いて前記作業情報を読み取る工程と、第２視覚センサで前記物体または部位を撮像し、取得した画像と前記作業情報に基づいて動作情報を生成する工程と、前記動作情報に基づいて制御部が前記ロボットに動作を指示して、前記ロボットが前記物体または部位に対して前記作業を行う工程とを有する。

ここで作業の対象となる部位には、メス型コネクタの接続穴や、加工装置に設けられた材料の供給孔など、物体とは言えないがロボットによる作業の対象となるものが含まれる。作業の内容を示す作業情報は、作業の目標とする物体または部位（以下両者を合わせて「物体等」ということがある）を特定するための情報と、作業の各種パラメータを含む。この方法により、２次元コードを物体等の近くに配置するだけで、ロボットに作業を指示できる。

好ましくは、前記動作情報を生成する工程は、前記取得した画像と前記作業情報に基づいて前記物体または部位の中から前記作業の目標とする特定物体または特定部位を選択する工程を含む。

またこのとき、前記物体または部位は同種のもの毎に分別して配置されており、前記２次元コードが前記特定物体または特定部位として選択すべき前記物体または部位が配置された概略位置をさらに表現していてもよい。これにより、作業情報が指示する物体等の条件が視覚センサのみによっては判別できないときにも、本発明のロボット制御方法を適用することができる。

好ましくは、上記ロボット制御方法において、前記第２視覚センサがステレオカメラであり、前記物体または部位の３次元形状に基づいて前記動作情報が生成される。物体等の３次元形状を計測することによって、多数の物体等がある場合でも、より的確に動作情報を生成することができる。

上記ロボット制御方法において、前記第１視覚センサおよび前記第２視覚センサとして１台の視覚センサが兼用されてもよい。

好ましくは、前記物体が線状物であり、前記作業が前記ロボットの有するロボットハンドによって前記線状物の１本を把持することであり、前記作業情報が少なくとも前記ロボットハンドによる前記線状物の把持位置および把持角度を含む。対象物が線状物である場合は、線状物の上に２次元コードを設けることができないので、本発明のロボット制御方法を適用することによる効果が大きい。

あるいは、好ましくは、前記部位が挿入穴であり、前記作業は、前記ロボットの有するロボットハンドが保持するワークを前記挿入穴に挿入することであり、前記作業情報が少なくとも前記ワークを前記挿入穴に挿入する挿入深さおよび挿入角度を含む。

好ましくは、前記部位が作業位置であり、前記作業が前記ロボットの有するロボットハンドが保持するワークを前記作業位置まで移動させることであり、前記作業情報が前記作業位置を示す３次元座標を含む。

好ましくは、前記作業情報が当該作業の優先度を含み、それぞれ異なる作業情報を表現する複数の前記２次元コードを前記物体または部位の近傍に配置する。これにより、ロボットが順次行うべき複数の作業をまとめて指示することができる。

本発明のロボット制御方法によれば、制御プログラムや各種パラメータを変更して制御部等に入力することなく、２次元コードを物体等の近くに配置するだけで、物体等に対する作業を簡単にロボットに指示できる。

第１実施形態のロボット制御方法を実施する全体システムを示す図である。 第１実施形態のロボット制御方法の工程フロー図である。 第２実施形態のロボット制御方法を実施する全体システムを示す図である。 第２実施形態のロボット制御方法の工程フロー図である。 第３実施形態のロボット制御方法を実施する全体システムを示す図である。

本発明のロボット制御方法の第１実施形態を図１および図２に基づいて説明する。本実施形態では、電線等の線状物をロボットハンドで把持する作業を例として説明する。

図１を参照して、本実施形態のロボット制御方法を実施するための全体システム１０はロボット２０、第１視覚センサ３０、第２視覚センサ３１および制御部３２を有する。線状物Ｓは容器４０に収容され、容器の近くに２次元コード５０が配置されている。

ロボット２０としては、公知の多関節ロボットを好適に利用できる。ロボットはアームの先端にロボットハンド２１を備えており、線状物を把持することができる。ロボット２０は事前のティーチングなしに、制御部３２の指示に従って自律的に線状物の把持作業を行うことができる。

第１視覚センサ３０は２次元コード５０を読み取る。より詳細には、第１視覚センサは２次元コードを撮影してその画像を制御部３２に送信し、２次元コードに表現された情報を制御部が解析する。第１視覚センサの種類は、２次元コードの読み取りが可能であれば特に限定されない。第１視覚センサは、作業場の適当な位置に固定されていてもよいし、ロボット２０の例えばロボットハンド２１に装着されていてもよい。

第２視覚センサ３１は線状物Ｓを撮像する。この画像に基づいて作業の目標とする特定線状物Ｓ^＊が選択される。第２視覚センサとしては、好ましくは、線状物の３次元計測が可能なものを用いる。取得した画像を用いて線状物Ｓの３次元計測を行うことにより、作業の目標とする特定線状物をより的確に選択できる。また、第２視覚センサが線状物Ｓの３次元計測を行うことによって、把持作業時のロボットハンド２１の移動経路を算出することもできる。第２視覚センサとしては、より好ましくはステレオカメラを用いる。ステレオカメラは線状物の３次元形状を高速に計測するのに適するからである。第２視覚センサは、作業場の適当な位置に固定されていてもよいし、ロボット２０の例えばロボットハンド２１に取り付けられていてもよい。

また、図１では第１視覚センサ３０と第２視覚センサ３１を別個に設けたが、第１視覚センサと第２視覚センサの機能を１台の視覚センサで兼用してもよい。

制御部３２は、ロボット２０、第１視覚センサ３０、第２視覚センサ３１の全体を制御する。また、制御部は、第１視覚センサ３０が読み取った２次元コード５０の情報の解析、第２視覚センサが撮像した線状物Ｓの３次元形状の計算、把持動作に必要なロボット２０の関節の運動の計算などすべての演算を行い、ロボットに作業をさせるための動作情報を生成する。

２次元コード５０はロボット２０に行わせる作業の内容を示す作業情報を符号化して表現したものである。作業情報には、例えば、作業の目標とすべき物体等の特徴に加えて、作業の各種パラメータが含まれる。具体的には、作業内容には把持すべき線状物Ｓの色、サイズ、形状、端部に固定されたコネクタの形状などの線状物の特徴と、ロボットハンド２１で線状物を把持する際の把持位置、把持角度などを含むことができる。

２次元コード５０には複数の作業情報が含まれていてもよい。その場合、好ましくは、作業情報には作業の優先度が含まれる。これにより、１つの２次元コード５０によって、ロボット２０が順次実施すべき複数の作業を指示できる。あるいは、作業の内容と当該作業の優先度を含む作業情報を表現する２次元コードを異なる作業毎に作成しておいて、線状物Ｓの近傍に複数の２次元コードを配置してもよい。

２次元コード５０の種類は作業の内容を示す作業情報が表現できれば特に限定されない。２次元コードは一般に、規格に従って自身の形式情報、型番情報、誤り訂正コードなどを持ち、情報の読み取りに関してファインダパターン、位置合わせパターン、タイミングパターンなどを含んでいる。２次元コードとしては、好ましくはマトリクス系の２次元コードを用いる。マルチロー系など他の２次元コードと比べて、符号化できる情報量が多いからである。マトリクス系の２次元コードの例としては、ＱＲコード（登録商標）が挙げられる。

次に、本実施形態のロボット制御方法を図２に示した工程フローに沿って説明する。

まず、線状物Ｓを適当に、図１では容器４０に複数本収容して配置する（Ｓ１０）。線状物Ｓは１本だけを配置してもよいし、同種のものだけを複数本配置してもよいし、類似のものを混ぜて複数本配置してもよい。同種の線状物とは、すべての特徴を共通する線状物をいう。類似の線状物とは、多くの特徴を共通するが、特徴の１つまたはいくつかが異なる線状物をいう。例えば、絶縁被覆の色のみが異なる電線は類似の線状物である。

２次元コード５０を線状物Ｓの近傍に、線状物との位置関係を正確に規定することなく配置する（Ｓ１１）。図１では、線状物Ｓを収容した容器４０の前に配置している。例えば、各種の作業に対応する作業情報を表現する２次元コードをカードに印刷して多数準備しておけば、所要のカードを適宜選択して線状物Ｓの近くに置くことができる。

第１視覚センサ３０で２次元コード５０を読み取る（Ｓ１２）。第１視覚センサ３０は２次元コードを撮影して画像を制御部３２に送信し、制御部は２次元コード５０が表現する作業内容を取得する。作業内容は、例えば「赤い線状物の先端から５ｍｍの位置を線状物の長さ方向と直角に把持する」などの如くである。

次に、第２視覚センサ３１で２次元コードの近傍にある線状物Ｓを撮像し、作業情報に基づいて、線状物Ｓの中からロボット２０の作業の目標とする特定線状物Ｓ^＊を選択する（Ｓ１３）。線状物Ｓが１本しかない場合は、その線状物Ｓを特定線状物Ｓ^＊として選択する。その際、その線状物が作業情報の指定する線状物の条件に合致するか否かを確認してから特定線状物Ｓ^＊として選択してもよい。

類似の線状物Ｓが混在している場合は、まず作業情報が指定する条件に合致する線状物を抽出し、その中から特定線状物Ｓ^＊を選択する。例えば、赤い線状物が指定された場合は、第２視覚センサ３１にカラーカメラを用い、特許文献２に記載された方法によって画像から赤い線状物を抽出することができる。

同種の線状物Ｓが複数本配置されていた場合や、作業情報に基づいて抽出した線状物が複数本あった場合は、その中から作業を行うのに適した線状物を特定線状物Ｓ^＊として選択する。例えば、第２視覚センサ３１が取得した画像を用いて複数の線状物Ｓの３次元形状を測定し、特許文献１に記載された方法によって、ロボットハンド２１で把持する際に周辺の他の線状物と干渉しない線状物を特定線状物Ｓ^＊として選択することができる。あるいは、同じく特許文献１に記載された方法によって、ロボットハンド２１の待機位置に最も近い線状物を特定線状物Ｓ^＊として選択することができる。ロボットハンドの待機位置とは、ロボットハンドが線状物を把持する動作の前に待機する位置であり、線状物に干渉しない位置である。つまり、第２視覚センサで線状物の３次元計測を行うことによって、同種の線状物が多数ある中から作業のしやすい特定線状物をより的確に選択できる。

制御部３２が特定線状物Ｓ^＊の把持作業に必要なロボットハンド２１の移動経路等を計算し、そのために必要なロボット２０の関節の動きを計算して、ロボットの動作に関する動作情報を生成する（Ｓ１４）。線状物Ｓの３次元形状が計算されている場合は、作業情報と線状物の３次元形状に基づいて、より的確な動作情報を生成できる。

生成された動作情報に基づいて制御部３２がロボットに動作を指示し、その指示に従ってロボット２０が特定線状物Ｓ^＊を把持する（Ｓ１５）。このとき、第２視覚センサ３１で特定線状物Ｓ^＊の位置を監視しながら、ロボット２０の動作にフィードバックしてもよい。

本実施形態のロボット制御方法の効果は次のとおりである。まず、本実施形態では、２次元コード５０を線状物Ｓの近くに配置することで線状物に対する作業をロボット２０に指示できる。このとき、２次元コード５０を正確な位置に配置する必要がないので、ロボットへの指示を極めて簡単に行うことができる。また、本実施形態の方法では、２次元コードを作業の対象となる物体に直接印刷したり貼付したりする必要がない。そのため、線状物のようにその物自体の上に２次元コードを設けるのが難しい場合にも適用できるし、物体の数が多いときにも１つの２次元コードで作業を指示できるので手間が少ない。また、定形の物体を対象とする特許文献３や特許文献４と異なり、本実施形態の方法では、柔軟な線状物のように不定形の物体を対象とする場合でもロボットに適切な動作の指示を与えることができる。

本実施形態のロボット制御方法が対象とする線状物としては、各種電気・電子製品の配線に用いられる電線、ワイヤーハーネスのワイヤー、各種線状の医療器具、その材料となる樹脂チューブや金属線、ケーブル、光ファイバーなどが挙げられる。また、線状物は作業対象の例として示したものであって、本発明のロボット制御方法は線状物以外の物体にも適用可能である。例えば、フラットケーブルやテープのような帯状物に対しても線状物と同様に適用可能である。

本発明のロボット制御方法の第２実施形態を図３および図４に基づいて説明する。本実施形態では、ロボットハンドが把持した線状物をワークとして、所定の挿入穴に挿入する作業を例として説明する。

図３を参照して、本実施形態のロボット制御方法を実施するための全体システム１１は、第１実施形態の全体システム１０と同じく、ロボット２０、第１視覚センサ３０、第２視覚センサ３１および制御部３２を有する。ロボット２０、第１視覚センサ３０、第２視覚センサ３１および制御部３２の機能や好ましい態様は第１実施形態と同様である。作業対象となる部位である挿入穴Ｈの近くに２次元コード５１が配置されている。ワークＷはロボットハンド２１に把持され、挿入穴Ｈに挿入される。

挿入穴Ｈは、例えば、メス型コネクタの接続穴や、加工装置に設けられた材料の供給孔などである。

２次元コード５１が表現する作業情報には、例えば、作業の目標とすべき部位の特徴に加えて、作業の各種パラメータが含まれる。具体的には、作業内容には挿入の目標とする挿入穴の開口形状、左から何番目であるかなどの挿入穴の特徴と、ワークＷを挿入する挿入深さや挿入角度、挿入穴の深さなどを含むことができる。

次に、本実施形態のロボット制御方法を図４に示した工程フローに沿って説明する。

まず、挿入穴Ｈが適当に配置される（Ｓ２０）。図３では２つの挿入穴Ｈが配置されているが、挿入穴は１つだけまたは３以上が配置されていてもよい。２次元コード５１を挿入穴Ｈの近傍に、挿入穴との位置関係を正確に規定することなく配置する（Ｓ２１）。図３では、挿入穴Ｈが設けられた箱の前面に貼付されている。

第１視覚センサ３０で２次元コード５１を読み取る（Ｓ２２）。第１視覚センサ３０は２次元コードを撮影して画像を制御部３２に送信し、制御部は２次元コード５１が表現する作業内容を取得する。

次に、第２視覚センサ３１で２次元コード５１の近傍にある挿入穴Ｈを撮像して、作業情報に基づいて、挿入穴Ｈの中からロボット２０の作業の目標とする特定挿入穴Ｈ^＊を選択する（Ｓ２３）。２次元コード５１の近傍に挿入穴が１つしかない場合は、第２視覚センサによってその位置を確認して、その挿入穴Ｈを特定挿入穴Ｈ^＊として選択する。その際、その挿入穴が作業情報の指定する挿入穴の条件に合致するか否かを確認してから特定挿入穴Ｈ^＊として選択してもよい。また、挿入穴の位置が予め決められた位置に固定されている場合は、第２視覚センサで撮像しなくてもよい。

制御部３２がワークＷの特定挿入穴Ｈ^＊への挿入作業に必要なロボットハンド２１の移動経路等を計算し、そのために必要なロボット２０の関節の動きを計算して、ロボットの動作に関する動作情報を生成する（Ｓ２４）。動作情報に基づいて制御部３２がロボットに動作を指示し、その指示に従ってロボット２０がワークを特定挿入穴Ｈ^＊に挿入する（Ｓ２５）。このとき、第２視覚センサ３１で作業の進捗を監視してもよい。例えば、第２視覚センサ３１でワークＷの状態を見ながら、作業情報に含まれる挿入深さと比較することにより、挿入作業が完了したかどうかを判定してもよい。

本発明のロボット制御方法の第３実施形態を図５に基づいて説明する。本実施形態では、第１実施形態と同じく、電線等の線状物をロボットハンドで把持する作業を例として説明する。

図５を参照して、本実施形態のロボット制御方法を実施するための全体システム１０は、第１実施形態と同じであり、ロボット２０、第１視覚センサ３０、第２視覚センサ３１および制御部３２を有する。

本実施形態では、線状物Ｓが同種のもの毎に容器４１～４３に分別して収容されている。つまり容器４１に収容された線状物Ｓはすべて同種の線状物であり、容器４２または容器４３に収容された線状物Ｓとは類似であるが同種ではない。

２次元コード５２は、作業情報に加えて、特定線状物Ｓ^＊として選択すべき線状物Ｓの概略位置に関する情報を表現する。概略位置に関する情報は、第２視覚センサ３１で線状物を撮像したときに、線状物の複数のまとまりのうちで、特定線状物Ｓ^＊を選択すべき線状物Ｓの一群がどれであるかを画像上で特定できる情報であればよい。概略位置に関する情報の例は、左から２番目の容器に収容されている、「Ｂ」とマークされた容器に収容されているなどである。これにより、図２の特定線状物Ｓ^＊の選択工程Ｓ１３において、特定線状物Ｓ^＊として選択すべき線状物の概略位置に関する情報によって示される一群の線状物、例えば容器４２に収容された線状物の中から特定線状物Ｓ^＊が選択される。

あるいは、収容された線状物の種類を表現する２次元コードを各容器に貼付しておいて、作業の目標とする線状物の種類を２次元コード５２が表現する作業情報で指定してもよい。作業時には、第１視覚センサ３０、第２視覚センサ３１、または他の視覚センサを用いて各容器の２次元コードを読み取ることで、作業情報で指定された種類の線状物が収容された容器を知ることができる。

本実施形態は、作業情報が指定する線状物Ｓの条件が第２視覚センサ３１のみによっては判別できないときにも適用できる。例えば線状物Ｓである電線が、外観は同一でありながらその電線の不純物濃度や導電率が異なる場合に、かかる特性に基づいて作業の目標となる線状物が指定される場合などである。

本発明のロボット制御方法の第４実施形態を説明する。本実施形態では、ロボットは保持した線状物のワークを、作業情報が指定する座標位置まで移動させる。作業位置は次工程へワークを受け渡すための受け渡し位置であり、当該受け渡し位置まで移動させた線状物を次工程のロボットがロボットハンドで把持するか、または作業員が受け取る。２次元コードの設置位置は特に限定されないが、例えば受け渡し位置の近傍に適宜設置すればよい。このような作業を行う場合、従来は、ロボットのティーチングプログラムを変更することで作業位置を変更する必要があったが、本実施形態であれば、２次元コードを変更することで簡単に受け渡し位置を指示できる。これにより、製造ラインの変更や、人とロボットが協働する場合でも柔軟にロボットを制御することができる。

本発明は、上記の実施形態に限定されるものではなく、その技術的思想の範囲内で種々の変形が可能である。

１０、１１ ロボット制御方法を実施するための全体システム
２０ ロボット
２１ ロボットハンド
３０ 第１視覚センサ
３１ 第２視覚センサ
３２ 制御部
４０～４３ 容器
５０～５２ ２次元コード
Ｓ 線状物（物体）
Ｓ^＊ 特定線状物（特定物体）
Ｈ 挿入穴（部位）
Ｈ^＊ 特定挿入穴（特定部位）
Ｗ ワーク

Claims (9)

1. 物体または部位に対して作業を行うロボットを制御する方法であって、
   前記作業の内容を示す作業情報を表現する２次元コードを前記物体または部位の近傍に配置する工程と、
   第１視覚センサを用いて前記作業情報を読み取る工程と、
   第２視覚センサで前記物体または部位を撮像し、取得した画像と前記作業情報に基づいて動作情報を生成する工程と、
   前記動作情報に基づいて制御部が前記ロボットに動作を指示して、前記ロボットが前記物体または部位に対して前記作業を行う工程と、
   を有するロボット制御方法。
2. 前記動作情報を生成する工程は、前記取得した画像と前記作業情報に基づいて前記物体または部位の中から前記作業の目標とする特定物体または特定部位を選択する工程を含む、
   請求項１に記載のロボット制御方法。
3. 前記物体または部位は同種のもの毎に分別して配置されており、
   前記２次元コードは前記特定物体または特定部位として選択すべき前記物体または部位が配置された概略位置をさらに表現する、
   請求項２に記載のロボット制御方法。
4. 前記第２視覚センサがステレオカメラであり、前記物体または部位の３次元形状に基づいて前記動作情報が生成される、
   請求項１～３のいずれか一項に記載のロボット制御方法。
5. 前記第１視覚センサおよび前記第２視覚センサとして１台の視覚センサが兼用される、
   請求項１～４のいずれか一項に記載のロボット制御方法。
6. 前記物体が線状物であり、
   前記作業が前記ロボットの有するロボットハンドによって前記線状物の１本を把持することであり、
   前記作業情報が少なくとも前記ロボットハンドによる前記線状物の把持位置および把持角度を含む、
   請求項１～５のいずれか一項に記載のロボット制御方法。
7. 前記部位が挿入穴であり、
   前記作業が前記ロボットの有するロボットハンドが保持するワークを前記挿入穴に挿入することであり、
   前記作業情報が少なくとも前記ワークを前記挿入穴に挿入する挿入深さおよび挿入角度を含む、
   請求項１～５のいずれか一項に記載のロボット制御方法。
8. 前記部位が作業位置であり、
   前記作業が前記ロボットの有するロボットハンドが保持するワークを前記作業位置まで移動させることであり、
   前記作業情報が前記作業位置を示す３次元座標を含む、
   請求項１～６のいずれか一項に記載のロボット制御方法。
9. 前記作業情報が当該作業の優先度を含み、
   それぞれ異なる作業情報を表現する複数の前記２次元コードを前記物体または部位の近傍に配置する、
   請求項１～８のいずれか一項に記載のロボット制御方法。

Images