JP2022102961A - ロボットの制御方法 - Google Patents

Abstract

【課題】カメラ座標系とロボット座標系との対応付けを省略することができるロボットの制御方法を提供すること。【解決手段】三次元カメラで、ロボットアームおよび対象物を含む画像を撮像する第１ステップと、得られた画像および深度情報から点群を生成する第２ステップと、点群を、ロボットアームに関する第１点群、および、対象物に関する第２点群に分類する第３ステップと、画像に基づいて、ロボットアームの関節の位置を求める第４ステップと、第１点群に含まれる点をアーム基準点に設定するとともに、第２点群に基づいて、作業を実行する際にアーム基準点が位置する点をアーム作業点に設定する第５ステップと、アーム基準点とアーム作業点とが仮想的に受ける力を推定するポテンシャル関数、および、関節の位置に基づいてロボットアームの動作における関節の回転角度を算出する第６ステップと、を有することを特徴とするロボットの制御方法。【選択図】図６

Description

本発明は、ロボットの制御方法に関するものである。

近年、工場では人件費の高騰や人材不足により、各種ロボットやそのロボット周辺機器によって、人手で行われてきた作業の自動化が加速している。例えば特許文献１に記載されたロボットは、ロボットアームと、カメラと、を有し、カメラで撮像した撮像結果に基づいて、ロボットアームを駆動する。

また、特許文献１では、ロボットを動作させるのに先立って、カメラの座標系と、ロボットの座標系とを対応付ける必要がある。この方法としては、例えば、カメラ座標系での位置を把握している治具を撮像しつつ、治具にロボットアームを接触させ、ロボットの座標系とカメラの座標系とを対応付ける方法が挙げられる。このような対応付けを行うことにより、撮像画像における位置をロボットの座標系に変換することができる。よって、撮像結果に基づいて、ロボットアームに所望の動作を行わせることができる。

特開２０１０－１３９３２９号公報

しかしながら、ロボットの座標系とカメラの座標系とを対応付けるという作業は、手間がかかる作業であり、この作業を行わないと、正確にロボットを駆動することが難しくなる。

本発明のロボットの制御方法は、ロボットアームを有し、前記ロボットアームに設けられたエンドエフェクターによって対象物への作業を実行するロボットを、三次元カメラの撮像結果に基づいて制御するロボットの制御方法であって、
前記三次元カメラで、前記ロボットアームおよび前記対象物を含む画像を撮像する第１ステップと、
得られた前記画像および深度情報から点群を生成する第２ステップと、
前記点群を、前記ロボットアームに関する第１点群、および、前記対象物に関する第２点群に分類する第３ステップと、
前記画像に基づいて、前記ロボットアームの関節の位置を求める第４ステップと、
前記第１点群のうちの少なくとも１つの点をアーム基準点に設定するとともに、前記第２点群に基づいて、前記作業を実行する際に前記アーム基準点が位置する点をアーム作業点に設定する第５ステップと、
前記アーム基準点と前記アーム作業点とが仮想的に受ける力を推定するポテンシャル関数、および、前記関節の位置に基づいて、前記アーム基準点が前記アーム作業点に位置するよう移動するための前記ロボットアームの動作における前記関節の回転角度を算出する第６ステップと、
算出した前記回転角度に基づいて、前記ロボットアームの前記関節を所定角度動作させる第７ステップと、を有することを特徴とする。

本発明のロボットの制御方法は、ロボットアームを有し、前記ロボットアームに設けられたエンドエフェクターによって対象物への作業を実行するロボットを、三次元カメラの撮像結果に基づいて制御するロボットの制御方法であって、
前記撮像結果から設定される作業位置に対し、前記ロボットを制御する際に用いられるロボット制御座標系への変換を行わずに、前記ロボットアームの関節の回転角度を算出することを特徴とする。

図１は、ロボットシステムの概略構成図である。 図２は、図１に示すロボットシステムの機能ブロック図である。 図３は、図１に示す制御装置のハードウェア構成の一例を示すブロック図である。 図４は、図１に示す三次元カメラが撮像した撮像画像を示す図である。 図５は、撮像画像において、点群を設定した状態を示す図である。 図６は、撮像画像において、点群を分類した状態を示す図である。 図７は、図１に示すロボットの側面図である。 図８は、関節を特定する方法を説明するための模式図である。 図９は、関節を特定する方法を説明するための模式図である。 図１０は、基準点および作業点を説明するためのロボットの模式図である。 図１１は、ポテンシャル関数における引力および斥力を示した図である。 図１２は、ロボットアームが作業を実行する際の手順を示す図である。 図１３は、ロボットアームが作業を実行する際の手順を示す図である。 図１４は、本発明のロボットの制御方法の一例を説明するためのフローチャートである。

以下、本発明のロボットの制御方法を添付図面に示す好適な実施形態に基づいて詳細に説明する。

＜第１実施形態＞
図１は、ロボットシステムの概略構成図である。図２は、図１に示すロボットシステムの機能ブロック図である。図３は、図１に示す制御装置のハードウェア構成の一例を示すブロック図である。図４は、図１に示す三次元カメラが撮像した撮像画像を示す図である。図５は、撮像画像において、点群を設定した状態を示す図である。図６は、撮像画像において、点群を分類した状態を示す図である。図７は、図１に示すロボットの側面図である。図８は、関節を特定する方法を説明するための模式図である。図９は、関節を特定する方法を説明するための模式図である。図１０は、基準点および作業点を説明するためのロボットの模式図である。図１１は、ポテンシャル関数における引力および斥力を示した図である。図１２は、ロボットアームが作業を実行する際の手順を示す図である。図１３は、ロボットアームが作業を実行する際の手順を示す図である。図１４は、本発明のロボットの制御方法の一例を説明するためのフローチャートである。

また、以下では、図１中の基台２０側を「基端」、その反対側、すなわち、ハンド２５側を「先端」と言う。また、図１中の上下方向を「鉛直方向」とし、左右方向を「水平方向」とする。

図１および図２に示すロボットシステム１００は、例えば、電子部品および電子機器等のワークの保持、搬送、組立ておよび検査等の作業で用いられる装置である。ロボットシステム１００は、ロボット２と、三次元カメラ３と、制御装置４と、を備える。以下、各部について説明する。

１．ロボット
ロボット２は、多関節ロボットであり、基台２０と、基台２０に接続されたロボットアーム２００と、を有する。ロボットアーム２００は、第１アーム２１と、第２アーム２２と、第３アーム２３と、第４アーム２４と、を有し、先端にエンドエフェクターとしてのハンド２５が装着されている。

第１アーム２１は、基台２０に回転可能に支持されている。第２アーム２２は、第１アーム２１に、関節２０Ａを介して接続されている。第３アーム２３は、第２アーム２２に、関節２０Ｂを介して接続されている。第４アーム２４は、第３アーム２３に、関節２０Ｃを介して接続されている。ハンド２５は、第４アーム２４に、関節２０Ｄを介して接続されている。また、ハンド２５は、図示の構成では、第１指２５１および第２指２５２を有し、これらの間でワーク等の対象物を把持する構成である。第１指２５１は、関節２０Ｅを有し、第２指２５２は、関節２０Ｆを有する。

本実施形態では、作業の一例として、図１に示すように、ワークＷを把持する作業について説明する。

なお、上記では、エンドエフェクターの一例として２本の指を有するハンド２５を例に挙げて説明したが、本発明ではこれに限定されず、例えば、２本以上の指を有するハンドであってもよく、その他の構成、例えば、レンチ、ドライバー、研削器、研磨機等の工具や、塗布スプレー等であってもよい。

また、図１および図２に示すように、ロボット２は、モーターＭ１と、モーターＭ２と、モーターＭ３と、モーターＭ４と、モーターＭ５と、モーターＭ６と、モーターＭ７と、を有する。モーターＭ１は、基台２０に対して第１アーム２１を第１軸回りに回転駆動させる。モーターＭ２は、関節２０Ａを回転駆動する、すなわち、第１アーム２１に対して第２アーム２２を第２軸回りに回転させる。モーターＭ３は、関節２０Ｂを回転駆動する、すなわち、第２アーム２２に対して第３アーム２３を第３軸回りに回転させる。モーターＭ４は、関節２０Ｃを回転駆動する、すなわち、第３アーム２３に対して第４アーム２４を第４軸回りに回転させる。モーターＭ５は、関節２０Ｄを回転駆動する、すなわち、第４アーム２４に対してハンド２５を第５軸回りに回転させる。モーターＭ６は、関節２０Ｅを回転駆動する、すなわち、第１指２５１を関節２０Ｅで折り曲げるよう駆動する。モーターＭ７は、関節２０Ｆを回転駆動する、すなわち、第２指２５２を関節２０Ｆで折り曲げるよう駆動する。

これらモーターＭ１～モーターＭ７としては、例えば、ＡＣサーボモーター、ＤＣサーボモーター等のサーボモーターを用いることができる。モーターＭ１～モーターＭ７は、それぞれ、対応する図示しないモータードライバーに接続されており、モータードライバーを介して制御装置４により通電条件を制御されて駆動する。

また、ロボット２は、図２に示すように、エンコーダーＥ１と、エンコーダーＥ２と、エンコーダーＥ３と、エンコーダーＥ４と、エンコーダーＥ５と、エンコーダーＥ６と、エンコーダーＥ７と、を有する。

エンコーダーＥ１は、モーターＭ１の回転量を検出し、検出した情報を制御装置４に送信する。エンコーダーＥ２は、モーターＭ２の回転量を検出し、検出した情報を制御装置４に送信する。エンコーダーＥ３は、モーターＭ３の回転量を検出し、検出した情報を制御装置４に送信する。エンコーダーＥ４は、モーターＭ４の回転量を検出し、検出した情報を制御装置４に送信する。エンコーダーＥ５は、モーターＭ５の回転量を検出し、検出した情報を制御装置４に送信する。エンコーダーＥ６は、モーターＭ６の回転量を検出し、検出した情報を制御装置４に送信する。エンコーダーＥ７は、モーターＭ７の回転量を検出し、検出した情報を制御装置４に送信する。そして、制御装置４は、これらの情報と、後述する位置指令値とに基づいて、モーターＭ１～モーターＭ７への通電条件を決定する。

これらモーターＭ１～モーターＭ７およびエンコーダーＥ１～エンコーダーＥ７は、関節に設けられていてもよく、アームの内部に設けられていてもよい。

２．三次元カメラ
三次元カメラ３は、画像Ｄｘを撮像可能なデバイスである。三次元カメラ３は、ロボット２およびロボット２が作業を行う領域を撮像可能な位置に設置される。図４に示すように、三次元カメラ３が撮像する画像Ｄｘには、ロボット２、ワークＷおよび作業台３００が映っている。

なお、三次元カメラ３は、任意の位置に固定されていてもよく、作業者が撮像を行いつつ持ち歩くように用いられてもよい。

三次元カメラ３が撮像した画像Ｄｘのデータは、制御装置４に送信され、後述するような処理に用いられる。

３．制御装置
制御装置４は、撮像制御部４１と、点群生成部４２と、点群分類部４３と、位置特定部４４と、位置設定部４５と、回転角度算出部４６と、実行部４７と、を有する。これらは、１つの筐体に内蔵されていてもよく、異なる筐体に内蔵されていてもよい。また、これらは、１つのボードに設置されていてもよく、異なるボードに設置されていてもよい。

３．１．撮像制御部
撮像制御部４１は、三次元カメラ３を駆動し、ロボットアーム２００およびワークＷを含む画像を撮像させ、図４に示すような画像Ｄｘを取得する。撮像制御部４１は、リアルタイムで撮像を行うよう三次元カメラ３を駆動する。
この撮像制御部４１は、後述する第１ステップであるステップＳ１０１を実行する。

３．２．点群生成部
点群生成部４２は、図５に示すように、画像Ｄｘに移ったロボットアーム２００、ワークＷおよび作業台３００の表面に点群Ｐ^{ｐｏｉｎｔｓ}を生成する。点群Ｐ^{ｐｏｉｎｔｓ}は、三次元座標値を持つ点の集合である。点群生成部４２は、例えば、位相シフト法、アクティブステレオ法等を用いて点群Ｐ^{ｐｏｉｎｔｓ}を生成する。
この点群生成部４２は、後述する第２ステップであるステップＳ１０２を実行する。

３．３．点群分類部
点群分類部４３は、図６に示すように、点群Ｐ^{ｐｏｉｎｔｓ}を、ロボットアーム２００に関する第１点群Ｐ^ａｒｍ、ワークＷに関する第２点群Ｐ^ｔａｒ、および、ハンド２５に関する第３点群Ｐ^{ｆｉｎｇｅｒ}、作業台３００に関する第４点群Ｐ^ｏｂｓに分類する。なお、図示の構成では、ハンド２５を省略したロボット２を撮像しており、このため、以下の説明では、第３点群Ｐ^{ｆｉｎｇｅｒ}を省略して説明する。点群分類部４３は、例えば、点群データを前処理してボクセルに符号化してから、そのイメージライクなデータを、シンプルな三次元畳み込みニューラルネットワークで使用して上記のような分類を行うことができる。

点群Ｐ^{ｐｏｉｎｔｓ}、第１点群Ｐ^ａｒｍ、第２点群Ｐ^ｔａｒ、および第４点群Ｐ^ｏｂｓは、以下の式（１）、（２）で表すことができる。

また、各点群に含まれる個別の点は、以下の式（３）～（５）に示すように定義することができる。

なお、Ｒ³camは、三次元カメラ３のカメラ座標系を示している。
このような点群分類部４３は、後述する第３ステップであるステップＳ１０３を実行する。

３．４．位置特定部
位置特定部４４は、画像Ｄｘに基づいて、ロボットアーム２００の関節２０Ａ～関節２０Ｆの位置、および、ハンド２５の指先の位置を求める。

なお、以下の説明では、関節位置は、以下の式（６）で表すことができるが、以下、「Ｅ」とも言う。

関節２０Ａ～関節２０Ｆの関節位置Ｅは、それぞれ、下記式（７）で表すことができる。

ハンド２５の指先の位置は、それぞれ、下記式（８）で表すことができる。

なお、エンコーダーＥ１～エンコーダーＥ７の検出結果を加味して関節２０Ａ～関節２０Ｆの位置、および、ハンド２５の指先の位置を求めてもよい。

次いで、関節２０Ａ～関節２０Ｆの位置から、関節の回転ベクトルの単位ベクトルを計算する。図８に示すように、関節の回転軸が鉛直方向に沿っている場合には、下記式（９）を用い、図９に示すように、関節の回転軸が水平方向に沿っている場合には、下記式（１０）を用いる。

式（９）、（１０）中、μには、第１アーム２１～第４アーム２４、ハンド２５の第１指２５１および第２指２５２に対応する数字が入る。これらの対応関係は、図７に示す通りである。

また、位置特定部４４は、関節位置Ｅに基づいて、第１点群Ｐ^ａｒｍの各点がどのアームに属しているのかを識別する。これらの関係式は、下記式（１１）、（１２）で表すことができる。

識別方法としては、例えば、全アームまたは全指に、関節位置Ｅ（μに正の整数αを代入）と、隣の関節位置Ｅ（μに正の整数α＋１を代入）と、を通る直線を設定し、各々の点が、どの直線に最も近いかを求め、最も近い直線に対応するアームまたは指に属することとする。

このような位置特定部４４は、後述する第４ステップであるステップＳ１０４を実行する。

３．５．位置設定部
以下の説明では、アーム基準点は、以下の式（１３）で表すことができるが、以下、「Ａ」とも言う。また、アーム作業点は、以下の式（１４）で表すことができるが、以下、「Ｂ」とも言う。

位置設定部４５は、図１０に示すように、第１点群Ｐ^ａｒｍのうちの少なくとも１つの点をアーム基準点Ａに設定するとともに、第２点群Ｐ^ｔａｒに基づいて、作業を実行する際にアーム基準点Ａが位置する点をアーム作業点Ｂに設定する。本実施形態では、アーム基準点Ａおよびアーム作業点Ｂをそれぞれ２点ずつ設定する。図１０、図１２および図１３では、アーム基準点ＡをＡ１、Ａ２で示し、アーム作業点ＢをＢ１、Ｂ２で示している。

この設定は、例えば、ロボットアーム２００が作業を行う際にとらせたい好ましい姿勢のデータに基づいてなされる。なお、好ましい姿勢のデータは、例えば、エンコーダーＥ１～エンコーダーＥ７のエンコーダー値として記憶部４ｂに記憶されている。

アーム基準点Ａおよびアーム作業点Ｂは、以下の式（１５）、（１６）で表される。

以下の説明では、エンドエフェクター基準点は、以下の式（１７）で表すことができるが、以下、「Ｃ」とも言う。また、エンドエフェクター作業点は、以下の式（１８）で表すことができるが、以下、「Ｄ」とも言う。

また、位置設定部４５は、第３点群Ｐ^{ｆｉｎｇｅｒ}の少なくとも１つの点をエンドエフェクター基準点Ｃに設定するとともに、第３点群Ｐ^{ｆｉｎｇｅｒ}に基づいて、作業を実行する際にエンドエフェクター基準点Ｃが位置する点をエンドエフェクター作業点Ｄに設定する。本実施形態では、エンドエフェクター基準点Ｃおよびエンドエフェクター作業点Ｄをそれぞれ２点ずつ設定する。図１０、図１２および図１３では、エンドエフェクター基準点ＣをＣ１、Ｃ２で示し、エンドエフェクター作業点ＤをＤ１、Ｄ２で示している。
エンドエフェクター作業点Ｄは、以下の式（１９）で表される。

このような位置設定部４５は、後述する第５ステップであるステップＳ１０５を実行する。

３．６．回転角度算出部
回転角度算出部４６は、アーム基準点Ａとアーム作業点Ｂとが仮想的に受ける力を推定し、アーム基準点Ａがアーム作業点Ｂに位置するよう移動するための各関節の回転角度を算出する。

また、回転角度算出部４６は、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとが仮想的に受ける力を推定し、エンドエフェクター基準点Ｃがエンドエフェクター作業点Ｄに位置するためのハンド２５の回転角度を算出する。

本実施形態では、ポテンシャル関数を用いて、アーム基準点Ａとアーム作業点Ｂとが仮想的に受ける力、および、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとが仮想的に受ける力を推定する。以下、具体的に説明する。

エンドエフェクター作業点Ｄ、アーム作業点Ｂ、および、作業台３００の第４点群Ｐ^ｏｂｓはそれぞれ、図１１中矢印で示すような力学的な場を形成している。そして、エンドエフェクター基準点Ｃ、アーム基準点Ａ、および、ロボットアーム２００の第１点群Ｐ^ａｒｍと各々相互作用するという仮想的な状況を仮定する。

この状況において、エンドエフェクター作業点Ｄは短距離の引力場を形成し、アーム作業点Ｂは長距離の引力場を形成し、第１点群Ｐ^ａｒｍは斥力場を形成すると仮定することができる。

この場合、エンドエフェクター作業点Ｄの短距離引力場は、ポテンシャル関数として、下記式（２０）で表すことができる。

また、アーム作業点Ｂの長距離引力場は、ポテンシャル関数として、下記式（２１）で表すことができる。

また、第４点群Ｐ^ｏｂｓの斥力場は、ポテンシャル関数として、下記式（２２）で表すことができる。

また、各点ごとのポテンシャルの和をとると、エンドエフェクター作業点Ｄ、アーム作業点Ｂ、および、第４点群Ｐ^ｏｂｓのポテンシャルは、それぞれ、以下の式（２３）～（２５）で表すことができる。

なお、式（２３）～（２５）中の式中のδは、ディラックのデルタ関数である。このため、ポテンシャルはペアである点にのみ選択的に働き、姿勢制御や順序性のある動作の生成が実現できる。
そして、全ポテンシャルは、下記式（２６）で表すことができる。

このポテンシャルによりロボットアーム２００に関する第１点群Ｐ^ａｒｍの各々の点が受ける仮想的な力は、下記式（２７）で表すことができる。

このような仮想的な力を受けていると想定したうえで、動作生成の目的は、この仮想的な力が全て０となるような姿勢を見つけることである。換言すれば、その姿勢を実現する関節の回転角度θを見つけることである。関節の回転角度θは、下記式（２８）で表すことができる。

第１点群Ｐ^ａｒｍは、θの関数であることから、下記式（２９）で表すことができ、下記式（３０）が成り立つ。

これを実現するθは、下記式（３１）に示す通りとなる。

式（３１）中のＧは、下記式（３２）で表すことができる。

そして、式（３２）より、下記式（３３）が導き出される。

式（３３）中の下記式（３４）は、設定したポテンシャルから解析的に求めるか、あるいは、数値的に求めることができる。

一方、式（３３）中、式（３５）については、下記式（３６）で表すことができる。

以上より、各関節の回転角度θを算出することができる。
このような回転角度算出部４６は、後述する第６ステップであるステップＳ１０６を実行する。

３．７．実行部
実行部４７は、回転角度算出部４６が算出した回転角度θに基づいて、各モーターＭ１～モーターＭ７に対する通電条件を制御する。これにより、アーム基準点Ａとアーム作業点Ｂとが一致し、かつ、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとが一致するようにロボットアーム２００およびハンド２５を駆動することができる。

この際、長距離引力場に設定したロボットアーム２００および短距離引力場に設定したハンド２５の順で駆動する。すなわち、図１２に示すように、先に、アーム基準点Ａとアーム作業点Ｂとが一致するようにロボットアーム２００を駆動し、次に、図１３に示すように、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとが一致するようにハンド２５を駆動する。これにより、まず、ロボットアーム２００を所望の位置に移動させた後に、ハンド２５がワークＷを把持することができる。

４．ハードウェア構成例
このような制御装置４は、例えば、以下のようなハードウェア構成により上記のような制御を実現することができる。

図３は、図１に示す制御装置４のハードウェア構成の一例を示すブロック図である。
図３に示す制御装置４は、プロセッサー４ａと、記憶部４ｂと、外部インターフェース４ｃと、を含んでいる。そして、これらの各要素は、システムバス４ｄを介して相互に通信可能に接続されている。

プロセッサー４ａは、ＣＰＵ（Central Processing Unit）等を備えている。そして、記憶部４ｂに記憶されている各種プログラム等を読み出し、実行する。これにより、制御装置４における各種演算や各種処理等を実現する。

記憶部４ｂは、プロセッサー４ａで実行可能な各種プログラム等を保存する。記憶部４ｂとしては、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリー、ＲＯＭ（Read Only Memory）等の不揮発性メモリー、着脱式の外部記憶装置等が挙げられる。なお、記憶部４ｂには、プログラムの他に、前述した各部から出力されたデータや設定値等についても記憶される。

外部インターフェース４ｃは、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ等が挙げられる。

なお、制御装置４の各部の機能は、プロセッサー４ａがプログラムを実行することにより実現されるが、少なくとも一部がハードウェア上で実現されるようになっていてもよい。

また、制御装置４は、ロボット２の筐体内に配置されていてもよく、筐体外に配置されていてもよく、ネットワーク等を介して遠隔地に設けられていてもよい。

また、制御装置４には、モニター等の表示装置、キーボード、タッチパネル等の入力装置等が接続されていてもよい。

５．ロボットの制御方法
次に、本発明のロボットの制御方法について説明する。

５．ロボットの制御方法
次に、本発明のロボットの制御方法について説明する。

ロボットの制御方法は、ステップＳ１０１と、ステップＳ１０２と、ステップＳ１０３と、ステップＳ１０４と、ステップＳ１０５と、ステップＳ１０６と、ステップＳ１０７と、ステップＳ１０８と、を有する。

５．１．ステップＳ１０１
まず、ステップＳ１０１において、三次元カメラ３を駆動し、ロボットアーム２００およびワークＷを含む画像を撮像させ、図４に示すような画像Ｄｘを取得する。

次いで、ステップＳ１０２において、画像Ｄｘに移ったロボットアーム２００、ワークＷおよび作業台３００の表面に点群Ｐ^{ｐｏｉｎｔｓ}を生成する（図５参照）。

次いで、ステップＳ１０３において、点群Ｐ^{ｐｏｉｎｔｓ}を、ロボットアーム２００に関する第１点群Ｐ^ａｒｍ、ワークＷに関する第２点群Ｐ^ｔａｒ、および、ハンド２５に関する第３点群Ｐ^{ｆｉｎｇｅｒ}、作業台３００に関する第４点群Ｐ^ｏｂｓに分類する（図６参照）。

次いで、ステップＳ１０４において、画像Ｄｘに基づいて、ロボットアーム２００の関節２０Ａ～関節２０Ｆの位置、および、ハンド２５の指先の位置を求めるとともに、関節２０Ａ～関節２０Ｆの位置から、関節の回転ベクトルの単位ベクトルを計算する。

また、ステップＳ１０４において、点群Ｐ^{ｐｏｉｎｔ}の各点が、どの部位に属しているのかを識別する。この識別方法は、前述した通りである。

次いで、ステップＳ１０５において、図１０に示すように、第１点群Ｐ^ａｒｍのうちの少なくとも１つの点をアーム基準点Ａに設定するとともに、第２点群Ｐ^ｔａｒに基づいて、作業を実行する際にアーム基準点Ａが位置する点をアーム作業点Ｂに設定する。また、第３点群Ｐ^{ｆｉｎｇｅｒ}の少なくとも１つの点をエンドエフェクター基準点Ｃに設定するとともに、第３点群Ｐ^{ｆｉｎｇｅｒ}に基づいて、作業を実行する際にエンドエフェクター基準点Ｃが位置する点をエンドエフェクター作業点Ｄに設定する。

次いで、ステップＳ１０６において、アーム基準点Ａとアーム作業点Ｂとが仮想的に受ける力を推定し、アーム基準点Ａがアーム作業点Ｂに位置するよう移動するための各関節の回転角度を算出する。

さらに、ステップＳ１０６では、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとが仮想的に受ける力を推定し、エンドエフェクター基準点Ｃがエンドエフェクター作業点Ｄに位置するためのハンド２５の回転角度を算出する。

ステップＳ１０６では、前述したように、ポテンシャル関数を用いて、アーム基準点Ａとアーム作業点Ｂとが仮想的に受ける力、および、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとが仮想的に受ける力を推定し、その推定結果と、関節の位置とに基づいて回転角度θを算出する。具体的な算出方法は、前述した通りである。

次いで、ステップＳ１０７において、ロボットアーム２００を駆動する。すなわち、ステップＳ１０６で算出した回転角度θに基づいて、各モーターＭ１～モーターＭ７に対する通電条件を制御する。また、長距離引力場に設定したロボットアーム２００および短距離引力場に設定したハンド２５の順で駆動することで、アーム基準点Ａとアーム作業点Ｂとが一致し、その後、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとが一致するようにロボットアーム２００およびハンド２５を駆動することができる。

次いで、ステップＳ１０８において、作業が完了したか否かを判断する。ステップＳ１０８において、完了していないと判断した場合、ステップＳ１０１に戻り、以降のステップを順次繰り返す。このように、リアルタイムで撮像しつつ、関節の回転角度θを算出してロボットアーム２００およびハンド２５を駆動することにより、リアルタイムで障害物の回避や、例えば、コンベア上の移動するワークＷに追従して所望の作業を行うことができる。

以上説明したように、本発明のロボットの制御方法は、ロボットアーム２００を有し、ロボットアーム２００に設けられたエンドエフェクターであるハンド２５によって対象物であるワークＷへの作業を実行するロボット２を、三次元カメラ３の撮像結果に基づいて制御するロボットの制御方法である。また、ロボットの制御方法は、三次元カメラ３で、ロボットアーム２００およびワークＷを含む画像Ｄｘを撮像する第１ステップと、得られた画像Ｄｘおよび深度情報から点群Ｐ^{ｐｏｉｎｔ}を生成する第２ステップと、点群Ｐ^{ｐｏｉｎｔ}を、ロボットアームに関する第１点群Ｐ^ａｒｍ、および、ワークＷに関する第２点群Ｐ^ｔａｒに分類する第３ステップと、画像Ｄｘに基づいて、ロボットアーム２００の関節の位置を求める第４ステップと、第１点群Ｐ^ａｒｍとロボットアーム２００の関節の位置とに基づいてアーム基準点Ａを設定するとともに、第２点群Ｐ^ｔａｒに基づいて、作業を実行する際にアーム基準点Ａが位置する点をアーム作業点Ｂに設定する第５ステップと、アーム基準点Ａとアーム作業点Ｂとが仮想的に受ける力を推定するポテンシャル関数、および、関節の位置に基づいて、アーム基準点Ａがアーム作業点Ｂに位置するよう移動するためのロボットアーム２００の動作における関節の回転角度θを算出する第６ステップと、算出した回転角度θに基づいて、ロボットアーム２００の関節を所定角度動作させる第７ステップと、を有する。このような方法によれば、従来のようなカメラ座標系とロボット座標系とを対応付けるという面倒な作業を省略することができる。よって、ロボット２を即座に使用することができる。

換言すれば、本発明のロボットの制御方法は、ロボットアーム２００を有し、ロボットアーム２００に設けられたエンドエフェクターであるハンド２５によって対象物であるワークＷへの作業を実行するロボット２を、三次元カメラ３の撮像結果に基づいて制御するロボットの制御方法であって、撮像結果から設定される作業位置に対し、ロボット２を制御する際に用いられるロボット制御座標系への変換を行わずに、ロボットアーム２００の関節の回転角度θを算出する。これにより、従来のようなカメラ座標系とロボット座標系とを対応付けるという面倒な作業を省略することができる。よって、ロボット２を即座に使用することができる。

また、本発明では、三次元カメラ３の撮像範囲にロボットアーム２００およびワークＷが入ってさえいれば、ロボットアーム２００を駆動するのに必要な関節の回転角度θを算出することができる。三次元カメラ３を上記制限内で自由に動かすことができる。よって、より作業に適したアングルで撮像を行うことができ、三次元カメラ３を複数設置する必要がない。また、ロボット２の設置位置も変更することができる。

さらに、本発明では、式（２３）において、最小二乗法を用いて最適化を行っているため、複雑な制御を行うことなく、正確な動作を実現することができる。

また、本発明のロボットの制御方法では、第７ステップにおいてロボットアーム２００を動作させた後に、再度、第１ステップ、第２ステップ、第３ステップ、第４ステップ、第５ステップ、第６ステップおよび第７ステップを繰り返す。これにより、リアルタイムで障害物の回避や、例えば、コンベア上で移動するワークＷに追従して所望の作業を行うことができる。

また、第５ステップでは、アーム基準点Ａを複数設定するとともに、アーム作業点Ｂを、アーム基準点Ａと同数設定する。これにより、作業中のロボットアーム２００の姿勢をより正確に設定することができる。

また、第３ステップでは、点群Ｐ^{ｐｏｉｎｔ}から、さらに、エンドエフェクターであるハンド２５に関する第３点群Ｐ^{ｆｉｎｇｅｒ}に分類し、第４ステップでは、画像Ｄｘに基づいて、さらに、ハンド２５の位置を求め、第５ステップでは、第３点群Ｐ^{ｆｉｎｇｅｒ}の少なくとも１つの点をエンドエフェクター基準点Ｃに設定するとともに、第３点群Ｐ^{ｆｉｎｇｅｒ}に基づいて、作業を実行する際にエンドエフェクター基準点Ｃが位置する点をエンドエフェクター作業点Ｄに設定し、第６ステップでは、ハンド２５の位置およびポテンシャル関数に基づいて、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとが仮想的に受ける力を推定し、エンドエフェクター基準点Ｃがエンドエフェクター作業点Ｄに位置するためのハンド２５の動作におけるハンド２５の回転角度θ、すなわち、関節２５Ａおよび関節２５Ｂの回転角度θを算出する。これにより、ロボットアーム２００に所望の動作を行わせることに加え、ハンド２５にも所望の動作を行わせることができる。

また、本発明のロボットの制御方法では、ポテンシャル関数において、アーム基準点Ａとアーム作業点Ｂとで仮想的に受ける力の大きさは、エンドエフェクター基準点Ｃとエンドエフェクター作業点Ｄとで仮想的に受ける力の大きさよりも大きくなるよう第６ステップを実行する。このように、ポテンシャル関数において、動作を行う際の優先順位を設定することができる。すなわち、長距離引力場に設定したロボットアーム２００および短距離引力場に設定したハンド２５の順で駆動することができる。よって、まず、ロボットアーム２００を所望の位置に移動させた後に、ハンド２５がワークＷを把持するといった順序性のある動作を行うことが可能となる。

以上、本発明のロボットの制御方法を図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各工程の構成は、同様の機能を有する任意の工程に置換することができる。また、ロボットの制御方法には、他の任意の工程が付加されていてもよい。

また、前記実施形態では、アーム基準点Ａは第１点群Ｐ^ａｒｍのうちの少なくとも１つの点から設定されるが、これに限定されず、例えば、第１点群Ｐ^ａｒｍと関節位置Ｅとに基づいて、ロボットアーム２００の内部または外部に新たに設定される点であってもよい。

また、前記実施形態では、エンドエフェクター基準点Ｃは、第３点群Ｐ^{ｆｉｎｇｅｒ}の少なくとも１つの点から設定されるが、これに限定されず、例えば、第３点群Ｐ^{ｆｉｎｇｅｒ}に基づいてハンド２５の内部または外部に新たに設定される点であってもよい。

また、前記実施形態では、ポテンシャル関数を用いて関節角度を求める構成について説明したが、本発明ではこれに限定されず、関節角度が求められる関数であればよい。

２…ロボット、３…三次元カメラ、４…制御装置、４ａ…プロセッサー、４ｂ…記憶部、４ｃ…外部インターフェース、４ｄ…システムバス、２０…基台、２０Ａ…関節、２０Ｂ…関節、２０Ｃ…関節、２０Ｄ…関節、２０Ｅ…関節、２０Ｆ…関節、２１…第１アーム、２２…第２アーム、２３…第３アーム、２４…第４アーム、２５…ハンド、４１…撮像制御部、４２…点群生成部、４３…点群分類部、４４…位置特定部、４５…位置設定部、４６…回転角度算出部、４７…実行部、１００…ロボットシステム、２００…ロボットアーム、２５１…第１指、２５２…第２指、３００…作業台、Ｄｘ…画像、Ｅ１…エンコーダー、Ｅ２…エンコーダー、Ｅ３…エンコーダー、Ｅ４…エンコーダー、Ｅ５…エンコーダー、Ｅ６…エンコーダー、Ｅ７…エンコーダー、Ｍ１…モーター、Ｍ２…モーター、Ｍ３…モーター、Ｍ４…モーター、Ｍ５…モーター、Ｍ６…モーター、Ｍ７…モーター、Ｐ^{ｐｏｉｎｔｓ}…点群、Ｐ^ａｒｍ…第１点群、Ｐ^ｔａｒ…第２点群、Ｐ^{ｆｉｎｇｅｒ}…第３点群、Ｐ^ｏｂｓ…第４点群、Ｗ…ワーク、Ａ（Ａ１、Ａ２）…アーム作業点、Ｂ（Ｂ１、Ｂ２）…アーム基準点、Ｃ（Ｃ１、Ｃ２）…エンドエフェクター作業点、Ｄ（Ｄ１、Ｄ２）…エンドエフェクター基準点、θ…回転角度

Claims (6)

1. ロボットアームを有し、前記ロボットアームに設けられたエンドエフェクターによって対象物への作業を実行するロボットを、三次元カメラの撮像結果に基づいて制御するロボットの制御方法であって、
   前記三次元カメラで、前記ロボットアームおよび前記対象物を含む画像を撮像する第１ステップと、
   得られた前記画像および深度情報から点群を生成する第２ステップと、
   前記点群を、前記ロボットアームに関する第１点群、および、前記対象物に関する第２点群に分類する第３ステップと、
   前記画像に基づいて、前記ロボットアームの関節の位置を求める第４ステップと、
   前記第１点群のうちの少なくとも１つの点をアーム基準点に設定するとともに、前記第２点群に基づいて、前記作業を実行する際に前記アーム基準点が位置する点をアーム作業点に設定する第５ステップと、
   前記アーム基準点と前記アーム作業点とが仮想的に受ける力を推定するポテンシャル関数、および、前記関節の位置に基づいて、前記アーム基準点が前記アーム作業点に位置するよう移動するための前記ロボットアームの動作における前記関節の回転角度を算出する第６ステップと、
   算出した前記回転角度に基づいて、前記ロボットアームの前記関節を所定角度動作させる第７ステップと、を有することを特徴とするロボットの制御方法。
2. 前記第７ステップにおいて前記ロボットアームを動作させた後に、再度、前記第１ステップ、前記第２ステップ、前記第３ステップ、前記第４ステップ、前記第５ステップ、前記第６ステップおよび前記第７ステップを繰り返す請求項１に記載のロボットの制御方法。
3. 前記第５ステップでは、前記アーム基準点を複数設定するとともに、前記アーム作業点を、前記アーム基準点と同数設定する請求項１または２に記載のロボットの制御方法。
4. 前記第３ステップでは、前記点群から、さらに、前記エンドエフェクターに関する第３点群に分類し、
   前記第４ステップでは、前記画像に基づいて、さらに、前記エンドエフェクターの位置を求め、
   前記第５ステップでは、前記第３点群の少なくとも１つの点をエンドエフェクター基準点に設定するとともに、前記第３点群に基づいて、前記作業を実行する際に前記エンドエフェクター基準点が位置する点をエンドエフェクター作業点に設定し、
   前記第６ステップでは、前記エンドエフェクターの位置および前記ポテンシャル関数に基づいて、前記エンドエフェクター基準点と前記エンドエフェクター作業点とが仮想的に受ける力を推定し、前記エンドエフェクター基準点が前記エンドエフェクター作業点に位置するための前記エンドエフェクターの動作における前記エンドエフェクターの回転角度を算出する請求項１ないし３のいずれか１項に記載のロボットの制御方法。
5. 前記ポテンシャル関数において、前記アーム基準点と前記アーム作業点とで仮想的に受ける力の大きさは、前記エンドエフェクター基準点と前記エンドエフェクター作業点とで仮想的に受ける力の大きさよりも大きくなるよう前記第６ステップを実行する請求項４に記載のロボットの制御方法。
6. ロボットアームを有し、前記ロボットアームに設けられたエンドエフェクターによって対象物への作業を実行するロボットを、三次元カメラの撮像結果に基づいて制御するロボットの制御方法であって、
   前記撮像結果から設定される作業位置に対し、前記ロボットを制御する際に用いられるロボット制御座標系への変換を行わずに、前記ロボットアームの関節の回転角度を算出することを特徴とするロボットの制御方法。

Images