JP2015074058A - ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラム - Google Patents

Abstract

【課題】ロボットによる作業において、対象物の位置ずれなどが発生した場合でも、効率よく対象物を目標位置へ移動させる。【解決手段】ロボットは、当該ロボットの可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御部と、前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、を有し、前記制御部は、前記現在画像及び前記目標画像と、前記可動部に作用する力を検出する力検出部からの出力とに基づいて、前記可動部の移動を制御する。【選択図】図１

Description

本発明は、ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラムに関する。

特許文献１には、ロボットのインピーダンス制御において、ロボット先端に作用する押し当て反力が所定の大きさを超えると、押し当て反力が設定された制限値となるような仮目標位置を求め、当該仮目標位置に押し当て反力に応じた位置補正量を加算して目標位置を求める、ロボット制御装置が記載されている。

特開２０００−３０１４７９号公報

しかしながら、特許文献１の技術では、ワークなどの対象物の現在位置が目標位置から想定以上に大きくずれてしまった場合には、対象物を目標位置へ移動することが困難になる。例えば、ワークを穴に嵌める嵌め合い作業では、インピーダンス制御によりワークを穴の縁などに押し当てることで、作業を完了することができる。しかしながら、ワークの位置が穴から遠くにずれている場合には、インピーダンス制御ではワークが穴に対してどのようにずれているか（方向や距離など）を検出することができないため、現在位置を修正して作業を完了することが困難である。ロボットの作業を完了するには、ロボットの軌道をユーザーが修正して再度教示するなどのユーザーの作業が発生する。

そこで、本発明は、ロボットによる作業において、対象物の位置ずれなどが発生した場合でも、効率よく対象物を目標位置へ移動させることを目的とする。

上記の課題を解決する本発明の第一の態様は、ロボットの可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御部と、前記可動部に作用する力を検出する力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御部と、前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御部と、を有することを特徴とするロボット制御装置である。これにより、対象物の位置ずれなどが発生した場合であっても、第一制御部の指令値により精度よく可動部の位置を修正することができる。また、第一制御部の指令値に基づく可動部の軌道が非効率になる場合であっても、第二制御部の指令値により効率の良い軌道に修正することができる。

上記の課題を解決する本発明の第二の態様は、ロボットの可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御部と、前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、を有し、前記制御部は、前記現在画像及び前記目標画像と、前記可動部に作用する力を検出する力検出部からの出力とに基づいて、前記可動部の移動を制御する、ことを特徴とするロボット制御装置である。これにより、対象物の位置ずれなどが発生した場合であっても、画像に基づく制御により精度よく可動部の位置を修正することができる。また、画像に基づく制御による可動部の軌道が非効率になる場合であっても、力に基づく制御により効率の良い軌道に修正することができる。

上記のロボット制御装置であって、前記第三制御部は、前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを、それぞれ所定の重みで足し合わせた指令値を用いて前記可動部を移動させる、ことを特徴としてもよい。これにより、可動部の軌道や作業の精度が所望の軌道や作業の精度となるように調整することができる。

上記のロボット制御装置であって、前記所定の重みの設定をユーザーから受け付ける入力部、を有することを特徴としてもよい。これにより、ユーザーの希望する軌道や作業の精度となるように重みを設定することができる。

上記のロボット制御装置であって、前記第三制御部は、前記所定の重みを、前記現在位置と前記目標位置との距離に基づいて決定する、ことを特徴としてもよい。これにより、距離に応じて重みが変化するため、精度よく制御を行うことができる。また、距離に応じて連続的に重みが変化するため、制御を滑らかに切り替えることができる。

上記のロボット制御装置であって、前記第三制御部は、前記画像取得部が取得した画像に基づいて前記距離を決定する、ことを特徴としてもよい。これにより、第一制御部が使用する画像と同じ画像に基づいて距離を決定することができるため、画像処理の負荷の増加を防ぐことができる。

上記のロボット制御装置であって、前記第三制御部は、前記距離が小さくなるほど、前記第二制御部により生成された指令値に対応する所定の重みを大きくする、ことを特徴としてもよい。目的位置に近い位置のように力制御による効果が効果的に得られる位置では、第一制御部による非効率な軌道を修正して、より効率的に可動部の移動を行うことができる。

上記のロボット制御装置であって、前記第三制御部は、前記距離が所定値より大きい場合には、前記第二制御部により生成された指令値に対応する所定の重みを０にする、ことを特徴としてもよい。目的位置から遠い位置のように力制御による効果が効果的に得られない位置では、第一制御部により効率的に可動部の移動を行うことができる。

上記の課題を解決する本発明の第三の態様は、可動部と、前記可動部に作用する力を検出する力検出部と、前記可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御部と、前記力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御部と、前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御部と、を有することを特徴とするロボットである。これにより、対象物の位置ずれなどが発生した場合であっても、第一制御部の指令値により精度よく可動部の位置を修正することができる。また、第一制御部の指令値に基づく可動部の軌道が非効率になる場合であっても、第二制御部の指令値により効率の良い軌道に修正することができる。

上記の課題を解決する本発明の第四の態様は、可動部と、前記可動部に作用する力を検出する力検出部と、前記可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御部と、前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、を有し、前記制御部は、前記現在画像及び前記目標画像と、前記力検出部からの出力とに基づいて、前記可動部の移動を制御する、ことを特徴とするロボットである。これにより、対象物の位置ずれなどが発生した場合であっても、画像に基づく制御により精度よく可動部の位置を修正することができる。また、画像に基づく制御による可動部の軌道が非効率になる場合であっても、力に基づく制御により効率の良い軌道に修正することができる。

上記の課題を解決する本発明の第五の態様は、可動部を有するロボットと、前記可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御部と、前記可動部に作用する力を検出する力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御部と、前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御部と、を有することを特徴とするロボットシステムである。これにより、対象物の位置ずれなどが発生した場合であっても、第一制御部の指令値により精度よく可動部の位置を修正することができる。また、第一制御部の指令値に基づく可動部の軌道が非効率になる場合であっても、第二制御部の指令値により効率の良い軌道に修正することができる。

上記の課題を解決する本発明の第六の態様は、可動部を有するロボットと、前記可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御部と、前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、を有し、前記制御部は、前記現在画像及び前記目標画像と、前記可動部に作用する力を検出する力検出部からの出力とに基づいて、前記可動部の移動を制御する、ことを特徴とするロボットシステムである。これにより、対象物の位置ずれなどが発生した場合であっても、画像に基づく制御により精度よく可動部の位置を修正することができる。また、画像に基づく制御による可動部の軌道が非効率になる場合であっても、力に基づく制御により効率の良い軌道に修正することができる。

上記の課題を解決する本発明の第七の態様は、ロボットの可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得ステップと、前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御ステップと、前記可動部に作用する力を検出する力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御ステップと、前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御ステップと、を含むことを特徴とするロボット制御方法である。これにより、対象物の位置ずれなどが発生した場合であっても、第一制御ステップの指令値により精度よく可動部の位置を修正することができる。また、第一制御ステップの指令値に基づく可動部の軌道が非効率になる場合であっても、第二制御ステップの指令値により効率の良い軌道に修正することができる。

上記の課題を解決する本発明の第八の態様は、ロボットの可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御ステップと、前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得ステップと、を含み、前記制御ステップは、前記現在画像及び前記目標画像と、前記可動部に作用する力を検出する力検出部からの出力とに基づいて、前記可動部の移動を制御する、ことを特徴とするロボット制御方法である。これにより、対象物の位置ずれなどが発生した場合であっても、画像に基づく制御により精度よく可動部の位置を修正することができる。また、画像に基づく制御による可動部の軌道が非効率になる場合であっても、力に基づく制御により効率の良い軌道に修正することができる。

上記の課題を解決する本発明の第九の態様は、ロボットの可動部のエンドポイントを含む画像に基づく前記可動部の制御と、前記可動部に作用する力を検出する力検出部からの出力に基づく前記可動部の制御とを、並列制御するロボット制御方法である。これにより、対象物の位置ずれなどが発生した場合であっても、画像に基づく制御により精度よく可動部の位置を修正することができる。また、画像に基づく制御による可動部の軌道が非効率になる場合であっても、力に基づく制御により効率の良い軌道に修正することができる。

上記の課題を解決する本発明の第十の態様は、ロボット制御装置のプログラムであって、ロボットの可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御部と、前記可動部に作用する力を検出する力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御部と、前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御部として、前記ロボット制御装置を機能させる、ことを特徴とするプログラムである。これにより、対象物の位置ずれなどが発生した場合であっても、第一制御部の指令値により精度よく可動部の位置を修正することができる。また、第一制御部の指令値に基づく可動部の軌道が非効率になる場合であっても、第二制御部の指令値により効率の良い軌道に修正することができる。

本発明の実施形態に係るロボットシステム１の概略構成の一例を示す図である。 ロボットシステム１の機能構成の一例を示す図である。 ロボットシステム１におけるデータ及び制御の流れの一例を示す図である。 指令値を合成する比率を示す重みの設定方法の一例を説明する図である。 力制御による嵌め合い作業の一例を説明する図である。 力制御による嵌め合い作業の一例を説明する図である。 ビジュアルサーボによる嵌め合い作業の一例を説明する図である。 力制御およびビジュアルサーボの並列制御による嵌め合い作業の一例を説明する図である。 ロボット制御装置１０の動作の一例を示すフロー図である。 ロボット制御装置１０の機能を実現するハードウェア構成の一例を示す図である。

本発明の実施形態について、図面を参照しながら説明する。

図１は、本発明の実施形態に係るロボットシステム１の概略構成の一例を示す図である。図１に示すように、ロボットシステム１は、ロボット制御装置１０と、ロボット２０と、撮像装置３０とを備える。ロボット制御装置１０は、ロボット２０及び撮像装置３０と通信可能に接続される。

ロボット制御装置１０は、ロボット２０の全体を制御する。また、ロボット制御装置１０は、撮像装置３０による撮像を制御する。

ロボット２０は、ロボット制御装置１０からの制御信号に従って動作し、作業を行う。ロボットの作業内容は、特に限定されないが、例えば、作業台Ｔ上でワークＷ１をワークＷ２の穴Ｈに嵌める作業などが考えられる。ワークは、作業の対象物と呼ぶことができる。

ロボット２０は、一以上のジョイント２３及び一以上のリンク２４を含むアーム２２と、アーム２２の先端部に設けられたハンド２６と、アーム２２の先端部とハンド２６との間（手首部分と呼ぶこともできる。）に設けられた力覚センサー２５と、を有する。

力覚センサー２５は、例えば、ハンド２６に作用する力や、モーメントを検出する。力覚センサー２５の出力は、ロボット制御装置１０に送られ、ロボット制御装置１０によるロボット２０のインピーダンス制御などに用いられる。力覚センサー２５としては、例えば、並進３軸方向の力成分と、回転３軸回りのモーメント成分の６成分を同時に検出することができる６軸力覚センサーを用いることができる。もちろん、力覚センサー２５の軸数は特に限定されず、例えば３軸でもよい。なお、力覚センサー２５は、力検出部と呼ぶこともできる。

ハンド２６は、例えば、複数の指を備え、少なくとも２本の指で対象物Ｗ（Ｗ１、Ｗ２）を把持することができる。ハンド２６は、アーム２２の先端部に対して着脱可能であってもよい。なお、ハンド２６は、エンドエフェクターの一種ということができる。エンドエフェクターは、対象物を把持したり、持ち上げたり、吊り上げたり、吸着したり、ワークを加工したりするための部材である。エンドエフェクターは、ハンド、フック、吸盤など、様々な形態をとることができる。また、エンドエフェクターは、一本のアームに対して複数設けるようにしてもよい。

アーム２２、力覚センサー２５、及びハンド２６を含むユニットを、可動部やマニピュレータと呼ぶこともできる（以下では、可動部と呼ぶ。）。図１の例では、ロボット２０は可動部２１を２本有する。可動部２１には、ジョイント２３やハンド２６等の各部を動作させるため、例えば、アクチュエーター（図示せず）が備えられる。アクチュエーターは、例えば、サーボモーターやエンコーダーなどを備える。エンコーダーが出力するエンコーダー値は、例えば、ロボット制御装置１０や後述するロボット２０の駆動制御部２００（図２参照）によるロボット２０のフィードバック制御などに用いられる。

ロボット２０は、ロボット制御装置１０から与えられる制御命令に従って、各ジョイント２３を連動させて駆動することにより、アーム２２の先端部などに設定された注目位置（以下、エンドポイントという。）を、所定の可動範囲内で自在に移動させたり自由な方向へ向けたりすることができる。また、ハンド２６で対象物などを把持したり解放したりすることができる。

なお、エンドポイントの位置は、アームの先端部に限定されず、例えば、エンドエフェクターの先端部などに設定されてもよい。

撮像装置３０は、ロボット２０の作業領域（例えば、作業台Ｔ上の可動部２１により作業可能な範囲である３次元空間）を撮像して、画像データを生成する。図１の例では、２台の撮像装置３０がそれぞれ異なる角度で作業台Ｔ上に設置されている。撮像装置３０は、例えば可視光カメラ、赤外線カメラ等を採用することができる。撮像装置３０により撮像された画像はロボット制御装置１０に入力される。

上記のロボットシステム１の構成は、本実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記した構成例に限られない。また、一般的なロボットシステムが備える構成を排除するものではない。

例えば、図１ではジョイント数が６個（６軸）の例が示されているが、ジョイントの数（「軸数」ともいう）やリンクの数を増減させてもよい。また、ジョイント、リンク、ハンド等の各種部材の形状、大きさ、配置、構造等も適宜変更してよい。

また、例えば、撮像装置３０の設置位置は、特に限定されず、天井や壁に設置されてもよい。また、撮像装置３０に替えて又は加えて、ロボット２０のアーム２２の先端部分、胴体部、あるいは頭部などに、撮像装置を設けるようにしてもよい。また、例えば、撮像装置３０は、ロボット２０に接続されるようにしてもよい。この場合には、撮像装置３０により撮像された画像は、ロボット２０を介してロボット制御装置１０に入力される。また、ロボット制御装置１０は、ロボット２０に内蔵されるようにしてもよい。

図２は、ロボットシステム１の機能構成の一例を示す図である。

ロボット２０は、駆動制御部２００を有する。

駆動制御部２００は、ロボット制御装置１０から出力された制御命令と、アクチュエーターのエンコーダー値及びセンサーのセンサー値等とに基づいて、エンドポイントの位置が制御命令で指示される目標位置となるように、アクチュエーターを駆動させる。なお、エンドポイントの現在位置は、例えばアクチュエーターにおけるエンコーダー値等から求めることができる。

ロボット制御装置１０は、ビジュアルサーボ部（第一制御部）１００と、力制御部（第二制御部）１１０と、画像取得部１２０と、第三制御部１３０とを有する。ビジュアルサーボ部１００は、画像処理部１０２と、第一の軌道生成部１０４とを有する。力制御部１１０は、センサー情報取得部１１２と、第二の軌道生成部１１４とを有する。

ビジュアルサーボ部１００は、撮像装置３０が撮像した画像を、画像取得部１２０を介して取得する。また、ビジュアルサーボ部１００は、取得した画像に基づいて、目標物との相対的な位置の変化を視覚情報として計測し、それをフィードバック情報として用いることによって目標物を追跡する制御手法であるビジュアルサーボを実行して、アーム２２を移動させる。なお、本実施形態では、ビジュアルサーボとして、視差が生じるような２枚の画像を利用して画像を立体として認識させるステレオグラム等の方法を用いて計算した対象の３次元位置情報に基づいてロボットを制御する位置ベース法を採用する。なお、ビジュアルサーボとしては、目標の画像から抽出した特徴量と現在の画像から抽出した特徴量とに基づいてロボットを制御する画像ベース法を採用してもよい。

画像処理部１０２は、画像取得部１２０から取得した画像からエンドポイントを認識し、当該認識したエンドポイントを含む画像を抽出する。なお、画像処理部１０２が行う画像認識処理は、一般的な様々な技術を用いることができるため、説明を省略する。

第一の軌道生成部１０４は、画像処理部１０２により抽出された画像（以下、現在画像という）と、エンドポイントが目標位置にある時の画像（以下、目標画像という）とに基づいて、エンドポイントの軌道、すなわちエンドポイントの移動量及び移動方向を設定する。なお、目標画像は、予め取得したものをメモリー等の記憶部に格納しておけばよい。

また、第一の軌道生成部１０４は、設定したエンドポイントの移動量及び移動方向に基づいて、各ジョイント２３に設けられた各アクチュエーターの目標角度を決定する。さらに、第一の軌道生成部１０４は、目標角度だけアーム２２を移動させるような指令値を生成し、第三制御部１３０へ出力する。なお、第一の軌道生成部１０４が行う軌道の生成処理、目標角度の決定処理、指令値の生成処理等は、一般的な様々な技術を用いることができるため、詳細な説明を省略する。

力制御部１１０は、ロボット２０の力覚センサー２５からのセンサー情報（力情報やモーメント情報を示すセンサー値）に基づいて、力制御（力覚制御ともいう）を行う。本実施形態では、力制御としてインピーダンス制御を行う。インピーダンス制御は、ロボットの手先（ハンド２６等）に外から力を加えた場合に生じる機械的なインピーダンス（慣性、減衰係数、剛性）を、目的とする作業に都合の良い値に設定するための位置と力の制御手法である。具体的には、例えば、ロボットのエンドエフェクター部に質量と粘性係数と弾性要素が接続されるモデルにおいて、目標として設定した質量と粘性係数と弾性係数で物体に接触するようにする制御である。

なお、力制御を行うためには、ハンド２６等のエンドエフェクターに加わる力やモーメントを検出する必要があるが、エンドエフェクターに加わる力やモーメントを検出する方法は力覚センサーを用いるものに限られない。例えば、アーム２２の各軸トルク値からエンドエフェクターに及ぼす外力を推定することもできる。したがって、力制御を行うためには、直接または間接的にエンドエフェクターに加わる力を取得する手段を、アーム２２が有していればよい。

センサー情報取得部１１２は、ロボット２０の力覚センサー２５から出力されるセンサー情報（検出されたセンサー値など）を取得する。なお、センサー情報取得部１１２は、力検出部と呼ぶこともできる。

第二の軌道生成部１１４は、インピーダンス制御によりエンドポイントの移動方向及び移動量を決定する。また、第二の軌道生成部１１４は、エンドポイントの移動方向及び移動量に基づいて、各ジョイント２３に設けられた各アクチュエーターの目標角度を決定する。また、第二の軌道生成部１１４は、目標角度だけアーム２２を移動させるような指令値を生成し、第三制御部１３０へ出力する。なお、第二の軌道生成部１１４が行う軌道の生成処理、目標角度の決定処理、指令値の生成処理等は、一般的な様々な技術を用いることができるため、詳細な説明を省略する。

なお、関節を持つロボット２０では、各関節の角度を決定すると、フォワードキネマティクス処理によりエンドポイントの位置は一意に決定される。つまり、Ｎ関節ロボットではＮ個の関節角度により１つの目標位置を表現できることになるから、当該Ｎ個の関節角度の組を１つの目標関節角度とすれば、エンドポイントの軌道を目標関節角度の集合と考えることができる。よって、第一の軌道生成部１０４及び第二の軌道生成部１１４から出力される指令値は、位置に関する値（目標位置）であってもよいし、関節の角度に関する値（目標角度）であってもよい。

画像取得部１２０は、撮像装置３０が撮像した画像を取得し、ビジュアルサーボ部１００及び第三制御部１３０に出力する。

第三制御部１３０は、ビジュアルサーボ部（第一制御部）１００から出力される指令値と、力制御部（第二制御部）１１０から出力される指令値とを、それぞれに設定した重みを用いて合成する。また、第三制御部１３０は、合成した指令値に基づいて、エンドポイントの位置、すなわち可動部２１を移動させるように、ロボット２０に指示を出力する。

また、第三制御部１３０は、画像取得部１２０から取得した画像から、２つの位置（例えば、エンドポイントの現在位置とエンドポイントの目標位置）を認識し、現在位置から目標位置までの距離を計算する。そして、当該計算した距離の長さに応じて、指令値を合成する重みの比率を設定する。また、第三制御部１３０は、ロボット２０の力覚センサー２５から出力されるセンサー情報を取得する機能（「力検出部」と呼んでもよい。）を有する。第三制御部１３０の処理の詳細は後述する。

図３は、ロボットシステム１におけるデータ及び制御の流れの一例を示す図である。

ビジュアルサーボ部１００では、撮像装置３０からの情報を用いて現在位置を目標位置に近づけるためのビジュアルフィードバックループが回っている。第一の軌道生成部１０４は、目標位置に関する情報として目標画像を取得する。また、第一の軌道生成部１０４は、現在画像及び現在画像上における目標位置は画像上における座標系で表されているため、これをロボットにおける座標系に変換する。また、第一の軌道生成部１０４は、変換後の現在の現在画像及び目標画像に基づいて、軌道及び指令値（ここでは目標角度）を生成する。

力制御部１１０では、力覚センサー２５からのセンサー情報に基づいて、目標として設定したインピーダンス（目標インピーダンス）で、ロボットの手先を物体に接触させるためのフィードバックループが回っている。第二の軌道生成部１１４は、取得するセンサー情報の値が、目標インピーダンスとなるように軌道及び指令値（ここでは目標角度）を生成する。

第三制御部１３０は、第一の軌道生成部１０４から出力された指令値と、第二の軌道生成部１１４から出力された指令値とに基づいた指令値をロボット２０に出力する。具体的には、第三制御部１３０は、第一の軌道生成部１０４から出力された指令値に重みα（０≦α≦１）を掛け、第二の軌道生成部１１４から出力された指令値に重みβ（β＝１−α）を掛け、これらを合成した指令値をロボット２０に出力する。重みα及び重みβは、ビジュアルサーボの指令値及び力制御の指令値を合成する比率を示す値であると言える。αとβの比率の設定方法については、後述する。

なお、一般的に画像処理の負荷は高いため、ビジュアルサーボ１００が指令値を出力する間隔（例えば３０ミリ秒（ｍｓｅｃ）毎）は、力制御部１１０が指令値を出力する間隔（例えば、１ミリ秒（ｍｓｅｃ）毎）よりも長いことが想定される。この場合、第三制御部１３０は、ビジュアルサーボ１００から指令値が出力されていないときには、力制御部１１０から出力された指令値に重みαを掛け、最後にビジュアルサーボ１００から出力された指令値に重みβを掛け、これらを合成したものをロボット２０に出力すればよい。第三制御部１３０は、最後にビジュアルサーボ１００から出力された指令値をメモリー等の記憶部に一時的に記憶しておき、この指令値を読み出して使用するようにすればよい。

駆動制御部２００は、ロボット制御装置１０から指令値（目標角度）を取得する。駆動制御部２００は、各ジョイント２３に設けられた各アクチュエーターのエンコーダー値等に基づいて現在角度を取得し、目標角度と現在角度の差分（偏差角度）を算出する。また、駆動制御部２００は、偏差角度に基づいてアーム２２の移動速度を算出し（例えば、偏差角度が大きいほど移動速度を速くする）、算出した移動速度で算出した偏差角度だけ可動部２１を移動させる。

図４は、指令値を合成する比率を示す重みの設定方法の一例を説明する図である。図４では、縦軸を重みα及び重みβの比率、横軸を現在位置から目標位置までの距離とするグラフを示している。なお、上述のようにα＋β＝１である。

現在位置は、例えば、エンドポイントの現在位置とすることができる。また、目標位置は、例えば、エンドポイントの目標画像における位置とすることができる。もちろん、現在位置と目標位置はエンドポイントの位置に限られず、例えば、現在位置は、ハンド２６が把持するワークＷの特定の点の位置とし、目標位置は、ワークＷの目標画像における位置としてもよい。

図４の例では、現在位置から目標位置までの距離ｄと重みの比率との関係は、現在位置から目標位置までの距離ｄが小さくなるに従って、係数αの比率が単調減少（βの比率が単調増加）する関係となっている。比率の変化の仕方は、曲線的であってもよいし直線的であってもよい。ロボット制御装置１０は、例えば、キーボード等の入力部を介して、ユーザーから比率の変化の仕方の設定を受け付けることができる。

また、図４の例では、距離ｄが所定距離ｃよりも小さくなった場合に、係数αの比率が最大値１から減少に転じる。所定距離ｃには、力制御の効果が効果的に得られると想定される距離を設定することができる。所定距離の設定方法について、図５〜８を参照して、ワークＷ２の穴ＨにワークＷ１を嵌める作業を例に挙げながら説明する。

例えば図５（力制御による嵌め合い作業の一例を説明する図）に示すように、ワークＷ１が移動した結果、ワークＷ１とワークＷ２の接触面の位置が、穴Ｈの縁にも届かない遠い位置にずれてしまった場合を考える。この場合、ワークＷ１がワークＷ２に接触した時点でインピーダンス制御を開始してワークＷ１をワークＷ２に対して押し付けても、ワークＷ１が穴Ｈに入ることはない。すなわち、インピーダンス制御の効果が得られない。一方、図６（力制御による嵌め合い作業の一例を説明する図）に示すように、ワークＷ１が移動した結果、ワークＷ１とワークＷ２の接触面の位置が、穴Ｈの縁に届く位置にある場合を考える。この場合、ワークＷ１がワークＷ２に接触した時点でインピーダンス制御を開始してワークＷ１をワークＷ２に対して押し付けると、ワークＷ１が穴Ｈに嵌り易くなる。すなわち、インピーダンス制御の効果を得ることができる。このように、距離ｄが小さいほど、インピーダンス制御の効果を得られる可能性が高まる。

そこで、例えば、インピーダンス制御の効果が得られない距離をｃ１（例えば２ｍｍ）、ロボット２０の動作の精度誤差をｃ２（例えば３ｍｍ）とすると、距離ｃ＝ｃ１＋ｃ２と定義することができる。距離ｃの設定は、作業内容やロボット仕様に応じて、ユーザーが調整することが望ましい。ロボット制御装置１０は、例えば、キーボード等の入力部を介して、ユーザーから距離ｃの設定を受け付けることができる。

なお、例えば図７（ビジュアルサーボによる嵌め合い作業の一例を説明する図）に示すように、ワークＷ１が移動した結果、ワークＷ１とワークＷ２の接触面の位置が、穴Ｈの縁に届く位置にある場合を考える。この場合、ワークＷ１がワークＷ２に接触した時点でインピーダンス制御を開始せずに、ビジュアルサーボによりワークＷ１の移動を行うと、場合によってはエンドポイントが最短ではない遠回りな、すなわち非効率な軌道で移動する可能性がある。一方、図８（力制御およびビジュアルサーボの並列制御による嵌め合い作業の一例を説明する図）に示すように、ワークＷ１が移動した結果、ワークＷ１とワークＷ２の接触面の位置が、穴Ｈの縁に届く位置にある場合を考える。この場合、ワークＷ１がワークＷ２に接触した時点でインピーダンス制御を開始した場合、ビジュアルサーボによるエンドポイントの軌道がインピーダンス制御による軌道により修正されるため、より効率的な軌道でワークＷ１を穴Ｈに嵌められる可能性が高まる。

第三制御部１３０は、例えば力制御部１１０が指令値を出力する間隔などの任意の間隔で、画像取得部１２０から画像を取得し、２つの位置（例えば、エンドポイントの現在位置とエンドポイントの目標位置）を画像処理により認識し、現在位置から目標位置までの距離を計算する。また、第三制御部１３０は、当該計算した距離と、距離と重み比率の関係とに基づいて、当該計算した距離に対応する重みα及び重みβの値を取得し、指令値の合成に使用する重みとして設定する。なお、距離と重み比率の関係を定義したテーブルを予め記憶部に記憶しておき、第三制御部１３０がこのテーブルを参照することで重み比率を決定するようにしてもよいし、第三制御部１３０が所定の関数式により重み比率を決定するようにしてもよい。

このように、ビジュアルサーボと力制御の各指令値を同時に用いる（並列制御を行う）ことで、対象物の位置ずれが発生した場合であってもビジュアルサーボにより精度よく位置を修正することができる。また、ビジュアルサーボによる軌道が非効率になる場合であっても、力制御により効率の良い軌道に修正することができる。

また、現在位置と目標位置の距離が大きくなるほど、力制御の指令値の割合がビジュアルサーボの指令値の割合よりも小さくなる。そのため、目的位置から遠い位置のように力制御による効果が効果的に得られない位置では、ビジュアルサーボにより効率的に可動部の移動を行うことができる。

また、現在位置と目標位置の距離が小さくなるほど、ビジュアルサーボの指令値の割合が力制御の指令値の割合よりも小さくなる。そのため、目的位置に近い位置のように力制御による効果がより効果的に得られる位置では、ビジュアルサーボによる非効率な軌道を修正して、より効率的に可動部の移動を行うことができる。

また、目的位置までの距離に応じて連続的に重みを変化（単調増加又は単調減少）させる。そのため、ビジュアルサーボから力制御への切り替えを滑らかにすることができる。

図９は、ロボット制御装置１０の動作の一例を示すフロー図である。この処理は、例えば、図示しないボタン等を介して動作開始指示が入力されることにより開始される。図９では、ワークＷ１をワークＷ２の穴Ｈに嵌めこむ作業を考える。この作業では、例えば、ビジュアルサーボにより初期位置からワークＷ１が移動し、ワークＷ２の穴Ｈの近辺に一旦ワークＷ１が接触し、その後ビジュアルサーボ及びインピーダンス制御によりワークＷ１が穴Ｈに嵌められる、という流れを経る。

図９のフローが開始されると、第三制御部１３０は、ビジュアルサーボ部１００を用いてエンドポイントを移動させる（ステップＳ１）。また、第三制御部１３０は、ロボット２０の力覚センサー２５からのセンサー情報を取得し、当該取得したセンサー情報に基づいてロボットの手先に外力が加わったか否かを判定する（ステップＳ２）。ロボットの手先に外力が加わっていない場合（ステップＳ２でＮ）、第三制御部１３０は、ステップＳ１の処理を継続する。

ロボットの手先に外力が加わった場合（ステップＳ２でＹ）、第三制御部１３０は、エンドポイントの現在位置から目標位置までの距離ｄを計測する（ステップＳ３）。また、第三制御部１３０は、ステップＳ３で計測した距離ｄと、距離と重みα及び重みβの関係を定義したテーブルとに基づいて、計測した距離ｄに対応する重み比率を設定する（ステップＳ４）。

それから、第三制御部１３０は、ビジュアルサーボ部１００と力制御部１１０とを用いてエンドポイントを移動させる（ステップＳ５）。具体的には、上述したように、ビジュアルサーボ部１００及び力制御部１１０は、それぞれ指令値を算出する。第三制御部１３０は、ビジュアルサーボ部１００から出力された指令値にステップＳ４で設定した係数αを掛け、力制御部１１０から出力された指令値にステップＳ４で設定した係数βを掛け、これらを合成した指令値をロボット２０に出力する。

また、ビジュアルサーボ部１００は、ビジュアルサーボを終了する条件が成立するか否かを判定する（ステップＳ６）。例えば、ビジュアルサーボ部１００は、目標画像と現在画像との差分を求め、当該差分が所定の閾値以下である場合に、ビジュアルサーボを終了すると判定する。ビジュアルサーボを終了する条件が成立しない場合（ステップＳ６でＮ）、ビジュアルサーボ部１００は、処理をステップＳ２に戻す。

ビジュアルサーボを終了する条件が成立する場合（ステップＳ６でＹ）、力制御部１１０は、力制御を終了する条件が成立するか否かを判定する（ステップＳ７）。例えば、力制御部１１０は、力覚センサー２５からのセンサー情報に基づいて、ロボットの手先に外力が所定の閾値以上である場合に、力制御を終了すると判定する。力制御を終了する条件が成立しない場合（ステップＳ７でＮ）、力制御部１１０は、処理をステップＳ２に戻す。力制御を終了する条件が成立する場合（ステップＳ７でＹ）、力制御部１１０は、図９のフローチャートの処理を終了する。

図１０は、ロボット制御装置１０の機能を実現するハードウェア構成の一例を示す図である。

ロボット制御装置１０は、例えば、図１０に示すような、ＣＰＵ（Central Processing Unit）等の演算装置９１と、ＲＡＭ（Random Access Memory）などの主記憶装置９２と、ＨＤＤ（Hard Disk Drive）等の補助記憶装置９３と、有線又は無線により通信ネットワークと接続するための通信インターフェイス（Ｉ／Ｆ）９４と、マウス、キーボード、タッチセンサーやタッチパネルなどの入力装置９５と、液晶ディスプレイなどの表示装置９６と、ＤＶＤ（Digital Versatile Disk）などの持ち運び可能な記憶媒体に対する情報の読み書きを行う読み書き装置９７と、を備えるコンピューター９０で実現することができる。

例えば、ビジュアルサーボ部１００、力制御部１１０、画像取得部１２０、第三制御部１３０などの機能は、補助記憶装置９３などから主記憶装置９２にロードされた所定のプログラムを演算装置９１が実行することで実現される。入力部は、例えば、演算装置９１が入力装置９５を利用することで実現される。記憶部は、例えば、演算装置９１が主記憶装置９２又は補助記憶装置９３を利用することで実現される。ロボット２０や撮像装置３０との通信機能は、例えば、演算装置９１が通信Ｉ／Ｆ９４利用することで実現される。なお、上記の所定のプログラムは、例えば、読み書き装置９７により読み取られた記憶媒体からインストールされてもよいし、通信Ｉ／Ｆ９４を介してネットワークからインストールされてもよい。

ロボット２０の駆動制御部２００は、例えば、演算装置、記憶装置、回路などを備えるＡＳＩＣ（Application Specific Integrated Circuit）を備えるコントローラー基板等により実現することができる。

上述したロボットシステム１の機能構成は、ロボットシステム１の構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。ロボットシステム１の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

また、ロボット制御装置１０及びロボット２０の機能及び処理の分担は、図示した例に限られない。例えば、ロボット制御装置１０の少なくとも一部の機能は、ロボット２０に含まれ、ロボット２０により実現されてもよい。また、例えば、ロボット２０の少なくとも一部の機能は、ロボット制御装置１０に含まれ、ロボット制御装置１０により実現されてもよい。

また、上述したフローチャートの各処理単位は、ロボット制御装置１０の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。ロボット制御装置１０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。

以上、本発明の実施形態について説明した。本実施形態によれば、ロボットによる作業において、対象物の位置ずれなどが発生した場合でも、効率よく対象物を目標位置へ移動させることができる。

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に多様な変更または改良を加えることが可能であることが当業者には明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。本発明は、ロボットと、制御装置等とを別個に有するロボットシステムとして提供してもよいし、ロボットに制御装置等が含まれるロボットとして提供してもよいし、制御装置として提供してもよい。また、本発明は、ロボット等を制御する方法、ロボット等を制御するプログラム、当該プログラムを記憶した記憶媒体として提供することもできる。

１：ロボットシステム、１０：ロボット制御装置、２０：ロボット、２１：可動部、２２：アーム、２３：ジョイント、２４：リンク、２５：力覚センサー、２６：ハンド、３０：撮像装置、９０：コンピューター、９１：演算装置、９２：主記憶装置、９３：補助記憶装置、９４：通信Ｉ／Ｆ、９５：入力装置、９６：表示装置、９７：読み書き装置、１００：ビジュアルサーボ部、１０２：画像処理部、１０４：第一の軌道生成部、１１０：力制御部、１１２：センサー情報取得部、１１４：第二の軌道生成部、１２０：画像取得部、１３０：第三制御部、２００：駆動制御部

Claims (16)

1. ロボットの可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、
   前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御部と、
   前記可動部に作用する力を検出する力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御部と、
   前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御部と、
   を有することを特徴とするロボット制御装置。
2. ロボットの可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御部と、
   前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、
   を有し、
   前記制御部は、前記現在画像及び前記目標画像と、前記可動部に作用する力を検出する力検出部からの出力とに基づいて、前記可動部の移動を制御する、
   ことを特徴とするロボット制御装置。
3. 請求項１に記載のロボット制御装置であって、
   前記第三制御部は、前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを、それぞれ所定の重みで足し合わせた指令値を用いて前記可動部を移動させる、
   ことを特徴とするロボット制御装置。
4. 請求項３に記載のロボット制御装置であって、
   前記所定の重みの設定をユーザーから受け付ける入力部、
   を有することを特徴とするロボット制御装置。
5. 請求項３に記載のロボット制御装置であって、
   前記第三制御部は、前記所定の重みを、前記現在位置と前記目標位置との距離に基づいて決定する、
   ことを特徴とするロボット制御装置。
6. 請求項５に記載のロボット制御装置であって、
   前記第三制御部は、前記画像取得部が取得した画像に基づいて前記距離を決定する、
   ことを特徴とするロボット制御装置。
7. 請求項５に記載のロボット制御装置であって、
   前記第三制御部は、前記距離が小さくなるほど、前記第二制御部により生成された指令値に対応する所定の重みを大きくする、
   ことを特徴とする制御装置。
8. 請求項５に記載のロボット制御装置であって、
   前記第三制御部は、前記距離が所定値より大きい場合には、前記第二制御部により生成された指令値に対応する所定の重みを０にする、
   ことを特徴とするロボット制御装置。
9. 可動部と、
   前記可動部に作用する力を検出する力検出部と、
   前記可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、
   前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御部と、
   前記力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御部と、
   前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御部と、
   を有することを特徴とするロボット。
10. 可動部と、
    前記可動部に作用する力を検出する力検出部と、
    前記可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御部と、
    前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、
    を有し、
    前記制御部は、前記現在画像及び前記目標画像と、前記力検出部からの出力とに基づいて、前記可動部の移動を制御する、
    ことを特徴とするロボット。
11. 可動部を有するロボットと、
    前記可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、
    前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御部と、
    前記可動部に作用する力を検出する力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御部と、
    前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御部と、
    を有することを特徴とするロボットシステム。
12. 可動部を有するロボットと、
    前記可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御部と、
    前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、
    を有し、
    前記制御部は、前記現在画像及び前記目標画像と、前記可動部に作用する力を検出する力検出部からの出力とに基づいて、前記可動部の移動を制御する、
    ことを特徴とするロボットシステム。
13. ロボットの可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得ステップと、
    前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御ステップと、
    前記可動部に作用する力を検出する力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御ステップと、
    前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御ステップと、
    を含むことを特徴とするロボット制御方法。
14. ロボットの可動部のエンドポイントを目標位置に近付けるように前記可動部を制御する制御ステップと、
    前記エンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得ステップと、
    を含み、
    前記制御ステップは、前記現在画像及び前記目標画像と、前記可動部に作用する力を検出する力検出部からの出力とに基づいて、前記可動部の移動を制御する、
    ことを特徴とするロボット制御方法。
15. ロボットの可動部のエンドポイントを含む画像に基づく前記可動部の制御と、前記可動部に作用する力を検出する力検出部からの出力に基づく前記可動部の制御とを、並列制御するロボット制御方法。
16. ロボット制御装置のプログラムであって、
    ロボットの可動部のエンドポイントが目標位置にあるときの前記エンドポイントを含む画像である目標画像と、前記エンドポイントが現在位置にあるときの前記エンドポイントを含む画像である現在画像とを取得する画像取得部と、
    前記現在画像及び前記目標画像に基づいて、前記エンドポイントを前記現在位置から前記目標位置に移動させる指令値を生成する第一制御部と、
    前記可動部に作用する力を検出する力検出部からの出力に基づいて、前記エンドポイントを移動させる指令値を生成する第二制御部と、
    前記第一制御部により生成された指令値と、前記第二制御部により生成された指令値とを用いて前記可動部を移動させる第三制御部として、
    前記ロボット制御装置を機能させる、
    ことを特徴とするプログラム。

Images