JP2013173209A - ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム - Google Patents

ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム Download PDF

Info

Publication number
JP2013173209A
JP2013173209A JP2012039817A JP2012039817A JP2013173209A JP 2013173209 A JP2013173209 A JP 2013173209A JP 2012039817 A JP2012039817 A JP 2012039817A JP 2012039817 A JP2012039817 A JP 2012039817A JP 2013173209 A JP2013173209 A JP 2013173209A
Authority
JP
Japan
Prior art keywords
unit
robot apparatus
gripping
grip
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012039817A
Other languages
English (en)
Inventor
Atsushi Miyamoto
敦史 宮本
Kenichiro Nagasaka
憲一郎 長阪
Hirokazu Shirato
寛和 白土
Takashi Kito
隆志 鬼頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012039817A priority Critical patent/JP2013173209A/ja
Publication of JP2013173209A publication Critical patent/JP2013173209A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)

Abstract

【課題】3次元形状計測で認識し難い物体に対する把持能力を向上させる。
【解決手段】ロボット装置100は、撮像部423で環境を撮影した画像は、画像処理部422に取り込み、通信部421を介して教示端末200に転送する。そして、画像処理部422は教示端末200からの教示情報を使って把持対象物体が環境内のどこにあるのかを推定し、把持計画部424は把持する物体の姿勢を決定するとともに、その姿勢で把持するための腕部の軌道計画を行なう。その後、把持制御部425は、計画した軌道に従って把持部426の動作を制御して、物体の把持を実現する。
【選択図】 図4

Description

本明細書で開示する技術は、環境の中から物体を認識して把持するロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムに係り、特に、教示端末などを介したユーザーからの教示に基づいて環境の中から物体を認識して把持動作を行なうロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムに関する。
工場などに設置されるロボット装置は従来から知られている。この種のロボット装置の多くは、固定的なタスクを遂行するように設計されている。近年では、さまざまな作業を行えるロボット装置が実現しつつある。後者のロボット装置は、例えば福祉や介護、介助の分野に適用され、身体の不自由な人などユーザーの要望に応じて、所望の物体を取ってきて手渡してくれる。
ここで、ロボット装置が物体を把持するためには、環境の中から対象とする物体を見つける認識能力が必要である。しかしながら、ロボット装置がさまざまな状況で高い認識能力を持つことは難しい。また、針や薬(錠剤)などの微細物を把持する場合、この種の物体を環境から見つけ出すこと自体が難しい。
当業界では、ユーザーが教示端末などを使ってロボット装置に対して動作を指示する制御システムが知られている。したがって、ユーザーが教示端末を介してロボット装置に把持物体を指示するという方法が考えられる。
例えば、複数の素形状モデルそれぞれについての把持パターンをあらかじめデータベース化しておき、ユーザーが教示端末上で対象物体に該当する素形状モデルを指定すると、ロボット装置側では指定された素形状モデルを対象物体について取得した3次元位置データにフィッティングさせ、データベースを検索して対象物体の把持パターンを選択する動作教示システムについて提案がなされている(例えば、特許文献1を参照のこと)。
しかしながら、上記の動作教示システムでは、素形状モデルのデータベースをあらかじめ用意しなければならず、また、データベースに登録された素形状モデルに合致しない物体を扱うことはできない。また、フィッティングの際には3次元形状計測のみにより物体の3次元位置データを取得するように構成されているが、3次元形状計測は概して精度が低く、誤判定の危険があるとともに、針や薬(錠剤)などの素形状の定義が難しい微細物については把持するのに十分精度の高い3次元位置データを取得するのが困難となり、把持動作が有効に機能しないことが懸念される。また、教示端末上で素形状モデルを選択する操作は煩雑であり、そもそもユーザーが動作教示システムを利用しなくなる危険性さえある。
特開2009−214212号公報
本明細書で開示する技術の目的は、環境の中から物体を好適に認識して把持することができる、優れたロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムを提供することにある。
本明細書で開示する技術のさらなる目的は、教示端末などを介したユーザーからの教示に基づいて、環境の中から物体を認識して好適に把持動作を行なうことができる、優れたロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムを提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
撮像部と、
把持部と、
前記撮像部による撮像画像を画面に表示する出力部と、
前記撮像画像内で物体が置かれている向きをユーザーが教示する操作を受け付ける入力部と、
前記入力部における教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部と、
前記推定した位置及び姿勢にある前記物体を把持するための前記把持部の軌道を計画する把持計画部と、
前記計画した軌道に従って前記把持部の動作を制御する把持制御部と、
を具備するロボット装置である。
本願の請求項2に記載の技術によれば、請求項1に記載のロボット装置の入力部は、前記出力部の画面と一体のタッチパネルであり、ユーザーが前記タッチパネル上で前記物体が置かれている向きに沿って線を引くようになぞって教示を行なうように構成されている。
本願の請求項3に記載の技術によれば、請求項1に記載のロボット装置において、出力部及び前記入力部は、前記把持部を含む前記ロボット装置本体と無線通信を行なう端末部として構成されている。
本願の請求項4に記載の技術によれば、請求項1に記載のロボット装置において、ユーザーは、前記入力部から前記撮像画像内の前記物体の主軸線分を教示するようになっている。そして、画像処理部は、前記撮像部のカメラ座標系と世界座標系との関係から、前記主軸線分に基づいて前記物体の位置及び姿勢を推定するように構成されている。
本願の請求項5に記載の技術によれば、請求項4に記載のロボット装置の画像処理部は、前記撮像部の光学中心と画像平面内に配置した前記主軸線分の2端点をそれぞれ通過する注視点ベクトルが環境と接触する2点を求め、前記2点の中点に基づいて前記物体の位置を推定するとともに、前記2点の傾きに基づいて前記物体の姿勢を推定するように構成されている。
本願の請求項6に記載の技術によれば、請求項1に記載のロボット装置の撮像部は視点の異なる複数台のカメラを備えている。そして、前記出力部は、各視点の撮像画像を画面に表示し、ユーザーは、前記入力部から、各視点の撮像画像毎に前記物体の主軸線分を教示し、前記画像処理部は、各視点の撮像画像から取得した複数の主軸線分に基づいて前記物体の位置及び姿勢を推定するように構成されている。
本願の請求項7に記載の技術によれば、請求項6に記載のロボット装置の撮像部は左右の視点のカメラを備えている。そして、前記画像処理部は、前記右視点のカメラのレンズ中心と右視点の主軸線分の開始点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の開始点を通過する注視点ベクトルの最近傍点、及び、前記右視点のカメラのレンズ中心と右視点の主軸線分の終了点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の終了点を通過する注視点ベクトルの最近傍点を求め、前記の2つの最近傍点の中点に基づいて前記物体の位置を推定するとともに、前記の2つの最近傍点の傾きに基づいて前記物体の姿勢を推定するようセ構成されている。
本願の請求項8に記載の技術によれば、請求項1に記載のロボット装置は、把持計画部で計画した前記把持部の軌道に関する情報を前記出力部で画面に表示し、前記入力部を介して前記計画に対するユーザーの確認を得たことに応じて、前記把持制御部が前記軌道に従って前記把持部の動作を実行するように構成されている。
また、本願の請求項9に記載の技術は、
撮像画像内で物体が置かれている向きの教示を入力するユーザー入力ステップと、
前記入力ステップで入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理ステップと、
前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画ステップと、
前記把持計画ステップで計画した軌道に従って前記把持部の動作を制御する把持制御ステップと、
を有するロボット装置の制御方法である。
また、本願の請求項10に記載の技術は、
撮像画像内で物体が置かれている向きの教示を入力する入力部、
前記入力部で入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部、
前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画部、
前記計画した軌道に従って前記把持部の動作を制御する把持制御部、
としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラムである。
本願の請求項10に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項10に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項9に係るロボット装置の制御方法と同様の作用効果を得ることができる。
本明細書で開示する技術によれば、教示端末などを介したユーザーからの教示に基づいて、環境の中から物体を認識して好適に把持動作を行なうことができる、優れたロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラムを提供することができる。
本明細書で開示する技術によれば、ユーザーの教示によって、ロボット装置の把持能力が向上する。特に、ユーザーによる物体が置かれている向きの教示を利用することで、3次元形状計測だけでは認識し難い微細物や薄い物体に対して、ロボット装置の把持能力を向上させることができる。
本明細書で開示する技術によれば、ユーザーは教示端末などの表示画面上で線を引く(ロボット装置側での環境の撮像画像上で所望の物体をなぞる)という簡単な操作で、把持の対象物体の位置及び姿勢を推定するための情報を教示することができる。したがって、誰もが素早く操作方法を習得することができ、教示端末などを介した教示操作の利用が進むことが期待される。
本明細書で開示する技術によれば、ロボット装置は、教示端末などのユーザーからの教示に基づいて物体の認識精度を向上することができ、高い認識能力を利用しないので、照明条件や物体の材質など環境に左右されずに安定した把持能力を実現することができる。ロボット装置は、物体の認識のために、ステレオカメラや測距センサーなどを搭載する必要がなく、カメラ1台からの撮像画像のみでも本明細書で開示する技術を実現することができる。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、本明細書で開示する技術を適用可能なロボット装置100の外観を示した図である。 図2は、本明細書で開示する技術を適用可能なロボット装置100の関節自由度構成を模式的に示した図である。 図3は、図1に示したロボット装置100の制御システムの構成を模式的に示した図である。 図4は、ロボット装置100と教示端末200からなる制御システムの機能的構成を模式的に示した図である。 図5は、ロボット装置100が教示装置200からの教示情報を利用して物体の把持を行なう際の制御システムにおける通信シーケンス例を示した図である。 図6は、教示端末200で画面表示する、ロボット装置100側で取得した撮像画像の一例を示した図である。 図7は、教示端末200の出力部413に画面表示されている撮像画像上で、把持の対象物体となるペンの主軸線分をユーザーが指先でなぞる様子を示した図である。 図8は、撮像画像の表示画面上に、対象物体の位置及び姿勢の推定結果を重畳して表示している様子を示した図である。 図9は、撮像画像の表示画面上で、把持部426が対象物体を把持する姿勢を表示している様子を示した図である。 図10は、ユーザーが対象物体をなぞった主軸線分から対象物体の位置と姿勢を推定するための処理手順を示したフローチャートである。 図11は、撮像部423のレンズ中心cと、レンズ中心cから画像平面F内に配置した主軸線分の端点を通過する注視点ベクトルの求め方を説明するための図である。 図12は、世界座標系における注視点ベクトルと床面との接触点を導出する方法を説明するための図である。 図13は、世界座標系における注視点ベクトルと環境内の家具との接触点を導出する方法を説明するための図である。 図14は、2台のカメラの撮像画像を用いる場合の、ロボット装置100が教示装置200からの教示情報を利用して物体の把持を行なう際の通信シーケンス例を示した図である。 図15は、ロボット装置100側で取得した左右視点の画像を出力部413で画面表示している様子を示した図である。 図16は、左右の各視点画像上で、把持の対象物体となるコップが置かれている向きに沿って線を引くようにユーザーが指先でなぞっている様子を示した図である。 図17は、撮像画像の表示画面上に、対象物体の位置及び姿勢の推定結果を重畳して表示している様子を示した図である。 図18は、撮像画像の表示画面上で、把持部426が対象物体を把持する姿勢を表示している様子を示した図である。 図19は、ユーザーが左右の各視点画像上でそれぞれ対象物体をなぞった2つの主軸線分から対象物体の位置と姿勢を推定するための処理手順を示したフローチャートである。 図20は、世界座標系における左右の各視点の注視点ベクトルを例示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図1には、本明細書で開示する技術を適用可能なロボット装置100の外観を示している。ロボット装置100は、複数のリンクを関節で接続されたリンク構造体であり、各関節はアクチュエーターによって動作する。また、図2には、このロボット装置100の関節自由度構成を模式的に示している。図示のロボット装置100は、家庭内など時々刻々、動的に変化する周囲環境に設置され、家事や介護などの生活支援を行なうが、工場などに設置されて固定的なタスクを遂行することも可能である。
図示のロボット装置100は、双腕型であり、また、移動手段として、ベース部に対向する2輪の駆動輪101R及び101Lを備えている。各駆動輪101R及び101Lは、それぞれピッチ回りに回転する駆動輪用アクチュエーター102R及び102Lによって駆動する。なお、図2中において、参照番号151、152、153は、実在しない劣駆動関節であり、ロボット装置100の床面に対するX方向(前後方向)の並進自由度、Y方向(左右方向)の並進自由度、並びに、ヨー回りの回転自由度にそれぞれ相当し、ロボット装置100が仮想世界を動き回ることを表現したものである。
移動手段は、腰関節を介して上体に接続される。腰関節は、ピッチ回りに回転する腰関節ピッチ軸アクチュエーター103によって駆動する。上体は、左右2肢の腕部と、首関節を介して接続される頭部で構成される。左右の腕部は、それぞれ肩関節3自由度、肘関節2自由度、手首関節2自由度の、計7自由度とする。肩関節3自由度は、肩関節ピッチ軸アクチュエーター104R/L、肩関節ロール軸アクチュエーター105R/L、肩関節ヨー軸アクチュエーター106R/Lによって駆動する。肘関節2自由度は、肘関節ピッチ軸アクチュエーター107R/L、肘関節ヨー軸アクチュエーター108R/Lによって駆動する。手首関節2自由度は、手首関節ロール軸アクチュエーター109R/L、手首関節ピッチ軸アクチュエーター110R/Lによって駆動する。また、首関節2自由度は、首関節ピッチ軸アクチュエーター111、首関節ヨー軸アクチュエーター112によって駆動する。また、左右の腕部の先端の手関節1自由度は、手関節ロール軸アクチュエーター113R/Lによって駆動する。本実施形態では、手関節ロール軸アクチュエーター113R/Lを駆動することによって、手先による物体の把持動作を実現することができるものとする。
なお、図示のロボット装置100は、対向2輪式の移動手段を備えているが、本明細書で開示する技術の要旨は、対向2輪式の移動手段に限定されるものではない。例えば、脚式の移動手段を備えたロボット装置、あるいは移動手段を持たないロボット装置であっても、同様に本明細書で開示する技術を適用することができる。
各軸のアクチュエーターには、関節角を計測するためのエンコーダー、トルクを発生するためのモーター、モーターを駆動するための電流制御型モーター・ドライバーの他、十分な発生力を得るための減速機が取り付けられている。また、アクチュエーターには、アクチュエーターの駆動制御を行なうマイクロコンピューターが併設されている(いずれも図2には図示しない)。
ロボット装置100のダイナミクス演算は、ホスト・コンピューター上で実行され、各関節アクチュエーターのトルク又は関節角度の制御目標値を生成する。制御目標値は、アクチュエーターに併設された制御用マイコンに送信され、制御用マイコン上で実行されるアクチュエーターの制御に用いられる。また、各関節アクチュエーターは、力制御方式又は位置制御方式により制御される。
図3には、図1に示したロボット装置100の制御システムの構成を模式的に示している。ロボット装置100は、全体の動作の統括的制御やその他のデータ処理を行なう制御ユニット310と、入出力部320と、駆動部330とを備えている。以下、各部について説明する。
入出力部320は、入力部として、ロボット装置100の目に相当するカメラ321、距離センサー322、ロボット装置100の耳に相当するマイクロフォン323などを備えている。また、入出力部320は、出力部として、ロボット装置100の口に相当するスピーカー324などを備えている。ここで、カメラ321は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などのイメージ検出素子からなる。また、距離センサー322は、例えば、レーザー・レンジ・ファインダーなどの空間センサーで構成される。但し、後述する物体の把持を実現するには、距離センサー322は必須ではない。また、ロボット装置100は、例えばマイクロフォン323からのユーザーの音声入力により、タスクの指示を受けることができる。但し、ロボット装置100は、有線、無線、あるいは記録メディアなどを介した他のタスクの指示の入力手段(図示しない)を備えていてもよい。
また、入出力部320は、無線通信部325を備えている。ロボット装置100は、無線通信部325により、Wi−Fiなどの通信路を介してユーザーの教示端末(タブレット端末など、図3には図示しない)などとデータ通信を行なうことができる。
駆動部330は、ロボット装置100の各関節における自由度を実現するための機能モジュールであり、それぞれの関節におけるロール、ピッチ、ヨーなど軸毎に設けられた複数の駆動ユニットで構成される。各駆動ユニットは、所定軸回りの回転動作を行なうモーター331と、モーター331の回転位置を検出するエンコーダー332と、エンコーダー332の出力に基づいてモーター331の回転位置や回転速度を適応的に制御するドライバー333の組み合わせで構成される。
制御ユニット310は、認識部311と、駆動制御部312と、環境マップ313を備えている。
認識部311は、入出力部320のうちカメラ321や距離センサー322といった入力部から得られる情報に基づいて、周囲の環境の認識を行なう。例えば、認識部311は、カメラ321の位置を推定する自己位置推定処理により得られる、カメラ321の位置姿勢情報と、カメラ321の撮像画像から物体を検出する画像認識処理により得られる物体情報から、環境マップ313を事前に構築したり更新したりする。
駆動制御部312は、入出力部320のうち出力部や、駆動部330の駆動を制御する。例えば、駆動制御部312は、ロボット装置100がタスクを実現するための、駆動部330の制御を行なう。ここで言う、ロボット装置100が実現するタスクには、ユーザーが指示した物体の受け渡しなどのユーザーとの物理的なインタラクションが含まれ、インタラクションを実現するために、駆動輪用アクチュエーター102R及び102Lや腕部の各関節アクチュエーターを駆動させる。
ロボット装置100は、例えば生活支援に適用され、身体の不自由な人などユーザーの要望に応じて、所望の物体を取ってきて手渡してくれる。ここで、ロボット装置100が物体を把持するためには、環境の中から対象とする物体を見つける認識能力が必要である。本実施形態では、ユーザーが教示端末を介してロボット装置100に把持物体が置かれている向きを指示するという方法により、3次元形状計測では認識し難いような微細物や薄い物体に対しても把持能力を実現している。
図4には、ロボット装置100と教示端末200からなる制御システムの機能的構成を示している。
教示端末200は、通信部411と、情報処理部412と、出力部413と、入力部414を備えている。
通信部411は、Wi−Fiなどの通信路を介してロボット装置100等とデータ通信を行なうことができる。
教示端末200がタブレット端末の場合、出力部413はLCD(Liquid Crystal Display)などの平板状の表示装置であり、入力部414は出力部413の表示画面と一体となったタッチパネルであり、ユーザーは表示画面上を指やペン先でなぞることで入力操作を行なうことができる。
情報処理部412は、オペレーティング・システムが行なっている処理や、通信部411と、入力部414及び出力部413との情報受け渡しなどを担っている。
ロボット装置100側の通信部421は無線通信部325に、撮像部423はカメラ321に、それぞれ相当する。また、画像処理部422は制御ユニット320内の認識部321に相当し、把持計画部424及び把持制御部425は駆動制御部312に相当する。また、把持部426は、主にロボット装置100の双腕で構成される。
撮像部423として、最低限1台のカメラを装備していればよい。2台のカメラを装備する場合には、後述するように、教示端末200側では左右画像を使った教示が可能になる。なお、撮像部423としてのカメラは、必ずしもロボット装置100本体に搭載されている必要はなく、ロボット装置100外に接地され、作業環境を撮像する環境カメラであってもよい。但し、ロボット装置100内外のいずれに設置されているにせよ、カメラ座標系と世界座標系との関係は既知であるものとする。
図4に示す制御システムでは、カメラの撮像画像から対象とする把持物体の位置及び姿勢を推定するために、カメラ座標系から世界座標系へ変換する必要がある。以下では、これら2つの座標系の関係は既知であるものとして説明する。
ロボット装置100側では、撮像部423で環境を撮影する。撮影した画像は、画像処理部422に取り込まれ、通信部421を介して教示端末200に転送される。教示端末200側では、ユーザーは、出力部413に表示された撮像画像上で、入力部414を介して把持物体に関する教示を入力する。この教示情報は、通信部411を介してロボット装置100に転送される。そして、ロボット装置100側では、画像処理部422は教示端末200からの教示情報を使って把持対象物体が環境内のどこにあるのかを推定し、把持計画部424は把持する物体の姿勢を決定するとともに、その姿勢で把持するための腕部の軌道計画を行なう。その後、把持制御部425は、計画した軌道に従って把持部426の動作を制御して、物体の把持を実現する。
図5には、ロボット装置100が教示装置200からの教示情報を利用して物体の把持を行なう際の制御システムにおける通信シーケンス例を示している。
ロボット装置100は、撮像部423で撮影した画像を取得すると(S5201)、通信部421を介して教示端末200に転送する。
教示端末200側では、ロボット装置100から転送されてきた画像を通信部411で受信すると、出力部413で画面に表示する(S5101)。図6には、出力部413で画面表示する、ロボット装置100側で取得した撮像画像の一例を示している。図示の例は、把持の対象物体となるペンが床に落ちている様子を撮像した画像である。
教示端末200は、ロボット装置100から受信した撮像画像を表示した状態で、ユーザーから入力部414への入力待ちとなる(S5102)。
ユーザーは、例えば出力部413の表示画面と一体となったタッチパネルからなる入力部414を介して、把持物体に関する教示を入力することができる。本実施形態では、表示された撮像画像内で把持の対象物体が置かれている向きをユーザーが教示する操作を想定している。すなわち、ユーザーは、表示画面上で、把持の対象物体が置かれている向きに沿って線を引くようになぞる操作を行なう。図7には、教示端末200の出力部413に画面表示されている撮像画像上で、把持の対象物体となるペンが置かれている向きに沿って線を引くようにユーザーが指先でなぞっている様子を示している。
ユーザーが把持の対象物体が置かれている向きに沿って線を引くようになぞる操作を行なって(S5103)、入力部414への入力が完了すると(S5104)、教示端末200は、ユーザーがなぞったラインを主軸線分として、通信部411を介してロボット装置100へ転送する。
ロボット装置100側では、対象物体の主軸線分を受信すると、画像処理部422は、撮像したときの撮像部423の姿勢などに基づいて、対象物体の位置と姿勢を推定する(S5202)。画像処理部422は、撮像部423のカメラ座標系と世界座標系の関係から主軸線分から対象物体の位置と姿勢を推定するが、その処理の詳細については、後述に譲る。
そして、ロボット装置100側では、把持計画部424が、S5202で推定した対象物体の位置と姿勢から、対象物体を把持するときの把持部426の姿勢を決定する(S5203)。
なお、対象物体を把持するときの把持部426の姿勢を決定する方法は任意である。例えば、本出願人に既に譲渡されている特願2011−262202号明細書に開示されている方法を適用することもできる。
ロボット装置100は、S5202で推定された対象物体の位置及び姿勢と、S5203で決定した把持姿勢を、通信部421を介して教示端末200に転送する。教示端末200側では、送られてきた対象物体の位置及び姿勢と把持姿勢を、それぞれ出力部413で画面表示する(S5105)。そして、その姿勢で対象物体を把持してよいかどうか、ユーザーが確認するまで待機する(S5106)。
図8には、撮像画像の表示画面上に、対象物体の位置及び姿勢の推定結果を重畳して表示している様子を示している。また、図9には、撮像画像の表示画面上で、把持部426が対象物体を把持する姿勢を表示している様子を示している。
図9に示すように、把持部426が対象物体を把持する姿勢を表示した画面上に、ユーザーがロボット装置100による把持動作を確認若しくは許可したか否かを意思表示するためのダイアログが表示される(S5107)。
そして、ダイアログ上でユーザーが「はい」を選択するなど、教示端末200側で、把持部426の把持姿勢についてユーザーの確認が終了すると(S5108)、通信部411を介して対象物体の把持動作の実行を指示する。
ロボット装置100側では、通信部412で実行指示を受信すると、把持制御部425が、把持計画部424で計画した軌道に従って把持部426の動作を制御して、物体の把持を実現する(S5204)。
なお、決定された把持姿勢に従って把持部426の動作を制御する方法は任意である。例えば、本出願人に既に譲渡されている特願2011−262202号明細書に開示されている方法を適用することもできる。
図10には、上記S5202で行なわれる、タッチパネル上でユーザーが対象物体をなぞった主軸線分から対象物体の位置と姿勢を推定するための処理手順をフローチャートの形式で示している。
まず、主軸線分の2端点における注視点ベクトルを求める(ステップS1001)。
ここで、注視点ベクトルとは、撮像部423のレンズ中心cと、レンズ中心cから画像平面F内に配置した主軸線分の端点を通過するベクトルである。図11に示すように、レンズ中心cを原点とするカメラ座標系(Xc,Yc,Zc)をとり、レンズ中心cから焦点C(画像平面F)までの距離すなわち焦点距離をfとする。また、カメラ座標系における主人線分の2端点をQ1=(x1,y1,f)、Q2=(x2,y2,f)としたときに、各端点Q1、Q2の注視点ベクトルはそれぞれ下式(1)、(2)に示す直線方程式で表わすことができる。但し、dは距離変数である。
次いで、上記の注視点ベクトルを、世界座標系に変換する(ステップS1002)。そして、注視点ベクトルが環境と接触する点を求める(ステップS1003)。
対象とする把持物体が床面に置かれたペンである場合、ステップS1003では、世界座標系における注視点ベクトルと床面との接触点を導出することになる。図12には、世界座標系における注視点ベクトルと床面との接触点を求める例を示している。同図に示すように、世界座標系(XW,YW,ZW)をとったときに、世界座標系における主軸線分の2端点をQ´1=(x´1,y´1,f´)、Q´2=(x´2,y´2,f´)、レンズ中心の座標をc´とすると、上式(1)、(2)に示した注視点ベクトルはそれぞれ下式(3)、(4)に示す直線方程式で表わすことができる。
ステップS1003では、上記の直線方程式(3)、(4)を使って、2端点の注視点ベクトルが環境と接触する点を求める。図12に示す例では、環境内に家具などが存在しないので、注視点ベクトルが床面と接触する点が得られれば良い。床面は、世界座標系でZW=0の平面であるので、P´1=(xp1,yp1,0)、P´2=(xp2,yp2,0)を上式(3)、(4)に代入することで、世界座標系において各注視点ベクトルが環境と接触する2点を求めることができる。
また、図13には、環境内に家具が存在している場合に、ステップS1003で、世界座標系における注視点ベクトルと環境内の家具との接触点を求める例を示している。図示のような環境の場合は、レイキャスティングなどによって、注視点ベクトルと環境内の家具や床面と接触する点を求めればよい。
上記で求まった、各注視点ベクトルと環境と接触する2点をp1、p2とする。主軸線分はユーザーが対象物体であるペンが置かれている向きに沿ってなぞった線分であることから、図12に示すように、2点p1、p2はペンの両端部となる。
続いて、求まった2点p1、p2から、把持物体の位置と姿勢を求める(ステップS1004)。把持物体の位置は、2点p1、p2の中点であるので、(p1+p2)/2となる。また、把持物体の姿勢は、2点p1、p2がなす角度を求めればよい。
ここまでは、撮像部423として、1台のカメラを装備している場合について説明してきた。カメラが1台しか装備させていない場合には、環境との接触点を頼りに、対象物体の位置と姿勢を推定するしかない。これに対し、視差のある2台のカメラを装備する場合には、2つの撮像画像を利用することで、環境情報を使わずに、対象物体の位置と姿勢を推定することができる。以下では、2台のカメラを装備する場合について説明する。
図14には、2台のカメラの撮像画像を用いる場合の、ロボット装置100が教示装置200からの教示情報を利用して物体の把持を行なう際の通信シーケンス例を示している。
ロボット装置100は、撮像部423の2台のカメラで撮影した左右視点の画像すなわちステレオ画像を取得すると(S14201)、通信部421を介して教示端末200に転送する。
教示端末200側では、ロボット装置100から転送されてきた左画像を出力部413で画面に表示して(S14101)、ユーザーから入力部414への入力待ちとなる(S14102)。ユーザーが左画像上で把持の対象物体が置かれている向きに沿って線を引くようになぞる操作を行なって、対象物体の主軸線分を入力する(S14103)。
続いて、教示端末200側では、ロボット装置100から転送されてきた右画像を出力部413で画面に表示して(S14104)、ユーザーから入力部414への入力待ちとなる(S14105)。ユーザーが左画像上で把持の対象物体が置かれている向きに沿って線を引くようになぞる操作を行なって、対象物体の主軸線分を入力する(S14106)。
図15には、ロボット装置100側で取得した左右視点の画像を出力部413で画面表示している様子を示している。図示の例は、把持の対象物体となるコップが床に置かれている様子を撮像した画像である。
また、図16には、教示端末200の出力部413に画面表示されている左右の各視点画像上で、把持の対象物体となるコップが置かれている向きに沿って線を引くようにユーザーが指先でなぞっている様子を示している。
そして、ユーザーが左右の各視点画像で入力部414への入力が完了すると(S14107)、教示端末200は、ユーザーが各視点画像上でなぞった2ラインを主軸線分として、通信部411を介してロボット装置100へ転送する。
ロボット装置100側では、対象物体の主軸線分を受信すると、撮像したときの撮像部423の姿勢などに基づいて、対象物体の位置と姿勢を推定する(S14202)。左右の視点画像から得た2本の主軸線分から対象物体の位置と姿勢を推定する処理の詳細については、後述に譲る。
そして、ロボット装置100は、S5202で推定した対象物体の位置と姿勢から、対象物体を把持するときの把持部426の姿勢を決定する(S14203)。例えば、本出願人に既に譲渡されている特願2011−262202号明細書に開示されている方法を用いて、対象物体を把持するときの把持部426の姿勢を決定することができる(前述)。
ロボット装置100は、S14202で推定された対象物体の位置及び姿勢と、S14203で決定した把持姿勢を、通信部421を介して教示端末200に転送する。教示端末200側では、送られてきた対象物体の位置及び姿勢と把持姿勢を、それぞれ出力部413で画面表示する(S14108)。そして、その姿勢で対象物体を把持してよいかどうか、ユーザーが確認するまで待機する(S5109)。
図17には、撮像画像の表示画面上に、対象物体の位置及び姿勢の推定結果を重畳して表示している様子を示している。また、図18には、撮像画像の表示画面上で、把持部426が対象物体を把持する姿勢を表示している様子を示している。
図18に示すように、把持部426が対象物体を把持する姿勢を表示した画面上に、ユーザーがロボット装置100による把持動作を確認若しくは許可したか否かを意思表示するためのダイアログが表示される(S14110)。
そして、ダイアログ上でユーザーが「はい」を選択するなど、教示端末200側で、把持部426の把持姿勢についてユーザーの確認が終了すると(S14111)、通信部411を介して対象物体の把持動作の実行を指示する。
ロボット装置100側では、通信部412で実行指示を受信すると、把持制御部425が、把持計画部424で計画した軌道に従って把持部426の動作を制御して、物体の把持を実現する(S14204)。例えば、本出願人に既に譲渡されている特願2011−262202号明細書に開示されている方法を用いて、決定された把持姿勢に従って把持部426の動作を制御することができる(前述)。
ここで、上記S14202で行なわれる、ユーザーが左右の各視点画像上でそれぞれ対象物体をなぞった2つの主軸線分から対象物体の位置と姿勢を推定するための処理手順について、図19を参照しながら説明する。
まず、左右の視点画像がそれぞれ取得した主軸線分の各2端点における注視点ベクトルを求める(ステップS1901)。
ここで、右視点カメラのレンズ中心crを原点とするカメラ座標系(Xrc,Yrc,Zrc)をとり、レンズ中心crから焦点Cr(画像平面Fr)までの距離すなわち焦点距離をfrとする。また、左視点カメラのレンズ中心crlを原点とするカメラ座標系(Xlc,Ylc,Zlc)をとり、レンズ中心clから焦点Cl(画像平面Fl)までの距離すなわち焦点距離をflとする。そして、カメラ座標系における右視点の主軸線分の開始点をQr1=(xr1,yr1,fr)、終了点をQr2=(xr2,yr2,fr)とし、左視点の主軸線分の開始点をQl1=(xl1,yl1,fl)、終了点をQl2=(xl2,yl2,fl)としたときに、各主軸線分の2端点の注視ベクトルは。それぞれ下式(5)〜(8)に示す直線方程式で表わすことができる。但し、dは距離変数である。
次いで、上記の注視点ベクトルを、世界座標系に変換する(ステップS1902)。
対象とする把持物体が床面に置かれている場合、世界座標系における注視点ベクトルと床面との接触点を導出することになる。図20には、世界座標系における左右の各視点の注視点ベクトルを例示している。同図に示すように、世界座標系(XW,YW,ZW)をとったときに、世界座標系における視点毎の主軸線分の2端点をQ´r1=(x´r1,y´r1,f´r)、Q´2=(x´r2,y´r2,f´r)、Q´l1=(x´l1,y´l1,f´l)、Q´l2=(x´l2,y´l2,f´l)、左右カメラのレンズ中心の座標をそれぞれc´r、c´lとすると、上式(5)〜(8)に示した注視点ベクトルはそれぞれ下式(9)〜(12)に示す直線方程式で表わすことができる。
ステップS1903では、上記の直線方程式(9)、(11)を使って、対象物体の位置と姿勢を推定するための第1の点p1を求める。第1の点p1とは、右視点の主軸線分の開始点Q´r1を通過する注視点ベクトルと、左視点の主軸線分の開始点Q´l1を通過する注視点ベクトル、すなわち、左右視点で対となる注視点ベクトル間の最近傍点である。主軸線分はユーザーが対象物体であるコップが置かれている向きに沿ってなぞった線分であることから、図20に示すように、最近傍点p1は、図20に示すようにコップの一方の端部となる。
続いて、ステップS1904では、上記の直線方程式(10)、(12)を使って、対象物体の位置と姿勢を推定するための第2の点p2を求める。第2の点p2とは、右視点の主軸線分の終了点Q´r2を通過する注視点ベクトルと、左視点の主軸線分の終了点Q´l2を通過する注視点ベクトル、すなわち、左右視点で対となる注視点ベクトル間の最近傍点である。主軸線分はユーザーが対象物体であるコップが置かれている向きに沿ってなぞった線分であることから、図20に示すように、最近傍点p2は、図20に示すようにコップの他方の端部となる
そして、求まった2点p1、p2から、把持物体の位置と姿勢を求める(ステップS1905)。把持物体の位置は、2点p1、p2の中点であるので、(p1+p2)/2となる。また、把持物体の姿勢は、2点p1、p2がなす角度を求めればよい。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)撮像部と、把持部と、前記撮像部による撮像画像を画面に表示する出力部と、前記撮像画像内で物体が置かれている向きをユーザーが教示する操作を受け付ける入力部と、前記入力部における教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部と、前記推定した位置及び姿勢にある前記物体を把持するための前記把持部の軌道を計画する把持計画部と、前記計画した軌道に従って前記把持部の動作を制御する把持制御部と、を具備するロボット装置。
(1)前記入力部は、前記出力部の画面と一体のタッチパネルであり、ユーザーは、前記タッチパネル上で前記物体が置かれている向きに沿って線を引くようになぞって教示を行なう、上記(1)に記載のロボット装置。
(3)前記出力部及び前記入力部を含む端末部は、前記把持部を含む前記ロボット装置本体と無線通信を行なう、上記(1)に記載のロボット装置。
(4)ユーザーは、前記入力部から前記撮像画像内の前記物体の主軸線分を教示し、前記画像処理部は、前記撮像部のカメラ座標系と世界座標系との関係から、前記主軸線分に基づいて前記物体の位置及び姿勢を推定する、上記(1)に記載のロボット装置。
(5)前記画像処理部は、前記撮像部の光学中心と画像平面内に配置した前記主軸線分の2端点をそれぞれ通過する注視点ベクトルが環境と接触する2点を求め、前記2点の中点に基づいて前記物体の位置を推定するとともに、前記2点の傾きに基づいて前記物体の姿勢を推定する、上記(4)に記載のロボット装置。
(6)前記撮像部は視点の異なる複数台のカメラを備え、前記出力部は、各視点の撮像画像を画面に表示し、ユーザーは、前記入力部から、各視点の撮像画像毎に前記物体の主軸線分を教示し、前記画像処理部は、各視点の撮像画像から取得した複数の主軸線分に基づいて前記物体の位置及び姿勢を推定する、上記(1)に記載のロボット装置。
(7)前記撮像部は左右の視点のカメラを備え、前記画像処理部は、前記右視点のカメラのレンズ中心と右視点の主軸線分の開始点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の開始点を通過する注視点ベクトルの最近傍点、及び、前記右視点のカメラのレンズ中心と右視点の主軸線分の終了点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の終了点を通過する注視点ベクトルの最近傍点を求め、前記の2つの最近傍点の中点に基づいて前記物体の位置を推定するとともに、前記の2つの最近傍点の傾きに基づいて前記物体の姿勢を推定する、上記(6)に記載のロボット装置。
(8)前記把持計画部で計画した前記把持部の軌道に関する情報を前記出力部で画面に表示し、前記入力部を介して前記計画に対するユーザーの確認を得たことに応じて、前記把持制御部が前記軌道に従って前記把持部の動作を実行する、上記(1)に記載のロボット装置。
(9)撮像画像内で物体が置かれている向きの教示を入力するユーザー入力ステップと、前記入力ステップで入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理ステップと、前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画ステップと、前記把持計画ステップで計画した軌道に従って前記把持部の動作を制御する把持制御ステップと、を有するロボット装置の制御方法。
(10)撮像画像内で物体が置かれている向きの教示を入力する入力部、前記入力部で入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部、前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画部、前記計画した軌道に従って前記把持部の動作を制御する把持制御部、としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する技術は、例えば生活支援ロボットに適用して、動的に変化する生活環境下において、物体の把持及びユーザーへの受け渡し動作を好適に実現することができる。勿論、工場内に配置されるような産業用ロボットにも、同様に本明細書で開示する技術を適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたが、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
100…ロボット装置
101…駆動輪
102…駆動輪用アクチュエーター
103…腰関節ピッチ軸アクチュエーター
104…肩関節ピッチ軸アクチュエーター
105…肩関節ロール軸アクチュエーター
106…肩関節ヨー軸アクチュエーター
107…肘関節ピッチ軸アクチュエーター
108…肘関節ヨー軸アクチュエーター
109…手首関節ロール軸アクチュエーター
110…手首関節ピッチ軸アクチュエーター
111…首関節ピッチ軸アクチュエーター
112…首関節ヨー軸アクチュエーター
113…手関節ロール軸アクチュエーター
151、152、153…劣駆動関節
200…教示端末
310…制御ユニット
311…認識部
312…駆動制御部
313…環境マップ
320…入出力部
321…カメラ
322…距離センサー
323…マイクロフォン
324…スピーカー
325…無線通信部
330…駆動部
331…モーター
332…エンコーダー
333…ドライバー
411通信部
412…情報処理部
413…出力部
414…入力部
421…通信部
422…画像処理部
423…撮像部
424…把持計画部
425…把持制御部
426…把持部

Claims (10)

  1. 撮像部と、
    把持部と、
    前記撮像部による撮像画像を画面に表示する出力部と、
    前記撮像画像内で物体が置かれている向きをユーザーが教示する操作を受け付ける入力部と、
    前記入力部における教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部と、
    前記推定した位置及び姿勢にある前記物体を把持するための前記把持部の軌道を計画する把持計画部と、
    前記計画した軌道に従って前記把持部の動作を制御する把持制御部と、
    を具備するロボット装置。
  2. 前記入力部は、前記出力部の画面と一体のタッチパネルであり、
    ユーザーは、前記タッチパネル上で前記物体が置かれている向きに沿って線を引くようになぞって教示を行なう、
    請求項1に記載のロボット装置。
  3. 前記出力部及び前記入力部を含む端末部は、前記把持部を含む前記ロボット装置本体と無線通信を行なう、
    請求項1に記載のロボット装置。
  4. ユーザーは、前記入力部から前記撮像画像内の前記物体の主軸線分を教示し、
    前記画像処理部は、前記撮像部のカメラ座標系と世界座標系との関係から、前記主軸線分に基づいて前記物体の位置及び姿勢を推定する、
    請求項1に記載のロボット装置。
  5. 前記画像処理部は、前記撮像部の光学中心と画像平面内に配置した前記主軸線分の2端点をそれぞれ通過する注視点ベクトルが環境と接触する2点を求め、前記2点の中点に基づいて前記物体の位置を推定するとともに、前記2点の傾きに基づいて前記物体の姿勢を推定する、
    請求項4に記載のロボット装置。
  6. 前記撮像部は視点の異なる複数台のカメラを備え、
    前記出力部は、各視点の撮像画像を画面に表示し、
    ユーザーは、前記入力部から、各視点の撮像画像毎に前記物体の主軸線分を教示し、
    前記画像処理部は、各視点の撮像画像から取得した複数の主軸線分に基づいて前記物体の位置及び姿勢を推定する、
    請求項1に記載のロボット装置。
  7. 前記撮像部は左右の視点のカメラを備え、
    前記画像処理部は、前記右視点のカメラのレンズ中心と右視点の主軸線分の開始点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の開始点を通過する注視点ベクトルの最近傍点、及び、前記右視点のカメラのレンズ中心と右視点の主軸線分の終了点を通過する注視点ベクトルと前記左視点のカメラのレンズ中心と左視点の主軸線分の終了点を通過する注視点ベクトルの最近傍点を求め、前記の2つの最近傍点の中点に基づいて前記物体の位置を推定するとともに、前記の2つの最近傍点の傾きに基づいて前記物体の姿勢を推定する、
    請求項6に記載のロボット装置。
  8. 前記把持計画部で計画した前記把持部の軌道に関する情報を前記出力部で画面に表示し、
    前記入力部を介して前記計画に対するユーザーの確認を得たことに応じて、前記把持制御部が前記軌道に従って前記把持部の動作を実行する、
    請求項1に記載のロボット装置。
  9. 撮像画像内で物体が置かれている向きの教示を入力するユーザー入力ステップと、
    前記入力ステップで入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理ステップと、
    前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画ステップと、
    前記把持計画ステップで計画した軌道に従って前記把持部の動作を制御する把持制御ステップと、
    を有するロボット装置の制御方法。
  10. 撮像画像内で物体が置かれている向きの教示を入力する入力部、
    前記入力部で入力された教示内容に基づいて、前記物体の位置及び姿勢を推定する画像処理部、
    前記推定した位置及び姿勢にある前記物体をロボット装置の把持部で把持するための軌道を計画する把持計画部、
    前記計画した軌道に従って前記把持部の動作を制御する把持制御部、
    としてコンピューターを機能させるようコンピューター可読形式で記述されたコンピューター・プログラム。
JP2012039817A 2012-02-27 2012-02-27 ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム Pending JP2013173209A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012039817A JP2013173209A (ja) 2012-02-27 2012-02-27 ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012039817A JP2013173209A (ja) 2012-02-27 2012-02-27 ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム

Publications (1)

Publication Number Publication Date
JP2013173209A true JP2013173209A (ja) 2013-09-05

Family

ID=49266638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012039817A Pending JP2013173209A (ja) 2012-02-27 2012-02-27 ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム

Country Status (1)

Country Link
JP (1) JP2013173209A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039850A1 (ja) * 2019-08-26 2021-03-04 川崎重工業株式会社 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021039850A1 (ja) * 2019-08-26 2021-03-04 川崎重工業株式会社 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法
JPWO2021039850A1 (ja) * 2019-08-26 2021-03-04
CN114286739A (zh) * 2019-08-26 2022-04-05 川崎重工业株式会社 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
JP7261306B2 (ja) 2019-08-26 2023-04-19 川崎重工業株式会社 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法
EP4023398A4 (en) * 2019-08-26 2023-09-13 Kawasaki Jukogyo Kabushiki Kaisha INFORMATION PROCESSING DEVICE, CONFIGURATION DEVICE, IMAGE RECOGNITION SYSTEM, ROBOT SYSTEM, CONFIGURATION METHOD, LEARNING DEVICE, AND LEARNED MODEL GENERATION METHOD
CN114286739B (zh) * 2019-08-26 2024-04-12 川崎重工业株式会社 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法

Similar Documents

Publication Publication Date Title
JP2013184257A (ja) ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
US20210205986A1 (en) Teleoperating Of Robots With Tasks By Mapping To Human Operator Pose
US10093020B2 (en) Robot apparatus and method of controlling robot apparatus
US10293487B2 (en) Robot device, method of controlling the same, computer program, and robot system
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
CN103128729B (zh) 机器人装置和控制该机器人装置的方法
JP6589604B2 (ja) ティーチング結果表示システム
CN112634318B (zh) 一种水下维修机器人的遥操作系统和方法
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
WO2008001793A1 (fr) Dispositif de robot et son procédé de commande
US20220266449A1 (en) Control device, control system, robot system and controlling method
JP2013111737A (ja) ロボット装置及びその制御方法、並びにコンピューター・プログラム
CN113021357A (zh) 一种便于移动的主从水下双臂机器人
JP2020196060A (ja) 教示方法
JP2008168372A (ja) ロボット装置及び形状認識方法
Parga et al. Tele-manipulation of robot arm with smartphone
Parga et al. Smartphone-based human machine interface with application to remote control of robot arm
JP2013173209A (ja) ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
CN116100565A (zh) 基于外骨骼机器人的沉浸式实时远程操作平台
WO2022176928A1 (ja) 教示装置
WO2022124398A1 (ja) 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
WO2019064751A1 (ja) ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム
WO2019064752A1 (ja) ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム
Wang et al. Vision based robotic grasping with a hybrid camera configuration
JP7230626B2 (ja) ロボット装置