JP2018153874A - 提示装置、提示方法およびプログラム、ならびに作業システム - Google Patents
提示装置、提示方法およびプログラム、ならびに作業システム Download PDFInfo
- Publication number
- JP2018153874A JP2018153874A JP2017050099A JP2017050099A JP2018153874A JP 2018153874 A JP2018153874 A JP 2018153874A JP 2017050099 A JP2017050099 A JP 2017050099A JP 2017050099 A JP2017050099 A JP 2017050099A JP 2018153874 A JP2018153874 A JP 2018153874A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- work
- manipulator
- target article
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 9
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 8
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract 2
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000035807 sensation Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008054 signal transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 241000234282 Allium Species 0.000 description 1
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
に関する。
本発明の目的は、上述した課題を解決する提示装置、提示方法およびプログラム、ならびに作業システムを提供することにある。
以下、図面を参照しながら実施形態について詳しく説明する。
図1は、第1の実施形態に係る作業システムの構成を示す概略図である。
作業システム1は、入出力グローブ10と、ヘッドマウントディスプレイ20と、マスタコントローラ30と、スレーブコントローラ40と作業ロボット50とを備える。入出力グローブ10とヘッドマウントディスプレイ20とはオペレータOに装着され、作業ロボット50はオペレータOと遠隔に設置される。マスタコントローラ30は、入出力グローブ10およびヘッドマウントディスプレイ20と電気的に接続される。スレーブコントローラ40は、作業ロボット50と電気的に接続される。マスタコントローラ30とスレーブコントローラ40とは、ネットワークNを介して通信可能に構成される。
マニピュレータ51は、複数のリンクが複数の関節を介して互いに接続されている。マニピュレータ51は、スレーブコントローラ40から入力される制御信号に従って関節ごとに設けられたアクチュエータを駆動させることによって各関節の角度を調整する。マニピュレータ51の関節とオペレータOの関節とは必ずしも一対一に対応しない。例えば、マニピュレータ51は、5本未満の指(指に相当するリンクと関節との組み合わせ)を備えるものであってよい。また例えばマニピュレータ51は、2つ以上の肘(肘に相当する関節)を備えるものであってよい。マニピュレータ51には、触覚センサと姿勢センサとが設けられている。触覚センサは、マニピュレータ51の表面(特に指に相当するリンクの先端)に設けられ、接触した物体の触感を検出する。姿勢センサは、マニピュレータ51の関節ごとに設けられており、各関節の角度および角速度を検出する。姿勢センサの例としては、アクチュエータの運動量を計測するセンサ(回転数センサやストロークセンサ)が挙げられる。
カメラ52は、関節を介してマニピュレータ51と接続される。カメラ52は、撮像した画像を表す映像情報をスレーブコントローラ40に出力する。カメラ52の姿勢は、スレーブコントローラ40から入力される制御信号に従って調整される。つまり、カメラ52とマニピュレータ51とに接続されたアクチュエータが制御信号に従って駆動することで、カメラ52の姿勢が調整される。
マスタコントローラ30は、信号受信部301、映像信号出力部302、触感信号変換部303、フィードバック信号出力部304、姿勢記憶部305、姿勢更新部306、指示入力部307、認識部308、報酬記憶部309、合成部310、操作信号入力部311、操作信号変換部312、制御信号送信部313、作業判定部314、報酬算出部315を備える。
映像信号出力部302は、受信した映像信号をヘッドマウントディスプレイ20に出力する。認識部308によって対象物品Iが認識された場合、映像信号出力部302は、合成部310によって合成された映像信号を出力する。
触感信号変換部303は、受信した触感信号をフィードバック信号に変換する。つまり、触感信号変換部303は、作業ロボット50のマニピュレータ51が触れた物体の触感を、フィードバックデバイスに再現させるためのフィードバック信号を生成する。触感信号からフィードバック信号への変換は、例えば触感信号を予め求められた関数に入力することで実現することができる。
フィードバック信号出力部304は、フィードバック信号を入出力グローブ10に出力する。
姿勢更新部306は、受信した姿勢信号に基づいて姿勢記憶部305が記憶する情報を更新する。
合成部310は、信号受信部301が受信した映像信号に、認識部308の認識結果を合成した合成映像信号を生成する。具体的には、合成部310は、映像信号のうち、認識部308によって対象物品Iと認識された座標にマーク画像を合成する。マーク画像の例としては、認識された対象物品Iを囲う円形の画像や、認識された対象物品Iの輪郭を色づけ(ハイライト)した画像などが挙げられる。また合成部310は、映像信号に、報酬記憶部309が記憶する報酬の量を合成する。
操作信号変換部312は、操作信号および姿勢信号を制御信号に変換する。つまり、操作信号変換部312は、オペレータOと同じ動作を作業ロボット50に実行させるための制御信号を生成する。操作信号および姿勢信号から制御信号への変換は、例えば操作信号および姿勢信号を予め求められた関数に入力することで実現することができる。なお、入出力グローブ10の操作信号は、マニピュレータ51の制御信号に変換され、ヘッドマウントディスプレイ20の姿勢信号は、カメラ52の制御信号に変換される。
ピッキングシステムが対象物を作業スペースに運搬すると、ピッキングシステムは、マスタコントローラ30に作業指示を出力する。
マスタコントローラ30の指示入力部307は、ピッキングシステムから作業指示の入力を受け付ける(ステップS1)。次に、信号受信部301は、スレーブコントローラ40を介して作業ロボット50から、カメラ52が撮像した映像信号、触覚センサが検出した触感信号、および姿勢センサが検出した姿勢信号を受信する(ステップS2)。
さらに、合成部310は、報酬記憶部309から報酬額を読み出し、当該報酬額を映像信号に合成する(ステップS9)。
オペレータOによって入出力グローブ10が操作されると、操作信号入力部311は、入出力グローブ10から操作信号の入力を受け付け、またヘッドマウントディスプレイ20から姿勢信号の入力を受け付ける(ステップS14)。操作信号変換部312は、操作信号および姿勢信号をマニピュレータ51の制御信号に変換する(ステップS15)。そして、制御信号送信部313は、ステップS15で変換されたマニピュレータ51の制御信号を、スレーブコントローラ40に送信する(ステップS16)。これにより、スレーブコントローラ40は、オペレータOの操作に基づいて生成された制御信号に従ってマニピュレータ51を動作させる。また、これにより、スレーブコントローラ40は、オペレータOの視線の動きとカメラ52の視線の動きが一致するように、カメラ52の姿勢を制御する。
図5に示すように、ステップS3からステップS10の処理により、ヘッドマウントディスプレイ20には、カメラ52が撮像した撮像画像G1と、1または複数のマーク画像G2と、作業指示ウィンドウG3と、報酬額ウィンドウG4とを含む合成映像が表示される。
図5に示すように、マーク画像G2が表示されることで、オペレータOは容易に撮像画像G1のなかから作業対象となる対象物品Iを特定することができる。また、対象物品Iについて複数の候補が認識される場合であっても、マスタコントローラ30がその類似度に基づいてマーク画像G2が付される候補を絞り込むことにより、オペレータOは少ない選択肢の中から対象物品Iを特定することができる。また、このとき作業指示ウィンドウG3が表示されていることで、オペレータOは複数の候補の中から適切に対象物品Iを特定することができる。さらに、報酬額ウィンドウG4に報酬額が表示されることで、オペレータOの意欲を維持させることができる。
これにより、オペレータOは、撮像画像によりマニピュレータ51の状態を目視しつつ、作業指示を容易に理解することができる。
第2の実施形態では、マスタコントローラ30がマニピュレータ51の操作の履歴に基づいてマニピュレータ51の操作を学習し、これに基づいてマニピュレータ51を自動制御する。このとき、オペレータOは、ヘッドマウントディスプレイ20に表示されるマーク画像G2に視線を合わせることで、マニピュレータ51に把持させる対象物品Iを特定する。第2の実施形態に係るヘッドマウントディスプレイ20には、視線を捉えるために装着面側に内部カメラを備える。
第2の実施形態に係るマスタコントローラ30は、第1の実施形態の構成に加え、作業モデル記憶部316、制御信号算出部317、学習部318、視線検出部319をさらに備える。
図7は、第2の実施形態に係るマスタコントローラの動作のうち、第1の実施形態との相違部分の動作を示すフローチャートである。
第2の実施形態に係るマスタコントローラ30の指示入力部307は、ピッキングシステムから作業指示の入力を受け付けると、第1の実施形態に係るステップS1からステップS13と同様の処理を実行する。次に、マスタコントローラ30の視線検出部319は、オペレータOの視線を検出することで、映像信号におけるオペレータOの注視点を特定する(ステップS101)。視線検出部319は、注視点が所定時間以上マーク画像G2上にあるか否かを判定する(ステップS102)。ここで、注視点が所定時間以上マーク画像G2上にある場合(ステップS102:YES)、マスタコントローラ30は、オペレータOによる把持の対象が当該マーク画像G2が示す対象物品Iであると特定する。オペレータOによる把持の対象となる対象物品Iが特定されると、制御信号算出部317は、作業モデル記憶部316が記憶する作業モデルに、対象物品Iの種類、位置および姿勢、ならびにマニピュレータ51の姿勢を入力することで、マニピュレータ51の制御信号と、当該制御信号の妥当性を示すスコアとを算出する(ステップS103)。当該制御信号は、マニピュレータ51を単位時間の間動作させるための信号である。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述の実施形態では、マスタコントローラ30がオペレータOの近傍に設けられるが、これに限られない。例えば、他の実施形態では、ネットワークN上のサーバ装置において、上述の制御がなされてもよいし、マスタコントローラ30とスレーブコントローラ40の位置関係が入れ替わってもよい。つまり、他の実施形態においては、オペレータOの近傍に設けられたスレーブコントローラ40が、信号の転送のみを行い、作業ロボット50の近傍に設けられたマスタコントローラ30が、上記処理を行ってもよい。
図8は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ90は、CPU91、メインメモリ92、ストレージ93、インタフェース94を備える。
上述のマスタコントローラ30は、コンピュータ90に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ93に記憶されている。CPU91は、プログラムをストレージ93から読み出してメインメモリ92に展開し、当該プログラムに従って上記処理を実行する。また、CPU91は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ92に確保する。
10 入出力グローブ
20 ヘッドマウントディスプレイ
30 マスタコントローラ
40 スレーブコントローラ
50 作業ロボット
301 信号受信部
302 映像信号出力部
303 触感信号変換部
304 フィードバック信号出力部
305 姿勢記憶部
306 姿勢更新部
307 指示入力部
308 認識部
309 報酬記憶部
310 合成部
311 操作信号入力部
312 操作信号変換部
313 制御信号送信部
314 作業判定部
315 報酬算出部
Claims (10)
- マニピュレータとカメラとを備える作業ロボットの操作者に、前記マニピュレータの操作の用に供する情報を提示する提示装置であって、
作業対象となる対象物品の情報を含む作業指示の入力を受け付ける指示入力部と、
前記カメラが撮像した撮像画像を取得する画像取得部と、
前記撮像画像に前記作業指示に関する情報を合成することで、合成画像を生成する合成部と、
前記合成画像を出力する画像出力部と
を備える提示装置。 - 前記作業指示に基づいて、前記撮像画像に写る前記対象物品を認識する認識部をさらに備え、
前記合成部は、前記撮像画像に前記認識部による認識の結果に関する情報とを合成する
請求項1に記載の提示装置。 - 前記合成部は、前記撮像画像のうち前記対象物品が写る位置にマーク画像を合成する
請求項2に記載の提示装置。 - 前記認識部は、前記撮像画像に写る前記対象物品の複数の候補を認識し、前記複数の候補のそれぞれについて前記対象物品との類似度を算出し、
前記合成部は、前記撮像画像のうち、前記複数の候補のうち前記類似度が閾値以上のものが写る位置に、前記マーク画像を合成する
請求項3に記載の提示装置。 - 前記合成部は、前記撮像画像に前記対象物品の画像を合成する
請求項1から請求項4の何れか1項に記載の提示装置。 - 前記操作者による前記マニピュレータの操作により得るべき報酬の量を取得する報酬取得部をさらに備え、
前記合成部は、前記撮像画像に前記報酬の量に関する情報をさらに合成する
請求項1から請求項5の何れか1項に記載の提示装置。 - オペレータの視線を検出する視線検出部と、
検出された前記視線の先に前記マーク画像がある場合に、前記マーク画像に係る前記対象物品を把持するための操作信号を生成する
信号生成部と、
をさらに備える請求項4に記載の提示装置。 - マニピュレータとカメラとを備える作業ロボットと、
請求項1から請求項7の何れか1項に記載の提示装置と
を備える作業システム。 - マニピュレータとカメラとを備える作業ロボットの操作者に、前記マニピュレータの操作の用に供する情報を提示する提示方法であって、
作業対象となる対象物品の情報を含む作業指示の入力を受け付けることと、
前記カメラが撮像した撮像画像を取得することと、
前記撮像画像に前記作業指示に関する情報を合成することで、合成画像を生成することと、
前記合成画像を前記操作者に提示することと
を有する提示方法。 - マニピュレータとカメラとを備える作業ロボットの操作者に、前記マニピュレータの操作の用に供する情報を提示するコンピュータに、
作業対象となる対象物品の情報を含む作業指示の入力を受け付けることと、
前記カメラが撮像した撮像画像を取得することと、
前記撮像画像に前記作業指示に関する情報を合成することで、合成画像を生成することと、
前記合成画像を出力することと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017050099A JP6902369B2 (ja) | 2017-03-15 | 2017-03-15 | 提示装置、提示方法およびプログラム、ならびに作業システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017050099A JP6902369B2 (ja) | 2017-03-15 | 2017-03-15 | 提示装置、提示方法およびプログラム、ならびに作業システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018153874A true JP2018153874A (ja) | 2018-10-04 |
JP6902369B2 JP6902369B2 (ja) | 2021-07-14 |
Family
ID=63717090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017050099A Active JP6902369B2 (ja) | 2017-03-15 | 2017-03-15 | 提示装置、提示方法およびプログラム、ならびに作業システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6902369B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020032265A1 (ja) * | 2018-08-10 | 2020-02-13 | 川崎重工業株式会社 | ロボットシステム |
JP2020121351A (ja) * | 2019-01-29 | 2020-08-13 | ファナック株式会社 | ロボットシステム |
JP2021064064A (ja) * | 2019-10-10 | 2021-04-22 | 沖電気工業株式会社 | ロボットシステム、ロボット及び操作端末 |
WO2022209099A1 (ja) * | 2021-03-31 | 2022-10-06 | ソニーグループ株式会社 | 手術システム並びに手術支援方法 |
WO2022209924A1 (ja) * | 2021-03-31 | 2022-10-06 | 本田技研工業株式会社 | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム |
WO2024013895A1 (ja) * | 2022-07-13 | 2024-01-18 | 日本電信電話株式会社 | 遠隔制御システム、遠隔制御方法、および遠隔制御プログラム |
JP7542481B2 (ja) | 2021-03-31 | 2024-08-30 | 本田技研工業株式会社 | 制御装置、ロボットシステム、制御方法、および、プログラム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62289701A (ja) * | 1986-06-10 | 1987-12-16 | Nissan Motor Co Ltd | 散積み物体の位置関係を3次元的に認識する視覚システム |
JPS63139689A (ja) * | 1986-11-28 | 1988-06-11 | 株式会社日立製作所 | 遠隔マニピユレ−シヨン・システムの画像表示装置 |
JPH0764709A (ja) * | 1993-08-26 | 1995-03-10 | Olympus Optical Co Ltd | 指示処理装置 |
JP2000176675A (ja) * | 1998-12-17 | 2000-06-27 | Kawasaki Heavy Ind Ltd | Hmd付き溶接部モニタリング装置 |
JP2001100821A (ja) * | 1999-09-30 | 2001-04-13 | Japan Science & Technology Corp | マニピュレータ制御方法および装置 |
JP2003311661A (ja) * | 2002-04-24 | 2003-11-05 | Hitachi Ltd | 遠隔操作制御装置 |
JP2005352780A (ja) * | 2004-06-10 | 2005-12-22 | Canon Inc | 画像記録装置及びその制御方法 |
JP2013097514A (ja) * | 2011-10-31 | 2013-05-20 | Omron Corp | 画像処理装置および画像処理プログラム |
JP2013146813A (ja) * | 2012-01-18 | 2013-08-01 | Seiko Epson Corp | ロボット装置および位置姿勢検出方法 |
US20140094968A1 (en) * | 2011-09-28 | 2014-04-03 | The Johns Hopkins University | Teleoperative-cooperative robotic system |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
-
2017
- 2017-03-15 JP JP2017050099A patent/JP6902369B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62289701A (ja) * | 1986-06-10 | 1987-12-16 | Nissan Motor Co Ltd | 散積み物体の位置関係を3次元的に認識する視覚システム |
JPS63139689A (ja) * | 1986-11-28 | 1988-06-11 | 株式会社日立製作所 | 遠隔マニピユレ−シヨン・システムの画像表示装置 |
JPH0764709A (ja) * | 1993-08-26 | 1995-03-10 | Olympus Optical Co Ltd | 指示処理装置 |
JP2000176675A (ja) * | 1998-12-17 | 2000-06-27 | Kawasaki Heavy Ind Ltd | Hmd付き溶接部モニタリング装置 |
JP2001100821A (ja) * | 1999-09-30 | 2001-04-13 | Japan Science & Technology Corp | マニピュレータ制御方法および装置 |
JP2003311661A (ja) * | 2002-04-24 | 2003-11-05 | Hitachi Ltd | 遠隔操作制御装置 |
JP2005352780A (ja) * | 2004-06-10 | 2005-12-22 | Canon Inc | 画像記録装置及びその制御方法 |
US20140094968A1 (en) * | 2011-09-28 | 2014-04-03 | The Johns Hopkins University | Teleoperative-cooperative robotic system |
JP2013097514A (ja) * | 2011-10-31 | 2013-05-20 | Omron Corp | 画像処理装置および画像処理プログラム |
JP2013146813A (ja) * | 2012-01-18 | 2013-08-01 | Seiko Epson Corp | ロボット装置および位置姿勢検出方法 |
JP2017030135A (ja) * | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7130752B2 (ja) | 2018-08-10 | 2022-09-05 | 川崎重工業株式会社 | ロボットシステム |
JPWO2020032265A1 (ja) * | 2018-08-10 | 2021-08-10 | 川崎重工業株式会社 | ロボットシステム |
WO2020032265A1 (ja) * | 2018-08-10 | 2020-02-13 | 川崎重工業株式会社 | ロボットシステム |
US12046148B2 (en) | 2018-08-10 | 2024-07-23 | Kawasaki Jukogyo Kabushiki Kaisha | Robot system |
JP2020121351A (ja) * | 2019-01-29 | 2020-08-13 | ファナック株式会社 | ロボットシステム |
JP7000364B2 (ja) | 2019-01-29 | 2022-01-19 | ファナック株式会社 | ロボットシステム |
US11267132B2 (en) | 2019-01-29 | 2022-03-08 | Fanuc Corporation | Robot system |
DE102020000390B4 (de) | 2019-01-29 | 2023-07-20 | Fanuc Corporation | Robotersystem |
JP2021064064A (ja) * | 2019-10-10 | 2021-04-22 | 沖電気工業株式会社 | ロボットシステム、ロボット及び操作端末 |
WO2022209099A1 (ja) * | 2021-03-31 | 2022-10-06 | ソニーグループ株式会社 | 手術システム並びに手術支援方法 |
WO2022209924A1 (ja) * | 2021-03-31 | 2022-10-06 | 本田技研工業株式会社 | ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム |
JP7542481B2 (ja) | 2021-03-31 | 2024-08-30 | 本田技研工業株式会社 | 制御装置、ロボットシステム、制御方法、および、プログラム |
WO2024013895A1 (ja) * | 2022-07-13 | 2024-01-18 | 日本電信電話株式会社 | 遠隔制御システム、遠隔制御方法、および遠隔制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6902369B2 (ja) | 2021-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6902369B2 (ja) | 提示装置、提示方法およびプログラム、ならびに作業システム | |
JP6869060B2 (ja) | マニピュレータの制御装置、制御方法およびプログラム、ならびに作業システム | |
US10179407B2 (en) | Dynamic multi-sensor and multi-robot interface system | |
US10406686B2 (en) | Bare hand robot path teaching | |
Du et al. | Markerless kinect-based hand tracking for robot teleoperation | |
JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6038417B1 (ja) | ロボット教示装置及びロボット制御プログラム作成方法 | |
US20150273689A1 (en) | Robot control device, robot, robotic system, teaching method, and program | |
KR20210138170A (ko) | 로봇 행동들에 대한 보정들의 결정 및 이용 | |
US11654571B2 (en) | Three-dimensional data generation device and robot control system | |
CN114080583A (zh) | 视觉教导和重复移动操纵系统 | |
JP2018116599A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2011110621A (ja) | ロボットの教示データを作成する方法およびロボット教示システム | |
JP6931585B2 (ja) | 作業システム、作業システムの制御方法及びプログラム | |
US11407117B1 (en) | Robot centered augmented reality system | |
JP2019063953A (ja) | 作業システム、作業システムの制御方法及びプログラム | |
US20220331972A1 (en) | Robot Image Display Method, Recording Medium, And Robot Image Display System | |
JP5050919B2 (ja) | 遠隔会議システム及びその制御方法 | |
WO2020166509A1 (ja) | 制御装置及びプログラム | |
Zhang et al. | Tactile-vision integration for task-compatible fine-part manipulation | |
JP2022060003A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
US20240075623A1 (en) | Remote control system, remote control method, and control program | |
US20240075628A1 (en) | Remote control system, remote control method, and control program | |
US20230286159A1 (en) | Remote control system | |
CN116075800A (zh) | 用于向用户输入提供反馈的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181012 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6902369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |