JP2020055075A - 拡張現実と複合現実を用いたロボット制御装置及び表示装置 - Google Patents
拡張現実と複合現実を用いたロボット制御装置及び表示装置 Download PDFInfo
- Publication number
- JP2020055075A JP2020055075A JP2018187680A JP2018187680A JP2020055075A JP 2020055075 A JP2020055075 A JP 2020055075A JP 2018187680 A JP2018187680 A JP 2018187680A JP 2018187680 A JP2018187680 A JP 2018187680A JP 2020055075 A JP2020055075 A JP 2020055075A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- orientation
- display
- display device
- virtual model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0081—Programme-controlled manipulators with master teach-in means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
- B25J15/10—Gripping heads and other end effectors having finger members with three or more finger members
- B25J15/103—Gripping heads and other end effectors having finger members with three or more finger members for gripping the object in three contact points
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
Description
(A1)使用者12がハンド22又はロボット先端に取り付けたツールの仮想モデル22aに視線を合わせ、仮想モデル22aを指でつまむジェスチャーをすることにより、表示制御部24は、モデル22aを動かせる状態にする。
(A2)使用者12は、仮想モデル22aをつまんだ状態のまま手を動かし、モデル22aを教示したい位置及び姿勢に移動させる。表示制御部24は、使用者12の手の動きに合わせてモデル22aを動かす。なお移動距離が比較的長い場合は、使用者12が現場(環境内)を移動してもよい。
(A3)モデル22aが所望の位置に到達したら、使用者12は手を開くジェスチャーを行い、位置姿勢規定部28は、そのときのモデル22aの位置及び姿勢を教示点等として設定(メモリに記憶)する。
表示制御部24は、表示装置18(のディスプレイ34)にロボット14全体の仮想モデルを表示させる。使用者12は、該全体のモデルも移動させて教示したい場合は、例えば次のような動作を行う。
(B1)図8に例示するように、使用者12がロボット14全体の仮想(3D)モデル59をジェスチャー操作等によって現実のロボット14に重畳表示させ、モデル59に視線を合わせてエアタップすると、ロボットモデル59の近傍の空間上に各軸の位置を調整するためのバー60が表示される。なおここではロボット14は6軸の多関節ロボットなので、6つのバー60がモデル59の各軸の近傍に表示される。
(B2)使用者12がある軸(対象軸)に視線を合わせてエアタップし、バー60を指でつまむジェスチャーにより、表示制御部24は、モデル59を動かせる状態にする。
(B3)使用者12は、バー60をつまんだ状態のまま円弧を描くように手を動かし、モデル59の対象軸の位置を教示したい位置に動かす。表示制御部24は、使用者12の手の動きに合わせてモデル59を動かす。このとき、実際のロボット14を動かす必要はない。
(B4)対象軸が所望の位置に移動したら、使用者12は手を開くジェスチャーを行い、位置姿勢規定部28は、対象軸をその位置に固定(設定)する。
(B5)(B3)−(B4)の処理を必要に応じて他の軸についても行い、最後に、使用者12が各軸以外のロボットの部分に視線を合わせてエアタップすると、そのときのロボットモデル59の位置及び姿勢(各軸の位置)が教示点等として設定される。
(C1)使用者12が、ハンド22a等のツールに視線を合わせてエアタップすると、図9に例示するように、ツール近傍の空間に、そのツールに定義されたツール座標系62と、そのツールの仮想モデルを操作する複数の操作ボタン64及び適用されるジョグのモードが表示される。例えば、この例では、適用されるジョグのモードが直交ジョグであることを表す「直交」が示される。なお、表示されるジョグのモード表示には、直交ジョグの他、例えば、各軸ジョグであることを表す「各軸」、または、特定の座標系で定義される直交ジョグであることを表すその特定の座標系の表記(例えば、ツール座標系で定義される場合には、「ツール」など)が含まれてもよい。また、適用されるジョグのモードに応じて、表示される操作ボタン64の表記が変更されてもよい。例えば、直交ジョグが適用される場合の「+X」、「−X」等の代わりに、操作対象となる軸を表す「+J1」等が表示されてもよい。さらに、表示される操作ボタン64の数は、ロボット14が有する軸の数または付加軸の数に応じて変更されてもよい。
(C2)使用者12がボタン64のいずれかに視線を合わせてエアタップすると、ボタン64の近傍に表示された割合(図示例では10%)に応じてモデル22aが所定距離移動する。モデル22aを連続的に移動させたい場合は、使用者12は、対象のボタンに視線を合わせた状態で所定の動作(例えば握り拳(いわゆるグー)を作るジェスチャー)をする。この移動でも、ボタン64の近傍に表示された割合(図示例では10%)に応じた速度でモデル22aが移動する。例えば、ロボット14の最大移動速度(例えば、250mm/s)が100%として設定され、かつ、10%と表示されているときは、モデルが指定された方向に最大速度の10%(例えば25mm/s)の速度で移動する。これは後述する直交ジョグ操作でも同様である。この場合は例えば、手を開く動作(いわゆるパーを作るジェスチャー)をしたときに、モデル22aの移動を停止させることができる。なお割合(%)を変更したい場合は、使用者12が%表示65に視線を合わせてエアタップすることにより、数値入力を受け付けるボタン(図示せず)等を表示させることができる。
(C3)ハンド22a又はツールを教示すべき位置に移動させたら、使用者12はモデル22aに視線を合わせてエアタップし、これによりモデル22aの位置及び姿勢が設定(メモリ等に記憶)され、ツール座標系62とボタン64は非表示となる。
(D1)使用者12が、ハンド22a等のツールに視線を合わせてエアタップすると、図10又は図11に例示するように、ツール近傍の空間に、そのツールの仮想モデルを操作する直交ジョグ66又は68と、モデルを移動させる速度を割合で示す情報70又は72が表示される。
(D2)使用者12が直交ジョグ66に視線を合わせてエアタップすると、直交ジョグ66のボタン74をつまんで操作できるようになり、ボタン74をつまんで所望の方向(図示例では+X、−X、+Y、−Y、+Z、−Zのいずれか)に移動させることにより、ツールをその方向に指定された速度(例えば最高速度の10%)で移動させることができる。同様に、使用者12が直交ジョグ68に視線を合わせてエアタップすると、直交ジョグ68のX軸76、Y軸78及びZ軸80のいずれかをつまんで操作できるようになり、使用者12がつまんだ軸を時計回り又は反時計回りのいずれかに回転させることにより、所望の方向(図示例では+X、−X、+Y、−Y、+Z、−Zのいずれか)に指定された速度でハンド22などの仮想モデルを回転移動させることができる。
(D3)ハンド22a又はツールを教示すべき位置に移動させたら、使用者12はモデル22aに視線を合わせてエアタップし、これによりモデル22aの位置及び姿勢が確定(一時的に記憶)され、直交ジョグ66又は68、及び情報70又は72は非表示となる。なお、図10では、ボタン74、図11では、X軸76、Y軸78及びZ軸80の何れかをつまむことでツールが操作されるが、図10または図11に示されている矢印が操作用のボタンとして表示されてもよい。この場合には、図9に示されるボタン操作と同様の操作が実行可能とされてもよい。
(E2)表示制御部24は、定義したワークモデル56を、現実のワーク52に重畳表示させる。
(E3)図7に示すように、表示制御部24は、吸着ハンド54のモデルを現実の世界に投影して、使用者12は、ワーク52を吸着するときのハンド54の位置及び姿勢を教示する。すると、表示制御部24によって表示装置(拡張現実対応ディスプレイ)18は、その時の吸着ハンド54のモデルと使用者12が定義したモデル56とが所望の位置関係で配置された状態のモデルを、その教示点の位置番号(ここではイチ[1]−[3])とともにモデル一覧に表示することができる。このようにすることで、ロボット制御装置10は、現実のロボット14を実際に動かすことなく、ロボット14が周辺物等と干渉しないような搬送経路の教示を、視覚的にわかり易く行うことができる。また、周知の画像認識技術を使用することにより、現実のワークのどの部位を吸着・保持すべきかを教示する必要がないシステムにおいては、ハンドの中心点に対して使用者がモデルを定義し、モデルの一覧に加えることができる。
図9に示されるように、ツールモデルに表示するツール座標系62は、ツールモデルごとにいくつか設定でき、その座標系は、ロボットの端点に定義されている座標系に対してどのような相対関係にあるかで定義される。ツールモデルごとにツール座標系を定義するため、モデルの一覧が表示されるメニュー50では、ツールモデルは、そのツール座標系を定義した番号とともに表示される。このようにツール座標系62とともに定義されたツールモデルを現実の世界に投影した時、表示装置の制御部が任意に定義する基準座標系上でツールモデルがどのような位置及び姿勢で存在するかは、行列で表すことができる。ここで、ロボット制御装置の制御部(図示せず)が任意に定義するワールド座標系上でのツールモデルの位置及び姿勢(ワールド座標系から見たツール座標系の位置及び姿勢)は、位置姿勢取得部20で取得した表示装置とロボットの相対位置関係から得られる、ワールド座標系から見た基準座標系の位置及び姿勢を表す変換行列Aと、基準座標系から見たツールモデルの位置及び姿勢を表す行列Bの積で表せる。このワールド座標系上でのツールモデルの位置及び姿勢に基づいて逆運動学を解くことで、位置姿勢規定部28は、ロボットの各軸位置を算出できる。位置姿勢規定部28は、この算出した各軸位置がロボットごとに定義される各軸の動作制限や自己干渉式による動作制限の範囲内であればロボットが到達可能であると判定できる。
ロボット制御装置の制御部と表示装置の制御部の機能が一つにまとめられている場合など、表示装置の基準座標系がワールド座標系と一致する場合には、位置姿勢規定部28は、ツールモデルの位置及び姿勢に基づいて逆運動学を解くことで、ロボットの各軸位置を求め、それによって到達可能か否かを判定すればよい。
また、特定したロボットの位置及び姿勢の情報は本実施例のように教示以外の用途に使用されてもよい。
図13は、表示装置18を介して使用者12に見えている画像であり、実在するロボット14のハンド22に対し、ハンド22の仮想(3D)モデル22aを重畳表示した状態を示す。ここで、使用者12の操作に応じて、基準座標系86に対してどの位置及び姿勢で3Dモデル22aを表示するかは、表示装置18の制御部等によって予め決められており、一方、使用者12の操作やプログラムの実行に応じて、ワールド座標系に対してどの位置及び姿勢でロボットの制御点を制御するかは、ロボットを制御する制御部等によって予め決められている。従って使用者12が、ツール(ハンド)の3Dモデル22aと現実のツール22とを表示装置18の画面34上で一致させることにより、位置姿勢取得部20は、以下の手順でロボット14に対する表示装置18の相対位置関係を計測できる。
実施例1では、ロボットの一部について現実の環境又は画像に仮想画像を一致させたが、実施例2では、表示装置18は、ロボット全体の3Dモデルを表示し、使用者は、そのモデルを現実のロボットと一致する(重なる)ように移動させる。この状態で、表示装置18の制御部は、3Dモデルの位置(の原点等)を、現実にロボット14(の原点等)が存在する位置として認識できる。また位置姿勢取得部20は、実施例1と同様の手順で、ワールド座標系84における表示装置18の位置を求めることができる。
実施例1及び2では、一つの位置において、ロボット制御装置10は、ロボット全体又は一部について現実の環境又は画像に仮想画像を一致させたが、複数の位置を用いて誤差を平均化し、精度を上げることができる。具体的な方法としては、座標系をロボットに教示する際に使われる3点教示法(後述)や4点教示法が挙げられる。
12 使用者
14 ロボット
18 表示装置
20 位置姿勢取得部
22、22a、22b ハンド
24 表示制御部
26 操作制御部
28 位置姿勢規定部
30 プログラム生成部
32、36 カメラ
34、38 ディスプレイ
42、52 ワーク
50 メニュー画面
56 ワークモデル
58 箱
60 バー
62 ツール座標系
64 操作ボタン
66、68 直交ジョグ
82 プログラム編集画面
84 ワールド座標系
86 基準座標系
Claims (10)
- コンピュータによって生成された情報を、現実の環境に重ね合わせて表示可能であるか、又は該情報を、該環境を撮像して得た現実画像に重ね合わせて表示可能である表示装置と、
前記環境に含まれるロボットと前記表示装置との相対的な位置及び姿勢を取得する位置姿勢取得部と、
前記ロボット、前記ロボットの可動部、当該可動部で支持される物体及び当該可動部の作業対象物の少なくとも一つの仮想モデルを、前記表示装置に表示させる表示制御部と、
前記表示装置に表示された前記仮想モデルを操作する操作制御部と、
前記操作制御部によって操作された前記仮想モデルの位置及び姿勢の少なくとも一方と、前記位置姿勢取得部が取得した前記相対的な位置及び姿勢とに基づいて、前記ロボットの位置及び姿勢の少なくとも一方を規定する位置姿勢規定部と、
を備えるロボット制御装置。 - 前記表示装置は、前記現実の環境を撮像するカメラと、前記カメラが取得した現実画像をリアルタイムで表示するディスプレイとを有する頭部装着型表示装置又は携帯端末である、請求項1に記載のロボット制御装置。
- 前記表示装置は、透過型ディスプレイを備えた頭部装着型表示装置である、請求項1に記載のロボット制御装置。
- 前記位置姿勢規定部は、前記操作制御部によって操作された前記仮想モデルの位置及び姿勢の少なくとも一方と、前記位置姿勢取得部が取得した前記相対的な位置及び姿勢とに基づいて、前記仮想モデルの位置及び姿勢の少なくとも一方で指定される前記ロボットの位置及び姿勢の少なくとも一方に前記ロボットが実際に到達可能かを判定し、到達可能であれば、前記仮想モデルの位置及び姿勢の少なくとも一方に基づいて前記ロボットの位置及び姿勢の少なくとも一方を規定する、請求項1〜3のいずれか1項に記載のロボット制御装置。
- 前記位置姿勢規定部が規定した前記ロボットの位置及び姿勢の少なくとも一方に基づいて、前記ロボットの動作プログラムを生成するプログラム生成部をさらに有する、請求項1〜4のいずれか1項に記載のロボット制御装置。
- 前記ロボットと前記表示装置の少なくとも一方に、前記相対的な位置及び姿勢を追随して求める追随装置を備えた請求項1〜5のいずれか1項に記載のロボット制御装置。
- コンピュータによって生成された情報を、現実の環境に重ね合わせて表示可能であるか、又は該情報を、該環境を撮像して得た現実画像に重ね合わせて表示可能である表示装置と、
前記現実の環境に含まれるロボット、前記ロボットの可動部、当該可動部で支持される物体及び当該可動部の作業対象物の少なくとも一つの物体の仮想モデルを、前記表示装置に表示させる表示制御部と、
前記表示装置に表示された前記仮想モデルを操作する操作制御部と、
前記現実の環境に含まれる前記物体と前記表示装置に表示された前記仮想モデルとが一致するか、または前記表示装置に表示された前記現実画像に表された前記物体と前記仮想モデルとが一致するときの、前記現実の環境に含まれる前記物体の位置及び姿勢の少なくとも一方、または、前記表示装置に表示された前記仮想モデルの位置及び姿勢の少なくとも一方に基づいて、前記ロボットと前記表示装置との相対的な位置及び姿勢の少なくとも一方を取得する位置姿勢取得部と、
を備えるロボット制御装置。 - 前記位置姿勢取得部は、前記ロボットの制御部により設定された座標系と前記表示装置の制御部により設定された座標系との相対位置関係と、前記現実の環境に含まれる前記物体と前記表示装置に表示された前記仮想モデルとが一致するか、または前記表示装置に表示された前記現実画像に表された前記物体と前記仮想モデルとが一致するときの、前記現実の環境に含まれる前記物体の位置及び姿勢の少なくとも一方、または、前記表示装置に表示された前記仮想モデルの位置及び姿勢の少なくとも一方に基づいて、前記ロボットと前記表示装置の相対的な位置及び姿勢の少なくとも一方を取得する、請求項7に記載のロボット制御装置。
- コンピュータによって生成された情報を、現実の環境に重ね合わせて表示可能であるか、又は該情報を、該環境を撮像して得た現実画像に重ね合わせて表示可能である表示部と、
前記環境に含まれるロボットと前記表示部との相対的な位置及び姿勢を取得する位置姿勢取得部と、
前記ロボット、前記ロボットの可動部、当該可動部で支持される物体及び当該可動部の作業対象物の少なくとも一つの仮想モデルを、前記表示部に表示させる表示制御部と、
前記表示部に表示された前記仮想モデルを操作する操作制御部と、
前記操作制御部によって操作された前記仮想モデルの位置及び姿勢の少なくとも一方と、前記位置姿勢取得部が取得した前記相対的な位置及び姿勢とに基づいて、前記ロボットの位置及び姿勢の少なくとも一方を規定する位置姿勢規定部と、
を備える表示装置。 - コンピュータによって生成された情報を、現実の環境に重ね合わせて表示可能であるか、又は該情報を、該環境を撮像して得た現実画像に重ね合わせて表示可能である表示部と、
前記現実の環境に含まれるロボット、前記ロボットの可動部、当該可動部で支持される物体及び当該可動部の作業対象物の少なくとも一つの物体の仮想モデルを、前記表示部に表示させる表示制御部と、
前記表示部に表示された前記仮想モデルを操作する操作制御部と、
前記現実の環境に含まれる前記物体と前記表示部に表示された前記仮想モデルとが一致するか、または前記表示部に表示された前記現実画像に表された前記物体と前記仮想モデルとが一致するときの、前記現実の環境に含まれる前記物体の位置及び姿勢の少なくとも一方、または、前記表示部に表示された前記仮想モデルの位置及び姿勢の少なくとも一方に基づいて、前記ロボットと前記表示部との相対的な位置及び姿勢の少なくとも一方を取得する位置姿勢取得部と、
を備える表示装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187680A JP6787966B2 (ja) | 2018-10-02 | 2018-10-02 | 拡張現実と複合現実を用いたロボット制御装置及び表示装置 |
CN201910925277.8A CN110977931B (zh) | 2018-10-02 | 2019-09-27 | 使用了增强现实和混合现实的机器人控制装置及显示装置 |
DE102019009313.5A DE102019009313B4 (de) | 2018-10-02 | 2019-09-30 | Robotersteuerung, Verfahren und Computerprogramm unter Verwendung von erweiterter Realität und gemischter Realität |
DE102019006800.9A DE102019006800B4 (de) | 2018-10-02 | 2019-09-30 | Robotersteuerung und Anzeigevorrichtung unter Verwendung von erweiterter Realität und gemischter Realität |
US16/589,186 US11724388B2 (en) | 2018-10-02 | 2019-10-01 | Robot controller and display device using augmented reality and mixed reality |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187680A JP6787966B2 (ja) | 2018-10-02 | 2018-10-02 | 拡張現実と複合現実を用いたロボット制御装置及び表示装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020179992A Division JP7068416B2 (ja) | 2020-10-27 | 2020-10-27 | 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020055075A true JP2020055075A (ja) | 2020-04-09 |
JP6787966B2 JP6787966B2 (ja) | 2020-11-18 |
Family
ID=69781118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018187680A Active JP6787966B2 (ja) | 2018-10-02 | 2018-10-02 | 拡張現実と複合現実を用いたロボット制御装置及び表示装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11724388B2 (ja) |
JP (1) | JP6787966B2 (ja) |
CN (1) | CN110977931B (ja) |
DE (2) | DE102019009313B4 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022092168A1 (ja) * | 2020-11-02 | 2022-05-05 | ファナック株式会社 | ロボット制御装置及びロボットシステム |
JP7364285B1 (ja) | 2022-11-11 | 2023-10-18 | 高丸工業株式会社 | ロボット操作システムの動作方法 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210007774A (ko) * | 2019-07-12 | 2021-01-20 | 엘지전자 주식회사 | 로봇 시뮬레이터의 표시 방법 |
DE112019007337T5 (de) * | 2019-09-06 | 2022-02-24 | Robert Bosch Gmbh | Kalibrierungsverfahren sowie -vorrichtung, 3DUmgebungsmodellierungsverfahren sowie -vorrichtung, Computerspeichermedium und Bedienplattform für Industrieroboter |
JP7409848B2 (ja) * | 2019-12-04 | 2024-01-09 | ファナック株式会社 | 表示装置及び表示プログラム |
EP4072795A4 (en) * | 2019-12-09 | 2024-01-03 | Augmentus Pte. Ltd. | METHOD AND SYSTEM FOR PROGRAMMING A ROBOT |
US12076868B2 (en) * | 2020-04-08 | 2024-09-03 | Robim Technologies Inc. Of Canada | Cloud based computer-implemented visually programming method and system for robotic motions in construction |
DE102020206403A1 (de) | 2020-05-22 | 2021-11-25 | Kuka Deutschland Gmbh | Konfigurieren, Durchführen und/oder Analysieren einer Applikation eines mobilen und/oder kollaborativen Roboters |
CN113760088A (zh) * | 2020-06-04 | 2021-12-07 | 史克威尔·艾尼克斯有限公司 | 增强现实显示装置以及记录介质 |
CN111805540A (zh) * | 2020-08-20 | 2020-10-23 | 北京迁移科技有限公司 | 工件抓取位姿的确定方法、装置、设备及存储介质 |
DE102020006304B3 (de) | 2020-10-14 | 2022-01-13 | Kuka Systems Gmbh | Verfahren zum Einblenden von virtuellen Roboterdatenobjekten und Computerprogrammprodukt |
JP2022088884A (ja) * | 2020-12-03 | 2022-06-15 | セイコーエプソン株式会社 | コンピュータープログラム、及び、ロボットの教示方法 |
CN112917457A (zh) * | 2021-01-27 | 2021-06-08 | 南京航空航天大学 | 一种基于增强现实技术的工业机器人快速精准示教系统及方法 |
CN112936261B (zh) * | 2021-01-27 | 2022-07-08 | 南京航空航天大学 | 一种基于增强现实技术的工业机器人现场仿真系统与方法 |
CN112947238B (zh) * | 2021-03-15 | 2021-11-09 | 哈尔滨工业大学 | 一种基于vr技术的工业机器人实时控制系统 |
JP2022142452A (ja) * | 2021-03-16 | 2022-09-30 | 本田技研工業株式会社 | 制御装置、制御方法、およびプログラム |
US20220309753A1 (en) * | 2021-03-25 | 2022-09-29 | B/E Aerospace, Inc. | Virtual reality to assign operation sequencing on an assembly line |
CN113814970B (zh) * | 2021-08-12 | 2023-05-23 | 杭州迁移科技有限公司 | 工件抓取点优化计算方法、装置、设备及存储介质 |
US20230191605A1 (en) * | 2021-12-17 | 2023-06-22 | Nvidia Corporation | Neural networks to generate robotic task demonstrations |
CN114518731B (zh) * | 2022-01-27 | 2023-03-31 | 哈尔滨工程大学 | 可远程应用的大场景工业现场无标记增强现实辅助制造和运维系统 |
DE102022206854A1 (de) | 2022-07-05 | 2024-01-11 | Robert Bosch Gesellschaft mit beschränkter Haftung | Überwachung einer Maschine mit prädizierter Sicht |
WO2024129802A1 (en) * | 2022-12-13 | 2024-06-20 | Acumino | System for testing and training robot control |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017104944A (ja) * | 2015-12-10 | 2017-06-15 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
US9916506B1 (en) * | 2015-07-25 | 2018-03-13 | X Development Llc | Invisible fiducial markers on a robot to visualize the robot in augmented reality |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10063089C1 (de) | 2000-12-18 | 2002-07-25 | Siemens Ag | Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems |
SE531104C2 (sv) | 2002-12-30 | 2008-12-16 | Abb Research Ltd | Metod och system för programmering av en industrirobot |
JP5246672B2 (ja) | 2011-02-17 | 2013-07-24 | 独立行政法人科学技術振興機構 | ロボットシステム |
JP5742862B2 (ja) | 2013-03-18 | 2015-07-01 | 株式会社安川電機 | ロボット装置及び被加工物の製造方法 |
US9283678B2 (en) | 2014-07-16 | 2016-03-15 | Google Inc. | Virtual safety cages for robotic devices |
US9393699B1 (en) * | 2014-12-05 | 2016-07-19 | Google Inc. | Methods and systems for wireless control of a robotic device |
JP2016107379A (ja) | 2014-12-08 | 2016-06-20 | ファナック株式会社 | 拡張現実対応ディスプレイを備えたロボットシステム |
US9643314B2 (en) | 2015-03-04 | 2017-05-09 | The Johns Hopkins University | Robot control, training and collaboration in an immersive virtual reality environment |
US10076840B2 (en) * | 2015-04-03 | 2018-09-18 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
US9919427B1 (en) * | 2015-07-25 | 2018-03-20 | X Development Llc | Visualizing robot trajectory points in augmented reality |
CN108701429B (zh) * | 2016-03-04 | 2021-12-21 | 柯惠Lp公司 | 训练机器人手术系统的用户的方法、系统、以及存储媒体 |
US10956739B2 (en) * | 2016-06-27 | 2021-03-23 | Autodesk, Inc. | Augmented reality robotic system visualization |
JP2018015857A (ja) * | 2016-07-29 | 2018-02-01 | セイコーエプソン株式会社 | 制御装置、及びロボット |
US10414046B1 (en) * | 2016-11-07 | 2019-09-17 | X Development Llc | Modular robot design |
DE102016224774B3 (de) | 2016-12-13 | 2018-01-25 | Audi Ag | Verfahren zur Programmierung eines Messroboters und Programmiersystem |
JP6889574B2 (ja) * | 2017-03-03 | 2021-06-18 | 株式会社キーエンス | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6369583B2 (ja) | 2017-03-09 | 2018-08-08 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US10684480B2 (en) | 2017-03-16 | 2020-06-16 | Denso Wave Incorporated | Information display system |
US11030808B2 (en) * | 2017-10-20 | 2021-06-08 | Ptc Inc. | Generating time-delayed augmented reality content |
WO2019046559A1 (en) * | 2017-08-30 | 2019-03-07 | Linkedwyz | UTILIZING INCREASED REALITY TO CONTROL INTELLIGENT DEVICES |
EP3676805A4 (en) * | 2017-08-30 | 2021-06-02 | Skill Real Ltd | AUGMENTED REALITY ASSISTED |
JP7066357B2 (ja) * | 2017-08-31 | 2022-05-13 | 川崎重工業株式会社 | ロボットシステム及びその運転方法 |
JP7259284B2 (ja) | 2017-11-28 | 2023-04-18 | 株式会社デンソーウェーブ | 教示装置、教示方法 |
WO2019120481A1 (en) * | 2017-12-19 | 2019-06-27 | Abb Schweiz Ag | System and method for determining a transformation representation |
DE102018109463C5 (de) * | 2018-04-19 | 2023-10-05 | Voraus Robotik Gmbh | Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung |
-
2018
- 2018-10-02 JP JP2018187680A patent/JP6787966B2/ja active Active
-
2019
- 2019-09-27 CN CN201910925277.8A patent/CN110977931B/zh active Active
- 2019-09-30 DE DE102019009313.5A patent/DE102019009313B4/de active Active
- 2019-09-30 DE DE102019006800.9A patent/DE102019006800B4/de active Active
- 2019-10-01 US US16/589,186 patent/US11724388B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9916506B1 (en) * | 2015-07-25 | 2018-03-13 | X Development Llc | Invisible fiducial markers on a robot to visualize the robot in augmented reality |
JP2017104944A (ja) * | 2015-12-10 | 2017-06-15 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022092168A1 (ja) * | 2020-11-02 | 2022-05-05 | ファナック株式会社 | ロボット制御装置及びロボットシステム |
JP7364285B1 (ja) | 2022-11-11 | 2023-10-18 | 高丸工業株式会社 | ロボット操作システムの動作方法 |
JP2024070336A (ja) * | 2022-11-11 | 2024-05-23 | 高丸工業株式会社 | ロボット操作システムの動作方法 |
Also Published As
Publication number | Publication date |
---|---|
DE102019006800B4 (de) | 2022-07-28 |
US11724388B2 (en) | 2023-08-15 |
CN110977931B (zh) | 2023-11-28 |
DE102019009313B4 (de) | 2024-02-15 |
US20200101599A1 (en) | 2020-04-02 |
JP6787966B2 (ja) | 2020-11-18 |
CN110977931A (zh) | 2020-04-10 |
DE102019006800A1 (de) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6787966B2 (ja) | 拡張現実と複合現実を用いたロボット制御装置及び表示装置 | |
CN113056351B (zh) | 外部输入设备、机器人系统、其控制方法及记录介质 | |
CN110394780B (zh) | 机器人的仿真装置 | |
US10384348B2 (en) | Robot apparatus, method for controlling the same, and computer program | |
US9311608B2 (en) | Teaching system and teaching method | |
US9919421B2 (en) | Method and apparatus for robot path teaching | |
EP1537959B1 (en) | A method and a system for programming an industrial robot | |
US20190202058A1 (en) | Method of programming an industrial robot | |
JP4167940B2 (ja) | ロボットシステム | |
US20150273689A1 (en) | Robot control device, robot, robotic system, teaching method, and program | |
US20050251290A1 (en) | Method and a system for programming an industrial robot | |
JP2014512530A (ja) | 座標位置決め装置 | |
JP5108032B2 (ja) | 多関節構造体教示装置 | |
US10690474B2 (en) | Operation method of position measuring device | |
JP6457208B2 (ja) | ロボットへの動作指示システム及び動作指示方法 | |
JP3940998B2 (ja) | ロボット装置 | |
JP7068416B2 (ja) | 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 | |
JP2022163836A (ja) | ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム | |
CN117519469A (zh) | 一种应用于人机交互的空间交互装置及方法 | |
JP2023017440A (ja) | 画像処理装置 | |
CN118525255A (zh) | 通过演示对机器人进行编程的装置和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200323 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200521 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6787966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |