JP2019177477A - 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置 - Google Patents

3次元ロボットワークセルデータの表示システム、表示方法及び表示装置 Download PDF

Info

Publication number
JP2019177477A
JP2019177477A JP2019100448A JP2019100448A JP2019177477A JP 2019177477 A JP2019177477 A JP 2019177477A JP 2019100448 A JP2019100448 A JP 2019100448A JP 2019100448 A JP2019100448 A JP 2019100448A JP 2019177477 A JP2019177477 A JP 2019177477A
Authority
JP
Japan
Prior art keywords
robot
model
display
work cell
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019100448A
Other languages
English (en)
Other versions
JP2019177477A5 (ja
JP6725727B2 (ja
Inventor
エー.エバンズ ジュディ
Judy A Evans
エー.エバンズ ジュディ
ダブリュ.クラウス ケネス
Kenneth W Krause
ダブリュ.クラウス ケネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc America Corp
Original Assignee
Fanuc America Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc America Corp filed Critical Fanuc America Corp
Publication of JP2019177477A publication Critical patent/JP2019177477A/ja
Publication of JP2019177477A5 publication Critical patent/JP2019177477A5/ja
Application granted granted Critical
Publication of JP6725727B2 publication Critical patent/JP6725727B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41885Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31472Graphical display of process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32341Grafcet model, graph based simulation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

【課題】種々の携帯端末に、ロボットのワークセルを表す3次元画像を表示する表示システムを提供する。【解決手段】3次元ロボットワークセルデータの表示システム及び表示方法であって、ロボットワークセルデータを生成し、ディスプレーのウェブブラウザにより標準形式でロボットワークセルデータを受信し、ロボットワークセルデータの3次元レンダリングを表示し、ディスプレーの3次元レンダリングを操作することを特徴とする。【選択図】図2

Description

本発明は、ロボット工学に関し、特に、ロボティクス環境における3次元グラフィックデータの表示システム、表示方法及び表示装置に関する。
現在、3次元のワークセルデータを3次元画像としてレンダリングするためには高性能なパーソナルコンピュータが必要である。さらに、各ディスプレーには、専用のプログラミングコード(例えば、プログラミング言語C)が必要である。従って、特定の装置(例えば、コンピュータ)にワークセルの3次元画像を表示させるためには、その特定の装置は専用のソフトウエアを備えていなければならない。
一般に、ロボットのオペレータは、デュアルチェックセーフティ(DCS:Dual Check Safety)ゾーン及び干渉を視覚化するために専用のコンピュータにアクセスする必要がある。現在のところ、ユーザは、携帯電話、アップル社のiPad(登録商標)、あるいはブラウズ可能な機器等の個人用電子機器上でロボットのワークセルを表す3次元画像を容易に見ることはできない。従って、ロボットのオペレータがワークセルの3次元画像を入手することは容易ではない。
従来技術によれば、プログラマやオペレータは、特定の角度がロボットのツールの角度あるいは3次元空間の他の要素とどのような関係にあるかといった難解な数学的概念を理解する必要もある。オペレータは、物理的な位置を求めるために物理的なマシンを見ることができ、その物理的な位置に従ってポイントをプログラミングすることができる。しかしながら、従来技術ではオペレータが見ることができない、より仮想的な特別な関係が存在する。セーフティウォール、ロボットの作業範囲や、ロボットが特定の動作を行うために作業域と重なる領域等の要素は、3次元モデルなしでは視覚化することは難しい。オペレータは、このような要素を既述するテキストと物理的な世界とを関連付けるために経験を積まなければならない。
従来技術によれば、ロボットをゆっくり動作させるために、ジョグボタンが物理的な世界でどのように位置づけられるかを理解した熟練したオペレータが必要である。一般的に、オペレータは、特定のキーの押下の結果として得られる成果を頭の中で視覚化することが求められる。しかしながら、熟練したオペレータであってもロボット及び周囲の設備にダメージをもたらす好ましくないキーを押下する場合もあり得る。アーク溶接等の特定の用途のために、オペレータは、伝統的に与えられてきた文字情報からは明瞭ではない、リード角や遅れ角等の特有の用語を熟知していなければならない。
従来技術には以下の短所がある。
1.従来のワークセルの2次元表示は未熟であり、3次元ワークセル環境を取り扱おうとするユーザにはよく理解できない。
2.ロボットのオペレータは、ワークセルから遠く離れたコンピュータにアクセスする必要がある。
3.オペレータは、ワークセルの3次元表示にアクセスする携帯機器を有していない(例えば、オペレータは、ロボット用プログラムの視覚表示用の携帯機器(ポイントクラウド)を有していない)。
4.ブラウズ可能な機器用の標準化されたプログラミングコードが存在していない。
以下に述べるように、本発明と調和し、一致する、ロボット環境における3次元グラフィックデータの3次元表示のための表示システム及び表示方法は、従来技術の短所を克服する。
本発明の表示システム及び表示方法は、3次元ワークセルデータを種々の携帯端末に表示する表示手段を提供する。
その結果、3次元ワークセルデータは互換性があってブラウズ可能な携帯機器を有する如何なるユーザにも利用可能となる。従って、ユーザは、ロボットの教示及びメンテナンスの補助として、信頼性がある3次元ディスプレーにアクセスすることができる。
一つの実施例において、3次元ワークセルデータの表示システムは、ワークセルデータの生成手段と、ワークセルデータを標準形式で受信するウェブブラウザを備え、ワークセルデータの3次元レンダリングを表示するディスプレーと、ディスプレー上において3次元レンダリングを操作する操作手段と、を有する。
他の実施例において、3次元ワークセルデータの表示装置は、表示装置を操作するプロセッサと、プロセッサに接続されたディスプレーと、ワークセルデータを標準形式で受信し、ワークセルデータをディスプレーに表示するための表示装置上で動作するウェブブラウザと、を有し、表示装置は、ワークセルデータを3次元レンダリングとして表示するためのクライアントの機能を果たす。
本発明は、3次元ワークセルデータの表示方法も含む。
一つの方法は、a)ワークセルデータを用意するステップと、b)ウェブブラウザを備えたディスプレーを用意するステップと、c)ワークセルデータをディスプレーに送信するステップと、d)ワークセルデータの3次元レンダリングを表示する映像出力をウェブブラウザと共にディスプレーに表示するステップと、e)映像出力を操作するステップと、を有する。
本発明の上述の利点及び他の利点は、添付の図面を考慮すれば、好適な実施態様に関する後述の詳細な発明の記載から、当業者に容易に明らかになるであろう。
本発明の実施例によるワークセルデータの表示システムの概略ブロック図である。 本発明の実施例によるワークセルデータの表示方法の概略フローチャートである。 図1のシステムのディスプレー上の映像出力のスクリーンショットの例である。 図1のシステムのディスプレー上の映像出力のスクリーンショットの例である。 図1のシステムのディスプレー上の映像出力のスクリーンショットの例である。 図1のシステムのディスプレー上の映像出力のスクリーンショットの例である。 図1のシステムのディスプレー上の映像出力のスクリーンショットの例である。
以下に示す詳細な説明及び添付図面は、本発明の種々の実施例について説明し例示する。詳細な説明及び図面は、当業者が本発明を実施可能とするという役割を果たすものであって、本発明の範囲を限定することを意図していない。開示された方法については、示されたステップは本質的に例示的なものであり、それゆえ、各ステップの順序は必須ではないか、または重要ではない。
図1は、本発明の実施例による3次元ロボットワークセルデータを表示するためのシステム10を示す。図示するように、システム10は、ワークセルデータの生成手段12と、ワークセルデータを受信し、ワークセルデータを表現する映像出力を表示するディスプレー14と、映像出力の操作手段16と、を有する。
ワークセルデータの生成手段12は、ロボット制御部12a及びオフラインプログラミングワークステーション12bのうちの少なくとも一方を有するが、このような例には限られない。ワークセルデータの他の発信元を利用することもできるのは言うまでもない。さらに、ワークセルデータをディスプレー14に(例えば、インターネットやネットワーク接続を介して)送信するためにロボット13にウェブサーバ12cが設けられているが、このような例には限られない。ウェブサーバ12cはロボット13から遠く離して設置することもできることは言うまでもない。
ある実施例において、ワークセルデータは、完全3次元データ(例えば、「フル3D」があり、ディスプレー14は、リアルタイムで完全3次元表示が可能である。)である。ワークセルデータは、3次元ロボットモデル、アニメ化された3次元ロボットモデル、仮想セーフティゾーン、ロボット干渉ゾーン、及び映像設定データのうちの少なくとも1つを表示するが、このような例には限られない。他のデータや構造は、マシンモデル、ツーリング(例えば、アーム先端ツーリング)モデル、仮想ウォールモデル、マシンワークスペースモデル、位置シーケンスデータ、スポット溶接ガンモデル、アーク溶接トーチモデル、塗装ガン及びファンスプレーモデル、ワークピース、物理的セーフティフェンス、及び他のマシン等のワークセルデータによって表示することができる。しかしながら、ワークセルデータは、どのような物理的構造または仮想表現も表示することができることは言うまでもない。
システム10は、一般に、ディスプレー14にワークセルデータを送信するための標準的なウェブ技術を備えている。例えば、ワークセルデータは一般にHTML5仕様(例えば、Canvas、WebGL、SVGなど)に従って送信される。従って、ディスプレー14は、専用のローカルプログラミングコードなしで、ワークセルデータを受信し、ワークセルデータの映像表示(例えば映像出力)を行うことができる。ワークセルデータは、例えば、有線イーサネット(登録商標)、無線イーサネット(登録商標)、ブルートゥース(登録商標)プロトコル、セルラーネットワーク、有線シリアル接続等の標準的なウェブ通信技術のいずれを用いてもディスプレー14に送信可能であることは言うまでもない。ワークセルデータの他の送信手段として、米国特許第6,518,980号に記載されたシステム及び方法を用いることができ、参照することにより全体として本願に組み込まれる。
ある実施例においては、ディスプレー14はダイナミックディスプレー(図示せず)を含み、3次元要素の映像出力は、3次元空間で操作可能である。ディスプレー14は、完全にアニメ化されたリンク更新ロボットを含むが、このような例には限定されない。ディスプレー14は、ロボットプログラムパス、ロボットの作業範囲、干渉ゾーン、及びセーフティウォールのうちの少なくとも1つを含む映像出力を提供するが、このような例には限られない。他の映像出力もディスプレー14に表示することができる。
ある実施例においては、ディスプレー14は、ワークセルデータを標準形式で受信するウェブブラウザ18を有する。しかしながら、他の手段(例えば、ソフトウエア、プラットフォーム等)を用いていかなる形式でワークセルデータを受信することもでき、ディスプレー14上にそのデータを表示することもできる。ディスプレー14は、ブラウズ可能な教示用ペンダント型操作表示器、ブラウズ可能な携帯電話、ブラウズ可能な携帯型コンピュータ(例えば、タブレット型またはパーソナルコンピュータ)のうちの1つであってもよいことは言うまでもない。さらに、ワークセルデータへのアクセス及びワークセルデータの表示に如何なる装置も使用可能であることは言うまでもない。ある実施例において、当業者に評価されているように、ディスプレー14は、安全スイッチや、ロボット教示用ペンダント型操作表示器に類似した機器を含むことができる。ある実施例において、ディスプレー14は、参照により全体として本願に組み込まれる米国特許第6,560,513号に記載された教示用ペンダント型表示操作器に類似したコンポーネントを含む。ディスプレー14は、ディスプレー14を動作させることが可能なプロセッサ20、及びディスプレー14の如何なるコンポーネント(例えば、表示画面、ウェブブラウザ18、及び入出力装置)も含むことができるが、このような例には限られない。
ディスプレー14上での映像出力(例えば、3次元レンダリング)の操作手段16は、一般に、ロボットの位置を修正すること、プログラムパスを修正すること、ロボットのプログラムを作成すること、ロボットを調整すること、視点を修正すること、アーク溶接のプログラムを作成すること、スポット溶接のプログラムを作成すること、ピッキング操作のプログラムを作成すること、及びシーリング操作のプログラムを作成すること、のうちの少なくとも1つを目的とする制御装置(例えば、タッチスクリーン、ジョイスティック、マウス、トラックボール、加速度計等)を含む。
図2は、3次元ワークセルデータ(例えば、ワークセルデータの3次元レンダリング)を表示する方法100を示す。ステップ102において、ワークセルデータを用意する。マシン(例えばロボット)のモデル及び関連するコンポーネントは、通信プロトコルを用いてマシンからダウンロードすることができ、マシンはサーバの機能を果たし、携帯機器(例えば、ディスプレー14)はサーバに対してクライアントの機能を果たす。そのような関係の1つの例として、ウェブブラウザ18とウェブサーバとの関係が挙げられる。
ステップ104において、ディスプレー14を用意し、ディスプレー14は、ワークセルデータの発信元とデータ通信を行う。
ステップ106において、ワークセルデータがディスプレー14に送信される。ワークセルデータはHTTP規格を用いて送信されるが、このような例には限られない。HTTPのような一般的、標準的かつ広く普及したプロトコルを利用することで、付加情報を検索するために多くのサーバとの種々の接続が可能となり、これにより一般的な携帯機器(例えばディスプレー14)が種々のマシンと接続可能となることは言うまでもない。HTTPプロトコルは、汎用的な方法(例えば、WebGL)で3次元の概念を包含するように発展しつつあることは言うまでもない。従って、一般的な手段を用いて、標準規格に準拠した如何なるマシンも携帯機器上に表示することができる。
ステップ108において、ディスプレー14は、ウェブブラウザ18を用いてワークセルデータの映像表示(即ち映像出力)を提示する。ディスプレー14は、ユーザが操作手段16を利用すること(例えば動作キーを押下すること)によりマシンの動きを映像によりにプレビューすることを可能とし、ディスプレー14は、機械が実際に動作する前にその動きを映像により表示するが、このような例には限られない。さらに、ディスプレー14に表示された映像出力は、動作を実行する前に、衝突物(例えばセーフティウォール)を示し、物理的なロボットと衝突物との衝突を示すように構成することができるが、このような例には限られない。
ステップ110において、ディスプレー14によって表示された映像出力が操作される。ある実施例において、ユーザは視点を単数として又はグループとして選択することができ、視点はプログラムされたシーケンスに関連付けることができる。ユーザは、3次元空間で視点を動かし、視点を設定することができるが、このような例には限られない。さらに、ユーザは、特定の表示を回転させ、拡大させ、傾け、左右に振ることができるが、このような例には限られない。ユーザは、基本的なソフトウエアを通じて得られる如何なる方法を用いて映像出力を操作することもできることは言うまでもない。
ある実施例において、ロボットのプログラミング方法及び操作方法は、従来の教示装置上でワークセルデータの3次元表示を利用することを含む。従って、オペレータは、3次元表示機能も装備した従来の教示装置から、関連するハードウエアを動作させ、操作する等のロボットのプログラミングに必要な全ての機能を実行することができる。教示装置は、同装置上で3次元データを映像化し、操作している間に、実際のロボットの安全な操作を提供する安全保護装置を含むことができるのは言うまでもない。さらに、典型的には、教示装置は特定のロボットの教示及び操作用の教示用ペンダント型操作表示器とすることができることは言うまでもない。
説明のための例として、図3〜7にシステム10及び操作方法100の実施例を示す。特に、図3は、表示画面115として、コンベヤー環境におけるロボットワークセルの3次元映像出力120を示す。ある実施例において、ユーザは、映像出力を操作するために、映像出力120と対話することができる。さらに、ユーザは、映像出力120により表示された種々のコンポーネントを個別に選択することができる(例えば、フェンス121、ロボット122、ロボット支持具123、負荷平衡グループ124、コンベヤーステーション125(即ち、ビストラック(登録商標)動作範囲)、センサ(カメラ等)及び他のコンベヤー用コンポーネント)が、このような例には限られない。
ある実施例において、図4に示すように、特定の物体がユーザにより選択されると、ポップアップ画面130が現れる。例えば、ユーザがコンベヤーステーションを選択すると、ディスプレー14上のポップアップ画面130として、設定画面を表示することができ、これによりユーザは、選択したコンベヤーステーションに関連する設定値を見て設定することができる。ディスプレー14の映像出力120上に表示された物体の選択(例えばダブルクリック)に如何なる方法も用いることができることは言うまでもない。
ある実施例において、ユーザは、ワークセル環境でコンポーネントの設定のための特定のメニュー項目を選択することができる。従って、メニュー項目が選択されると、図5に示すように、映像出力120は自動的にサイズが変更され、コンポーネントを適切に表示する。
例えば、ユーザが特定のロボットの設定を行っているとき、図6に示すように、ディスプレーは、選択されたロボット122を表示する映像出力120の部分に焦点を合わせるように自動的にズーム及び角度の変更を行うことができる。どのようなズーム及び角度変更技術も利用可能であることは言うまでもない。
他の例として、図7に示すように、ユーザは、特定の設定値を操作し、結果として得られる更新情報を視覚化するために、映像出力120と対話することができる。
本発明のシステム10及び方法100は、携帯機器がワークセルデータの3次元レンダリングを表示し、操作することを可能とすることにより、従来のシステムの短所を回避している。特に、一旦、携帯機器(例えば、ディスプレー14)がフルモデルのワークセル及び関連するコンポーネントを備えていれば、オペレータは直感的な方法でプログラミングデータを映像により操作することができる。例えば、他のコンポーネントに対する3次元空間上に表示された位置に基づいて仮想セーフティウォールを選択することができ、これは従来の数字の羅列から選択するのとは対照的である。オペレータは、名称や値の表ではなく、形や大きさに基づいて、位置の集団を見て選択することもできる。さらに、ユーザは、所望のロボットの位置を指すために、ディスプレー14のタッチスクリーンを用いることもでき、確認後にロボットを選択した位置に導くことができる。
ワークセルデータの3次元レンダリングにおいて特殊プロセスを表示することもできる。例えば、アーク溶接に応用した場合、オペレータは、ディスプレー14を用いて、ワークセルデータの3次元レンダリングを操作し、仮想のトーチの位置を(例えば所望の方向及び角度に)合わせることができる。従って、オペレータにより設定された仮想レンダリングに合わせるように物理的なトーチを制御することができる。他の応用もシステム10及び方法100により表示される3次元映像出力から恩恵を受けることが可能であることは言うまでもない。
上記の記載から、当業者は、本発明の基本的な特徴を容易に確認することができ、その精神と範囲を逸脱することなく、本発明を種々の使用方法及び条件に適合するように様々な変更や修正を行うことができる。
本願は、2010年11月19日に出願された米国仮出願第61/415,594号の優先権の利益を主張するものである。
10 システム
12 生成手段
12a ロボット制御部
12b オフラインプログラミングワークステーション
12c ウェブサーバ
13 ロボット
14 ディスプレー
16 操作手段
18 ウェブブラウザ
20 プロセッサ
115 表示画面
120 映像出力
122 ロボット
123 ロボット支持具
124 負荷平衡グループ
125 コンベヤーステーション
130 ポップアップ画面

Claims (17)

  1. 3次元ロボットワークセルデータを表示するシステムであって、
    ワークセルの物理的構造及び該ワークセルの物理的構造の仮想表現のうちの少なくとも1つを表すロボットワークセルデータであって、3次元ロボットモデル及びワークセルの他の構造のモデルを含むロボットワークセルデータを生成し、前記ロボットワークセルデータを標準形式で通信する手段と、
    前記ロボットワークセルデータを前記の生成手段から前記標準形式で受信するウェブブラウザを備え、前記3次元ロボットモデルのレンダリング及び前記ワークセルの他の構造のモデルのレンダリングを含む前記ロボットワークセルデータの3次元レンダリングを映像出力で表示するディスプレーと、
    前記ディスプレー上で前記映像出力の前記3次元レンダリングを操作する操作手段と、
    を有し、
    前記3次元ロボットモデルの前記レンダリング及び前記ワークセルの他の構造のモデルの前記レンダリングは、それぞれ、前記3次元ロボットモデル及び前記ワークセルの他の構造のモデルに関連する設定値を表示し設定するように、ユーザが前記操作手段を用いて個別に選択可能であり、
    前記ロボットワークセルデータは、アニメ化された3次元ロボットモデル、仮想セーフティゾーン、ロボット干渉ゾーン、及び映像設定データのうちの少なくとも1つを表示し、
    前記ディスプレーは、ロボットプログラムパス、ロボットの作業範囲、干渉ゾーン、及びセーフティウォールのうちの少なくとも1つを含む映像出力を提供し、
    前記ディスプレーに表示された映像出力は、動作を実行する前に、衝突物を示し、物理的なロボットと衝突物との衝突を示すように構成する、
    ことを特徴とする3次元ロボットワークセルデータの表示システム。
  2. 前記ディスプレーは、教示用ペンダント型操作表示器、携帯電話、タブレット型コンピュータ、及び携帯型パーソナルコンピュータのうちのいずれかである、請求項1に記載の3次元ロボットワークセルデータの表示システム。
  3. 前記生成手段は、ロボット、ロボット制御装置、及びオフラインプログラミングワークステーションのうちの少なくとも1つである、請求項1に記載の3次元ロボットワークセルデータの表示システム。
  4. 前記生成手段は、完全3次元データとして前記ロボットワークセルデータを生成し、前記3次元レンダリングは、リアルタイム3次元表示である、請求項1に記載の3次元ロボットワークセルデータの表示システム。
  5. 前記ロボットワークセルデータは、マシンモデル、ロボットアーム先端ツールモデル、仮想ウォールモデル、マシンワークスペースモデル、位置シーケンスデータ、スポット溶接ガンモデル、アーク溶接トーチモデル、塗装ガン及びファンスプレーモデル、シーリングガンモデル、ワークピース及び物理的セーフティフェンスのうちの少なくとも1つを表す、請求項1に記載の3次元ロボットワークセルデータの表示システム。
  6. 3次元ロボットワークセルデータを表示する装置であって、
    前記装置を動作させるプロセッサと、
    前記プロセッサに接続されたディスプレーと、
    前記装置において3次元ロボットモデル及びワークセルの他の構造のモデルを含むロボットワークセルデータを標準形式で受信し、前記3次元ロボットモデルのレンダリング及び前記ワークセルの他の構造のモデルのレンダリングを含む前記ロボットワークセルデータの3次元レンダリングを映像出力で前記ディスプレー上に表示する手段と、を有し、
    前記装置は、前記ロボットワークセルデータを、ワークセルの物理的構造及び該ワークセルの物理的構造の仮想表現のうちの少なくとも1つを表す前記3次元レンダリングとして表示するクライアントの機能を果たし、
    前記3次元ロボットモデルの前記レンダリング及び前記ワークセルの他の構造のモデルの前記レンダリングは、それぞれ、前記3次元ロボットモデル及び前記ワークセルの他の構造のモデルに関連する設定値を表示し設定するように、ユーザが前記プロセッサを用いて個別に選択可能であり、
    前記ロボットワークセルデータは、アニメ化された3次元ロボットモデル、仮想セーフティゾーン、ロボット干渉ゾーン、及び映像設定データのうちの少なくとも1つを表示し、
    前記ディスプレーは、ロボットプログラムパス、ロボットの作業範囲、干渉ゾーン、及びセーフティウォールのうちの少なくとも1つを含む映像出力を提供し、
    前記ディスプレーに表示された映像出力は、動作を実行する前に、衝突物を示し、物理的なロボットと衝突物との衝突を示すように構成する、
    ことを特徴とする3次元ロボットワークセルデータの表示装置。
  7. 前記ディスプレーは、教示用ペンダント型操作表示器、携帯電話、タブレット型コンピュータ、及び携帯型パーソナルコンピュータのうちのいずれかである、請求項6に記載の3次元ロボットワークセルデータの表示装置。
  8. 前記ロボットワークセルデータの生成手段を含み、前記生成手段は、ロボット、ロボット制御装置、及びオフラインプログラミングワークステーションのうちの少なくとも1つである、請求項6に記載の3次元ロボットワークセルデータの表示装置。
  9. 前記生成手段は、完全3次元データとして前記ロボットワークセルデータを生成し、前記3次元レンダリングは、リアルタイム3次元表示である、請求項8に記載の3次元ロボットワークセルデータの表示装置。
  10. 前記ロボットワークセルデータは、マシンモデル、ロボットアーム先端ツールモデル、仮想ウォールモデル、マシンワークスペースモデル、位置シーケンスデータ、スポット溶接ガンモデル、アーク溶接トーチモデル、塗装ガン及びファンスプレーモデル、シーリングガンモデル、ワークピース及び物理的セーフティフェンスのうちの少なくとも1つを表す、請求項6に記載の3次元ロボットワークセルデータの表示装置。
  11. 3次元ロボットワークセルデータを表示する方法であって、
    3次元ロボットモデル及びワークセルの他の構造のモデルを含むロボットワークセルデータを用意するステップと、
    ウェブブラウザを備えたディスプレーを用意するステップと、
    前記ロボットワークセルデータを前記ディスプレーに送信するステップと、
    前記ディスプレーのウェブブラウザと共に、前記3次元ロボットモデルのレンダリング及び前記ワークセルの他の構造のモデルのレンダリングを含む3次元レンダリングを映像出力で表示し、前記映像出力は、前記ロボットワークセルデータの前記3次元レンダリングをワークセルの物理的構造及び該ワークセルの物理的構造の仮想表現のうちの少なくとも1つとして表すステップと、
    前記映像出力を操作するステップと、
    を含み、
    前記3次元ロボットモデルの前記レンダリング及び前記ワークセルの他の構造のモデルの前記レンダリングは、それぞれ、前記3次元ロボットモデル及び前記ワークセルの他の構造のモデルに関連する設定値を表示し設定するように、ユーザが操作手段を用いて個別に選択可能であり、
    前記ロボットワークセルデータは、アニメ化された3次元ロボットモデル、仮想セーフティゾーン、ロボット干渉ゾーン、及び映像設定データのうちの少なくとも1つを表示し、
    前記ディスプレーは、ロボットプログラムパス、ロボットの作業範囲、干渉ゾーン、及びセーフティウォールのうちの少なくとも1つを含む映像出力を提供し、
    前記ディスプレーに表示された映像出力は、動作を実行する前に、衝突物を示し、物理的なロボットと衝突物との衝突を示すように構成する、
    ことを特徴とする3次元ロボットワークセルデータの表示方法。
  12. 前記ロボットワークセルデータをHTML5仕様にしたがって提供する、請求項11に記載の3次元ロボットワークセルデータの表示方法。
  13. 前記ロボットワークセルデータを前記ディスプレーに送信するステップは、有線イーサネット(登録商標)、無線イーサネット(登録商標)、ブルートゥース(登録商標)プロトコル、セルラーネットワーク、及び有線シリアル接続のうちの少なくとも1つを用いるステップを含む、請求項11に記載の3次元ロボットワークセルデータの表示方法。
  14. 前記ディスプレーとして、教示用ペンダント型操作表示器、携帯電話、タブレット型コンピュータ、及び携帯型パーソナルコンピュータのうちのいずれかを用意するステップを含む、請求項11に記載の3次元ロボットワークセルデータの表示方法。
  15. ロボット、ロボット制御装置、及びオフラインプログラミングワークステーションのうちの少なくとも1つから前記ロボットワークセルデータを提供するステップを含む、請求項11に記載の3次元ロボットワークセルデータの表示方法。
  16. 完全3次元データとして前記ロボットワークセルデータを用意するステップを含み、前記3次元レンダリングは、リアルタイム3次元表示である、請求項11に記載の3次元ロボットワークセルデータの表示方法。
  17. 前記ロボットワークセルデータは、マシンモデル、ロボットアーム先端ツールモデル、仮想ウォールモデル、マシンワークスペースモデル、位置シーケンスデータ、スポット溶接ガンモデル、アーク溶接トーチモデル、塗装ガン及びファンスプレーモデル、シーリングガンモデル、ワークピース及び物理的セーフティフェンスのうちの少なくとも1つを表す、請求項11に記載の3次元ロボットワークセルデータの表示方法。
JP2019100448A 2010-11-19 2019-05-29 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置 Active JP6725727B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US41559410P 2010-11-19 2010-11-19
US61/415,594 2010-11-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017129412A Division JP2017164902A (ja) 2010-11-19 2017-06-30 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置

Publications (3)

Publication Number Publication Date
JP2019177477A true JP2019177477A (ja) 2019-10-17
JP2019177477A5 JP2019177477A5 (ja) 2019-11-28
JP6725727B2 JP6725727B2 (ja) 2020-07-22

Family

ID=46021542

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2011243595A Pending JP2012111029A (ja) 2010-11-19 2011-11-07 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置
JP2017129412A Withdrawn JP2017164902A (ja) 2010-11-19 2017-06-30 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置
JP2019100448A Active JP6725727B2 (ja) 2010-11-19 2019-05-29 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2011243595A Pending JP2012111029A (ja) 2010-11-19 2011-11-07 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置
JP2017129412A Withdrawn JP2017164902A (ja) 2010-11-19 2017-06-30 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置

Country Status (4)

Country Link
US (1) US10475240B2 (ja)
JP (3) JP2012111029A (ja)
CN (2) CN108389265A (ja)
DE (1) DE102011117476B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117868A1 (ja) 2019-12-13 2021-06-17 川崎重工業株式会社 ロボットシステム及びワークの3次元モデルの形成方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5582422B2 (ja) * 2012-03-16 2014-09-03 株式会社安川電機 ロボットシステム
CN104240580A (zh) * 2013-12-18 2014-12-24 南京旭上数控技术有限公司 一种工业机器人教学装置
WO2015125991A1 (ko) * 2014-02-24 2015-08-27 주식회사 호원 하이브리드 용접기
US9701018B2 (en) * 2014-04-01 2017-07-11 Bot & Dolly, Llc Software interface for authoring robotic manufacturing process
US10635082B2 (en) * 2014-12-26 2020-04-28 Kawasaki Jukogyo Kabushiki Kaisha Robot motion program generating method and robot motion program generating apparatus
WO2017091128A1 (en) * 2015-11-23 2017-06-01 Flexlink Ab Palletizing robot
CN105945942A (zh) * 2016-04-05 2016-09-21 广东工业大学 一种机器人离线编程系统及方法
CN106096016A (zh) * 2016-06-24 2016-11-09 北京建筑大学 一种基于网络的三维点云可视化方法以及装置
CN106997202A (zh) * 2017-03-24 2017-08-01 上海思岚科技有限公司 通过移动应用程序设置虚拟墙的实现方法
AT16425U1 (de) * 2017-12-14 2019-08-15 Wittmann Kunststoffgeraete Verfahren zur Validierung von programmierten Ablaufsequenzen oder
WO2020006071A1 (en) * 2018-06-26 2020-01-02 Teradyne, Inc. System and method for robotic bin picking
DE112019003204T5 (de) 2018-06-26 2021-03-11 Fanuc America Corporation Visualisierung und modifizierung von arbeitsrandbereichen unter verwendung von erweiterter realität
US11135720B2 (en) * 2018-10-23 2021-10-05 Siemens Industry Software Ltd. Method and system for programming a cobot for a plurality of industrial cells
CN112166389A (zh) 2018-10-31 2021-01-01 东芝三菱电机产业系统株式会社 混合渲染hmi终端装置
DE202019003026U1 (de) * 2019-07-19 2019-08-12 lndustrie-Partner GmbH Radebeul-Coswig Roboterzelle zum Einsatz an Werkzeugmaschinen und/oder Montageautomaten
CN114787838A (zh) 2019-11-12 2022-07-22 光明机器公司 软件定义的制造/组装系统
DE102020102916A1 (de) * 2020-02-05 2021-08-05 Carl Cloos Schweißtechnik Gesellschaft mit beschränkter Haftung Verfahren zur Sicherheitssteuerung einer, an einem mehrachsigen Manipulator angeordneten Strahlquelle sowie zugeordnete Vorrichtung
US11619597B2 (en) 2020-05-27 2023-04-04 Illinois Tool Works Inc. Dual robot control systems for non-destructive evaluation
US11684549B2 (en) 2020-08-28 2023-06-27 Omnicell, Inc. Cabinet with integrated pick-and-place mechanism
KR102346900B1 (ko) 2021-08-05 2022-01-04 주식회사 애자일소다 픽 앤 플레이스 시스템을 위한 심층 강화학습 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
JPH10315171A (ja) * 1997-05-12 1998-12-02 Kawasaki Heavy Ind Ltd ロボット情報処理装置
JP2000132214A (ja) * 1998-10-27 2000-05-12 Mitsubishi Electric Corp 加工機遠隔監視装置
JP2003323636A (ja) * 2002-04-30 2003-11-14 Canon Inc 三次元モデル供給装置およびその方法、画像合成装置およびその方法、ユーザーインターフェース装置
JP2004362408A (ja) * 2003-06-06 2004-12-24 Canon Inc 3次元データ表示操作装置
JP2005084753A (ja) * 2003-09-04 2005-03-31 Nihon Enterprise Co Ltd 車両の新規な店頭販売システム機構
JP2008254074A (ja) * 2007-03-30 2008-10-23 Sega Corp ロボットのモーション編集装置及びそのプログラム
JP2010094777A (ja) * 2008-10-16 2010-04-30 Fuji Electric Systems Co Ltd 遠隔操作支援装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2745881B2 (ja) 1991-08-07 1998-04-28 三菱電機株式会社 数値制御装置およびcad/cam装置
EP0852346B1 (en) * 1995-09-19 2002-01-16 Kabushiki Kaisha Yaskawa Denki Robot language processor
JP3675004B2 (ja) * 1995-10-04 2005-07-27 株式会社安川電機 ロボットの制御装置
US6944584B1 (en) 1999-04-16 2005-09-13 Brooks Automation, Inc. System and method for control and simulation
US6560513B2 (en) * 1999-11-19 2003-05-06 Fanuc Robotics North America Robotic system with teach pendant
US6518980B1 (en) 1999-11-19 2003-02-11 Fanuc Robotics North America, Inc. Method and system for allowing a programmable controller to communicate with a remote computer
JP2002180665A (ja) 2000-09-28 2002-06-26 Tokyu Home Corp 住宅工事の工程管理システム
JP3673725B2 (ja) 2001-04-05 2005-07-20 ファナック株式会社 ロボット用情報処理システム
JP2003053688A (ja) 2001-05-15 2003-02-26 Fanuc Robotics North America Inc 教示ペンダントを有するロボット・システム
SE0301910L (sv) 2003-06-26 2004-12-27 Abb Ab Datorstyrd arbetsplats med robotar
US20050285854A1 (en) 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
JP4137862B2 (ja) * 2004-10-05 2008-08-20 ファナック株式会社 計測装置及びロボット制御装置
DE102005061211B4 (de) 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
US7777761B2 (en) 2005-02-11 2010-08-17 Deltasphere, Inc. Method and apparatus for specifying and displaying measurements within a 3D rangefinder data set
WO2006093652A2 (en) 2005-02-25 2006-09-08 Abb Research Ltd. Method of and apparatus for automated path learning
JP2006350602A (ja) * 2005-06-15 2006-12-28 Yushin Precision Equipment Co Ltd 操作端末装置
US20070167702A1 (en) 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
CN101041236A (zh) * 2006-03-22 2007-09-26 中国科学院自动化研究所 任意多面体的无传感器定位方法
US11072034B2 (en) * 2006-12-20 2021-07-27 Lincoln Global, Inc. System and method of exporting or using welding sequencer data for external systems
US9008836B2 (en) 2007-01-09 2015-04-14 Abb Inc. Method and system for robotic assembly parameter optimization
ATE452005T1 (de) 2008-02-13 2010-01-15 Abb As System und verfahren zur visualisierung von verfahrensfehlern
US8559699B2 (en) 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
US9643316B2 (en) * 2009-10-27 2017-05-09 Battelle Memorial Institute Semi-autonomous multi-use robot system and method of operation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
JPH10315171A (ja) * 1997-05-12 1998-12-02 Kawasaki Heavy Ind Ltd ロボット情報処理装置
JP2000132214A (ja) * 1998-10-27 2000-05-12 Mitsubishi Electric Corp 加工機遠隔監視装置
JP2003323636A (ja) * 2002-04-30 2003-11-14 Canon Inc 三次元モデル供給装置およびその方法、画像合成装置およびその方法、ユーザーインターフェース装置
JP2004362408A (ja) * 2003-06-06 2004-12-24 Canon Inc 3次元データ表示操作装置
JP2005084753A (ja) * 2003-09-04 2005-03-31 Nihon Enterprise Co Ltd 車両の新規な店頭販売システム機構
JP2008254074A (ja) * 2007-03-30 2008-10-23 Sega Corp ロボットのモーション編集装置及びそのプログラム
JP2010094777A (ja) * 2008-10-16 2010-04-30 Fuji Electric Systems Co Ltd 遠隔操作支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021117868A1 (ja) 2019-12-13 2021-06-17 川崎重工業株式会社 ロボットシステム及びワークの3次元モデルの形成方法

Also Published As

Publication number Publication date
DE102011117476A1 (de) 2012-05-24
CN102622777A (zh) 2012-08-01
DE102011117476B4 (de) 2022-02-10
US20120127165A1 (en) 2012-05-24
CN108389265A (zh) 2018-08-10
JP6725727B2 (ja) 2020-07-22
JP2017164902A (ja) 2017-09-21
JP2012111029A (ja) 2012-06-14
US10475240B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
JP6725727B2 (ja) 3次元ロボットワークセルデータの表示システム、表示方法及び表示装置
Ostanin et al. Interactive robot programing using mixed reality
JP6343353B2 (ja) ロボットの動作プログラム生成方法及びロボットの動作プログラム生成装置
US9415509B2 (en) Robot teach device with 3-D display
US20190389066A1 (en) Visualization and modification of operational bounding zones using augmented reality
CN105382836A (zh) 示教系统、机器人系统以及示教方法
JP6683671B2 (ja) ジョグ座標系を設定するロボットの制御装置
JP2012111029A5 (ja)
JP2019188530A (ja) ロボットのシミュレーション装置
US7403835B2 (en) Device and method for programming an industrial robot
US20170197308A1 (en) Teaching data generating device and teaching data-generating method for work robot
KR101876845B1 (ko) 로봇 제어 장치
Andersson et al. AR-enhanced human-robot-interaction-methodologies, algorithms, tools
JP2015174184A (ja) 制御装置
JP2009166172A (ja) ロボットのシミュレーション方法及びロボットのシミュレーション装置
CN114683288A (zh) 机器人展示和控制方法、装置及电子设备
CN116569545A (zh) 远程协助的方法和设备
Sharma et al. Intuitive Virtual Reality Human-Robot Interface with Volumetric Tele-presence, Visual Haptics and Audio
WO2023153469A1 (ja) 多関節ロボットのパスを生成する装置、多関節ロボットのパスを生成する方法および多関節ロボットのパスを生成するプログラム
TW202332556A (zh) 機器人示教系統
JP2023062781A (ja) ロボットデータ処理サーバ及び補正プログラム算出方法
CN107329494A (zh) 一种远程计算机摄像头监测系统及控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200625

R150 Certificate of patent or registration of utility model

Ref document number: 6725727

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250