JP2017100204A - ロボット操作システム - Google Patents
ロボット操作システム Download PDFInfo
- Publication number
- JP2017100204A JP2017100204A JP2015233295A JP2015233295A JP2017100204A JP 2017100204 A JP2017100204 A JP 2017100204A JP 2015233295 A JP2015233295 A JP 2015233295A JP 2015233295 A JP2015233295 A JP 2015233295A JP 2017100204 A JP2017100204 A JP 2017100204A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- user
- line image
- generation unit
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 abstract description 30
- 238000003384 imaging method Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
この場合、ロボットの情報をユーザに提示するための手法としては、例えば特許文献1のようにロボットの表面に表示器を設けて情報表示をすることが考えられる。
本発明は上記事情に鑑みてなされたものであり、その目的は、ロボットの動作状態を確実にユーザに提示することができるロボット操作システムを提供することにある。
また、ロボットと重ならない状態、あるいは、ロボットに重なる部分が少ない状態で表示されることから、ロボットに対する視認性が低下することも防止できる。換言すると、ユーザは、線画像が表示されていてもロボットの動作を視認でき、安全性を高めることができる。
図1に示すように、本実施形態のロボット操作システム1は、複数台のロボット2が設けられており、各ロボット2が協調して作業を行う協調システムを構成している。このロボット操作システム1に対して、ユーザは、ペンダント3によって各ロボット2をそれぞれ手動操作することができる。そして、ユーザは、各ロボット2を手動操作する場合には、装着型表示器に相当するメガネ型表示器4を装着して作業を行う。
線画像生成部61は、詳細は後述するが、位置情報取得部43によって取得されたユーザの位置、および、視野情報取得部44によって取得されたユーザの視野に基づいて、作業対象として設定されたロボット2の姿勢に応じた画像であって、当該ロボット2を囲う線で構成された仮想的な線画像を生成する。
ここで、ユーザの視野に線画像を重ねて表示する際に懸念される事項についてまず検討してみる。
本実施形態では、図1に示したように操作可能なロボット2が複数台設けられている状況において、いずれのロボット2が動作するのかを作業者に直感的に分かり易く提示することを想定している。その場合、余り多くの情報を提示すると、どのロボット2が動作するのかが反って分かりづらくなってしまうおそれがある。そのため、どのロボット2が動作するのかは、比較的シンプルに提示することが望ましい。
この場合、線画像生成部61は、図4(a)に示すように、図3に示した線画像VL1の外縁を結んだ態様の線画像VL2を生成することもできる。このような態様の線画像VL2によれば、ロボット2に重なる状態をほぼ無くすことができ、視認性が低下するおそれをさらに低減することができると考えられる。
ところで、安全コントローラ6、上記したように、ロボット2の動作状態とコントローラ5の制御状態とを把握することができる。そのため、ユーザによってロボット2が操作された際、ロボット2の動作に応じて、つまりは、ユーザによって操作されたロボット2の姿勢の変化に追従させて、線画像を再生成してもよい。これは、ロボット2の姿勢が変化した際、最初に表示されていた線画像が残っていると、その線画像に重なってロボット2の視認性が低下する可能性があるためである。
このように、ロボット操作システム1では、メガネ型表示器4に線画像を表示することにより、作業対象となるロボット2と、そのロボット2の動作状態とを、ユーザに提示している。
ロボット操作システム1は、ユーザの位置を特定可能な位置情報を取得する位置情報取得部43と、ユーザの視野を特定可能な視野情報を取得する視野情報取得部44と、ユーザが作業対象として設定したロボット2を特定する特定部62(31)と、ユーザの位置および視野に基づいて、ロボット2を囲う線分で構成された仮想的な画像であって当該ロボット2の動作状態を識別可能に示す線画像を生成する線画像生成部61と、生成された線画像をユーザの視野に重ねて表示するメガネ型表示器4(装着型表示器)と、を備える。
また、作業対象に設定されたロボット2を確実に提示できることから、ユーザの意図とは異なるロボットが動作することを防止でき、安全性を高めることができる。
このとき、線画像生成部61は、線画像を、ロボット2の動作状態に応じて生成する。例えば、ロボット2のモータがONになっている場合には、アームが動く可能性がある。そのため、動く可能性のあるアームを識別可能にすることで、ユーザはどのアームが動く可能性があるのかを把握でき、危険の予測および回避に役立てることができる。
位置情報取得部43として、例えば工場内に設置されている監視カメラ等を用いてもよい。また、位置情報取得部43は、必ずしもメガネ型表示器4に設けられていなくてもよく、例えばペンダント3に設けてもよい。また、ロボット2側に人を検知するレーザセンサや人感センサ等を設けておき、それらのセンサの検出結果に基づいて位置を特定する構成としたり、センサの検出結果と撮像部42で撮像した画像とに基づいて位置を特定する構成としたり、撮像部42によって撮像された画像に基づいてロボット2に対する相対的な位置を特定する構成としたりしてもよい。
実施形態では安全コントローラ6側に線画像生成部61を設けたが、上記したように線画像を生成する処理はレンダリング処理に比べれば負荷が小さいため、ペンダント3やメガネ型表示器4側で線画像を生成する構成としてもよい。
Claims (6)
- 複数台のロボットが設けられている協調システムにおいて前記ロボットを操作するためのロボット操作システムであって、
前記ロボットを操作するユーザの位置を特定可能な位置情報を取得する位置情報取得部と、
ユーザの視野を特定可能な視野情報を取得する視野情報取得部と、
複数台の前記ロボットのうちユーザが作業対象として設定したロボットを特定する特定部と、
前記位置情報により特定されるユーザの位置および前記視野情報により特定されるユーザの視野に基づいて、ユーザが作業対象として設定したロボットを囲う線分で構成された仮想的な画像であって当該ロボットの動作状態を示す仮想的な線画像を生成する線画像生成部と、
を生成する線画像生成部と、
ユーザが装着し、前記線画像生成部で生成された前記線画像をユーザの視野に重ねて表示する装着型表示器と、
を備えることを特徴とするロボット操作システム。 - 前記線画像生成部は、前記線画像を、異なる色、異なる線種、異なる表示態様とすることにより、ユーザが作業対象として設定したロボットの動作状態を識別可能に生成することを特徴とする請求項1記載のロボット操作システム。
- 前記線画像生成部は、前記線画像を、ユーザが作業対象として設定したロボットの可動部ごとに区分けし、識別可能に生成することを特徴とする請求項1または2記載のロボット操作システム。
- 前記線画像生成部は、前記線画像を、ユーザによって操作されたユーザが作業対象として設定したロボットの姿勢の変化に追従させて再生成することを特徴とする請求項1から3のいずれか一項記載のロボット操作システム。
- 前記線画像生成部は、前記線画像を、ユーザの操作によってロボットの姿勢がユーザに接近する方向へ変化する場合とユーザから離間する方向へ変化する場合とで識別可能に生成することを特徴とする請求項1から4のいずれか一項記載のロボット操作システム。
- 前記線画像生成部は、前記線画像を、前記協調システムを構成する全てのロボットに対して生成するとともに、ユーザが作業対象として設定したロボットと作業対象として設定されていない他のロボットとを識別可能に生成することを特徴とする請求項1から5のいずれか一項記載のロボット操作システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015233295A JP6657858B2 (ja) | 2015-11-30 | 2015-11-30 | ロボット操作システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015233295A JP6657858B2 (ja) | 2015-11-30 | 2015-11-30 | ロボット操作システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017100204A true JP2017100204A (ja) | 2017-06-08 |
JP6657858B2 JP6657858B2 (ja) | 2020-03-04 |
Family
ID=59016224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015233295A Active JP6657858B2 (ja) | 2015-11-30 | 2015-11-30 | ロボット操作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6657858B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019106862A1 (ja) | 2017-11-28 | 2019-06-06 | シュナイダーエレクトリックホールディングス株式会社 | 操作案内システム |
JP2019188530A (ja) * | 2018-04-25 | 2019-10-31 | ファナック株式会社 | ロボットのシミュレーション装置 |
JP2020011357A (ja) * | 2018-07-20 | 2020-01-23 | セイコーエプソン株式会社 | 制御装置、ヘッドマウントディスプレイおよびロボットシステム |
JP2020069628A (ja) * | 2018-11-02 | 2020-05-07 | ファナック株式会社 | ロボットのアラーム通知システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004243516A (ja) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 |
JP2011125975A (ja) * | 2009-12-18 | 2011-06-30 | Denso Wave Inc | ロボットの干渉回避装置 |
WO2011080882A1 (ja) * | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | 動作空間提示装置、動作空間提示方法およびプログラム |
WO2011089885A1 (ja) * | 2010-01-25 | 2011-07-28 | パナソニック株式会社 | 危険提示装置、危険提示システム、危険提示方法およびプログラム |
JP2012171024A (ja) * | 2011-02-17 | 2012-09-10 | Japan Science & Technology Agency | ロボットシステム |
JP2012218120A (ja) * | 2011-04-12 | 2012-11-12 | Seiko Epson Corp | マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法 |
-
2015
- 2015-11-30 JP JP2015233295A patent/JP6657858B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004243516A (ja) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 |
JP2011125975A (ja) * | 2009-12-18 | 2011-06-30 | Denso Wave Inc | ロボットの干渉回避装置 |
WO2011080882A1 (ja) * | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | 動作空間提示装置、動作空間提示方法およびプログラム |
WO2011089885A1 (ja) * | 2010-01-25 | 2011-07-28 | パナソニック株式会社 | 危険提示装置、危険提示システム、危険提示方法およびプログラム |
JP2012171024A (ja) * | 2011-02-17 | 2012-09-10 | Japan Science & Technology Agency | ロボットシステム |
JP2012218120A (ja) * | 2011-04-12 | 2012-11-12 | Seiko Epson Corp | マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019106862A1 (ja) | 2017-11-28 | 2019-06-06 | シュナイダーエレクトリックホールディングス株式会社 | 操作案内システム |
US11475606B2 (en) | 2017-11-28 | 2022-10-18 | Schneider Electric Japan Holdings Ltd. | Operation guiding system for operation of a movable device |
JP2019188530A (ja) * | 2018-04-25 | 2019-10-31 | ファナック株式会社 | ロボットのシミュレーション装置 |
US11220002B2 (en) | 2018-04-25 | 2022-01-11 | Fanuc Corporation | Robot simulation device |
JP2020011357A (ja) * | 2018-07-20 | 2020-01-23 | セイコーエプソン株式会社 | 制御装置、ヘッドマウントディスプレイおよびロボットシステム |
JP7167518B2 (ja) | 2018-07-20 | 2022-11-09 | セイコーエプソン株式会社 | 制御装置、ヘッドマウントディスプレイおよびロボットシステム |
JP2020069628A (ja) * | 2018-11-02 | 2020-05-07 | ファナック株式会社 | ロボットのアラーム通知システム |
US11491655B2 (en) | 2018-11-02 | 2022-11-08 | Fanuc Corporation | Alarm notification system for robot |
Also Published As
Publication number | Publication date |
---|---|
JP6657858B2 (ja) | 2020-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6645142B2 (ja) | ロボット安全システム | |
CN105666505B (zh) | 具备扩展现实对应显示器的机器人系统 | |
JP5704833B2 (ja) | 操作入力装置およびマニピュレータシステム | |
US20210170603A1 (en) | Method for using a multi-link actuated mechanism, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display apparatus | |
US10474411B2 (en) | System and method for alerting VR headset user to real-world objects | |
JP7003633B2 (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
JP6582921B2 (ja) | ロボットモニタシステム | |
JP6657858B2 (ja) | ロボット操作システム | |
KR20150101612A (ko) | 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법 | |
EP3163407B1 (en) | Method and apparatus for alerting to head mounted display user | |
JP6589604B2 (ja) | ティーチング結果表示システム | |
US20170315367A1 (en) | Head-mounted display device and video display system | |
JP2008532149A (ja) | Arオブジェクトとの光学的な重なり合いを判定する方法および装置 | |
US20190019308A1 (en) | Image display device | |
JP2020137000A (ja) | 映像記録装置およびヘッドマウントディスプレイ | |
JP7517803B2 (ja) | ロボット教示システム、画像生成方法、及びプログラム | |
JP2017102242A (ja) | 情報表示システム | |
WO2020130006A1 (ja) | 情報投影システム、制御装置、及び情報投影方法 | |
JP6874448B2 (ja) | 情報表示システム | |
JP6631203B2 (ja) | バーチャルフェンス表示システム | |
JP2022122936A (ja) | 情報表示システム | |
US11131855B2 (en) | Display system and method for controlling display system | |
JP6965981B2 (ja) | ロボット用の表示システム | |
KR20190091870A (ko) | 모션센서와 vr을 활용한 로봇 제어 시스템 | |
JP2017094450A (ja) | ロボット安全システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6657858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |