JP2020075354A - 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体 - Google Patents

外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2020075354A
JP2020075354A JP2019196804A JP2019196804A JP2020075354A JP 2020075354 A JP2020075354 A JP 2020075354A JP 2019196804 A JP2019196804 A JP 2019196804A JP 2019196804 A JP2019196804 A JP 2019196804A JP 2020075354 A JP2020075354 A JP 2020075354A
Authority
JP
Japan
Prior art keywords
robot
external input
input device
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019196804A
Other languages
English (en)
Other versions
JP2020075354A5 (ja
JP7490349B2 (ja
Inventor
三村 敏彦
Toshihiko Mimura
敏彦 三村
泰明 徳永
Yasuaki Tokunaga
泰明 徳永
鈴木 秀明
Hideaki Suzuki
秀明 鈴木
一樹 大竹
Kazuki Otake
一樹 大竹
慶 渡辺
Kei Watanabe
慶 渡辺
新吾 天野
Shingo Amano
新吾 天野
小久保 智
Satoshi Kokubo
智 小久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2020075354A publication Critical patent/JP2020075354A/ja
Publication of JP2020075354A5 publication Critical patent/JP2020075354A5/ja
Priority to JP2024079304A priority Critical patent/JP2024105552A/ja
Application granted granted Critical
Publication of JP7490349B2 publication Critical patent/JP7490349B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/425Teaching successive positions by numerical control, i.e. commands being entered to control the positioning servo of the tool head or end effector
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3296Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • G06F3/04855Interaction with scrollbars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36168Touchscreen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 本発明は、撮像装置とロボット装置とを映し出す表示部が設けられた1つの外部入力装置により操作を行う際、ユーザーフレンドリーなUIを有する外部入力装置を提供することを目的とする。【解決手段】 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、外部入力装置は、表示領域と、ロボット装置を操作するロボット装置操作部と、撮像装置を操作する撮像操作部と、撮像装置が撮影している画像を表示する画像表示部と、を有し、表示領域に、ロボット装置操作部と、撮像操作部と、画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置を採用した。【選択図】 図6

Description

本発明は、撮像装置を備えたロボットシステムに関するものである。
近年、撮像装置を用いてロボット装置を監視するロボットシステムが注目されている。
例えば特許文献1は、撮像装置としてパンチルト機能を有しており、撮像装置が撮像する範囲を幅広くしている。これにより必要に応じて、撮像装置の首振り機能やズーム機能を駆使し、様々な方向からロボット装置を映し出し、ロボット装置の様々なシーンを監視することに用いることができる。
そして、特許文献2に記載のロボットシステムでは、ロボットハンド等に搭載された撮像装置からの画像を教示用タブレット等の外部入力装置に映しだす。そして、ロボットハンドにおける視点からの画像を見ながら、ロボットハンドを動かし、ロボットアームの始点、終点位置を外部入力装置により教示する。
このように撮像範囲の広い撮像装置からの画像を見ながら、作業者がロボット装置の教示を行うことで、作業者が教示する際に危険を伴う箇所や、作業者が立ち入れないような場所での教示を行うことができる。
特開2018‐107786号公報 特開2009‐000782号公報
しかしながら特許文献2に記載のロボットシステムは、単に撮像装置からの画像を映し出すモニタが、教示用パネル等の外部入力装置に設けられているだけに過ぎない。
よって、撮像装置とロボット装置とを、画像を映し出すモニタ等の表示部が設けられた1つの外部入力装置により操作を行う際、外部入力装置にどのようなユーザーインタフェース(以下、UI)を設ければ良いのかは論じられていなかった。
本発明は、上記観点に鑑み、撮像装置とロボット装置とを、画像を映し出すモニタが設けられた1つの外部入力装置により操作を行う際、ユーザーフレンドリーなUIを有する外部入力装置を提供することを目的とする。
上記課題を鑑み、本発明では、撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、前記外部入力装置は、表示領域と、前記ロボット装置を操作するロボット装置操作部と、前記撮像装置を操作する撮像操作部と、前記撮像装置が撮影している画像を表示する画像表示部と、を有し、前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置を採用した。
本発明によれば、撮像装置からの画像を見ながら、ロボット装置に教示を行う際、ロボット装置の位置が逐一変わってしまっても、画像表示部と撮像操作部、ロボット装置操作部により、撮像視点を容易に適応させることができる。
よって画像表示部により撮像視点を確認しつつ、ロボット装置操作部により、教示点ごとにロボット装置への教示を行い、撮像操作部により撮像装置の調整を行うことができる。
このため、同一の装置でロボット装置の教示操作、撮像装置の教示操作、撮像装置からの画像確認ができるので、ユーザーフレンドリーな外部入力装置を提供することができる。
本実施形態におけるロボットシステム1000の構成を示した図である。 本実施形態におけるロボット装置1の構成を示した図である。 実施形態における外部入力装置130の構成を示した図である。 本実施形態における撮像装置2の構成を示した図である。 本実施形態におけるロボットシステム1000の制御ブロック図である。 第1の実施形態における外部入力装置130を示した図である。 第2の実施形態における外部入力装置130を示した図である。 第2の実施形態における制御フローを示したフローチャートである。 第3の実施形態における制御フローを示したフローチャートである。 第3の実施形態における外部入力装置130を示した図である。 第4の実施形態におけるロボットシステム2000を示した図である。 第4の実施形態における外部入力装置130を示した図である。 第4の実施形態における撮像装置Aとロボット装置201との相対姿勢の説明図である。 第5の実施形態における撮像装置2による画像の上下が反転する際の説明図である。 第5の実施形態における外部入力装置130を示した図である。 第5の実施形態における画像表示部205の上下を反転させた際の図である。 第5の実施形態における画像表示部205の上下の反転を自動で設定する際の説明図である。 第5の実施形態における画像表示部205をマルチタッチにより回転させる際の説明図である。 第6の実施形態における外部入力装置130を示した図である。 第7の実施形態における外部入力装置130を示した図である。 第8の実施形態におけるロボットシステム2000を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第8の実施形態における外部入力装置130の一部を示した図である。 第9の実施形態における制御フローを示したフローチャートである。 第9の実施形態における外部入力装置130を示した図である。 第10の実施形態における外部入力装置130を示した図である。 第10の実施形態における制御フローを示したフローチャートである。 第11の実施形態におけるロボットシステム3000を示した図である。 第11の実施形態における外部入力装置130を示した図である。 第11の実施形態における外部入力装置130を示した図である。 第12の実施形態における外部入力装置130を示した図である。 第12の実施形態における外部入力装置130を示した図である。 第12の実施形態における外部入力装置130を示した図である。 第13の実施形態における外部入力装置130を示した図である。 第14の実施形態における外部入力装置130を示した図である。 第14の実施形態における外部入力装置130を示した図である。 第15の実施形態における外部入力装置130を示した図である。 第15の実施形態における外部入力装置130を示した図である。
以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す実施形態はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
(第1の実施形態)
図1は本実施形態におけるロボットシステム1000の概略構成を示した図である。本実施形態ではロボット装置1がベルトコンベア900から矢印P方向に流れてくるワークWaからWdを、トレイ152へ並べる作業を例にとり説明する。
ロボットシステム1000は、ロボット装置1とロボット装置1の状況を撮像するための撮像装置2、ロボット装置1と撮像装置2を制御する制御装置13、ロボット装置1と撮像装置2の教示を行う外部入力装置130から成る。
図1より、撮像装置2は柱155に設けられており、この撮像装置2がロボット装置1及び周辺のワークを撮像し、外部入力装置130の表示領域としての表示部131に撮像装置2からの画像を表示する。
図2は本実施形態におけるロボット装置1の構成を示した図である。本実施形態ではロボット装置として6軸多関節ロボットを例に説明する。
図2より、ロボット装置1は基台10、6つの関節J1からJ6を有するロボットアーム本体50、ワークを把持するエンドエフェクタ11を備える。また、ロボット装置1はケーブル12を介して制御装置13に接続される。
ロボットアーム本体50は、複数リンク、例えばシリアルリンク形式で複数の関節(6軸)を介して相互に接続した構成を有する。ロボットアーム本体50のリンク51、52、53、54、55、および56は、関節J1、J2、J3、J4、J5、およびJ6を介して駆動される。駆動源として各々の関節には不図示のモータを有している。
また、ロボットアーム本体50の先端に接続されるエンドエフェクタ11は生産ラインにおいて組み立て作業や移動作業を行うためのロボットハンドが適用されている。
このエンドエフェクタ11は、リンク56に対してビス止めなどの半固定的な手段によって装着されるか、あるいは、ラッチ止めなどの着脱手段によって装着可能であるものとする。
特に、エンドエフェクタ11が着脱可能である場合は、ロボットアーム本体50を制御して、ロボットアーム本体50自身の動作によって、供給位置に配置された他のエンドエフェクタ11を着脱ないし交換する方式も考えられる。
さらに本実形態では、関節J1〜J6の駆動をフィードバック制御できるように各関節にそれぞれ不図示のトルクセンサとエンコーダを各々配置しているものとする。
本実施形態ではエンドエフェクタ11として、3つの指部を備えたロボットハンドを例に説明する。なお、本実施形態では指部を備えたロボットハンドを例にとるが、例えば指部の代わりに吸着機構を設けワークの保持を行うエンドエフェクタ等、ワークに作業を行うことができる機構を別途用いても良い。
制御装置13はマイクロプロセッサなどから成るCPUなどによって構成されている。また制御装置13には教示者がロボット装置1の近辺でロボット装置1および撮像装置2の教示を行うための外部入力装置130が接続されている。
作業者により外部入力装置130を用いて、指令値を制御装置13に入力し、制御装置13からの制御値がロボットアーム本体50及びエンドエフェクタ11に渡されることでワークをトレイ152に並べる等の動作がロボット装置1により行われる。
また、ロボット装置1の周りに防護壁154が設置されている。防護壁154はワークや現場の作業者がロボット装置1とぶつからないよう、安全のために設けられている。
また制御装置13は、ロボットアーム本体50の各種動作に応じて対応する駆動部を制御するためのプログラムや、それらの制御に必要なデータ等を記憶したROMを有する。さらにロボットアーム本体50を制御する上で必要なデータ、設定値、プログラム等を展開するとともにCPUの作業領域として使用するRAMを備えている。
図3は教示者がロボット装置1および撮像装置2の教示を行うための外部入力装置130を示した図である。外部入力装置130は表示部131を備える。本実施形態では外部入力装置の例として教示用タブレットを例に取り説明する。
表示部131にはロボット装置1および撮像装置2の動作を教示するためのインタフェースや、撮像装置2が撮像した画像などが表示される。
表示部131は、タッチパネルに対応したディスプレイであり、作業者は表示部131をタッチ等により操作することで、ロボット装置1および撮像装置2へ指令値の入力を行うことができる。
以上により作業者は、表示部131に表示された情報を基に、表示部をタッチ操作することで指令値を入力し、ロボット装置1および撮像装置2の動作を教示することができる。
図4は撮像装置2の構成を示した図である。本実施形態ではパン・チルト・ズームが可能なパンチルトカメラを撮像装置2の例にとり説明する。
撮像装置2はカメラベース20と可動部21、また可動部21内には撮像部22を備えている。
可動部21は、チルトモータを有しており、シャフトやベアリング等の伝達機構を介して撮像部22を設けることで、撮像部22を矢印Aのチルト方向に回転できるようにしている。
同様に可動部21は、パンモータを有しており、シャフトやベアリング等の伝達機構を介して撮像部22を設けることで、撮像部22を矢印Bのパン方向に回転できるようにしている。
撮像装置2はパンモータ、チルトモータを駆動することで撮像視点を変更し、撮影を行うことができる。任意の撮像視点および撮像視野となるようにパンモータ、チルトモータを駆動させ、撮像部22の位置を指定して撮影を行うといった動作を記録させることを撮像装置2の教示と呼ぶ。
更に、撮像装置2は制御装置13に接続するためのケーブル23を有しており、ケーブル23を介して制御装置13に接続されている。
以上により、撮像装置2は可動部21によりロボット装置1および周りの所定の位置を撮像することができ、画像を、制御装置13を介して外部入力装置130の表示部131に表示することができる。
図5は本実施形態で用いるロボットシステム1000の制御ブロック図を表したものである。
図5より情報を伝達するバス111に、制御装置13内部に設けられたCPU112、ROM113、RAM115、HDD116が接続される。
さらに撮像装置2に設けられたパンモータ、チルトモータの駆動を制御するために、不図示の各モータのドライバがインタフェース117を介してバス111に接続されている。
また、ロボット装置1のロボットアーム本体50における各関節のモータ123〜128を制御するサーボ制御部122がインタフェース119を介してバス111に接続される。
また作業者が、ロボット装置1と撮像装置2への指令を行うための外部入力装置130に設けられた表示部131がインタフェース118を介してバス111に接続される。
以上により、ロボットシステム1000を構成する、ロボット装置1、撮像装置2、外部入力装置130、制御装置13がバス111を介して全て通信可能としている。
これにより、作業者が外部入力装置130を介して、ロボット装置1と撮像装置2とに指令値を送信し、平行して制御を行うことが可能となる。
以下、本実施形態における外部入力装置130のUI例について詳しく説明する。本実施形態では、外部入力装置130に映し出された撮像装置2からの画像を用いて、外部入力装置130により、ロボット装置1と撮像装置2の校正作業や教示作業を行う場合に好適なUI例について説明する。
図6は表示部131に表示される画面の一例を示している。表示部131には、ロボット装置1の姿勢の制御、教示を行うロボット装置操作部101、撮像装置2のパンモータ、チルトモータの制御、教示を行う撮像操作部105が表示される。
ロボット装置操作部101には、エンドエフェクタ11を任意の座標系におけるXYZ方向に移動させるためのエンドエフェクタ操作ボタン102と、各関節J1〜J6毎に回転量を操作するための関節操作ボタン103とを備えている。
撮像操作部には、撮像装置2のパン・チルト操作を行うための視点操作ボタン106や、ズームイン・ズームアウト操作を行うためのズーム操作ボタン107を備える。
さらにロボット装置操作部101と撮像操作部105との間に、撮像装置2が撮影している画像を表示する画像表示部104が表示される。
一般にロボットシステムにおける撮像装置の役割は、扱う対象物であるワークの位置を計測したり、加工前のワークの検査を行ったり、ロボット装置による組立動作や加工動作の検査を行うものである。
よって、ロボット装置のエンドエフェクタ付近を撮像装置で撮影し続けることが望ましい。しかしながら、ロボット装置のエンドエフェクタの可動範囲は教示される動作により広範囲にわたる。
このような場合に撮像視点の向きを自在に変えることができるパンチルト機能を有した撮像装置は有効である。
図6に示すように、教示の指令値を入力する外部入力装置130に、ロボット装置操作部101、撮像操作部105、画像表示部104が、同一の表示部に全て表示され、作業者からの入力を受け付けられるようにしている。
そのため、撮像装置からの画像を見ながら、ロボット装置に教示を行う際、エンドエフェクタの位置が逐一変わってしまっても、画像表示部104と撮像操作部105により、撮像視点を容易に適応させることができる。
そして画像表示部104により撮像視点を確認しつつ、ロボット装置操作部101により、教示点ごとにロボット装置への教示を行い、ロボット装置1と連動して撮像操作部105により撮像装置2の調整を行うことができる。
このため、同一画面上でロボット装置1の教示操作、撮像装置2の教示操作、撮像装置2の画像確認ができるので、ユーザーフレンドリーな入力装置を提供することができる。
また、画像表示部104の左右の一方にロボット装置操作部101、他方に撮像操作部105を表示させている。これにより、作業者が外部入力装置130を持った際、作業者の左右の手が各操作部にかかるようにしている。よって、作業者の指が各操作部に届きやすくなるので、さらに外部入力装置130の操作性を向上させることができる。なお、作業者の手の大きさ等により、ロボット装置操作部101、撮像操作部105、画像表示部104の表示位置を適宜変更できるようにしてもかまわない。
(第2の実施形態)
上記第1の実施形態では、同一画面上にロボット装置1の教示操作、撮像装置2の教示操作、撮像装置2の画像確認ができるように外部入力装置を構成し、作業者による操作の利便性向上を図った。
本実施形態では、上記に加え、外部入力装置のUIにより、作業者の安全を確保することができる。
以下では、第1の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第1の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図7は本実施形態における表示部131に表示される画面を示している。第1の実施形態と異なる点は、表示部131の撮像操作部105に、顔認証機能の有効、無効を切り替える顔認証ボタン108が設けられている点である。
例えば、ロボット装置近傍に頻繁に作業者が存在するようなロボットシステムの場合、作業者が負傷することがないようにしなければならない。
このためロボット装置の駆動速度に安全上の上限を設ける必要がある。その際、撮像装置からの画像に作業者がいることが検知されると、ロボット装置の駆動速度を低下させるような警戒機能を搭載させる方法がある。
しかしながら、ロボット装置の教示を行う場合、ロボット装置の近傍に作業者が位置することが一般的であり、撮像装置に教示者が撮像されてしまう。
よって警戒機能が作動していまい、ロボット装置の駆動速度が遅いまま、教示作業を行うことになり、教示作業の効率が低下してしまう。
そこで本実施形態では、撮像装置2による画像から、あらかじめ登録しておいた教示作業者の顔を認識する。
教示作業者の顔のデータは、予めHDD116等の記憶部に記録させておき、顔認証ボタン108が押されると、認証プログラムをRAM115に展開し、顔認証の動作を行う。図8は本実施形態における認証プログラムのフローチャートである。顔認証ボタン108が押されることで図8のフローが開始される。なお、これらフローは制御装置13により実行されるものとして説明するが、外部入力装置130に別の制御装置を設け実行させても良い。
まず、S1で顔のデータをHDD116から読み出す。
次にS2で、撮像装置2が現在撮像している画像から顔を検知する。
そしてS3で、検知した顔が、予め記録された教示作業者の顔のデータであるか判定する。検知した顔と顔データとが一致すればS3:YESとなり、S5に進む。一致しなければS3:NOとなりS5に進む。
S5では、ロボット装置1の危険性と安全確保の方法について十分な教育を受けた者がロボット装置1の教示を行っているものと判断でき、ロボット装置1と作業者との接触の危険性は低いものと判断できる。ゆえに必ずしも警戒機能を有効にしておく必要はない。よってロボット装置の駆動速度を低下させず、顔認証プログラムを終了する。
逆にS6では、ロボット装置1の危険性と安全確保の方法について十分な教育を受けていない者がロボット装置1の近傍に位置していると判断でき、ロボット装置1と作業者とが接触してしまう恐れがある。ゆえに作業者の安全を確保すべく警戒機能を有効にしておく必要がある。そこでロボット装置1の駆動速度を低下、制限し、顔認証プログラムを終了する。
以上により、必要な時に警戒機能を実行することができる。よってロボット装置の教示の際には熟練の作業者により、駆動速度が速い状態で教示動作を行わせることができるため、教示作業の効率を向上させることができる。
なお、顔認証ボタン108の代わりに、教示モードに設定したことを、外部入力装置130が認識した場合に図8のフローが開始されるようにしても良い。
(第3の実施形態)
次に第3の実施形態として、外部入力装置130に映し出された撮像装置2からの画像を用いて、外部入力装置130により、ロボット装置1と撮像装置2の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態は、ロボット装置1の動作と同期させて撮像装置2によるロボット装置1の撮影を行う際に好適なUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第1の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
また本実施形態ではロボット装置1がベルトコンベア900から矢印P方向に流れてくるワークWaからWdを、トレイ152へ並べる作業と同期して撮像装置2による撮影を行う場合を例にとり説明する。以下、ロボット装置1の動作とそれに同期する撮像装置2の動作について詳しく説明する。
まず、ロボット装置1がベルトコンベア900上のワークを把持するタイミングで撮像装置2はパンモータ、チルトモータを駆動させ視点を変更し、トレイ152を撮影する。
撮影された画像を画像処理することでトレイ上のワーク有無を検知する。ロボット装置1はトレイ上のワークが存在しない位置にエンドエフェクタ11で把持したワークを置く。
ロボット装置1がトレイ152にワークを置くタイミングで撮像装置2はパンモータ、チルトモータを駆動させ視点を変更し、ベルトコンベア900を撮影する。
撮影された画像を画像処理することでベルトコンベア900上のワーク有無を検知する。ロボット装置1はベルトコンベア900上にワークが存在する場合にベルトコンベア900上のワークを取得する。
ロボットシステム1000は上記の動作をロボット装置1と撮像装置2に繰り返し実行させる。このように撮像装置2がロボット装置1の動作に同期して撮像視点の変更および撮影を行い、撮影された画像を元に作業環境を認識し、ロボット装置1の動作にフィードバックする。
この動作を実現するためにはロボット装置1がベルトコンベア900上のワークを把持してからトレイ152にワークを置くまでに要する時間内に撮像装置2の撮像視点の変更が完了する必要がある。
従来は、シミュレーションや、実際にロボット装置1と撮像装置2を動作させ、撮像視点の変更が間に合うかどうかを確認し、間に合わなければ撮像視点の設定をやり直す等の作業を行っており、作業者の負担となっていた。
本実施形態では、このようなロボット装置1の動作と同期させて撮像装置2によるロボット装置1の撮影を行う場合における、撮像装置2の撮像視点の教示において教示者の負担を軽減させることができる。
図9は本実施形態におけるロボット装置1と撮像装置2の教示方法のフローチャートである。教示方法はS100からS102の3工程から成る。
図9より、まずS100では、ロボット装置1に対する教示を行う。ロボット装置1に対する教示は、ダイレクトティーチングにより行う。作業者がロボット装置1を直接手で持って動かし、ベルトコンベア900上のワークを把持してトレイ152上に置くという動作を教示する。
ただし、教示方法はこれに限られるものではなく、第1の実施形態、第2の実施形態で述べたように、外部入力装置130を用いてロボット装置1の近傍で教示を行うオフラインティーチングを用いても良い。当業者により実施できる種々のロボット装置の教示方法を用いて良い。
上記の方法で教示した教示データは、制御装置13に記録させても良いし、外部入力装置130に記録部を設け、外部入力装置130に記録させても良い。
S101からS102では、撮像装置2の教示を行う。撮像装置2の視点の教示はロボット装置1の動作に紐づけた形で行われる。以下、S101、S102の説明の前に、本実施形態における外部入力装置130のUI例について詳述する。
図10は外部入力装置130の表示部131に表示される撮像装置2の教示用画面を示す。以下上記実施形態と異なる部分について説明する。
図10において、本実施形態では、予め記録されたロボット装置1のモデルデータにより、ロボット装置1の姿勢が3Dモデルで表示されるモデル表示部140が設けられている。
モデル表示部140には、モデルデータと教示点データにより、実際のロボット装置1が取るであろう姿勢を計算し、3Dモデルとして画面上で確認できるようになっている。姿勢の計算はRRT(Rapidly−Exploring Random Trees)といった技術を利用し行われる。
またモデル表示部140の下部には、再生バー141が設けられており、教示した実際のロボット装置1の動作させるための再生ボタン144、一時停止ボタン145を備えている。
再生バー140上には、再生中のロボット装置1の動作の時間的な現在位置を表す現在位置マーク142が表示されている。再生バー140は、ロボット装置1の所定の動作の開始を0秒とし、終了時間までをバー形式で表している。図5では5:00(5分)が終了時間である。
再生ボタン144を押下すると実際のロボット装置1が動作を開始する。一時停止ボタン145を押下すると、実際のロボット装置1が動作を一時停止する。
一時停止状態で現在位置マーク142をタッチし左右にスワイプすることで実際のロボット装置1の動作を制御することができる。
右にスワイプした場合には実際のロボット装置1が、スワイプした移動量だけ動作し、左にスワイプした場合にはロボット装置1が、スワイプした移動量だけ逆に動作される。
モデル表示部140の一部をタッチし、左右にスワイプすることで、現在位置マーク142をスライドさせる操作と同様にロボット装置1の操作をすることもできる。
画像表示部146には撮像装置2で撮影された撮像が表示される。画像表示部146の下部には、撮像装置2のパンモータの操作を行うパン操作バー147が設けられ、撮像装置2のパン方向における現在位置を表すパン位置マーク148が表示される。
作業者がこのパン位置マーク148をタッチして左右にスライドさせることで撮像装置2のパンモータを操作することができる。
画像表示部146の一部をタッチし、左右にスワイプすることで、パン位置マーク148をスライドさせる操作と同様のパンモータ操作をすることもできる。
上述したパンモータ操作と同様にチルトモータについても操作をすることができる。
画像表示部の紙面向かって右側には、撮像装置2のチルトモータの操作を行うチルト操作バー121が表示され、撮像装置2のチルト方向における現在位置を表すチルト位置マーク122が表示される。
作業者がこのチルト位置マーク122をタッチして上下にスライドさせることで撮像装置2のチルトモータを操作することができる。
画像表示部146の一部を2本の指でマルチタッチし、上下にスワイプすることで、チルト位置マーク122をスライドさせる操作と同様のチルトモータ操作をすることもできる。
また撮像装置2のズームについても、上述したパンモータ操作、チルトモータ操作と同様の表示、機能が提供される。
チルト操作バー121の紙面向かって右側にズームバー123が表示され、撮像装置2のズームアップ、ズームダウンにおける現在の焦点位置を表すズーム調整マーク124が表示される。
作業者がこのズーム調整マーク124をタッチして上下にスライドさせることで撮像装置2のズームを調整することができる。上にスライドすればズームアップ、下にスライドさせればズームダウンとなる。
画像表示部146の一部をタッチし、ピンチイン・ピンチアウトすることで、ズーム調整マーク124をスライドさせる操作と同様のズーム調整をすることもできる。
これら、パン位置、チルト位置、ズーム位置を各バーにより調整し、撮像教示ボタン160を押下することで、各バーのマークが位置したところで撮像装置2の撮像視点の教示点として設定される。
ロボット装置1、撮像装置2の操作を行う、再生バー141、パン操作バー147、チルト操作バー121、ズームバー123には、撮像装置2の撮像視点の教示点を表す撮像視点教示ポイント143がそれぞれ表示される。
これにより、ロボット装置1に教示された一連の動作の中における、撮像装置2に教示した所定の教示点(図10ではt1)の内容(パン位置、チルト位置、ズーム位置)を作業者が容易に把握することができる。
図9に戻りS101では、S100で教示したロボット装置1の一連の動作の中で撮像装置2の撮像視点を教示する。
まず再生ボタン144を押下してロボット装置1を動作させる。そして画像表示部146を確認し、撮像視点を教示したい所で一時停止ボタン145を押下してロボット装置1を一時停止する。
この一時停止した再生バー141上の現在位置マーク142の位置が、ロボット装置1の一連の動作における撮像装置2の撮像視点の教示点となる。
次にS102で、撮像装置2の各モータ、ズームの教示を行う。教示者は画像表示部146を確認しながら撮像装置のパン位置、チルト位置、ズーム位置を調整し、最後に教示ボタン160を押下することで、撮像装置2の撮像視点の教示を行う。
このとき、パン操作バー147、チルト操作バー121、ズーム調整バー123上には視点設定が可能な範囲を表す、視点設定可能範囲150が表示される。
視点設定可能範囲150はロボット装置1の動作に対して遅れなく視点を変更できる設定範囲を示している。
図10では、撮像視点教示ポイント143が示す所定の教示点t1が既に教示されている状態で、現在位置マーク142において新たに撮像装置2の教示を行う様子を示している。
ここで再生バー141における、撮像視点教示ポイント143から現在位置マーク142までロボット装置1が動作する間、パンモータ、チルトモータ、ズーム位置を変更可能な範囲が視点設定可能範囲150として表示される。
視点設定可能範囲150の設定方法について抄出する。まず、過去の撮像視点教示ポイント143から、S101でこれから別の撮像視点を教示するポイントである現在位置マーク142までにかかる視点変更時間を計算する。
過去の撮像視点教示ポイントが複数ある場合には、これから視点を教示する現在位置マークに対して直近の撮像視点教示ポイントを参照する。
次に、視点変更時間とパンモータ、チルトモータ、ズーム処理にかかる速度から、パンとチルト、ズームの設定可能量を求める。
最後に、各操作バー上に表示されている過去の撮像視点教示ポイント143を中心に、パンとチルト、ズームの設定可能量範囲内の範囲を視点設定可能範囲150として設定する。
作業者がこの視点設定可能範囲150の範囲内で各種設定することで、ロボット装置1の動作に対して遅れなく撮像装置1の撮像視点における各種設定を変更できるため、ロボット装置1に同期しながら撮像装2置の視点変更が可能となる。
以上本実施形態では、撮像装置2の撮像視点を教示する際に、撮像装置2の操作画面上に視点変更可能範囲を表示している。
こうすることで、ロボット装置1の動作に撮像装置2の視点変更が間に合わない条件で、撮像視点が撮像装置2に教示されてしまうことを防止できるため、作業者の負担を軽減する効果がある。
またロボット装置1に教示された一連の動作の中における、撮像装置2に教示した所定の教示点の内容(パン位置、チルト位置、ズーム位置)を作業者が容易に把握することができる。
また、ロボット装置1の操作方法と同じ方法で、撮像装置2における各種駆動部の操作を行うことができるので、煩雑な操作を必要することなく、ロボット装置1の動作に同期した撮像視点の教示を行うことができる。
本実施形態では、タッチ操作による、ロボット装置1の操作、撮像装置2の操作を行う際、ロボット装置1を操作する際にはモデル表示部140をタッチし、撮像装置2を操作する際には画像表示部146をタッチすることで、操作対象の区別を行った。しかしながら、これに限定されるものではない。
例えば、画像表示部146の画像を解析し、ロボット装置1が撮影されている領域と、それ以外の領域とに区別する。そして、ロボット装置1の領域がタッチされている場合はロボット装置1の操作を行い、ロボット装置以外の領域がタッチされている場合は撮像装置2の操作を行い、操作対象の区別を行っても良い。
また、タッチ操作を分けることで操作対象の区別を行っても良い。例えば、2本の指でタッチするマルチタッチが行われている場合はロボット装置1の操作を行い、1本の指でタッチするシングルタッチが行われている場合は、撮像装置2の操作を行わせる。もしくは、マルチタッチにより撮像装置2を操作し、シングルタッチによりロボット装置1を操作させても良い。
また、ドラッグ操作とフリック操作で操作対象の区別を行っても良い。例えば、ドラッグ操作される場合は、ロボット装置1の操作を行い、フリック操作される場合は、撮像装置2の操作を行わせることで操作対象の区別を行うことができる。
さらに、シングルタッチ、マルチタッチと、ドラッグ操作、フリック操作とを組み合わせて操作対象の区別を行っても良い。例えば、マルチタッチが行われている状態でドラッグ操作が行われている場合は、ロボット装置1の操作を行うなどである。区別の方法を複数設定することで、作業者の操作ミス等をさらに低減することが可能となる。
また、画像表示部146を感圧式のタッチパネルで構成し、力の値を検知できるようにし、力の値を基に操作対象を区別しても良い。例えば、タッチされた際に、検知される力の値に閾値を設定する。そして、閾値に設定した力の値以上でタッチされている場合はロボット装置1の操作を行い、閾値に設定した力の値未満でタッチされている場合は撮像装置2の操作を行うようにする。こうすることで、操作対象の区別を行うことができる。
また、画像表示部146のタッチによる操作を、ロボット装置1の操作と撮像装置2の操作どちらかに設定する設定ボタンを画像表示部146に表示させても良い。例えば、ロボット装置の操作に設定するボタンと、撮像装置の操作に設定するボタンの2つの操作設定ボタンを表示させる。これらのボタンを状況に応じてタッチすることで、操作対象の区別を行うことができる。もちろん、操作切換ボタンを1つ表示させ、操作切換ボタンを都度タッチすることで、ロボット装置の操作に設定、撮像装置の操作の設定に切り換えて実現させても良い。
以上のように、画像表示部146をタッチさせて操作する際、ロボット装置1の操作においては、フリック操作により急峻にロボット装置1を動かしてしまう場合がある。
その場合、ロボット装置1の操作を行っている場合には、フリック操作を受け付けないように設定しておくことで、ロボット装置1が急峻に動作することを防ぐことができる。
また、ロボット装置1に加速度センサ等を設け、所定の値の加速度が検知された場合には、ロボット装置1を停止させるなどの動作を行わせても良い。
(第4の実施形態)
次に第4の実施形態として、外部入力装置130に映し出された撮像装置2からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、作業者が撮像装置からの画像を確認しながら教示を行う際、複数の操作対象を操作し、教示を行う場合でも作業者が教示を行いやすい座標系でロボット装置を操作することができるようにするUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第1の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図11は、本実施形態におけるロボットシステム2000を模式的に表した上面図である。図11において、基台200にロボット装置201、202が固定されている。
また、ロボット装置201、202を監視するため、ロボットシステム2000には撮像装置A、B(不図示)が設けられており、それぞれの画角を画角A、Bとする。上述した実施形態と同様、撮像装置A、Bにはパンチルト機能を有するものとする。
撮像装置A、Bは共にロボット装置201、202を監視できる位置に固定されている。なお、ロボット装置201、202は、理解しやすくするため、記号で簡単に表している。
また、図11の画角A、Bは長方形であるとは限らないが、説明を簡単にするため長方形としている。
図12は、本実施形態における外部入力装置130の表示部131を示した図である。図12において、表示部131は、ロボット装置操作部204、画像表示部205、撮像操作部206で構成されている。
ロボット装置操作部204は、ロボット装置切換ボタン207、座標系切換ボタン208、エンドエフェクタ操作ボタン209から成る。
ロボット装置切換ボタン207は、作業者が手動操作したいロボットを選択することができる。本実施形態の場合、ロボットシステム2000にロボット装置201、202が設けられているので、「ロボット201」「ロボット202」がボタンとして表示されている。
座標系切換ボタン208は、作業者がロボット装置切換ボタン207で選択したロボット装置に対して手動操作する場合に用いる座標系を選択できる。
本実施形態では、「ベース」「エンドエフェクタ」「撮像装置」の3種類のボタンが表示されている。ベース座標系ボタン、エンドエフェクタ座標系ボタン、撮像座標系ボタンのそれぞれベース座標系、エンドエフェクタ座標系、撮像座標系での操作を可能とする。
ベース座標系は、ロボット装置切換ボタン207で選択したロボット装置のロボットベースに基づく座標系である。つまりロボット装置全体におけるワールド座標系である。
エンドエフェクタ座標系は、ロボット装置切換ボタン207で選択したロボット装置のエンドエフェクタに基づく座標系である。つまりワールド座標系であるベース座標系に対するローカル座標系である。
撮像座標系は、後述する撮像装置切換ボタン210で選択した撮像装置の座標系である。
エンドエフェクタ操作ボタン209は、ロボット装置切換ボタン207で選択したロボット装置において、座標系切換ボタン208で設定した座標系のXYZ方向の並進移動と回転移動を手動操作することができる。
画像表示部205は、撮像操作部206で選択された撮像装置からの画像が表示される。図12の場合、撮像装置Aが撮像しているロボット装置201が映し出されている。
撮像操作部206は、撮像装置切換ボタン210、視点操作ボタン211、校正ボタン212から成る。
撮像装置切換ボタン210は、作業者が使用したい撮像装置を選択することができ、選択した撮像装置からの画像が画像表示部205に表示される。
視点操作ボタン211は、作業者が撮像装置切換ボタン210で選択した撮像装置のパン、チルト操作を行うことができる。なお、上述した第1の実施形態のように、さらにボタンを追加して、ズームイン・ズームアウト操作を行うためのズーム操作ボタンを備えても良い。
校正ボタン212は、座標系切換ボタン208で「撮像装置」を選択した場合、ロボット装置切換ボタン207で選択したロボット装置と、撮像装置切換ボタン210で選択した撮像装置の相対位置姿勢を校正することができる。
なお、撮像座標系でロボット装置を操作するためには、ロボット装置と撮像装置の相対位置姿勢が明らかでなければならないため、校正ボタン212は、エンドエフェクタ操作ボタン209で操作する前に必ず実行する必要がある。具体的な校正方法は後述する。
次に、ロボット装置座標系での操作と撮像座標系での操作方法について説明する。ロボット装置座標系での操作は、ロボット装置切換ボタン207で操作したいロボット装置を選択し、座標系切換ボタン208で「ベース」、または、「エンドエフェクタ」を選択することで操作可能となる。これは通常のロボット装置の操作と同様であるため、詳細は割愛する。
撮像座標系での操作は、ロボット装置切換ボタン207で、操作したいロボット装置を選択し、座標系切換ボタン208で「撮像装置」を選択し、撮像装置切換ボタン210で用いたいカメラを選択する必要があるが、これだけでは操作可能にならない。
先に説明したように、撮像座標系でロボット装置を操作するためには、ロボット装置と撮像装置の相対位置姿勢が明らかでなければならないので、校正ボタン212を押して校正する必要がある。
また、ロボット装置と撮像装置の相対位置姿勢の校正をする意義は、ロボット装置と撮像装置との位置には現場調整が入るため、必ずしも設計上の位置と一致しないためである。
本実施形態におけるロボット装置と撮像装置の相対位置姿勢の校正方法について説明する。図13は、本実施形態におけるロボット装置と撮像装置の座標系を示した図である。
図13では簡単のため、ロボット装置201と撮像装置Aの組合せを例に取り説明する。ロボット装置201において、ベース座標系、エンドエフェクタ座標系、マーカ座標系に付された原点をそれぞれB、E、Mとする。
ここで、マーカ座標系とは、マーカ(不図示)に付された座標系である。マーカは校正する前にロボット装置201に付しておくか、常に付しておく。
マーカは、撮像装置Aによって位置計測される。マーカは、6自由度が位置計測可能なマーカであっても良いし、3自由度がわかるマーカを3個以上用いても良い。
また、マーカは必ずしもロボット装置の先端に付いている必要はない。ロボット装置の先端にあると、マーカの位置姿勢を画角中央付近に移動させることができるので好適である。
そして、必ずしも必要ではないが、ロボット装置毎に違うマーカを付けておくと、ロボット装置を区別して視認できるため、好適である。
撮像装置Aにおいて、撮像装置ベース座標系、パン関節座標系、チルト関節座標系、撮像座標系、それぞれに付された原点をそれぞれC0、C1、C2、Vとする。
校正ボタンを押す前に、マーカが画角に入るようにロボット装置201、または、撮像装置Aをそれぞれエンドエフェクタ操作ボタン209、視点操作ボタン211で操作する。
3自由度がわかるマーカを3個用いる場合は、別途3点が同一直線上にないように画角に収める。これは、マーカ3点でマーカ座標系Mを作成するために必要である。
ここで、各座標系間の相対位置姿勢を表現するために、4×4の同次変換行列を用いる。例えば、ベース座標系Bからエンドエフェクタ座標系Eの相対位置姿勢を表した同次変換行列HBEは、次式で示される。
Figure 2020075354
ただし、CBEは3×3の回転行列、rBEは3×1の位置ベクトル、O1x3は1×3の零行列である。
ここで、撮像座標系での移動量をロボット装置座標系に変換することを考える。撮像座標系での移動量をΔH、それをロボット装置座標系で表したものをΔHとすると、次式が成り立つ。
Figure 2020075354
なおΔHは、撮像座標系でエンドエフェクタ操作ボタン209を操作したときの移動量そのものである。
相対位置姿勢HC0Vは、撮像装置ベース座標系C0から撮像座標系Vまでの相対位置姿勢であり、次式で表される。
Figure 2020075354
C2Vは、撮像座標系において、撮像装置がどの位置にあるかは、撮像装置固有に決まっているので、既知とする。
また、パン角度をθC1、チルト角度をθC2とし、z軸周りの回転行列をRotz、y軸周りの回転行列をRotyとすると、HC0C1、HC1C2は、次式で示される。
Figure 2020075354
θC1、θC2は、撮像装置に設けられるパンモータ、チルトモータに搭載されるエンコーダより既知であり、位置ベクトルrC0C1、rC1C2は、撮像装置固有の設計値のため、既知である。
つまり、相対位置姿勢HC0Vは、既知である。よって、相対位置姿勢HBC0を校正で求めることができれば、ロボット装置座標系での移動量ΔHを求めることができる。
ロボット装置座標系での移動量ΔHは、ベース座標系Bでの移動量そのものなので、通常のロボット装置の操作に落とし込むことができる。
ここで、相対位置姿勢HBC0を求める方法について説明する。校正ボタン212を押すことで、まず、マーカの位置計測を行う。そのときの相対位置姿勢HBC0は、図13より、次式で示される。
Figure 2020075354
ただし、次式が成り立つものとする。
Figure 2020075354
Figure 2020075354
相対位置姿勢HBEは、マーカを撮影したときのロボット装置201の各関節に搭載されたエンコーダの値から算出することができるため、既知である。相対位置姿勢HC0Vは、数3より、既知である。
まず、6自由度が位置計測可能なマーカをロボット装置201の先端に付した場合を説明する。相対位置姿勢HEMは、エンドエフェクタ座標系Eに対して設計した位置にマーカを付せばよいので、既知である。
相対位置姿勢HVMは、マーカを撮像装置Aで位置計測することで求めることができるので、既知である。
以上より、数5は既知の変数のみになるので、求める相対位置姿勢HBC0は計算することができ、校正が完了する。
次に、3自由度がわかるマーカを3個以上用いる場合を説明する。ロボット装置座標系でのマーカ位置3点をそれぞれrBM1、rBM2、rBM3とし、マーカ位置は設計上明らかであるとする。
ここで、この3点を用いてマーカ座標系を作成する。条件として、1点目をマーカ座標系の原点、2点目をマーカ座標系のx軸方向を決める点、3点目をマーカ座標系のxy平面上の任意の点とする。ただし、この3点は、同一直線上にないものとする。
まず、ロボット装置座標系から見たマーカ座標系Mの相対位置姿勢HBMを求める。
Figure 2020075354
ここで、1点目をマーカ座標系Mの原点、2点目をマーカ座標系のx軸方向を決める点、3点目をマーカ座標系のxy平面上の任意の点とすると、次式が成り立つ。
Figure 2020075354
ただし、
Figure 2020075354
ここで、導入した上付きのチルダ(〜)は、3×3の歪対称行列であり、次式で示される。
Figure 2020075354
以上で、相対位置姿勢HBMを求めることができる。
同様に、カメラ座標系から見たマーカ座標系の相対位置姿勢HVMを求めることができる。
Figure 2020075354
Figure 2020075354
Figure 2020075354
以上より、数15は既知の変数のみになるので、求める相対位置姿勢HBC0は計算することができ、校正が完了する。なお、ロボット装置と撮像装置それぞれの組合せで校正する必要がある。
以上本実施形態では、ロボット装置201、202と撮像装置A、Bがあるので、校正すべき同次変換行列HBC0が4つあることになる。
それぞれの組合せの同次変換行列HBC0を事前に校正しておくことにより、操作するロボット装置または撮像装置が切り換わっても、撮像座標系でロボット装置を操作可能となる。
本実施の形態では、撮像座標系での操作とロボット装置座標系での操作切り替え手段を設けることで、複数の撮像装置、複数のロボット装置が存在する場合でも、教示者が教示しやすい座標系でロボット装置を操作することができる。
(第5の実施形態)
次に第5の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
上記第4の実施形態では、複数のロボット装置、複数の撮像装置が存在することで、複数の座標系が存在する為に、作業者がロボット装置を操作する際に混乱しないように基準となる座標系を切り換えることができるUI例を説明した。
本実施形態では、撮像装置の撮像部が動き、撮影している画像の上下が逆転するなど、外部入力装置を操作している作業者の直感に合わない場合、簡単に画像を作業者の直感に合うように変化させることができるUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図14は、本実施形態における撮像装置2の駆動部を模式的に表した側面図である。撮像装置ベース座標系、パン関節座標系、チルト関節座標系、撮像座標系に付された原点をそれぞれC0、C1、C2、Vとする。
また、チルト角度をθC2とし、撮像装置2が真下を向く時のチルト角度をθC2=0degとする。
図14(a)はθC2=−45degのときの撮像装置2を図示し、図14(b)はθC2=45degのときの撮像装置2を図示したものである。図14(a)から図14(b)へ遷移するとき、撮像装置2が撮影している画像内の天地は逆転してしまい、外部入力装置130の画像に基づいて操作する作業者の直感に合わなくなってしまう。本実施形態では撮像装置2の画像内の座標系の天地が逆転しても作業者にとって直感的に操作を行うことができるUI例について説明する。
図15は、本実施形態における外部入力装置130の表示部131を表した図である。ロボット装置操作部204、撮像操作部206は上記実施形態と同様であるため説明を省略する。
本実施形態における画像表示部205は、撮像装置2が撮影している画像と、上下反転切換ボタン220から成る。
上下反転切換ボタン220は、上下反転機能の「固定」と「自動」を選択するための固定ボタン223と、自動ボタン224とを備える。以下、上下反転方法について詳しく説明する。
図16は、本実施形態における、作業者によるボタン操作で画像表示部205の画面を上下反転させる場合の画像表示部205を示した図である。図16において、ロボット装置操作部204、撮像操作部206は、説明の簡略化の為、省いている。
図16(a)は、撮像装置2が撮影している画像の座標系の天地が逆転することで、画像表示部205には、作業者の直感に合わない画像が表示されている状態を示している。
作業者は自身の指221で、上下反転切換ボタン220の「固定」ボタン223をタッチする。これにより、「固定」ボタン223の紙面向かって右側に上下反転ボタン225が表示される。
そして図16(b)より、表示された上下反転ボタン225を押すために、作業者は自身の指221を上下反転ボタン225上に移動させ、タッチする。
これにより、画像表示部205の画像が上下反転する。以上の方法で、簡単に画像表示部205の画像を作業者の直感に合うように上下反転させることができる。
次に、自動で画像表示部205の画像を上下反転させる方法について説明する。図17は、本実施形態における自動で画像表示部205の画像を上下反転させる場合の設定方法を説明する図である。図16と同様に、ロボット装置操作部204、撮像操作部206は、説明の簡略化の為、省いている。
図17(a)は、自動ボタン224を作業者自身の指221でタッチしている状態を表した図である。図17(b)は、後述する設定ボタン226を作業者自身の指221でタッチしている状態を表した図である。図17(c)は、後述する自動設定部222が画像表示部205に表示された状態を表した図である。
図17(a)より、画像表示部205の画像を自動で上下反転させる場合、作業者は自身の指221で、上下反転切換ボタン220の「自動」ボタン224をタッチし、選択する。
ただし、どのような場合に画像表示部205の画像を自動で上下反転させるかを設定しておかなければならない。
そこで本実施形態では、チルト角度θC2によって、画像表示部205の画像を上下反転させるかを決める。つまり、撮像装置2に設けられているチルトモータで検出されるチルト角度が、予め設定するチルト角度の値以下ならば画像表示部205の画像はそのまま表示させる。
逆に、撮像装置2に設けられているチルトモータで検出されるチルト角度が、予め設定したチルト角度以上ならば、画像表示部205の画像を上下反転して表示させるようにする。以下、その設定方法について詳述する。なお、上記チルトモータの角度は不図示のエンコーダにより検出を行うものとする。
図17(a)において、作業者は自身の指221で、上下反転切換ボタン220の「自動」ボタン224をタッチし、選択する。これにより、自動ボタン224の紙面向かって右側に「設定」ボタン226が表示される。
次に図17(b)において、表示された設定ボタン226を押すために、作業者は自身の指221を設定ボタン226上に移動させ、設定ボタン226をタッチする。これにより、上下反転切換の自動設定部222が画像表示部205に表示される(図17(c))。
図17(c)において、作業者は、上下反転角度入力ボックス227に、設定したいチルト角度を入力する。本実施形態においては、0degが入力されている。
入力したチルト角度の値で設定したければ設定ボタン228を、入力した内容を変更したければ、戻るボタン229をタッチする。
そして、撮像装置2が撮影している画像を見ながら、ロボット装置1の教示を行っている際、設定したチルト角度の値をチルトモータのエンコーダが検出すれば、画像表示部205の画像を反転させる。
以上の方法で、簡単に画像表示部205の画像を作業者の直感に合うように自動で上下反転させることができる。
次に画像表示部205をマルチタッチすることで、画像表示部205の画像を回転させる方法について説明する。これは、必ずしも画像を上下反転(180deg)させるのではなく、例えば90deg回転させたい場合に用いる。
図18は、画像表示部205の画像を、マルチタッチ操作により回転させる場合の画像表示部205を示した図である。図16、図17と同様に、ロボット装置操作部204、撮像操作部206は、説明の簡略化の為、省いている。
図18(a)はマルチタッチ操作により回転させる前の画像表示部205、図18(b)はマルチタッチ操作により画像表示部205を回転させた図である。
図18(a)において、作業者は、予め自身の指221で、上下反転切換ボタン220の固定ボタン223をタッチし、選択しておく。
次に、回転中心としたい指221aで、画像表示部205のボタン以外の任意の場所をタッチする。
そして、回転させたい方向を決める指221bで、画像表示部205の任意の場所をタッチしながら、回転方向にスライドさせる。図18(a)では矢印A方向に回転させている。
指221aがタッチした場所を回転中心として、指221bが描いた軌跡(矢印A)の角度がある閾値を超えた場合、その方向に画像表示部205が90deg回転する(図18(b))。
上記で述べたある閾値は15deg程度が好適である。以上の方法で、簡単に画像表示部205の画像を作業者の直感に合うように手動で回転させることができる。
以上より、本実施形態では、撮像蔵置2の撮像部の方向が動き、画像内の座標系の上下が逆転するなどして、外部入力装置を操作している作業者の直感に合わない場合でも、簡単に画像を作業者の直感に合うように変化させることができる。よって作業者が理解しやすい座標系でロボット装置1及びまたは撮像装置2を操作できるという効果がある。
(第6の実施形態)
次に第6の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、ロボットシステムの動作工程に合わせて撮像装置の座標系を変化させ、作業者が操作しやすい座標系に変化させることができるUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図19は、本実施形態におけるロボット装置1による動作の「工程プログラム」を表示させた場合の、外部入力装置130の表示部131を示した図である。図19(a)は、本実施形態のメニュー画面部230を表示した図である。図19(b)は、本実施形態の工程プログラム画面を表示した図である。
図19(a)において、メニュー画面部230は、機能選択ボタン231を表示する。機能選択ボタン231は、ロボットシステム2000の機能だけ数があり、それぞれの機能がそれぞれのボタンに割当てられ、それぞれのボタンを押すことで、該当する機能のメニューを開くことができる。本実施形態では、「工程プログラム」を選択することで、図19(b)に示す画面に遷移する。
図19(b)において、表示部131は、工程プログラム画面部232と画像表示部205を表示する。
工程プログラム画面部232は、工程プログラム選択ボタン233と撮像装置教示点選択部234から成る。
工程プログラム選択ボタン233は、ロボットシステム2000において実行する工程を選択することができる。工程プログラム選択ボタン233を押すと工程プログラムの一覧がプルダウンリストで表示され、ユーザが選択することができる。本実施形態では、「工程Prg1」を選択したものとして説明を進める。
撮像装置教示点選択部234は、工程プログラム選択ボタン233で選択した工程プログラムの工程内容が表示される。工程とは、「ロボットアーム動作」「ロボットハンドクランプ」「有無検知」などの内容がある。
撮像装置教示点選択部234では、各工程において、画像表示部205に表示する画像を撮影する撮像装置と、その撮像装置に対応した教示点を選択することができる。
撮像装置は、ロボットシステム2000に複数設けられており、本実施形態では、撮像装置教示点選択部234の撮像装置列の▽部分を押すことでプルダウンリストから撮像装置Aまたは撮像装置Bの撮像装置の名称を選択することができる。
各撮像装置の教示点は、第3の実施形態で説明した方法により設定した、各撮像撮像装置におけるパン、チルト角度とズーム位置がデータとして格納されており、撮像装置教示点列の▽部分を押すことでプルダウンリストから選択することができる。本実施形態では、有無検知1の工程において、撮像装置Aと撮像装置教示点tC1が選択されている。
画像表示部205は、撮像装置教示点選択部234で直前に選択した撮像装置と撮像装置教示点により撮影している画像が表示される。また、選択された撮像装置および撮像装置教示点の名前が表示される。本実施形態では、「撮像装置A:tC1」と表示される。
撮像装置教示点を選択することで、表示される撮像装置の座標系を工程に合わせて一意に決めることができる。
以上より、工程プログラム選択部233で所定の工程プログラムを選択し、各工程において適切な撮像装置と撮像装置教示点を設定する。こうすることで、各工程実行時に設定された撮像装置と撮像装置教示点に切り換えて、画像表示部205に映し出すことが可能となる。
よって、ロボットシステムの動作工程に合わせて、画像表示部205に表示させる撮像装置の画像と、座標系を変化させることで、作業が理解しやすい座標系で操作することができる。
(第7の実施形態)
次に第7の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、複数の撮像装置が設けられている場合、作業者が理解しやすい画像を映し出すように、自動的に、外部入力装置130に表示している画像を撮影している撮像装置を切換えることができるUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図20は、本実施形態におけるロボット装置242の姿勢の違いにより外部入力装置130の表示部131に表示する画面の差異を説明する図である。
図20(a)は、本実施形態におけるロボット装置241の手先が画角Aにいる場合の、ロボット装置241の上面図と表示部131の画面を示した図である。図20(a)の紙面向かって左の図が、本実施形態におけるロボット装置241の手先が画角Aにいる場合のロボッット装置241の上面図である。
図20(b)は、本実施形態におけるロボット装置241の手先が画角Bにいる場合の、ロボット装置241の上面図と表示部131の画面を示した図である。図20(b)の紙面向かって左の図が、本実施形態におけるロボット装置241の手先が画角Bにいる場合のロボッット装置241の上面図である。
図20(a)の左図において、ロボット装置241は基台240に固定されている。また、基台240を監視するため、ロボット装置241の近傍には撮像装置A、Bが設けられ、それぞれの撮像装置A、Bが撮影する画角を画角A、Bとする。なお、ロボット装置241は、説明の簡略化のため、簡単に図示している。
図20(a)の右図は、本実施形態におけるロボット装置241の手先が画角Aにいる場合の外部入力装置130の表示部131を示した図である。
表示部131は、ロボット装置操作部204、画像表示部205、撮像操作部206で構成される。
ロボット装置操作部204は、第4の実施形態と同様に、ロボット装置切換ボタン207、座標系切換ボタン208、エンドエフェクタ操作ボタン209から成る。
画像表示部205は、撮像操作部206で選択された撮像装置の名前と、選択した撮像装置が撮影している画像が表示される。図20(a)の右図の場合、撮像装置Aからの画像が表示されている。
撮像操作部206は、撮像装置切換ボタン242と視点操作ボタン131から成る。視点操作ボタンは、第4の実施形態と同様である。
本実施形態における撮像装置切換ボタン242は、複数設けられた撮像装置の中からどの撮像装置により撮影するかを選択することができる。
またロボット装置241の姿勢によって、自動で撮像装置を切り換える場合は、「自動」ボタン243を選択する。「自動」ボタン243を選択した場合、「自動」ボタン243の紙面向かって右横に、制御装置13が自動的に選択した撮像装置を列挙し、第一候補の撮像装置の画像を画像表示部205に表示する。本実施形態の場合は、「自動」ボタン243の右横に「撮像装置A」が表示されている。
次に図20(b)の左図において、ロボット装置241の手先が画角B内にあり、画角A内には無い場合を図示している。
図20(b)の右図において、画像表示部205は、撮像装置Bからの画像が表示され、自動ボタン243の右横には「撮像装置B」が表示されている。
次に撮像装置の自動切換方法について説明する。撮像装置切換ボタン242の「自動」ボタン243が、教示者によってタッチされた場合、画像表示部205に映し出す画像を撮影する撮像装置を自動で切り換える。
まず、設けられた全撮像装置からの画像において、撮影している画像にロボット装置241が写っているかどうか画像認識する。
撮影している画像にロボット装置241が写っていた撮像装置の一覧を自動ボタン243の右横に列挙する。複数の候補がある場合、撮像装置の番号順、あるいは、名前順、あるいは、画角内に写っているロボット装置241の面積が大きい順に撮像装置を選択し、自動ボタン243の右横に列挙する。
撮影されているロボット装置241の面積は、直接画像認識して計測しても良いが、第4の実施形態で示したようにロボット装置と撮像装置の位置姿勢関係が校正されていれば、計算上の画角からロボット装置241の面積を算出しても良い。
以上により、作業者は、教示をさせたい部分(今回はロボット装置241の手先)が撮影されている撮像装置を、複数の撮像装置の中から瞬時に選択することができ、画像表示部205の画像を適切な物に切り換えることができる。
よって撮像装置が複数設けられている場合でも、作業者が教示しやすい撮像装置と座標系で操作を行うことができる。
(第8の実施形態)
次に第8の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置や作業者等の管理を行う場合に好適なUI例について説明する。
本実施形態では、撮像装置を用い、撮像装置が撮影している作業者とロボット装置の作業時間を計測、外部入力装置131に表示させ、作業者とロボット装置の管理を容易にすることができるUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図21は、本発明の実施形態におけるロボットシステム2000の上面図を示した図である。図21において、基台250上にロボット装置251とワーク置き場252、253、254が固定されている。
また、ワーク置き場252、253、254にワークが載置されているか否かを検知するため、本実施形態のロボットシステム2000には不図示の撮像装置A、B、Cが、設けられており、それぞれの画角を画角A、B、Cとしている。
画角A内にあるワーク置き場252は、ロボット装置251によりワークが載置される。画角B内にあるワーク置き場253は、ロボット装置251または作業者255によりワークが載置される。画角C内にあるワーク置き場254は、作業者255によりワークが載置される。
作業者255は、ロボット装置251と協業する作業者である。なお、ロボット装置251は、説明の簡略化のため、簡単に図示している。
図22は、本実施形態における外部入力装置130の表示部131の表示画面の構成図を示している。図22(a)は、本実施形態のメニュー画面部256を表示した図である。図22(b)は、本実施形態における作業時間計測画面を表示部131に表示した図である。図22(c)は、本実施形態における作業時間計測の設定画面を表示部131に表示した図である。
図22(a)において、本実施形態におけるメニュー画面部256は、機能選択ボタン257を表示する。
機能選択ボタン257は、ロボットシステム2000の機能の数だけあり、それぞれの機能がそれぞれの機能選択ボタン257に割り当てられ、それぞれに対応するボタンをタッチすることで、該当する機能のメニューを開くことができる。本実施形態では、「作業時間計測」を選択することで、図22(b)に遷移する。
図22(b)において、表示部131は、作業時間計測画面部258を表示する。作業時間計測画面部258は、作業時間計測の選択ボタン259から成る。作業時間計測の選択ボタン259は、計測設定ボタン281、計測ボタン282、計測履歴ボタン283を有する。
本実施形態では、計測設定ボタン281がタッチされると、図22(c)に遷移する。なお、計測ボタン282、計測履歴ボタン283がそれぞれタッチされた場合についても後述する。
図22(c)において、表示部131は、作業時間計測の設定画面部260を表示する。作業時間計測の設定画面部260は、作業時間計測の設定選択ボタン261から成る。
作業時間計測の設定選択ボタン261は、「工程プログラムによる計測」ボタン284、「人ロボ間距離による計測」ボタン285から成る。
「工程プログラムによる計測」ボタン284がタッチされた場合、図23に示す工程プログラムによる計測の設定画面262に遷移する。「人ロボ間距離による計測」ボタン285がタッチされた場合、図24に示す人ロボ間距離による計測の設定画面265に遷移する。
図23は、本発明の実施形態における工程プログラムによる作業時間の計測の設定を行う場合における表示部131の画面構成を示した図である。
図23において、表示部131は、工程プログラムによる計測の設定画面部262を表示する。工程プログラムによる計測の設定画面部262は、工程プログラム選択ボタン263と計測設定部264から成る。
工程プログラム選択ボタン263は、作業時間を計測する工程プログラムを選択することができる。工程プログラム選択ボタン263をタッチすると、工程プログラムの一覧がプルダウンリストで表示され、作業者255からの選択を受け付ける。本実施形態では、「工程Prg1」が作業者255により選択されたものとして説明を進める。
計測設定部264は、工程プログラム選択ボタン263で選択した工程プログラムの工程内容が表示され、工程内容における、各種作業のスタートとストップのトリガを設定することができる。
工程とは、「ロボットアーム動作」「ロボットハンドクランプ」「有無検知」などの内容である。作業分類ごとに作業のスタートとストップのトリガを設定する。
ここで示す作業分類は、「ロボット作業」「ロボット人作業」「人作業」「その他作業」とする。
「ロボット作業」とは、ロボット装置251だけが行う作業を指す。「ロボット人作業」とは、ロボット装置251と作業者255とが協業する作業を指す。以下、「ロボット人作業」における作業時間を協働作業時間と呼称する場合がある。「人作業」とは、作業者255だけが行う作業を指す。「その他作業」とは、「ロボット作業」「ロボット人作業」「人作業」いずれでもない作業を指す。
本実施形態では、ロボット装置251によりワーク置き場252からワークをワーク置き場253に載置する。そしてワーク置き場253で、ロボット装置251と教示者255により協働作業を行い、教示者255によりワーク置き場253からワーク置き場254にワークが載置されるものとする。
また本実施形態では、作業時間を算出するための、作業のスタートとストップのトリガとして、画像によるワークの有無検知を採用する。これは一般的に、作業の開始前後において、各ワーク置き場に載置されるワークは、載置されている状態から載置されていない状態に遷移し、作業完了前後において、載置されてない状態から載置されている状態に遷移するためである。
上記で述べたワーク置き場におけるワーク載置状態を利用し、作業開始前後と作業終了前後の間の時間を作業時間とみなす。
なお、作業時間を算出するための、作業のスタートとストップのトリガは、ワークの有無を用いても良いが、ワークに部品が追加または加工されたことを画像で検知することで用いても良い。
図23の計測設定部264内の有無検知1は、画角A内におけるワーク有無を検知し、「ロボット作業」の開始を計測するのに用いられる。
有無検知2は、画角B内におけるワーク有無を検知し、「ロボット作業」の完了、「ロボット人作業」の時間計測、「人作業」の開始を計測するのに用いられる。なお、協業作業は画角B内のワーク置き場内で行う。
有無検知3は、画角C内におけるワーク有無を検知し、「人作業」の完了と「その他作業」の開始を計測するのに用いられる。
これら有無検知に基づいて、作業者255は、計測設定部264において、工程単位で作業のスタート(Start)とストップ(Stop)のトリガを設定する。つまり、StartとStopの間が作業時間となり、計測する時間となる。
本実施形態では、画像処理によるワークの有無検知で作業のスタートとストップのトリガとした。しかしながら、トリガにするのは、近接スイッチによるワークの有無検知でも良いし、他のスイッチによる有無検知でも良いし、工程動作の開始信号、あるいは、完了信号でも良い。
図23においては、作業者255の作業とロボット装置251の作業の区切りを工程ベースで付けることができたが、できない場合も考えられる。そこで、作業者255とロボット装置251との間の相対的なの距離を直接計測し、それに基づいて作業時間を計測する。
図24は、作業者255とロボット装置251との間の相対的な距離の設定をする場合の表示部131の画面構成を示した図である。図24において、表示部131は、教示者255とロボット装置251との間の距離を設定する設定画面部265を表示する。
設定画面部265は、人ロボ間距離設定部266を有する。人ロボ間距離設定部266は、協働作業とみなす人ロボ間距離を設定する。
ロボットシステム2000に接続されたそれぞれの撮像装置の焦点距離と、撮像装置の画素の数と、から換算されるロボット装置251と作業者255との距離が、人ロボ間距離設定部266で設定された距離以下なら協働して作業を行っているとみなす。
これにより、ロボット装置251と作業者255とが協働している作業、つまり、「ロボット人作業」にかかる作業時間を計測することができる。なお、本実施形態の場合は、協業作業とみなす人ロボ間距離を20mmと設定した。
以上図23と図24を用いて、作業時間を計測するための設定方法について述べた。次にこれら設定方法を用いて計測した作業時間を確認する方法を述べる。作業時間の確認は、計測ボタン282あるいは、計測履歴ボタン283をタッチすることで実行することができる。
まず、計測ボタン282について説明する。図25は、計測ボタン282をタッチした場合における表示部131の画面構成を示した図である。
図25において、表示部131は、計測機能画面部267を表示する。計測機能画面部267は、工程プログラム名表示部268と工程プログラムの計測時間表示部269から成る。
工程プログラム名表示部268は、現在実行中の工程プログラム名が表示される。工程プログラムが実行されていない場合は、空欄となる。図25では、工程Prg1が実行中の場合を示している。
工程プログラムの計測時間表示部269は、実行している工程プログラムの工程内容と、工程内容を実行したときの作業時間が表示される。現在実行中の工程は、実行中工程カーソル270で示される。
実行したときの作業時間は、工程を縦軸、作業分類を横軸にとった表(計測時間表示部269)に表示される。さらに、作業時間は、開始時間[Start]、完了時間[Stop]、計測時間[Time]の3種類が表示される。なお、まだ実行されていない工程の作業時間は、空欄となる。
次に、計測履歴ボタン283について説明する。図26は、計測履歴ボタン283をタッチした場合における表示部131の画面構成を示した図である。
図26において、表示部131は、計測履歴画面部271と工程プログラムの計測履歴表示部272を表示する。計測履歴画面部271は、計測履歴選択ボタン273から成る。
計測履歴選択ボタン273は、実行された工程プログラム名と実行された日時をセットにしてその履歴が一覧としてボタン表示される。
作業者255は、参照したい履歴のボタンをタッチすることで、その内容を工程プログラムの計測履歴表示部272に表示することができる。
工程プログラムの計測履歴表示部272は、工程プログラム名表示部274と工程プログラムの計測時間表示部275から成る。
工程プログラム名表示部274は、計測履歴選択ボタン273で選択された工程プログラム名が表示される。本実施形態の場合は、工程Prg1が選択された場合を示す。
工程プログラムの計測時間表示部275は、計測履歴選択ボタン273で選択された工程プログラムの工程内容と、実行したときの作業時間が表示される。
図25と同様に、実行したときの作業時間は、工程を縦軸、作業分類を横軸にとった表に表示される。さらに、作業時間は、開始時間[Start]、完了時間[Stop]、計測時間[Time]の3種類が表示される。
以上より、撮像装置を用い、撮像装置が撮影している作業者とロボット装置の作業時間を計測し、外部入力装置131に表示させることができる。
これにより、作業時間が所定の閾値に達したロボット装置はメンテナンスを実行させたり、作業時間が所定の値に達した作業者には適宜休養を取らせる等の処置を行うことができ、作業現場における保守点検等の管理業務を容易に行うことができる。
(第9の実施形態)
次に第9の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、ロボット装置と撮像装置における教示項目が多項目にわたり、教示に時間がかかってしまう場合でも、教示時間の短縮を図ることができるUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図27は本実施形態におけるロボット装置1と撮像装置2の教示方法のフローチャートである。所定の1か所の教示方法はS300からS301の2工程からなり、本実施形態では複数箇所の教示を行う。
まずS300では、ロボット装置1に対する教示を行う。ロボット装置1に対する教示は、ダイレクトティーチングまたは外部入力装置130を用いて行う。
S301では、撮像装置2の教示を行う。撮像装置2の教示も、外部入力装置130を用いて行う。
図28は、本実施形態における外部入力装置130の表示部131に表示されるロボット装置1および撮像装置2の教示を行うための画面の構成例を示している。
図28より、表示部131内には、画像表示部369と、ロボット装置操作部370と撮像操作部371と、座標表示部372が表示されている。
画像表示部369は撮像装置2が撮影している画像を表示する。ロボット装置操作部370は、ロボット装置1を操作するための操作部である。撮像操作部371は撮像装置2を操作するための操作部である。
座標表示部372は、ロボット装置1または撮像装置2が撮影している画像の表示領域の座標を表示または設定するための操作部である。
ロボット装置操作部370には、ロボット装置1の教示を、ダイレクトティーチングに切り替える、教示モード切換ボタン373を有している。
また、ロボット装置1のエンドエフェク11を任意の座標系におけるXYZ方向に移動させるためのエンドエフェクタ操作ボタン374と、ロボット装置1の各関節J1〜J6毎に回転量を操作する関節操作ボタン375を有している。
また、ロボット装置1を自動で操作するロボット追従ボタンを有する。ロボット追従ボタンには、自動の操作をONにするロボット追従ONボタン376と、自動の操作をOFFにするロボット追従OFFボタン377とを有している。
そして現在のエンドエフェクタ11の位置を座標表示部372に設定するロボット設定ボタン383、エンドエフェクタ11の位置を座標表示部372に表示されている位置に移動するためのロボット移動ボタン384を有している。
撮像操作部371には、撮像装置2のパン、チルト操作を行うための視点操作ボタン378、ズームイン、ズームアウト操作を行うためのズーム操作ボタン379、を有している。
また、撮像装置2を自動で操作する場合における、撮像装置2の撮像対象を指定する撮像対象指定ボックス380を有している。
さらに撮像対象指定ボックス380で撮像対象を指定すれば、撮像装置2を撮像対象ボックスで指定した部位に追従させる撮像追従ボタンを備えている。撮像追従ボタンには、撮像追従をONにする撮像追従ONボタン381と、撮像追従をOFFにする撮像追従OFFボタン382と、を有している。
また、現在の撮像装置2がフォーカスする座標を座標表示部372に設定する撮像設定ボタン385、撮像装置2がフォーカスする座標を座標表示部372に表示されている座標に移動させるための撮像移動ボタン386を備える。
座標表示部372には、XYZの座標を表示および入力するための座標表示ボックス387を備える。
教示作業中に、撮像装置2の撮影をロボット装置1の動作に追従させたい場合には、撮像追従ONボタン381をタップまたはクリックすることで、撮像対象ボックス380で指定した位置に追従するようになる。
また撮像追従OFFボタン382をタップまたはクリックすることで、追従を解除できる。
同様に、ロボット装置1を撮像装置2の撮影範囲に追従させたい場合には、ロボット追従ONボタン376をタップまたはクリックすることで、撮像範囲にロボット装置1が追従するようになる。
またロボット追従OFFボタン377をタップまたはクリックすることで、追従を解除できる。
教示作業中に、現在のエンドエフェクタ11の空間的な位置を知りたい場合には、ロボット設定ボタン383をタップまたはクリックすることにより座標表示部372の座標表示ボックス387にXYZの座標値を表示する。
エンドエフェクタ11の位置は、ロボット装置1の各関節に設けられた不図示のエンコーダにより算出され、表示されるものとする。
空間的な所定の位置にエンドエフェクタ11を移動させたい場合には、座標表示部372のXYZそれぞれに数値を入力し、ロボット移動ボタン384をタップまたはクリックすることで、その座標にエンドエフェクタ11が移動する。
その際、エンドエフェクタ11の位置の値から逆運動学計算を用いることで、ロボット装置1の各関節における回転量を計算し、所定の位置にエンドエフェクタ11を移動させる。
同様に、撮像装置2における撮影範囲の中心の空間的な位置を知りたい場合には、撮像設定ボタン386をタップまたはクリックすることにより、座標表示部372の座標表示ボックス387にXYZの座標値を表示する。
空間的な所定の位置に撮像装置2の撮影範囲の中心を移動させたい場合には、座標表示部372のXYZそれぞれに数値を入力し、撮像移動ボタン384をタップまたはクリックすることにより、その座標に移動する。
撮像装置2の撮影範囲の中心の位置は、画像処理を用いることで算出するものとする。
所定の箇所の教示作業が終了した場合には、ロボット装置1の各軸の値と撮像装置2のパン、チルト、ズームの情報が同時に制御装置13に記録される。
以上により、作業者が所定の位置の値を外部入力装置130に入力するだけで、ロボット装置1、撮像装置2を所定の位置に動かすことができる。
さらに、教示作業中に注視したい部位を、常に画像表示部369に映し出すように、ロボット装置1および撮像装置2が追従して動作するので、複雑な手動操作を必要としない。
よって、ロボット装置と撮像装置における教示項目が多項目である場合でも作業者の操作の負担を軽減でき、教示時間の短縮を図ることができる。
(第10の実施形態)
次に第10の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態は、ロボット装置で扱うワークに注視させる教示を容易に行うことができるUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図29は、本実施形態における外部入力装置130の表示部131に表示されるロボット装置1および撮像装置2を教示するための画面構成の例を示している。
上記第10の実施形態と異なる点は、撮像操作部371に、領域設定ボタン390と、ワーク登録ボタン391、ワーク検索ボタン392を設けている点である。
領域設定ボタン390は、画像表示部369に表示されている画像に対し、所定の領域を設定することができる。
ワーク登録ボタン391は、領域設定ボタン390で設定された領域内から、ロボット装置1が扱うワークを検出し、注視するべきワークとして登録することができる。
ワークの検出については、あらかじめワークの画像データ等を制御装置13に記録しておき、画像表示部369の画像を画像処理することで検知する。
ワーク検索ボタン392は、ワーク登録ボタン391で登録したワークを、画像表示部369に表示されている画像から検索することができる。
図30は、本実施形態における、撮像装置2がワークを探索する際に実行されるフローチャートである。ワーク探索方法は図30のS310からS312の3工程からなり、ワーク位置に撮像装置2の撮像視点を教示することができる。
図30より、まずS310で、領域の選択を行う。領域設定ボタン390をタップまたはクリックすることにより、画像表示部369にワーク領域393が重畳表示される。
画像表示部369に表示されたワーク領域393をタップまたはクリックし、ピンチイン、ピンチアウト等の操作を行うことによりワーク領域393の大きさを設定することができる。
次にS311で、ワーク領域393内で検知されたワークを、注視すべきワークとして登録する。ワーク登録ボタン391をタップまたはクリックすることにより、選択したワーク領域393内で検知されたワークを、注視すべきワークとして登録することができる。
S312では、S311で登録されたワークを、撮像装置2がパン、チルト方向の駆動を行いながら、周囲から登録されたワークを探索する。ワーク探索ボタン392をタップまたはクリックすることにより、登録されたワークを探索させることができる。
これにより、複雑な座標の値等の入力を行うことなく、撮像装置2に対し、ワークを撮影し続けるよう教示することができ、撮像装置2に対する教示時間を短縮することができる。
(第11の実施形態)
次に第11の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、ある製品の組立を行う生産現場において、作業者が実施する組立工程によっては、製品の部品数が多い、工程手順が多い等の理由により工程が煩雑である場合を考える。
この場合、作業者が作業内容を間違えたり、作業に時間がかかったりする。
また作業内容が複雑だと、確認のため組立作業中に作業を中断し、印刷された手順書等を手元に取って工程の該当ページを確認するなどの手間がかかってしまう。
また、熟練していない作業者の場合だと、作業に著しく時間がかかる、作業を間違えるといったことがある。
また、作業者とロボット装置が共通の空間で作業を行う場合に、作業者が熟練していないとロボット装置の移動先を作業者が塞ぐなどしてしまい、ロボット装置やロボット装置に搬送されているワークと作業者とがぶつかる危険がある。
この場合、ロボット装置やワークの破損、ロボット装置の動作ずれによる組立不良、動作の停止による生産ラインの遅延が発生するといった問題が起こりうる。
本実施形態は、上記の課題に鑑み、外部入力装置により容易に作業工程を確認することができ、作業者が実施する作業の補助を行うことができるUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図31は、本実施形態におけるロボットシステム3000を用いた生産現場を示した図である。
ロボットシステム3000には、ロボット装置1が配置されている。ロボット装置1は、予めプログラムされた動作に応じて自動で部品405に部品403を組み付ける組立作業を行うものである。
ロボット装置1の形状はこの他、単軸スライド動作、スカラー型、XY型など、自動で組立作業を行うことができるものであれば何でもよく、形状を垂直多関節に限定するものではない。
ただし、いずれの場合においてもロボット装置1の各関節はエンコーダ等のセンサを用いた回転位置、もしくは角度の検出機能を有しており、ロボット装置1の姿勢制御が可能であるものとする。
またロボット装置1の近傍には作業者404が滞在して部品405の組立作業を行っており、ロボット装置1が動作する空間と共通の空間に、手など体の一部を入れて作業を行うことがある。
なお、ロボット装置1は人と共通の空間で作業が可能であることを前提とした、協働ロボットと呼ばれる衝突や挟み込みなどの対策がなされた、十分安全な構造、機能を持つものであるとする。
作業者404は外部入力装置130を用いて、ロボット装置1の動作を担うロボットプログラムを編集することができる。
なお、部品405の組立作業を行う作業者と、ロボットプログラムを編集する作業者は多くの場合は異なっていることがあり、それぞれ専門の作業者が担当してもよいものとする。
外部入力措置130は、一般にティーチングペンダントとも呼ばれ、図示しないロボット装置1の制御装置との通信機能を有している。そして、ロボット装置1の移動操作、ロボット装置1の移動先を示す教示点の記録、記録された教示点位置へロボット装置11を移動させる機能など、標準的なロボット操作機能を有する。
上記のようなロボット装置を用いた生産現場において、作業者404は外部入力装置130を手に持つ、あるいは視認可能な位置へ置いて、部品406を部品405へ組み付ける組立作業を行う。
また、ロボットシステム3000には撮像装置2が配置されており、生産現場全体が視認できるように撮影している。
撮像装置2は、必要な対象を撮影するために、パン、チルト、ズームといった撮影方向、画角を変更する駆動機能を備えている。また、撮像装置2の設置数は一つでもよいし、一つの撮像装置で死角ができてしまう場合はそれを補う場所へ複数の撮像装置を設置してもよい。
図32は本実施形態における外部入力装置130の構成を示した図である。本実施形態における外部入力装置130は、表示部131と、各種の操作部460を備える。操作部460は、上記実施形態と異なり、ボタン式であるが、かかる作用は上記実施形態と同様であるため説明を省略する。
図32より、外部入力装置130は、撮像装置2で撮影された画像を表示する表示部131を有する。
表示部131は、撮像装置2からの画像の他、ロボットプログラム編集画面を表示できる。
表示部131は、タッチセンサを備えたタッチパネルになっており、表示部131を直接、作業者404が触って直感的に操作、編集することができる。
その他、操作部460の各種ボタンを用いて表示部131内の表示を選択して操作してもよいし、キーボードやマウスを別途接続するインタフェースを外部入力装置130に備えてもよい。
外部入力装置130は、撮像装置2で撮影している生産現場の画像に、ロボット装置1の工程の動作や、部品406の次の組立手順といった仮想的な画像を合成して編集する機能を有する。
ここで、生産現場に配置されたロボット装置1や、扱う部品に対する撮像装置2の設置位置、方向は既知であるものとする。
それらの位置関係から、一般的な透視投影の算出方法により導出できる透視図を用いて、表示部131上に仮想的なロボット装置1や扱う部品の位置姿勢を示すロボット合成画像401bやワーク合成画像403bを表示する(図33)。
ロボット装置1の各関節には、エンコーダ等の角度検出機能を備えており、ロボット装置1の姿勢や、それによって搬送される部品403の位置は運動学計算により算出できる。
また、撮像装置2がパン、チルト、ズーム等の機能を有している場合でも、それらの駆動機構がエンコーダ等の回転角度検出機能を備えていることで、撮像装置2の撮影方向、拡大倍率を導出することができる。
ロボット装置1の形状モデルは3DCADにより準備されており、前記運動学と透視投影像の計算方法により算出されたロボット装置1の手先の位置や部品の位置の画像を、表示部131へ仮想的に合成表示することができる。
また表示部131には、タイムチャート452が表示されており、ロボットプログラム、作業者404の組立作業、合成表示といった工程の開始と終了のタイミングを編集する機能を有している。タイムチャート452上でそれらの工程の順序、表示タイミングを編集設定可能である。
タイムチャートの横軸は基本的には時間を示すが、ロボット装置1の性能によって移動にかかる時間は異なる。タイムチャートの1工程にかかる時間の長さは、作業者404が任意に設定したり、実際に一度ロボット装置1に動作を行わせて記録したりできる。別途ロボットシミュレーションを備えたロボット装置であれば、それを用いて導出してもよい。
また、各工程の動作開始タイミングについて、時間通りに動作する、もしくは前工程動作の終了タイミングを制御装置に認識させて、次の工程動作開始はその終了タイミングに合わせることも作業者404が任意に設定できる。
また、作業者404が組立内容を認識するための補助表示として、矢印、音、文字などといったものを設定してもよい。
その場合、表示アイコン453のように表示部131上に表示し、表示アイコン453を選択して配置、開始タイミングの設定を行う。
これら表示アイコン453は、矢印、文字、登録画像の点滅といった強調表示等の表示設定や、自在に色、大きさ、向きが設定できると、作業者404が他の作業に集中していても、注意喚起の認識性を高めることができる。
さらに撮像装置を複数備えて、複数方向から生産現場を撮影すれば、立体空間内における部品と作業者の距離を算出して、警告発生距離に使うことができる。
その場合、部品403と作業者404が接近したときに警告を発生させるには、画面上で対象物を選定し、それらの距離が一定数値より近くなった状態を閾値として設定し、画面の強調表示、音の発生などを表示アイコン453に設定する。
図33は、表示部131にロボットシステム3000を構成するロボット装置1、部品等の次の動作を仮想的に合成表示している図である。
実際のロボット装置1や部品403、教示者404を撮影して表示している画像を、ロボット装置撮影画像1aや部品撮影画像403aと呼称する。
逆にロボット装置1の次の動作により位置する部品403等を仮想的に表示している画像を、ロボット装置合成画像1bや部品合成画像403bと呼称する。
表示部131に合成するロボット装置1や部品403の合成画像については、一度ロボット装置1を実際に動かしたり、作業者404が組立作業を行ったりした際に、登録された対象物の形状を画像処理により認識し、動作を追跡して録画させて作成して良い。
画像処理方法については、エッジ抽出といった一般的な画像処理から作業者404、もしくは専門の画像処理技術者等が適切な手段を選択して適用する。
なお、上記の画像の合成、表示を追加する編集機能は、必ずしも外部入力装置130だけで実施することに限定する必要はない。
例えば、別途パソコンなどで編集を行ったものをロボット装置1の制御装置に保存しておき、制御装置1から外部入力装置130で表示させてもよい。
以上、本実施形態によれば、生産現場での作業中、実際にロボット装置を動作させなくても、次工程でどのような動作を行うかあらかじめ表示部131で確認することができる。
よって、予期せぬ部品同士や作業員404との接触などを容易に確認することができ、ロボット装置や部品の破損の危険性を低減することができる。
このようなロボット装置の工程における動作の確認、編集が、熟練したロボット装置や撮像装置の操作方法を習得したりする必要なく、容易に行うことができるようになる。
また、作業者404にロボット装置1や部品403が接近した際に、警告を発生させる設定を容易に実施することができる。
(第12の実施形態)
次に第12の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、作業者が、ダイレクトティーチングのように、ロボット装置を操作することで動作を教示する場合を考える。
上記のようなダイレクトティーチングを行う場合、ロボット装置の動作限界に到達すると異常とみなし、警告を示す音や文字の表示とともに操作を受け付けなくするものがある。
このため、ロボット装置の動作限界付近で動作設定を行う際に、頻繁に操作が止まってしまい、その度に復旧操作を行う必要があるため、動作設定に時間がかかるといった問題がある。
また、動作限界位置そのもの、またはその付近でロボット装置が停止した場合、ロボット装置が移動できる方向が限られるため、どの方向にロボット装置が移動できるか判断できず、ロボット装置の操作性を損なうといった問題がある。
本実施形態は上記課題に鑑み、ロボット装置の動作限界付近で教示等の動作設定を行う場合でも、教示の時間を低減し、ロボット装置の操作性を損なわないようにするUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図34は、ロボット装置1を作業者404が操作して動かす状況を撮像装置2で撮影して、操作装置2上の表示部131にロボット装置撮影画像1aとして表示している状態を示している。
この状態において、ロボット装置1は、ロボット装置1の一部の関節の駆動軸1jを中心とした回転動作を行う、いわゆる関節ジョグ操作や各軸操作などと呼ばれる操作がなされる。
この際、ロボット装置1が動作可能な範囲をロボット関節動作範囲420として、撮像装置2で撮影している画像に合成して、表示部131上へ表示している。
表示部131上に表示するこのロボット関節動作範囲420の幾何形状は、ロボット装置1の据え付け位置および各関節角度、撮像装置2の据え付け位置および姿勢に、駆動軸1jの回転可能角度を組み合わせる。
さらに、ロボット装置1もしくはロボット装置1が搬送する部品403の形状を組み合わせることで、第11の実施形態と同様に算出可能である。
このように導出された幾何形状が、ロボット関節動作範囲420の表示部131上に表示される。
図35は、直交ジョグ操作などと呼ばれる、ロボット装置1の据え付け面に対して直交している直交座標系425に沿って動かす操作がロボット装置1になされている状態である。
図34と同様にロボット装置1の直交動作範囲421が表示されている。図35の状態では、紙面上下方向へ移動させており、上下方向の移動限界を図示している。
図34より、ロボット装置合成画像1bが、ロボット装置1の直交動作範囲421における下限を表しており、ロボット装置合成画像1b’が、ロボット装置1の直交動作範囲421における上限を表している。
直交ジョグ操作では、他に紙面左右方向、奥行き方向、ならびにそれらの周方向で動かすことが可能である。その際も上記のようにロボット装置1の仮想的な動作を示す合成画像を用いて表示してよい。
なお、紙面奥行き方向に関しては、手前と奥側、もしくはそれに近い角度の動作限界は、SI単位系のミリメートル単位による数値表示を併記して、マイナス、プラス符号を付して表記するといった方法で認識性を高めるといった方法が考えられる。
その際の直交動作範囲421で表示される範囲方向の選択方法としては、操作部460の、各方向の動作ボタンを押したときにその方向に対応する範囲を表示する方法がある。
また、あらかじめどちらにロボット装置1を動かしたいか作業者404が選択し、その方向を常に表示する、といった手段が考えられる。
図36は、ツールジョグ操作などと呼ばれる、ロボット装置1の手先姿勢に対して直交しているツール座標系426に沿って動かす操作がロボット装置1になされている。図35と同様に、図36ではツール動作範囲422が表示されている。
これにより、ツールジョグ操作の場合でも、容易にロボット装置1の動作範囲を把握することができ、ロボット装置1の操作性を向上させることができる。
図34〜図36で述べた各動作範囲420〜422は表示、非表示の切り替え自在で、作業者404の必要とする情報、タイミングで表示できるようにすれば、通常のロボット操作での視認性を妨げることがない。
もしくは、動作限界の表示によって確認対象の視認性が妨げられる場合、各動作範囲420〜422の非表示、半透明、輪郭表示等を設定できるようにするとよい。
また、ロボット装置1の動作範囲の表示とともに、ロボット装置1の動作限界を越えて移動させようとした際に、ロボット装置1がエラー停止する前に直前の移動操作の逆方向へロボット装置1を移動させて動作を止める。
これにより、ロボット装置1が停止することで、ロボット装置1の作業性が損なわれることなく、ロボット装置1の操作を継続することができる。
そのための具体的なロボット装置1の制御方式の一例を示す。例えば、ロボット装置の動作の制御方式の一つとして、外部入力装置130の操作部460のボタンを押下してロボット装置1に直交ジョグ操作をしようとする。
その場合、まずロボット装置1の手先の移動目標位置を設定し、その位置に到達するためのロボット装置1に設けられたロボットアームの各関節角度を運動学により算出する。
そして、現在のロボット装置1の各関節との差分から、各関節の動作速度を決定する操作・制御方式がある。
その場合に、動作限界付近で直交ジョグ操作を行ったとしても、ロボット装置1の手先の目標位置が各関節の可動限界角度、もしくはその手前までにしか設定されないようにすれば、ロボット装置1がエラー停止することはない。
また、動作限界付近の一定範囲の姿勢をロボット装置1がとった場合、その範囲を脱出する移動動作、例えば、直前の操作の逆方向に移動するように自動的に実施する制御を行う。
こうすれば、動作限界付近の移動方向が極度に限定された状態において、どちらに操作すればロボット装置1が移動できるかわからない、といった問題を回避することができる。
また、この動作限界付近の一定範囲は、作業者404が任意に設定できるようにしておく。こうすれば、範囲を狭めて限界付近での作業を多用できるようにしたり、逆に範囲を広げて限界位置で操作性を損なうリスクを回避したりと、ロボット装置1の用途に合わせて選択することができるようになる。
以上本実施形態により、ロボット装置1の動作限界が外部入力装置130で確認することができるため、ロボット装置1の操作性を向上させることができる。
特に、ロボット装置1の周囲に存在する構造物を避けたり、複雑な移動経路をロボット装置が通る場合に有効である。
また、ロボット装置1の動作限界付近で頻繁にエラー停止するといった事象が回避でき、ロボット装置1の操作性が向上することで、短時間でロボット装置の教示作業が可能となる。
(第13の実施形態)
次に第14の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、生産現場における、生産計画、作業内容により頻繁にロボット装置の設置位置を移設し、複数の製造ラインで使用する場合を考える。
ロボット装置を移設する場合、ロボット装置の据え付けを高精度に調整しなければ、ワークとロボット装置との相対位置がズレるため、ロボット装置がワークをつかむ、組み立てるといった動作ができなくなる、失敗確立が上がる、といった問題が起こる。
通常、ロボット装置を移設して位置調整を行う際は、精度を保証して製作された位置決め治具を用いてロボット装置と据え付ける構造物との位置が高精度に定まるように調整する必要がある。
しかし、上記のような位置決め治具は、製作する費用と時間がかかってしまう。また、レーザ距離計やプロトラクターといった角度計などの測定機を用いて調整することも考えられる。しかし、その場合も精度が保証された測定機を準備し、測定機を高精度に使用する、ロボット装置を設置するための設計や調整を行う、といった対応が必要になる。
本実施形態は上記課題に鑑み、ロボット装置を高精度に位置決めする場合でも、治具や、測定器を使用することなく、位置決めを行うことができるようにするUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図37は、ロボット装置1を移設する際の作業を撮像装置2で撮影し、外部入力装置130上の表示部131に表示したものを表している。
撮像装置2で撮影しているロボット装置撮影画像1aの近辺に、ロボット設置画像1cを表示することで、ロボット装置1の適切な設置位置の確認をできるようにしている。
ロボット設置画像1cの形状、および設置位置は、設計上の3DCADモデルを使用してもよいし、一度適切な位置に設置した後に、撮像装置の画像を処理することによって、ロボット装置1の位置および形状を取得し、それを用いてもよい。
上記のように準備しておいたロボット設置画像1cを用いれば、第11の実施形態と同様に、ロボット装置1の姿勢と、撮像装置2の姿勢から表示画部131上に表示する幾何形状を算出可能である。
また、設置作業中のロボット装置1を撮像装置2で撮影し、その画像を処理することで、ロボット装置1の形状と位置を取得すれば、ロボット設置画像1cとの比較が可能となる。
これらの画像同士の適合面積や最大距離を比較し、設置位置が許容範囲内であるか否か、あるいはどちらにずれているかを表示部131上へ表示すれば、設置作業が容易になる。
適合面積や最大距離の許容範囲設定は、必要な組立精度等から作業者404が任意に設定できる。
また、設置作業の際にロボット装置1の姿勢を、複数方向へ向けたり、特徴的な姿勢を取らせたりして、それぞれの位置を合わせることで、設置精度の向上が可能となる。
特に、撮像装置2から見て奥行き方向ではなく、左右方向に長い姿勢をロボット装置1に取らせることで、画像処理精度の向上が期待できる。
また、撮像装置2のズーム機能を用いて、ロボット装置1の特徴的な一部分を拡大表示して記録し、その画像を位置合わせに用いれば高精度に位置合わせが可能になる。
これらの作業の際に、複数の撮像装置を用いて複数方向から撮影すれば、一つの撮像装置から確認しにくい方向での設置精度が向上できる。
ロボット設置画像1cの表示方法についても、ロボット装置1の形状の多角形表示、輪郭線のみの表示、半透明表示など、作業性、視認性に合わせて選択できるようにしても良い。
こうすることで、ロボット装置1を移設して複数の製造ラインで使用する場合でも、高価で長納期な位置決め治具の製作や測定機の使用が不要になる。
また、生産現場における生産計画や生産内容において、急遽新たな生産ラインの立ち上げや、試験運転を始める際にも、生産ラインに使用中のロボット装置を一時的に用いることができる。
さらにロボット装置の利用が完了した際にもすぐに元の生産ラインにロボット装置を戻すことができる。このように、多品種少量生産に対応したロボット運用ができるようになる。
(第14の実施形態)
次に第14の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、ロボット装置1と作業者404が並行して作業を進めている場合を考える。
この場合、作業者404が取り扱った部品406における撮像装置2による検査と、ロボット装置1の動作を同時に進めたい場合がある。
その際に、ロボット装置1が撮像装置2の視界を遮ってしまい部品406の検査ができない、もしくはロボット装置1がどの位置で作業を行えば並行作業が可能かわからないことがある。
本実施形態では上記課題が生じる場合でも、作業者が取り扱った部品における撮像装置による検査と、ロボット装置の動作を同時に進めることができるUI例である。
以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。
図38は、ロボット装置1と作業者404が共通の空間で並行して作業を進めている現場を、撮像装置2で撮影した画像を表示部131へ表示している例を示している。
部品406がロボット装置1の所定の関節によって遮られている状況が撮影されており、このままでは部品406における撮像装置2による検査ができない。
このとき、表示部131にはロボット装置回避姿勢1dが撮像装置2で撮影されている画像に合成表示されており、この示された範囲へロボット装置1を移動させることで、部品406における撮像装置2による検査が可能になる。
ロボット装置回避姿勢1dの導出方法としては、例えば部品撮影画像406aの輪郭と撮像装置2のレンズ中心を結ぶ、錐体状の多面体を想定すると、その多面体とロボット装置1の干渉しない範囲が、ロボット装置1が部品406を遮らない範囲となる。
ロボット装置1の姿勢は、ロボット装置1に設けられたロボットアームの各関節角度から運動学により算出可能である。
よって、ロボット装置1の姿勢を所定の方向へ変えた際に、どの姿勢でロボット装置1と多面体との干渉がなくなるかを導出可能である。
また、この際の表示部131上で表示すべきロボット装置回避姿勢1dの幾何形状については、第11の実施形態と同様にロボット装置1の姿勢、撮像装置2の姿勢から透視投影の計算により導出できる。
また、この計算の際にロボット装置1がどの方向へ回避した場合におけるロボット装置回避姿勢1dを計算するかは、作業者404が直交座標系などに沿って任意の方向を指定できるとよい。図38においては、矢印H方向へロボット装置1が回避する場合の範囲を示している。
図39は、上記で導出されたロボット装置回避姿勢1dの位置にロボット装置1が移動した状態を示している。
これにより、部品406全体が、ロボット装置1に遮られることなく、撮像装置2により映し出されており、部品406の検査を撮像装置2により行わせることができる。
以上本実施形態により、ロボット装置1と作業者404が並行して作業を実施する場合に、一方で撮像装置2により部品406を検査しながら、ロボット装置1が動作する教示の設定を実施することができる。
この機能を用いて、ロボット装置1が取り扱う部品403の設置位置を決定すれば、ロボット装置1と作業者404が並行作業しながら、両方の作業を撮像装置2で同時に監視可能な配置設計が容易になる。
(第15の実施形態)
次に第15の実施形態として、外部入力装置130に映し出された撮像装置からの画像を用いて、外部入力装置130により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なUI例について説明する。
本実施形態では、外部入力装置130により撮像装置2を操作する際、撮像装置2を直感的に操作する場合を考える。撮像装置2がパン方向およびチルト方向に動作することができる場合、撮像装置2の取り付け方によっては今までパン方向を操作していた撮像操作部が、外部入力装置130での表示のさせ方によってはチルト方向の操作部のように見えてしまう場合がある。その際、撮像装置2を直感的に操作することが難しくなる。本実施形態では上記のような課題が生じても外部入力装置130により直感的に撮像装置2を操作できるUI例について説明する。
図40は本実施形態における表示部131に表示される画面を示している。上述した種々の実施形態と異なる点は、作業者から見た撮像装置2の設置状態を表示した撮像装置設置アイコン560を設けている点である。外部入力装置130はあらかじめ、操作対象となる撮像装置2の取り付け方の情報が格納されており、格納された情報に基づき撮像装置2の設置状態を撮像操作部105に表示する。またパン方向を示す視覚表示子である矢印B、チルト方向を示す視覚表示子である矢印Aが撮像装置設置アイコン560に表示されている。
そして撮像装置2のチルト方向である矢印Aに方向を操作する際は、視点操作ボタン106aにより操作し、撮像装置2のパン方向である矢印B方向に操作する際は視点操作ボタン106bにより操作する。その際、視点操作ボタン106a付近にチルト方向を示す視覚表示子として「A」を表示し、視点操作ボタン106b付近にパン方向を示す視覚表示子として「B」を表示する。これにより、視点操作ボタン106aが指し示す方向とチルト方向の矢印A方向が見た目上一致し、視点操作ボタン106bが指し示す方向とパン方向の矢印B方向が見た目上一致する。これにより部入力装置130により直感的に撮像装置2を操作することができる。
図41は図40とは異なる取り付け方で撮像装置2が設置されている場合の表示部131に表示される画面を示している。図41では図40における撮像装置2の設置状態から90°回転させて設置されている。そして撮像装置2を90°回転させた状態で撮像装置設置アイコン560を撮像操作部105に表示している。
図41においては、撮像装置2のチルト方向である矢印Aに方向を操作する際は、視点操作ボタン106bにより操作し、撮像装置2のパン方向である矢印B方向に操作する際は視点操作ボタン106aにより操作する。その際、視点操作ボタン106a付近にパン方向を示す視覚表示子として「B」を表示し、視点操作ボタン106b付近にチルト方向を示す視覚表示子として「A」を表示する。これにより、視点操作ボタン106bが指し示す方向とチルト方向の矢印A方向が見た目上一致し、視点操作ボタン106aが指し示す方向とパン方向の矢印B方向が見た目上一致する。これにより撮像装置2の取り付け方が異なる場合でも部入力装置130により直感的に撮像装置2を操作することができる。また、撮像装置2の取り付け方が表示されているので、より直感的に撮像装置2の操作を行うことが可能となる。なお、視覚表示子として文字や矢印を表示しているが、図や絵など作業者の視覚により認識できる方法を適宜用いて構わない。
上述した種々の実施形態の処理手順は具体的には制御装置13により実行されるものとして説明したが、上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体を外部入力装置130に搭載させて実施しても良い。
従って上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体は本発明を構成することになる。
また、上記実施形態では、コンピュータで読み取り可能な記録媒体がROM或いはRAMであり、ROM或いはRAMに制御プログラムが格納される場合について説明したが、本発明はこのような形態に限定されるものではない。
本発明を実施するための制御プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、制御プログラムを供給するための記録媒体としては、HDD、外部記憶装置、記録ディスク等を用いてもよい。
(その他の実施形態)
上述した種々の実施形態では、ロボット装置1が複数の関節を有する多関節ロボットアームを用いた場合を説明したが、関節の数はこれに限定されるものではない。ロボット装置の形式として、垂直多軸構成を示したが、パラレルリンク型など異なる形式の関節においても上記と同等の構成を実施することができる。
また、ロボット装置1の構成例を各実施形態の例図により示したが、これに限定されるものではなく、当業者において任意に設計変更が可能である。また、ロボット装置1に設けられる各モータは、上述の構成に限定されるものではなく、各関節を駆動する駆動源は例えば人工筋肉のようなデバイス等であってもよい。
また上述した種々の実施形態は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。
また、上述した種々の実施形態では、撮像装置2により画像されているロボット装置の動作を監視するための画面構成を外部入力装置130に表示したがこれに限られない。
例えば、アプリ等によりロボット装置を操作できるような携帯端末、デスクトップパソコンやノートパソコン等、種々のインタフェースに表示しても構わない。
また、上記実施形態では、外部入力装置の表示部に表示されるものをボタンと呼称して説明したが、例えば表示アイコンや表示アイテムとして置き換えて実施しても構わない。
また、上述した種々の実施形態では、撮像装置2を所定の位置に設置されて撮像する撮像装置を例にとり説明したがこれに限られない。例えば、ロボット装置のエンドエフェクタに撮像装置を備え、撮像装置をオンハンドカメラとして使用し、定点から撮像する撮像装置からの画像と、オンハンドカメラとして使用している撮像装置からの画像とを、外部入力装置の同一画面に表示しても構わない。これにより、ロボット装置全体を確認しながら、作業を行うエンドエフェクタからの視点も確認でき、ロボット装置の教示をさらに容易に行うことが可能となる。また、定点から撮像する撮像装置からの画像と、オンハンドカメラとして使用している撮像装置からの画像とを交互に切り換えながら画像表示部に表示するようにしてもかまわない。
また、上述した種々の実施形態では、撮像装置2で撮影した画像を表示する例をとり説明したがこれに限られない。例えば、制御装置13に画像処理装置を内蔵させ、撮像装置2から撮像された画像を画像処理し、画像処理結果を外部入力装置130の表示部131に表示させても構わない。これにより撮像装置2を用いてロボット装置に教示を修正する際に、画像処理の結果を確認しながらロボット装置の教示を修正することができる。
1 ロボット装置
2 撮像装置
101、204、370 ロボット装置操作部
105、206、371 撮像操作部
104、146、205、369 画像表示部
130 外部入力装置

Claims (49)

  1. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    表示領域と、
    前記ロボット装置を操作するロボット装置操作部と、
    前記撮像装置を操作する撮像操作部と、
    前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
    前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置。
  2. 請求項1に記載の外部入力装置において、
    前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部の表示位置を変更できることを特徴とする外部入力装置。
  3. 請求項1または2に記載の外部入力装置において、
    前記ロボット装置操作部として、前記画像表示部に表示されている前記ロボット装置をタッチすることで、前記ロボット装置を操作でき、
    前記撮像操作部として、前記画像表示部に表示されている前記ロボット装置以外のいずれかの部分をタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
  4. 請求項3に記載の外部入力装置において、
    前記ロボット装置操作部として、前記画像表示部に表示されているいずれかの部分をシングルタッチまたはマルチタッチすることで、前記ロボット装置を操作でき、
    前記撮像操作部として、前記画像表示部に表示されているいずれかの部分を、前記シングルタッチまたは前記マルチタッチの内、前記ロボット装置の操作に使用しなかった方法でタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
  5. 請求項1または2に記載の外部入力装置において、
    前記ロボット装置操作部として、前記画像表示部に表示されているいずれかの部分を、所定の力の値以上でタッチすることで、前記ロボット装置を操作することができ、
    前記撮像操作部として、前記画像表示部に表示されているいずれかの部分を、前記所定の力の値未満でタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
  6. 請求項1または2に記載の外部入力装置において、
    前記画像表示部に、
    前記画像表示部のタッチによって、前記ロボット装置または前記撮像装置どちらの操作を行うのか設定する操作設定ボタンが表示されていることを特徴とする外部入力装置。
  7. 請求項3から6のいずれか1項に記載の外部入力装置において、
    前記画像表示部のタッチによって、前記撮像装置を操作する際、
    前記画像表示部をタッチし、所定の方向へスライドすることで、前記撮像装置の撮像視点を移動させ、
    前記画像表示部をタッチし、ピンチアウトすることで、前記撮像装置によるズームアウトを行い、
    前記画像表示部をタッチし、ピンチインすることで、前記撮像装置によるズームインを行うことを特徴とする外部入力装置。
  8. 請求項3から7のいずれか1項に記載の外部入力装置において、
    前記画像表示部のタッチによって、前記ロボット装置を操作する際、
    前記画像表示部をタッチし、フリックする動作を受け付けないことを特徴とする外部入力装置。
  9. 請求項1または2に記載の外部入力装置において、
    前記ロボット装置操作部は、
    予め教示されている前記ロボット装置の所定の動作の終了時間までを表す再生バーと、
    前記再生バーにおける、時間的な位置を示す第1の位置マークと、を備え、
    前記撮像操作部は、
    前記撮像装置における各駆動部の動作範囲を示す操作バーと、
    前記操作バーにおける、現在位置を示す第2の位置マークと、を備えていることを特徴とする外部入力装置。
  10. 請求項9に記載の外部入力装置において、
    前記再生バーと、前記操作バーの各々には、前記撮像装置における所定の撮像視点の教示点を表す、撮像視点教示ポイントが表示されることを特徴とする外部入力装置。
  11. 請求項9または10に記載の外部入力装置において、
    前記操作バーの各々には、前記各駆動部の前記動作範囲における、前記撮像視点の教示点として設定可能な範囲を示す設定可能範囲がそれぞれ表示されることを特徴とする外部入力装置。
  12. 請求項9から11のいずれか1項に記載の外部入力装置において、
    前記撮像装置は、パンチルトカメラであり、ズーム機能を備え、
    前記操作バーは、
    前記撮像装置をパン方向に操作するパン操作バーと、
    前記撮像装置をチルト方向に操作するチルト操作バーと、
    前記ズーム機能を調整するズーム調整バーと、を備え、
    前記パン操作バー、前記チルト操作バー、前記ズーム調整バーのそれぞれには、それぞれの動作範囲における現在位置を示す第3の位置マークが表示されることを特徴とする外部入力装置。
  13. 請求項1または2に記載の外部入力装置において、
    前記外部入力装置による操作対象を変更する際、前記操作対象それぞれの操作の基準となっている座標系に切り換えて、前記操作対象を操作可能にする座標系切換ボタンを備えていることを特徴とする外部入力装置。
  14. 請求項13に記載の外部入力装置において、
    前記座標系切換ボタンは、
    前記ロボット装置が設置されている位置を基準とするベース座標系に切り換える、ベース座標系ボタンと、
    前記ロボット装置におけるエンドエフェクタの位置を基準とするエンドエフェクタ座標系に切り換える、エンドエフェクタ座標系ボタンと、
    前記撮像装置に関する座標系に切り換える、撮像座標系ボタンと、を備えていることを特徴とする外部入力装置。
  15. 請求項1または2に記載の外部入力装置において、
    前記画像表示部の画像の上下を反転させる上下反転ボタンを備えていることを特徴とする外部入力装置。
  16. 請求項15に記載の外部入力装置において、
    前記画像表示部の画像の上下の反転を自動で行う、自動ボタンを備え、
    前記自動ボタンの操作により、前記画像表示部の画像の上下の反転を自動で行う際のトリガを設定する自動設定部が表示されることを特徴とする外部入力装置。
  17. 請求項16に記載の外部入力装置において、
    前記自動設定部は、前記撮像装置の各駆動部における角度の値を設定できることを特徴とする外部入力装置。
  18. 請求項1または2に記載の外部入力装置において、
    前記画像表示部の画像は、マルチタッチにより、回転させることができることを特徴とする外部入力装置。
  19. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記ロボット装置の動作の工程を表示する工程プログラム画面が表示され、
    前記工程プログラム画面には、前記工程の所定の工程において使用される撮像装置の名称と、当該撮像装置に教示されている教示点と、が表示されることを特徴とする外部入力装置。
  20. 請求項19に記載の外部入力装置において、
    前記撮像装置は複数設けられ、
    前記外部入力装置には、前記表示部に画像を映し出す撮像装置として、前記複数の撮像装置のうち前記ロボット装置を撮影している撮像装置に自動で切り換える撮像装置切換ボタンを備えていることを特徴とする外部入力装置。
  21. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記ロボット装置と、前記ロボット装置と共に作業を行う作業者の、作業時間の計測を行わせる計測ボタンと、
    前記作業時間の計測の設定を行う計測設定ボタンと、
    計測した前記作業時間を表示する時間表示部と、が表示されていることを特徴とする外部入力装置。
  22. 請求項21に記載の外部入力装置において、
    前記計測設定ボタンの操作により、前記ロボット装置と前記作業者とが協働して作業している協働作業時間の計測の設定を行う設定画面が表示されることを特徴とする外部入力装置。
  23. 請求項21に記載の外部入力装置において、
    前記設定画面は、前記ロボット装置と前記作業者との相対的な距離を設定でき、
    前記ロボット装置と前記作業者との相対的な距離が、前記設定画面で設定した距離以下となっている時間を、前記協働作業時間として計測することを特徴とする外部入力装置。
  24. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記撮像装置の撮像対象を設定する、撮像対象指定ボックスと、
    前記撮像対象指定ボックスにより指定された撮像対象を自動で撮影し続けるように、前記撮像装置の制御を行わせる撮像追従ボタンと、が表示されていることを特徴とする外部入力装置。
  25. 請求項24に記載の外部入力装置において、
    前記表示領域には、
    前記撮像対象指定ボックスにより指定された撮像対象を自動で撮影され続けるように、前記ロボット装置を制御するロボット追従ボタンと、が表示されていることを特徴とする外部入力装置。
  26. 請求項24または25に記載の外部入力装置において、
    前記表示領域には、
    前記ロボットシステムにおける所定の座標値を表示する座標表示ボックスを備え、
    前記座標表示ボックスは、所定の座標値の入力を行うことができ、
    前記座標表示ボックスで入力された所定の座標値に、前記ロボット装置を動作させるロボット移動ボタンと、
    前記座標表示ボックスで入力された所定の座標値を、前記撮像装置に撮像させる撮像移動ボタンと、が表示されていることを特徴とする外部入力装置。
  27. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記撮像装置により撮影されている撮像に所定の領域を設定する領域設定ボタンと、
    前記撮像装置が撮影すべきワークを設定するワーク登録ボタンと、
    前記所定の領域から、撮影すべき前記ワークを検索するワーク検索ボタンと、が表示されていることを特徴とする外部入力装置。
  28. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    前記撮像装置が撮影している画像を表示する画像表示部を有し、
    前記画像表示部に、前記撮像装置が、所定の工程における前記ロボット装置を撮影している画像と共に、前記所定の工程の次の工程における前記ロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
  29. 請求項28に記載の外部入力装置において、
    前記画像表示部には、前記撮像装置が所定の工程における前記ロボット装置を撮影している撮像と共に、前記ロボット装置の動作範囲を表示することを特徴とする外部入力装置。
  30. 請求項29に記載の外部入力装置において、
    前記動作範囲は、仮想的な前記ロボット合成画像により、前記動作範囲の限界が表示されていることを特徴とする外部入力装置。
  31. 請求項28に記載の外部入力装置において、
    前記画像表示部に、前記撮像装置が前記ロボット装置を所定の場所に設置している作業を撮影している撮像と共に、前記ロボット装置を前記所定の場所とは異なる場所に設置した場合のロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
  32. 請求項28に記載の外部入力装置において、
    前記画像表示部に、前記撮像装置が、前記ロボット装置により一部が隠れたワークを撮影している撮像と共に、前記ワークの全てを前記撮像装置により撮影できるようになる前記ロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
  33. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    前記撮像装置が撮影している画像を表示する画像表示部を有し、
    前記画像表示部の表示設定を行う第1のアイコンと、
    前記ロボットシステムのいずれかの部品から生じさせる音の設定を行う第2のアイコンと、が前記画像表示部に表示されていることを特徴とする外部入力装置。
  34. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    表示領域と、
    前記外部入力装置を用いて、前記ロボットシステムを操作する作業者の顔のデータを記憶する記憶部と、を有し、
    前記表示領域には、
    前記撮像装置により、前記外部入力装置を使用している作業者の顔を検知し、検知した当該顔と、前記記憶部に記憶している前記顔のデータを比較する顔認証ボタンが備えられていることを特徴とする外部入力装置。
  35. 請求項34に記載の外部入力装置において、
    前記顔認証ボタンによる操作は、検知した前記顔と、前記記憶部に記憶している前記顔のデータを比較し、検知した前記顔と、前記記憶部に記憶している前記顔のデータが一致しない場合、前記作業者による前記ロボット装置の操作に制限をかけることを特徴とする外部入力装置。
  36. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    前記ロボット装置を操作するロボット装置操作部と、
    前記撮像装置を操作する撮像操作部と、
    前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
    前記外部入力装置の所定の面に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が設けられていることを特徴とする外部入力装置。
  37. 請求項36に記載の外部入力装置において、
    前記画像表示部を基準として、左右のどちらか一方に前記ロボット装置操作部が設けられ、他方に前記撮像操作部が設けられていることを特徴とする外部入力装置。
  38. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムであって、
    前記ロボットシステムへ所定の操作を入力できる外部入力装置と、を備え、
    前記外部入力装置は、
    表示領域と、
    前記ロボット装置を操作するロボット装置操作部と、
    前記撮像装置を操作する撮像操作部と、
    前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
    前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されていることを特徴とするロボットシステム。
  39. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムの制御方法であって、
    前記ロボットシステムへ所定の操作を入力できる外部入力装置と、
    前記外部入力装置からの指令により前記ロボットシステムを制御する制御装置と、を備え、
    前記外部入力装置は、
    前記ロボット装置を操作するロボット装置操作部と、
    前記撮像装置を操作する撮像操作部と、
    前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
    前記制御装置は、
    前記ロボット装置操作部と、前記撮像操作部とからの入力により、前記ロボット装置と前記撮像装置とを平行して操作できるように制御することを特徴とする制御方法。
  40. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記撮像装置の設置状態を示した撮像装置設置アイコンが表示されていることを特徴とする外部入力装置。
  41. 請求項40に記載の外部入力装置において、
    前記撮像装置の設置状態が変更された際、前記撮像装置設置アイコンの表示も変更することを特徴とする外部入力装置。
  42. 請求項40または41に記載の外部入力装置において、
    前記表示領域には、前記撮像装置を操作する撮像操作部が表示されており、
    前記撮像装置の設置状態が変更された際、前記撮像操作部の設定を変更することを特徴とする外部入力装置。
  43. 請求項42に記載の外部入力装置において、
    前記撮像装置はパン方向およびチルト方向に駆動させることができるパンチルトカメラであって、
    前記撮像装置設置アイコンには、前記パン方向を示す視覚表示子と前記チルト方向を示す視覚表示子が表示されていることを特徴とする外部入力装置。
  44. ロボット装置と、撮像視点を変更可能であり前記ロボット装置により移動しない場所に設けられた第1の撮像装置と、前記ロボット装置の所定の部位に設けられた第2の撮像装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を備えており、
    前記表示領域には、前記第1の撮像装置により撮影される画像と、前記第2の撮像装置により撮影される画像と表示することができることを特徴とする外部入力装置。
  45. 請求項44に記載の外部入力装置において、
    前記第1の撮像装置により撮影される画像と、前記第2の撮像装置により撮影される第2の画像とは、同一の表示領域に表示されることを特徴とする外部入力装置。
  46. 請求項44に記載の外部入力装置において、
    前記第1の撮像装置により撮影される画像と、前記第2の撮像装置により撮影される第2の画像と、を交互に表示させることができることを特徴とする外部入力装置。
  47. 撮像視点を変更可能な撮像装置と、ロボット装置と、前記撮像装置から取得される画像を画像処理する画像処理装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を備えており、
    前記表示領域に、前記画像処理装置から取得される画像処理結果を表示させることができることを特徴とする外部入力装置。
  48. 請求項39に記載の制御方法を、コンピュータに実行させるための制御プログラム。
  49. 請求項48に記載の制御プログラムを記録した、コンピュータで読み取り可能な記録媒体。
JP2019196804A 2018-11-01 2019-10-29 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体 Active JP7490349B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024079304A JP2024105552A (ja) 2018-11-01 2024-05-15 入力装置、入力装置の制御方法、ロボットシステム、物品の製造方法、制御プログラム、及び記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018206679 2018-11-01
JP2018206679 2018-11-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024079304A Division JP2024105552A (ja) 2018-11-01 2024-05-15 入力装置、入力装置の制御方法、ロボットシステム、物品の製造方法、制御プログラム、及び記録媒体

Publications (3)

Publication Number Publication Date
JP2020075354A true JP2020075354A (ja) 2020-05-21
JP2020075354A5 JP2020075354A5 (ja) 2022-11-02
JP7490349B2 JP7490349B2 (ja) 2024-05-27

Family

ID=70463708

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019196804A Active JP7490349B2 (ja) 2018-11-01 2019-10-29 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体
JP2024079304A Pending JP2024105552A (ja) 2018-11-01 2024-05-15 入力装置、入力装置の制御方法、ロボットシステム、物品の製造方法、制御プログラム、及び記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024079304A Pending JP2024105552A (ja) 2018-11-01 2024-05-15 入力装置、入力装置の制御方法、ロボットシステム、物品の製造方法、制御プログラム、及び記録媒体

Country Status (5)

Country Link
US (1) US20210252713A1 (ja)
EP (1) EP3875230A4 (ja)
JP (2) JP7490349B2 (ja)
CN (2) CN118700167A (ja)
WO (1) WO2020090809A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021246416A1 (ja) * 2020-06-05 2021-12-09
JP2022006427A (ja) * 2020-06-24 2022-01-13 株式会社日立製作所 撮像システム構築装置
JPWO2022030047A1 (ja) * 2020-08-03 2022-02-10
KR102403021B1 (ko) * 2021-06-29 2022-05-30 주식회사 뉴로메카 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
WO2022239233A1 (ja) * 2021-05-14 2022-11-17 ファナック株式会社 撮像環境調整装置、およびコンピュータ読み取り可能な記憶媒体
JP7364285B1 (ja) 2022-11-11 2023-10-18 高丸工業株式会社 ロボット操作システムの動作方法
WO2023248439A1 (ja) * 2022-06-23 2023-12-28 ファナック株式会社 ロボットシステム、ロボット制御装置およびロボット制御プログラム
WO2024089813A1 (ja) * 2022-10-26 2024-05-02 株式会社Fuji ロボット
KR102713812B1 (ko) * 2021-06-18 2024-10-07 두산로보틱스 주식회사 로봇을 활용한 영상 촬영 장치 및 영상 촬영 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
AT16425U1 (de) * 2017-12-14 2019-08-15 Wittmann Kunststoffgeraete Verfahren zur Validierung von programmierten Ablaufsequenzen oder
JP7400211B2 (ja) * 2019-05-16 2023-12-19 セイコーエプソン株式会社 ロボットシステム、制御装置およびロボットの制御方法
JP7326911B2 (ja) * 2019-06-20 2023-08-16 オムロン株式会社 制御システムおよび制御方法
JP2021091077A (ja) * 2019-12-10 2021-06-17 川崎重工業株式会社 映像確認用コンピュータ
KR102118293B1 (ko) * 2019-12-10 2020-06-02 주식회사 아진엑스텍 터치스크린을 포함하는 휴대용 단말을 이용한 로봇 장치 제어 방법
JP2022122728A (ja) * 2021-02-10 2022-08-23 セイコーエプソン株式会社 教示装置、教示方法および教示プログラム
CN114167775B (zh) * 2021-11-30 2024-04-26 上海德衡数据科技有限公司 基于机器人的实时外部控制方法及系统
CN114310881B (zh) * 2021-12-23 2024-09-13 中国科学院自动化研究所 一种机械臂快换装置的标定方法、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002331482A (ja) * 2001-05-02 2002-11-19 Sony Corp ロボットシステム、ロボット装置及びその制御方法
US20120191269A1 (en) * 2011-01-21 2012-07-26 Mitre Corporation Teleoperation of Unmanned Ground Vehicle
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
JP2014184543A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2018113659A (ja) * 2017-01-13 2018-07-19 キヤノン株式会社 撮像制御装置およびその制御方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69426057T2 (de) * 1993-11-29 2001-05-10 Olympus Optical Co., Ltd. Anordnung zur Bildrotation und Überlagerung
JP2000135689A (ja) * 1998-10-30 2000-05-16 Fanuc Ltd ロボット用画像処理装置
JP2001121458A (ja) * 1999-10-22 2001-05-08 Denso Corp ロボットコントローラ
JP2006000977A (ja) * 2004-06-17 2006-01-05 National Univ Corp Shizuoka Univ ロボット環境間力作用状態呈示装置
JP2006289531A (ja) * 2005-04-07 2006-10-26 Seiko Epson Corp ロボット位置教示のための移動制御装置、ロボットの位置教示装置、ロボット位置教示のための移動制御方法、ロボットの位置教示方法及びロボット位置教示のための移動制御プログラム
JP5030261B2 (ja) * 2005-11-16 2012-09-19 キヤノン株式会社 映像配信装置、ビューワ装置、映像配信装置の制御方法、ビューワ装置の制御方法およびコンピュータプログラム
JP4714086B2 (ja) * 2006-06-14 2011-06-29 株式会社ユーシン精機 コントローラ
EP1981263B1 (en) * 2007-04-13 2019-04-03 Axis AB Supporting continuous pan rotation in a pan-tilt camera
JP2009000782A (ja) 2007-06-21 2009-01-08 Idec Corp ロボット制御システムおよびロボットハンド
US20100017033A1 (en) * 2008-07-18 2010-01-21 Remus Boca Robotic systems with user operable robot control terminals
JP5442393B2 (ja) * 2009-10-29 2014-03-12 日立コンシューマエレクトロニクス株式会社 表示装置
US8471814B2 (en) * 2010-02-26 2013-06-25 Microsoft Corporation User interface control using a keyboard
JP5147139B2 (ja) * 2010-03-30 2013-02-20 シャープ株式会社 操作機器、その操作機器を備えた電子機器および画像処理装置、ならびにその操作機器における情報表示方法
JP2011212764A (ja) * 2010-03-31 2011-10-27 Toyota Motor Corp ロボットの遠隔操作システム
US8515271B2 (en) * 2010-08-30 2013-08-20 Samsung Electronics Co., Ltd. Imaging device, method of selecting imaging mode, and recording medium configured to store computer program
CA2720886A1 (en) * 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
JP5983259B2 (ja) * 2012-02-29 2016-08-31 株式会社Jvcケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
US8954853B2 (en) * 2012-09-06 2015-02-10 Robotic Research, Llc Method and system for visualization enhancement for situational awareness
AT513675A1 (de) * 2012-11-15 2014-06-15 Keba Ag Verfahren zum sicheren und bewussten Aktivieren von Funktionen und/oder Bewegungen einer steuerbaren technischen Einrichtung
CN105027058B (zh) * 2013-08-21 2018-10-09 松下知识产权经营株式会社 信息显示装置、信息显示方法以及记录介质
JP6476662B2 (ja) * 2013-09-20 2019-03-06 株式会社デンソーウェーブ ロボット操作装置、ロボットシステム、及びロボット操作プログラム
US9407964B2 (en) * 2013-10-25 2016-08-02 Verizon Patent And Licensing Inc. Method and system for navigating video to an instant time
JP5941089B2 (ja) * 2014-03-28 2016-06-29 ファナック株式会社 生体認証により作業者を判別するロボットシステム
US10743947B2 (en) * 2014-05-15 2020-08-18 Covidien Lp Systems and methods for controlling a camera position in a surgical robotic system
US9630318B2 (en) * 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US20160241767A1 (en) * 2015-02-13 2016-08-18 Lg Electronics Inc. Mobile terminal and method for controlling the same
US9619049B2 (en) * 2015-02-18 2017-04-11 International Business Machines Corporation One-handed operation of mobile electronic devices
JP6866566B2 (ja) 2015-03-19 2021-04-28 株式会社デンソーウェーブ ロボット操作装置、及びロボット操作プログラム
DE102015209899B4 (de) * 2015-05-29 2019-06-19 Kuka Roboter Gmbh Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
CN107921639B (zh) * 2015-08-25 2021-09-21 川崎重工业株式会社 多个机器人系统间的信息共享系统及信息共享方法
CN107040709A (zh) * 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人系统、机器人以及图像处理方法
JP6744709B2 (ja) * 2015-11-30 2020-08-19 キヤノン株式会社 情報処理装置、情報処理方法
KR102645817B1 (ko) * 2016-12-06 2024-03-08 한화로보틱스 주식회사 로봇의 비헤이비어 관리 방법 및 장치
JP2018107786A (ja) 2016-12-22 2018-07-05 キヤノン株式会社 撮像装置
JP2018206679A (ja) 2017-06-07 2018-12-27 株式会社豊田自動織機 蓄電モジュール
JP6944354B2 (ja) * 2017-11-22 2021-10-06 川崎重工業株式会社 ロボットシステム及びそれを用いて物を作る方法
US11407111B2 (en) * 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002331482A (ja) * 2001-05-02 2002-11-19 Sony Corp ロボットシステム、ロボット装置及びその制御方法
US20120191269A1 (en) * 2011-01-21 2012-07-26 Mitre Corporation Teleoperation of Unmanned Ground Vehicle
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
JP2014184543A (ja) * 2013-03-25 2014-10-02 Seiko Epson Corp ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2018113659A (ja) * 2017-01-13 2018-07-19 キヤノン株式会社 撮像制御装置およびその制御方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021246416A1 (ja) * 2020-06-05 2021-12-09
WO2021246416A1 (ja) * 2020-06-05 2021-12-09 ファナック株式会社 プログラミング装置
JP7553559B2 (ja) 2020-06-05 2024-09-18 ファナック株式会社 プログラミング装置
JP2022006427A (ja) * 2020-06-24 2022-01-13 株式会社日立製作所 撮像システム構築装置
JP7550546B2 (ja) 2020-06-24 2024-09-13 株式会社日立製作所 撮像システム構築装置
JP2022172112A (ja) * 2020-08-03 2022-11-15 三菱電機株式会社 遠隔操作装置
WO2022030047A1 (ja) * 2020-08-03 2022-02-10 三菱電機株式会社 遠隔操作装置
JPWO2022030047A1 (ja) * 2020-08-03 2022-02-10
WO2022239233A1 (ja) * 2021-05-14 2022-11-17 ファナック株式会社 撮像環境調整装置、およびコンピュータ読み取り可能な記憶媒体
KR102713812B1 (ko) * 2021-06-18 2024-10-07 두산로보틱스 주식회사 로봇을 활용한 영상 촬영 장치 및 영상 촬영 방법
KR102403021B1 (ko) * 2021-06-29 2022-05-30 주식회사 뉴로메카 로봇 교시 장치 및 이를 이용한 로봇 교시 방법
WO2023248439A1 (ja) * 2022-06-23 2023-12-28 ファナック株式会社 ロボットシステム、ロボット制御装置およびロボット制御プログラム
WO2024089813A1 (ja) * 2022-10-26 2024-05-02 株式会社Fuji ロボット
JP7364285B1 (ja) 2022-11-11 2023-10-18 高丸工業株式会社 ロボット操作システムの動作方法
JP2024070336A (ja) * 2022-11-11 2024-05-23 高丸工業株式会社 ロボット操作システムの動作方法

Also Published As

Publication number Publication date
CN113056351B (zh) 2024-07-23
US20210252713A1 (en) 2021-08-19
JP2024105552A (ja) 2024-08-06
EP3875230A4 (en) 2022-07-27
JP7490349B2 (ja) 2024-05-27
WO2020090809A1 (ja) 2020-05-07
CN118700167A (zh) 2024-09-27
EP3875230A1 (en) 2021-09-08
CN113056351A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
JP7490349B2 (ja) 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体
JP4167940B2 (ja) ロボットシステム
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
US11197730B2 (en) Manipulator system
JP5526881B2 (ja) ロボットシステム
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
US10807240B2 (en) Robot control device for setting jog coordinate system
JP6361213B2 (ja) ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
US20170336776A1 (en) Robot motion program generating method and robot motion program generating apparatus
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
JP2018167334A (ja) 教示装置および教示方法
JP2013049102A (ja) ロボットの制御装置及びロボットの姿勢決定方法
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
KR20230065881A (ko) 로봇 교시 시스템
JP7306871B2 (ja) ロボット操作装置、ロボット、ロボット操作方法、プログラムおよびロボット制御装置
JP2018144228A (ja) ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
JP2011083883A (ja) ロボット装置
JP2016078142A (ja) ロボット装置の制御方法、およびロボット装置
JP7493816B2 (ja) ロボット、システム、方法及びプログラム
WO2024047808A1 (ja) ロボット座標系に搬送装置座標系を設定する装置、及び方法
EP4155037A1 (en) Work program production system and work program production method
US20240100688A1 (en) Information processing apparatus, information processing method, robot system, manufacturing method for article using robot system, program, and recording medium
JP2018158429A (ja) ロボットシステム
JPH04119405A (ja) 位置及び回転角検出装置、その指示具、並びに、それを用いたロボットの動作教示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231026

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240515

R150 Certificate of patent or registration of utility model

Ref document number: 7490349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150