JP2020075354A5

JP2020075354A5 - 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体

Info

Publication number: JP2020075354A5
Application number: JP2019196804A
Authority: JP
Filing date: 2019-10-29
Publication date: 2022-11-02
Anticipated expiration: 2039-10-29

Description

上記課題を鑑み、本発明では、撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する入力装置であって、前記入力装置は、表示領域と、前記ロボット装置を操作するロボット装置操作部と、前記撮像装置を操作する撮像操作部と、前記撮像装置が撮影している画像を表示する画像表示部と、を有し、前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする入力装置を採用した。

Claims

撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する入力装置であって、
前記入力装置は、
表示領域と、
前記ロボット装置を操作するロボット装置操作部と、
前記撮像装置を操作する撮像操作部と、
前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする入力装置。
請求項１に記載の入力装置において、
前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部の表示位置を変更できることを特徴とする入力装置。
請求項１または２に記載の入力装置において、
前記ロボット装置操作部として、前記画像表示部に表示されている前記ロボット装置をタッチすることで、前記ロボット装置を操作でき、
前記撮像操作部として、前記画像表示部に表示されている前記ロボット装置以外のいずれかの部分をタッチすることで、前記撮像装置を操作できることを特徴とする入力装置。
請求項３に記載の入力装置において、
前記ロボット装置操作部として、前記画像表示部に表示されているいずれかの部分をシングルタッチまたはマルチタッチすることで、前記ロボット装置を操作でき、
前記撮像操作部として、前記画像表示部に表示されているいずれかの部分を、前記シングルタッチまたは前記マルチタッチの内、前記ロボット装置の操作に使用しなかった方法でタッチすることで、前記撮像装置を操作できることを特徴とする入力装置。
請求項１または２に記載の入力装置において、
前記ロボット装置操作部として、前記画像表示部に表示されているいずれかの部分を、所定の力の値以上でタッチすることで、前記ロボット装置を操作することができ、
前記撮像操作部として、前記画像表示部に表示されているいずれかの部分を、前記所定の力の値未満でタッチすることで、前記撮像装置を操作できることを特徴とする入力装置。
請求項１または２に記載の入力装置において、
前記画像表示部に、
前記画像表示部のタッチによって、前記ロボット装置または前記撮像装置どちらの操作を行うのか設定する操作設定ボタンが表示されていることを特徴とする入力装置。
請求項３から６のいずれか１項に記載の入力装置において、
前記画像表示部のタッチによって、前記撮像装置を操作する際、
前記画像表示部をタッチし、所定の方向へスライドすることで、前記撮像装置の撮像視点を移動させ、
前記画像表示部をタッチし、ピンチアウトすることで、前記撮像装置によるズームアウトを行い、
前記画像表示部をタッチし、ピンチインすることで、前記撮像装置によるズームインを行うことを特徴とする入力装置。
請求項３から７のいずれか１項に記載の入力装置において、
前記画像表示部のタッチによって、前記ロボット装置を操作する際、
前記画像表示部をタッチし、フリックする動作を受け付けないことを特徴とする入力装置。
請求項１から８のいずれか１項に記載の入力装置において、
前記ロボット装置操作部は、
予め教示されている前記ロボット装置の所定の動作の終了時間までを表す再生バーと、
前記再生バーにおける、時間的な位置を示す第１の位置マークと、を備え、
前記撮像操作部は、
前記撮像装置における各駆動部の動作範囲を示す操作バーと、
前記操作バーにおける、現在位置を示す第２の位置マークと、を備えていることを特徴とする入力装置。
請求項９に記載の入力装置において、
前記再生バーと、前記操作バーの各々には、前記撮像装置における所定の撮像視点の教示点を表す、撮像視点教示ポイントが表示されることを特徴とする入力装置。
請求項９または１０に記載の入力装置において、
前記操作バーの各々には、前記各駆動部の前記動作範囲における、前記撮像視点の教示点として設定可能な範囲を示す設定可能範囲がそれぞれ表示されることを特徴とする入力装置。
請求項９から１１のいずれか１項に記載の入力装置において、
前記撮像装置は、パンチルトカメラであり、ズーム機能を備え、
前記操作バーは、
前記撮像装置をパン方向に操作するパン操作バーと、
前記撮像装置をチルト方向に操作するチルト操作バーと、
前記ズーム機能を調整するズーム調整バーと、を備え、
前記パン操作バー、前記チルト操作バー、前記ズーム調整バーのそれぞれには、それぞれの動作範囲における現在位置を示す第３の位置マークが表示されることを特徴とする入力装置。
請求項１から１２のいずれか１項に記載の入力装置において、
前記入力装置による操作対象を変更する際、前記操作対象それぞれの操作の基準となっている座標系に切り換えて、前記操作対象を操作可能にする座標系切換ボタンを備えていることを特徴とする入力装置。
請求項１３に記載の入力装置において、
前記座標系切換ボタンは、
前記ロボット装置が設置されている位置を基準とするベース座標系に切り換える、ベース座標系ボタンと、
前記ロボット装置におけるエンドエフェクタの位置を基準とするエンドエフェクタ座標系に切り換える、エンドエフェクタ座標系ボタンと、
前記撮像装置に関する座標系に切り換える、撮像座標系ボタンと、を備えていることを特徴とする入力装置。
請求項１から１４のいずれか１項に記載の入力装置において、
前記画像表示部の画像の上下を反転させる上下反転ボタンを備えていることを特徴とする入力装置。
請求項１５に記載の入力装置において、
前記画像表示部の画像の上下の反転を自動で行う、自動ボタンを備え、
前記自動ボタンの操作により、前記画像表示部の画像の上下の反転を自動で行う際のトリガを設定する自動設定部が表示されることを特徴とする入力装置。
請求項１６に記載の入力装置において、
前記自動設定部は、前記撮像装置の各駆動部における角度の値を設定できることを特徴とする入力装置。
請求項１から１７のいずれか１項に記載の入力装置において、
前記画像表示部の画像は、マルチタッチにより、回転させることができることを特徴とする入力装置。
請求項１から１８のいずれか１項に記載の入力装置において、
前記表示領域に、
前記ロボット装置の動作の工程を表示する工程プログラム画面が表示され、
前記工程プログラム画面には、前記工程の所定の工程において使用される撮像装置の名称と、当該撮像装置に教示されている教示点と、が表示されることを特徴とする外部入力装置。
請求項１９に記載の入力装置において、
前記撮像装置は複数設けられ、
前記入力装置には、前記画像表示部に画像を映し出す撮像装置として、前記撮像装置のうち前記ロボット装置を撮影している撮像装置に自動で切り換える撮像装置切換ボタンを備えていることを特徴とする入力装置。
請求項１から２０のいずれか１項に記載の入力装置において、
前記表示領域に、
前記ロボット装置と、前記ロボット装置と共に作業を行う作業者の、作業時間の計測を行わせる計測ボタンと、
前記作業時間の計測の設定を行う計測設定ボタンと、
計測した前記作業時間を表示する時間表示部と、が表示されていることを特徴とする入力装置。
請求項２１に記載の入力装置において、
前記計測設定ボタンの操作により、前記ロボット装置と前記作業者とが協働して作業している協働作業時間の計測の設定を行う設定画面が表示されることを特徴とする外部入力装置。
請求項２２に記載の入力装置において、
前記設定画面は、前記ロボット装置と前記作業者との相対的な距離を設定でき、
前記ロボット装置と前記作業者との相対的な距離が、前記設定画面で設定した距離以下となっている時間を、前記協働作業時間として計測することを特徴とする入力装置。
請求項１から２３のいずれか１項に記載の入力装置において、
前記表示領域に、
前記撮像装置の撮像対象を設定する、撮像対象指定ボックスと、
前記撮像対象指定ボックスにより指定された撮像対象を自動で撮影し続けるように、前記撮像装置の制御を行わせる撮像追従ボタンと、が表示されていることを特徴とする入力装置。
請求項２４に記載の入力装置において、
前記表示領域に、
前記撮像対象指定ボックスにより指定された撮像対象を自動で撮影され続けるように、前記ロボット装置を制御するロボット追従ボタンと、が表示されていることを特徴とする入力装置。
請求項２４または２５に記載の入力装置において、
前記表示領域に、
前記ロボットシステムにおける所定の座標値を表示する座標表示ボックスを備え、
前記座標表示ボックスは、所定の座標値の入力を行うことができ、
前記座標表示ボックスで入力された所定の座標値に、前記ロボット装置を動作させるロボット移動ボタンと、
前記座標表示ボックスで入力された所定の座標値を、前記撮像装置に撮像させる撮像移動ボタンと、が表示されていることを特徴とする入力装置。
請求項１から２６のいずれか１項に記載の入力装置において、
前記表示領域に、
前記撮像装置により撮影されている撮像に所定の領域を設定する領域設定ボタンと、
前記撮像装置が撮影すべきワークを設定するワーク登録ボタンと、
前記所定の領域から、撮影すべき前記ワークを検索するワーク検索ボタンと、が表示されていることを特徴とする入力装置。
請求項１から２７のいずれか１項に記載の入力装置において、
前記画像表示部に、前記撮像装置が、所定の工程における前記ロボット装置を撮影している画像と共に、前記所定の工程の次の工程における前記ロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする入力装置。
請求項２８に記載の入力装置において、
前記画像表示部には、前記撮像装置が所定の工程における前記ロボット装置を撮影している撮像と共に、前記ロボット装置の動作範囲を表示することを特徴とする入力装置。
請求項２９に記載の入力装置において、
前記動作範囲は、仮想的な前記ロボット合成画像により、前記動作範囲の限界が表示されていることを特徴とする入力装置。
請求項２８に記載の入力装置において、
前記画像表示部に、前記撮像装置が前記ロボット装置を所定の場所に設置している作業を撮影している撮像と共に、前記ロボット装置を前記所定の場所とは異なる場所に設置した場合のロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする入力装置。
請求項２８に記載の入力装置において、
前記画像表示部に、前記撮像装置が、前記ロボット装置により一部が隠れたワークを撮影している撮像と共に、前記ワークの全てを前記撮像装置により撮影できるようになる前記ロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする入力装置。
請求項１から３２のいずれか１項に記載の入力装置において、
前記画像表示部の表示設定を行う第１のアイコンと、
前記ロボットシステムのいずれかの部品から生じさせる音の設定を行う第２のアイコンと、が前記画像表示部に表示されていることを特徴とする入力装置。
請求項１から３３のいずれか１項に記載の入力装置において、
前記入力装置を用いて、前記ロボットシステムを操作する作業者の顔のデータを格納した格納部と、を有し、
前記表示領域に、
前記撮像装置により、前記入力装置を使用している作業者の顔を検知し、検知した当該顔と、前記格納部に格納している前記顔のデータを比較する顔認証ボタンが備えられていることを特徴とする入力装置。
請求項３４に記載の入力装置において、
前記顔認証ボタンによる操作は、検知した前記顔と、前記格納部に記憶している前記顔のデータを比較し、検知した前記顔と、前記格納部に格納している前記顔のデータが一致しない場合、前記作業者による前記ロボット装置の操作に制限をかけることを特徴とする入力装置。
請求項１から３５のいずれか１項に記載の入力装置において、
前記入力装置の所定の面に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が設けられていることを特徴とする入力装置。
請求項３６に記載の入力装置において、
前記画像表示部を基準として、左右のどちらか一方に前記ロボット装置操作部が設けられ、他方に前記撮像操作部が設けられていることを特徴とする入力装置。
請求項１から３７のいずれか１項に記載の入力装置において、
前記表示領域には、
前記撮像装置の設置状態を示した撮像装置設置アイコンが表示されていることを特徴とする入力装置。
請求項３８に記載の入力装置において、
前記撮像装置の設置状態が変更された際、前記撮像装置設置アイコンの表示も変更することを特徴とする入力装置。
請求項３８または３９に記載の入力装置において、
前記撮像装置の設置状態が変更された際、前記撮像操作部の設定を変更することを特徴とする入力装置。
請求項４０に記載の入力装置において、
前記撮像装置はパン方向およびチルト方向に駆動させることができるパンチルトカメラであって、
前記撮像装置設置アイコンには、前記パン方向を示す視覚表示子と前記チルト方向を示す視覚表示子が表示されていることを特徴とする入力装置。
ロボット装置と、撮像視点を変更可能であり前記ロボット装置により移動しない場所に設けられた第１の撮像装置と、前記ロボット装置の所定の部位に設けられた第２の撮像装置と、を有するロボットシステムを操作する入力装置であって、
前記入力装置は、表示領域を備えており、
前記表示領域には、前記第１の撮像装置により撮影される画像と、前記第２の撮像装置により撮影される画像と表示することができることを特徴とする入力装置。
請求項４２に記載の入力装置において、
前記第１の撮像装置により撮影される画像と、前記第２の撮像装置により撮影される第２の画像とは、同一の表示領域に表示されることを特徴とする入力装置。
請求項４２に記載の入力装置において、
前記第１の撮像装置により撮影される画像と、前記第２の撮像装置により撮影される第２の画像と、を交互に表示させることができることを特徴とする入力装置。
請求項１から４４のいずれか１項に記載の入力装置を用いて動作が教示された前記ロボット装置を備えるロボットシステム。
請求項４５に記載のロボットシステムを用いて物品の製造を行うことを特徴とする物品の製造方法。
撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する入力装置の制御方法であって、
前記入力装置は、
表示領域と、
前記ロボット装置を操作するロボット装置操作部と、
前記撮像装置を操作する撮像操作部と、
前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置する、
ことを特徴とする制御方法。
請求項４７に記載の制御方法を、コンピュータに実行させるための制御プログラム。
請求項４８に記載の制御プログラムを記録した、コンピュータで読み取り可能な記録媒体。