JP2020075354A - 外部入力装置、ロボットシステム、ロボットシステムの制御方法、制御プログラム、及び記録媒体 - Google Patents

Abstract

【課題】 本発明は、撮像装置とロボット装置とを映し出す表示部が設けられた１つの外部入力装置により操作を行う際、ユーザーフレンドリーなＵＩを有する外部入力装置を提供することを目的とする。【解決手段】 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、外部入力装置は、表示領域と、ロボット装置を操作するロボット装置操作部と、撮像装置を操作する撮像操作部と、撮像装置が撮影している画像を表示する画像表示部と、を有し、表示領域に、ロボット装置操作部と、撮像操作部と、画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置を採用した。【選択図】 図６

Description

本発明は、撮像装置を備えたロボットシステムに関するものである。

近年、撮像装置を用いてロボット装置を監視するロボットシステムが注目されている。

例えば特許文献１は、撮像装置としてパンチルト機能を有しており、撮像装置が撮像する範囲を幅広くしている。これにより必要に応じて、撮像装置の首振り機能やズーム機能を駆使し、様々な方向からロボット装置を映し出し、ロボット装置の様々なシーンを監視することに用いることができる。

そして、特許文献２に記載のロボットシステムでは、ロボットハンド等に搭載された撮像装置からの画像を教示用タブレット等の外部入力装置に映しだす。そして、ロボットハンドにおける視点からの画像を見ながら、ロボットハンドを動かし、ロボットアームの始点、終点位置を外部入力装置により教示する。

このように撮像範囲の広い撮像装置からの画像を見ながら、作業者がロボット装置の教示を行うことで、作業者が教示する際に危険を伴う箇所や、作業者が立ち入れないような場所での教示を行うことができる。

特開２０１８‐１０７７８６号公報 特開２００９‐０００７８２号公報

しかしながら特許文献２に記載のロボットシステムは、単に撮像装置からの画像を映し出すモニタが、教示用パネル等の外部入力装置に設けられているだけに過ぎない。

よって、撮像装置とロボット装置とを、画像を映し出すモニタ等の表示部が設けられた１つの外部入力装置により操作を行う際、外部入力装置にどのようなユーザーインタフェース（以下、ＵＩ）を設ければ良いのかは論じられていなかった。

本発明は、上記観点に鑑み、撮像装置とロボット装置とを、画像を映し出すモニタが設けられた１つの外部入力装置により操作を行う際、ユーザーフレンドリーなＵＩを有する外部入力装置を提供することを目的とする。

上記課題を鑑み、本発明では、撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、前記外部入力装置は、表示領域と、前記ロボット装置を操作するロボット装置操作部と、前記撮像装置を操作する撮像操作部と、前記撮像装置が撮影している画像を表示する画像表示部と、を有し、前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置を採用した。

本発明によれば、撮像装置からの画像を見ながら、ロボット装置に教示を行う際、ロボット装置の位置が逐一変わってしまっても、画像表示部と撮像操作部、ロボット装置操作部により、撮像視点を容易に適応させることができる。

よって画像表示部により撮像視点を確認しつつ、ロボット装置操作部により、教示点ごとにロボット装置への教示を行い、撮像操作部により撮像装置の調整を行うことができる。

このため、同一の装置でロボット装置の教示操作、撮像装置の教示操作、撮像装置からの画像確認ができるので、ユーザーフレンドリーな外部入力装置を提供することができる。

本実施形態におけるロボットシステム１０００の構成を示した図である。 本実施形態におけるロボット装置１の構成を示した図である。 実施形態における外部入力装置１３０の構成を示した図である。 本実施形態における撮像装置２の構成を示した図である。 本実施形態におけるロボットシステム１０００の制御ブロック図である。 第１の実施形態における外部入力装置１３０を示した図である。 第２の実施形態における外部入力装置１３０を示した図である。 第２の実施形態における制御フローを示したフローチャートである。 第３の実施形態における制御フローを示したフローチャートである。 第３の実施形態における外部入力装置１３０を示した図である。 第４の実施形態におけるロボットシステム２０００を示した図である。 第４の実施形態における外部入力装置１３０を示した図である。 第４の実施形態における撮像装置Ａとロボット装置２０１との相対姿勢の説明図である。 第５の実施形態における撮像装置２による画像の上下が反転する際の説明図である。 第５の実施形態における外部入力装置１３０を示した図である。 第５の実施形態における画像表示部２０５の上下を反転させた際の図である。 第５の実施形態における画像表示部２０５の上下の反転を自動で設定する際の説明図である。 第５の実施形態における画像表示部２０５をマルチタッチにより回転させる際の説明図である。 第６の実施形態における外部入力装置１３０を示した図である。 第７の実施形態における外部入力装置１３０を示した図である。 第８の実施形態におけるロボットシステム２０００を示した図である。 第８の実施形態における外部入力装置１３０の一部を示した図である。 第８の実施形態における外部入力装置１３０の一部を示した図である。 第８の実施形態における外部入力装置１３０の一部を示した図である。 第８の実施形態における外部入力装置１３０の一部を示した図である。 第８の実施形態における外部入力装置１３０の一部を示した図である。 第９の実施形態における制御フローを示したフローチャートである。 第９の実施形態における外部入力装置１３０を示した図である。 第１０の実施形態における外部入力装置１３０を示した図である。 第１０の実施形態における制御フローを示したフローチャートである。 第１１の実施形態におけるロボットシステム３０００を示した図である。 第１１の実施形態における外部入力装置１３０を示した図である。 第１１の実施形態における外部入力装置１３０を示した図である。 第１２の実施形態における外部入力装置１３０を示した図である。 第１２の実施形態における外部入力装置１３０を示した図である。 第１２の実施形態における外部入力装置１３０を示した図である。 第１３の実施形態における外部入力装置１３０を示した図である。 第１４の実施形態における外部入力装置１３０を示した図である。 第１４の実施形態における外部入力装置１３０を示した図である。 第１５の実施形態における外部入力装置１３０を示した図である。 第１５の実施形態における外部入力装置１３０を示した図である。

以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す実施形態はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。

（第１の実施形態）
図１は本実施形態におけるロボットシステム１０００の概略構成を示した図である。本実施形態ではロボット装置１がベルトコンベア９００から矢印Ｐ方向に流れてくるワークＷａからＷｄを、トレイ１５２へ並べる作業を例にとり説明する。

ロボットシステム１０００は、ロボット装置１とロボット装置１の状況を撮像するための撮像装置２、ロボット装置１と撮像装置２を制御する制御装置１３、ロボット装置１と撮像装置２の教示を行う外部入力装置１３０から成る。

図１より、撮像装置２は柱１５５に設けられており、この撮像装置２がロボット装置１及び周辺のワークを撮像し、外部入力装置１３０の表示領域としての表示部１３１に撮像装置２からの画像を表示する。

図２は本実施形態におけるロボット装置１の構成を示した図である。本実施形態ではロボット装置として６軸多関節ロボットを例に説明する。

図２より、ロボット装置１は基台１０、６つの関節Ｊ１からＪ６を有するロボットアーム本体５０、ワークを把持するエンドエフェクタ１１を備える。また、ロボット装置１はケーブル１２を介して制御装置１３に接続される。

ロボットアーム本体５０は、複数リンク、例えばシリアルリンク形式で複数の関節（６軸）を介して相互に接続した構成を有する。ロボットアーム本体５０のリンク５１、５２、５３、５４、５５、および５６は、関節Ｊ１、Ｊ２、Ｊ３、Ｊ４、Ｊ５、およびＪ６を介して駆動される。駆動源として各々の関節には不図示のモータを有している。

また、ロボットアーム本体５０の先端に接続されるエンドエフェクタ１１は生産ラインにおいて組み立て作業や移動作業を行うためのロボットハンドが適用されている。

このエンドエフェクタ１１は、リンク５６に対してビス止めなどの半固定的な手段によって装着されるか、あるいは、ラッチ止めなどの着脱手段によって装着可能であるものとする。

特に、エンドエフェクタ１１が着脱可能である場合は、ロボットアーム本体５０を制御して、ロボットアーム本体５０自身の動作によって、供給位置に配置された他のエンドエフェクタ１１を着脱ないし交換する方式も考えられる。

さらに本実形態では、関節Ｊ１〜Ｊ６の駆動をフィードバック制御できるように各関節にそれぞれ不図示のトルクセンサとエンコーダを各々配置しているものとする。

本実施形態ではエンドエフェクタ１１として、３つの指部を備えたロボットハンドを例に説明する。なお、本実施形態では指部を備えたロボットハンドを例にとるが、例えば指部の代わりに吸着機構を設けワークの保持を行うエンドエフェクタ等、ワークに作業を行うことができる機構を別途用いても良い。

制御装置１３はマイクロプロセッサなどから成るＣＰＵなどによって構成されている。また制御装置１３には教示者がロボット装置１の近辺でロボット装置１および撮像装置２の教示を行うための外部入力装置１３０が接続されている。

作業者により外部入力装置１３０を用いて、指令値を制御装置１３に入力し、制御装置１３からの制御値がロボットアーム本体５０及びエンドエフェクタ１１に渡されることでワークをトレイ１５２に並べる等の動作がロボット装置１により行われる。

また、ロボット装置１の周りに防護壁１５４が設置されている。防護壁１５４はワークや現場の作業者がロボット装置１とぶつからないよう、安全のために設けられている。

また制御装置１３は、ロボットアーム本体５０の各種動作に応じて対応する駆動部を制御するためのプログラムや、それらの制御に必要なデータ等を記憶したＲＯＭを有する。さらにロボットアーム本体５０を制御する上で必要なデータ、設定値、プログラム等を展開するとともにＣＰＵの作業領域として使用するＲＡＭを備えている。

図３は教示者がロボット装置１および撮像装置２の教示を行うための外部入力装置１３０を示した図である。外部入力装置１３０は表示部１３１を備える。本実施形態では外部入力装置の例として教示用タブレットを例に取り説明する。

表示部１３１にはロボット装置１および撮像装置２の動作を教示するためのインタフェースや、撮像装置２が撮像した画像などが表示される。

表示部１３１は、タッチパネルに対応したディスプレイであり、作業者は表示部１３１をタッチ等により操作することで、ロボット装置１および撮像装置２へ指令値の入力を行うことができる。

以上により作業者は、表示部１３１に表示された情報を基に、表示部をタッチ操作することで指令値を入力し、ロボット装置１および撮像装置２の動作を教示することができる。

図４は撮像装置２の構成を示した図である。本実施形態ではパン・チルト・ズームが可能なパンチルトカメラを撮像装置２の例にとり説明する。

撮像装置２はカメラベース２０と可動部２１、また可動部２１内には撮像部２２を備えている。

可動部２１は、チルトモータを有しており、シャフトやベアリング等の伝達機構を介して撮像部２２を設けることで、撮像部２２を矢印Ａのチルト方向に回転できるようにしている。

同様に可動部２１は、パンモータを有しており、シャフトやベアリング等の伝達機構を介して撮像部２２を設けることで、撮像部２２を矢印Ｂのパン方向に回転できるようにしている。

撮像装置２はパンモータ、チルトモータを駆動することで撮像視点を変更し、撮影を行うことができる。任意の撮像視点および撮像視野となるようにパンモータ、チルトモータを駆動させ、撮像部２２の位置を指定して撮影を行うといった動作を記録させることを撮像装置２の教示と呼ぶ。

更に、撮像装置２は制御装置１３に接続するためのケーブル２３を有しており、ケーブル２３を介して制御装置１３に接続されている。

以上により、撮像装置２は可動部２１によりロボット装置１および周りの所定の位置を撮像することができ、画像を、制御装置１３を介して外部入力装置１３０の表示部１３１に表示することができる。

図５は本実施形態で用いるロボットシステム１０００の制御ブロック図を表したものである。

図５より情報を伝達するバス１１１に、制御装置１３内部に設けられたＣＰＵ１１２、ＲＯＭ１１３、ＲＡＭ１１５、ＨＤＤ１１６が接続される。

さらに撮像装置２に設けられたパンモータ、チルトモータの駆動を制御するために、不図示の各モータのドライバがインタフェース１１７を介してバス１１１に接続されている。

また、ロボット装置１のロボットアーム本体５０における各関節のモータ１２３〜１２８を制御するサーボ制御部１２２がインタフェース１１９を介してバス１１１に接続される。

また作業者が、ロボット装置１と撮像装置２への指令を行うための外部入力装置１３０に設けられた表示部１３１がインタフェース１１８を介してバス１１１に接続される。

以上により、ロボットシステム１０００を構成する、ロボット装置１、撮像装置２、外部入力装置１３０、制御装置１３がバス１１１を介して全て通信可能としている。

これにより、作業者が外部入力装置１３０を介して、ロボット装置１と撮像装置２とに指令値を送信し、平行して制御を行うことが可能となる。

以下、本実施形態における外部入力装置１３０のＵＩ例について詳しく説明する。本実施形態では、外部入力装置１３０に映し出された撮像装置２からの画像を用いて、外部入力装置１３０により、ロボット装置１と撮像装置２の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

図６は表示部１３１に表示される画面の一例を示している。表示部１３１には、ロボット装置１の姿勢の制御、教示を行うロボット装置操作部１０１、撮像装置２のパンモータ、チルトモータの制御、教示を行う撮像操作部１０５が表示される。

ロボット装置操作部１０１には、エンドエフェクタ１１を任意の座標系におけるＸＹＺ方向に移動させるためのエンドエフェクタ操作ボタン１０２と、各関節Ｊ１〜Ｊ６毎に回転量を操作するための関節操作ボタン１０３とを備えている。

撮像操作部には、撮像装置２のパン・チルト操作を行うための視点操作ボタン１０６や、ズームイン・ズームアウト操作を行うためのズーム操作ボタン１０７を備える。

さらにロボット装置操作部１０１と撮像操作部１０５との間に、撮像装置２が撮影している画像を表示する画像表示部１０４が表示される。

一般にロボットシステムにおける撮像装置の役割は、扱う対象物であるワークの位置を計測したり、加工前のワークの検査を行ったり、ロボット装置による組立動作や加工動作の検査を行うものである。

よって、ロボット装置のエンドエフェクタ付近を撮像装置で撮影し続けることが望ましい。しかしながら、ロボット装置のエンドエフェクタの可動範囲は教示される動作により広範囲にわたる。

このような場合に撮像視点の向きを自在に変えることができるパンチルト機能を有した撮像装置は有効である。

図６に示すように、教示の指令値を入力する外部入力装置１３０に、ロボット装置操作部１０１、撮像操作部１０５、画像表示部１０４が、同一の表示部に全て表示され、作業者からの入力を受け付けられるようにしている。

そのため、撮像装置からの画像を見ながら、ロボット装置に教示を行う際、エンドエフェクタの位置が逐一変わってしまっても、画像表示部１０４と撮像操作部１０５により、撮像視点を容易に適応させることができる。

そして画像表示部１０４により撮像視点を確認しつつ、ロボット装置操作部１０１により、教示点ごとにロボット装置への教示を行い、ロボット装置１と連動して撮像操作部１０５により撮像装置２の調整を行うことができる。

このため、同一画面上でロボット装置１の教示操作、撮像装置２の教示操作、撮像装置２の画像確認ができるので、ユーザーフレンドリーな入力装置を提供することができる。

また、画像表示部１０４の左右の一方にロボット装置操作部１０１、他方に撮像操作部１０５を表示させている。これにより、作業者が外部入力装置１３０を持った際、作業者の左右の手が各操作部にかかるようにしている。よって、作業者の指が各操作部に届きやすくなるので、さらに外部入力装置１３０の操作性を向上させることができる。なお、作業者の手の大きさ等により、ロボット装置操作部１０１、撮像操作部１０５、画像表示部１０４の表示位置を適宜変更できるようにしてもかまわない。

（第２の実施形態）
上記第１の実施形態では、同一画面上にロボット装置１の教示操作、撮像装置２の教示操作、撮像装置２の画像確認ができるように外部入力装置を構成し、作業者による操作の利便性向上を図った。

本実施形態では、上記に加え、外部入力装置のＵＩにより、作業者の安全を確保することができる。

以下では、第１の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第１の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図７は本実施形態における表示部１３１に表示される画面を示している。第１の実施形態と異なる点は、表示部１３１の撮像操作部１０５に、顔認証機能の有効、無効を切り替える顔認証ボタン１０８が設けられている点である。

例えば、ロボット装置近傍に頻繁に作業者が存在するようなロボットシステムの場合、作業者が負傷することがないようにしなければならない。

このためロボット装置の駆動速度に安全上の上限を設ける必要がある。その際、撮像装置からの画像に作業者がいることが検知されると、ロボット装置の駆動速度を低下させるような警戒機能を搭載させる方法がある。

しかしながら、ロボット装置の教示を行う場合、ロボット装置の近傍に作業者が位置することが一般的であり、撮像装置に教示者が撮像されてしまう。

よって警戒機能が作動していまい、ロボット装置の駆動速度が遅いまま、教示作業を行うことになり、教示作業の効率が低下してしまう。

そこで本実施形態では、撮像装置２による画像から、あらかじめ登録しておいた教示作業者の顔を認識する。

教示作業者の顔のデータは、予めＨＤＤ１１６等の記憶部に記録させておき、顔認証ボタン１０８が押されると、認証プログラムをＲＡＭ１１５に展開し、顔認証の動作を行う。図８は本実施形態における認証プログラムのフローチャートである。顔認証ボタン１０８が押されることで図８のフローが開始される。なお、これらフローは制御装置１３により実行されるものとして説明するが、外部入力装置１３０に別の制御装置を設け実行させても良い。

まず、Ｓ１で顔のデータをＨＤＤ１１６から読み出す。

次にＳ２で、撮像装置２が現在撮像している画像から顔を検知する。

そしてＳ３で、検知した顔が、予め記録された教示作業者の顔のデータであるか判定する。検知した顔と顔データとが一致すればＳ３：ＹＥＳとなり、Ｓ５に進む。一致しなければＳ３：ＮＯとなりＳ５に進む。

Ｓ５では、ロボット装置１の危険性と安全確保の方法について十分な教育を受けた者がロボット装置１の教示を行っているものと判断でき、ロボット装置１と作業者との接触の危険性は低いものと判断できる。ゆえに必ずしも警戒機能を有効にしておく必要はない。よってロボット装置の駆動速度を低下させず、顔認証プログラムを終了する。

逆にＳ６では、ロボット装置１の危険性と安全確保の方法について十分な教育を受けていない者がロボット装置１の近傍に位置していると判断でき、ロボット装置１と作業者とが接触してしまう恐れがある。ゆえに作業者の安全を確保すべく警戒機能を有効にしておく必要がある。そこでロボット装置１の駆動速度を低下、制限し、顔認証プログラムを終了する。

以上により、必要な時に警戒機能を実行することができる。よってロボット装置の教示の際には熟練の作業者により、駆動速度が速い状態で教示動作を行わせることができるため、教示作業の効率を向上させることができる。

なお、顔認証ボタン１０８の代わりに、教示モードに設定したことを、外部入力装置１３０が認識した場合に図８のフローが開始されるようにしても良い。

（第３の実施形態）
次に第３の実施形態として、外部入力装置１３０に映し出された撮像装置２からの画像を用いて、外部入力装置１３０により、ロボット装置１と撮像装置２の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態は、ロボット装置１の動作と同期させて撮像装置２によるロボット装置１の撮影を行う際に好適なＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第１の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

また本実施形態ではロボット装置１がベルトコンベア９００から矢印Ｐ方向に流れてくるワークＷａからＷｄを、トレイ１５２へ並べる作業と同期して撮像装置２による撮影を行う場合を例にとり説明する。以下、ロボット装置１の動作とそれに同期する撮像装置２の動作について詳しく説明する。

まず、ロボット装置１がベルトコンベア９００上のワークを把持するタイミングで撮像装置２はパンモータ、チルトモータを駆動させ視点を変更し、トレイ１５２を撮影する。

撮影された画像を画像処理することでトレイ上のワーク有無を検知する。ロボット装置１はトレイ上のワークが存在しない位置にエンドエフェクタ１１で把持したワークを置く。

ロボット装置１がトレイ１５２にワークを置くタイミングで撮像装置２はパンモータ、チルトモータを駆動させ視点を変更し、ベルトコンベア９００を撮影する。

撮影された画像を画像処理することでベルトコンベア９００上のワーク有無を検知する。ロボット装置１はベルトコンベア９００上にワークが存在する場合にベルトコンベア９００上のワークを取得する。

ロボットシステム１０００は上記の動作をロボット装置１と撮像装置２に繰り返し実行させる。このように撮像装置２がロボット装置１の動作に同期して撮像視点の変更および撮影を行い、撮影された画像を元に作業環境を認識し、ロボット装置１の動作にフィードバックする。

この動作を実現するためにはロボット装置１がベルトコンベア９００上のワークを把持してからトレイ１５２にワークを置くまでに要する時間内に撮像装置２の撮像視点の変更が完了する必要がある。

従来は、シミュレーションや、実際にロボット装置１と撮像装置２を動作させ、撮像視点の変更が間に合うかどうかを確認し、間に合わなければ撮像視点の設定をやり直す等の作業を行っており、作業者の負担となっていた。

本実施形態では、このようなロボット装置１の動作と同期させて撮像装置２によるロボット装置１の撮影を行う場合における、撮像装置２の撮像視点の教示において教示者の負担を軽減させることができる。

図９は本実施形態におけるロボット装置１と撮像装置２の教示方法のフローチャートである。教示方法はＳ１００からＳ１０２の３工程から成る。

図９より、まずＳ１００では、ロボット装置１に対する教示を行う。ロボット装置１に対する教示は、ダイレクトティーチングにより行う。作業者がロボット装置１を直接手で持って動かし、ベルトコンベア９００上のワークを把持してトレイ１５２上に置くという動作を教示する。

ただし、教示方法はこれに限られるものではなく、第１の実施形態、第２の実施形態で述べたように、外部入力装置１３０を用いてロボット装置１の近傍で教示を行うオフラインティーチングを用いても良い。当業者により実施できる種々のロボット装置の教示方法を用いて良い。

上記の方法で教示した教示データは、制御装置１３に記録させても良いし、外部入力装置１３０に記録部を設け、外部入力装置１３０に記録させても良い。

Ｓ１０１からＳ１０２では、撮像装置２の教示を行う。撮像装置２の視点の教示はロボット装置１の動作に紐づけた形で行われる。以下、Ｓ１０１、Ｓ１０２の説明の前に、本実施形態における外部入力装置１３０のＵＩ例について詳述する。

図１０は外部入力装置１３０の表示部１３１に表示される撮像装置２の教示用画面を示す。以下上記実施形態と異なる部分について説明する。

図１０において、本実施形態では、予め記録されたロボット装置１のモデルデータにより、ロボット装置１の姿勢が３Ｄモデルで表示されるモデル表示部１４０が設けられている。

モデル表示部１４０には、モデルデータと教示点データにより、実際のロボット装置１が取るであろう姿勢を計算し、３Ｄモデルとして画面上で確認できるようになっている。姿勢の計算はＲＲＴ（Ｒａｐｉｄｌｙ−Ｅｘｐｌｏｒｉｎｇ Ｒａｎｄｏｍ Ｔｒｅｅｓ）といった技術を利用し行われる。

またモデル表示部１４０の下部には、再生バー１４１が設けられており、教示した実際のロボット装置１の動作させるための再生ボタン１４４、一時停止ボタン１４５を備えている。

再生バー１４０上には、再生中のロボット装置１の動作の時間的な現在位置を表す現在位置マーク１４２が表示されている。再生バー１４０は、ロボット装置１の所定の動作の開始を０秒とし、終了時間までをバー形式で表している。図５では５：００（５分）が終了時間である。

再生ボタン１４４を押下すると実際のロボット装置１が動作を開始する。一時停止ボタン１４５を押下すると、実際のロボット装置１が動作を一時停止する。

一時停止状態で現在位置マーク１４２をタッチし左右にスワイプすることで実際のロボット装置１の動作を制御することができる。

右にスワイプした場合には実際のロボット装置１が、スワイプした移動量だけ動作し、左にスワイプした場合にはロボット装置１が、スワイプした移動量だけ逆に動作される。

モデル表示部１４０の一部をタッチし、左右にスワイプすることで、現在位置マーク１４２をスライドさせる操作と同様にロボット装置１の操作をすることもできる。

画像表示部１４６には撮像装置２で撮影された撮像が表示される。画像表示部１４６の下部には、撮像装置２のパンモータの操作を行うパン操作バー１４７が設けられ、撮像装置２のパン方向における現在位置を表すパン位置マーク１４８が表示される。

作業者がこのパン位置マーク１４８をタッチして左右にスライドさせることで撮像装置２のパンモータを操作することができる。

画像表示部１４６の一部をタッチし、左右にスワイプすることで、パン位置マーク１４８をスライドさせる操作と同様のパンモータ操作をすることもできる。

上述したパンモータ操作と同様にチルトモータについても操作をすることができる。

画像表示部の紙面向かって右側には、撮像装置２のチルトモータの操作を行うチルト操作バー１２１が表示され、撮像装置２のチルト方向における現在位置を表すチルト位置マーク１２２が表示される。

作業者がこのチルト位置マーク１２２をタッチして上下にスライドさせることで撮像装置２のチルトモータを操作することができる。

画像表示部１４６の一部を２本の指でマルチタッチし、上下にスワイプすることで、チルト位置マーク１２２をスライドさせる操作と同様のチルトモータ操作をすることもできる。

また撮像装置２のズームについても、上述したパンモータ操作、チルトモータ操作と同様の表示、機能が提供される。

チルト操作バー１２１の紙面向かって右側にズームバー１２３が表示され、撮像装置２のズームアップ、ズームダウンにおける現在の焦点位置を表すズーム調整マーク１２４が表示される。

作業者がこのズーム調整マーク１２４をタッチして上下にスライドさせることで撮像装置２のズームを調整することができる。上にスライドすればズームアップ、下にスライドさせればズームダウンとなる。

画像表示部１４６の一部をタッチし、ピンチイン・ピンチアウトすることで、ズーム調整マーク１２４をスライドさせる操作と同様のズーム調整をすることもできる。

これら、パン位置、チルト位置、ズーム位置を各バーにより調整し、撮像教示ボタン１６０を押下することで、各バーのマークが位置したところで撮像装置２の撮像視点の教示点として設定される。

ロボット装置１、撮像装置２の操作を行う、再生バー１４１、パン操作バー１４７、チルト操作バー１２１、ズームバー１２３には、撮像装置２の撮像視点の教示点を表す撮像視点教示ポイント１４３がそれぞれ表示される。

これにより、ロボット装置１に教示された一連の動作の中における、撮像装置２に教示した所定の教示点（図１０ではｔ１）の内容（パン位置、チルト位置、ズーム位置）を作業者が容易に把握することができる。

図９に戻りＳ１０１では、Ｓ１００で教示したロボット装置１の一連の動作の中で撮像装置２の撮像視点を教示する。

まず再生ボタン１４４を押下してロボット装置１を動作させる。そして画像表示部１４６を確認し、撮像視点を教示したい所で一時停止ボタン１４５を押下してロボット装置１を一時停止する。

この一時停止した再生バー１４１上の現在位置マーク１４２の位置が、ロボット装置１の一連の動作における撮像装置２の撮像視点の教示点となる。

次にＳ１０２で、撮像装置２の各モータ、ズームの教示を行う。教示者は画像表示部１４６を確認しながら撮像装置のパン位置、チルト位置、ズーム位置を調整し、最後に教示ボタン１６０を押下することで、撮像装置２の撮像視点の教示を行う。

このとき、パン操作バー１４７、チルト操作バー１２１、ズーム調整バー１２３上には視点設定が可能な範囲を表す、視点設定可能範囲１５０が表示される。

視点設定可能範囲１５０はロボット装置１の動作に対して遅れなく視点を変更できる設定範囲を示している。

図１０では、撮像視点教示ポイント１４３が示す所定の教示点ｔ１が既に教示されている状態で、現在位置マーク１４２において新たに撮像装置２の教示を行う様子を示している。

ここで再生バー１４１における、撮像視点教示ポイント１４３から現在位置マーク１４２までロボット装置１が動作する間、パンモータ、チルトモータ、ズーム位置を変更可能な範囲が視点設定可能範囲１５０として表示される。

視点設定可能範囲１５０の設定方法について抄出する。まず、過去の撮像視点教示ポイント１４３から、Ｓ１０１でこれから別の撮像視点を教示するポイントである現在位置マーク１４２までにかかる視点変更時間を計算する。

過去の撮像視点教示ポイントが複数ある場合には、これから視点を教示する現在位置マークに対して直近の撮像視点教示ポイントを参照する。

次に、視点変更時間とパンモータ、チルトモータ、ズーム処理にかかる速度から、パンとチルト、ズームの設定可能量を求める。

最後に、各操作バー上に表示されている過去の撮像視点教示ポイント１４３を中心に、パンとチルト、ズームの設定可能量範囲内の範囲を視点設定可能範囲１５０として設定する。

作業者がこの視点設定可能範囲１５０の範囲内で各種設定することで、ロボット装置１の動作に対して遅れなく撮像装置１の撮像視点における各種設定を変更できるため、ロボット装置１に同期しながら撮像装２置の視点変更が可能となる。

以上本実施形態では、撮像装置２の撮像視点を教示する際に、撮像装置２の操作画面上に視点変更可能範囲を表示している。

こうすることで、ロボット装置１の動作に撮像装置２の視点変更が間に合わない条件で、撮像視点が撮像装置２に教示されてしまうことを防止できるため、作業者の負担を軽減する効果がある。

またロボット装置１に教示された一連の動作の中における、撮像装置２に教示した所定の教示点の内容（パン位置、チルト位置、ズーム位置）を作業者が容易に把握することができる。

また、ロボット装置１の操作方法と同じ方法で、撮像装置２における各種駆動部の操作を行うことができるので、煩雑な操作を必要することなく、ロボット装置１の動作に同期した撮像視点の教示を行うことができる。

本実施形態では、タッチ操作による、ロボット装置１の操作、撮像装置２の操作を行う際、ロボット装置１を操作する際にはモデル表示部１４０をタッチし、撮像装置２を操作する際には画像表示部１４６をタッチすることで、操作対象の区別を行った。しかしながら、これに限定されるものではない。

例えば、画像表示部１４６の画像を解析し、ロボット装置１が撮影されている領域と、それ以外の領域とに区別する。そして、ロボット装置１の領域がタッチされている場合はロボット装置１の操作を行い、ロボット装置以外の領域がタッチされている場合は撮像装置２の操作を行い、操作対象の区別を行っても良い。

また、タッチ操作を分けることで操作対象の区別を行っても良い。例えば、２本の指でタッチするマルチタッチが行われている場合はロボット装置１の操作を行い、１本の指でタッチするシングルタッチが行われている場合は、撮像装置２の操作を行わせる。もしくは、マルチタッチにより撮像装置２を操作し、シングルタッチによりロボット装置１を操作させても良い。

また、ドラッグ操作とフリック操作で操作対象の区別を行っても良い。例えば、ドラッグ操作される場合は、ロボット装置１の操作を行い、フリック操作される場合は、撮像装置２の操作を行わせることで操作対象の区別を行うことができる。

さらに、シングルタッチ、マルチタッチと、ドラッグ操作、フリック操作とを組み合わせて操作対象の区別を行っても良い。例えば、マルチタッチが行われている状態でドラッグ操作が行われている場合は、ロボット装置１の操作を行うなどである。区別の方法を複数設定することで、作業者の操作ミス等をさらに低減することが可能となる。

また、画像表示部１４６を感圧式のタッチパネルで構成し、力の値を検知できるようにし、力の値を基に操作対象を区別しても良い。例えば、タッチされた際に、検知される力の値に閾値を設定する。そして、閾値に設定した力の値以上でタッチされている場合はロボット装置１の操作を行い、閾値に設定した力の値未満でタッチされている場合は撮像装置２の操作を行うようにする。こうすることで、操作対象の区別を行うことができる。

また、画像表示部１４６のタッチによる操作を、ロボット装置１の操作と撮像装置２の操作どちらかに設定する設定ボタンを画像表示部１４６に表示させても良い。例えば、ロボット装置の操作に設定するボタンと、撮像装置の操作に設定するボタンの２つの操作設定ボタンを表示させる。これらのボタンを状況に応じてタッチすることで、操作対象の区別を行うことができる。もちろん、操作切換ボタンを１つ表示させ、操作切換ボタンを都度タッチすることで、ロボット装置の操作に設定、撮像装置の操作の設定に切り換えて実現させても良い。

以上のように、画像表示部１４６をタッチさせて操作する際、ロボット装置１の操作においては、フリック操作により急峻にロボット装置１を動かしてしまう場合がある。

その場合、ロボット装置１の操作を行っている場合には、フリック操作を受け付けないように設定しておくことで、ロボット装置１が急峻に動作することを防ぐことができる。

また、ロボット装置１に加速度センサ等を設け、所定の値の加速度が検知された場合には、ロボット装置１を停止させるなどの動作を行わせても良い。

（第４の実施形態）
次に第４の実施形態として、外部入力装置１３０に映し出された撮像装置２からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、作業者が撮像装置からの画像を確認しながら教示を行う際、複数の操作対象を操作し、教示を行う場合でも作業者が教示を行いやすい座標系でロボット装置を操作することができるようにするＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、第１の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図１１は、本実施形態におけるロボットシステム２０００を模式的に表した上面図である。図１１において、基台２００にロボット装置２０１、２０２が固定されている。

また、ロボット装置２０１、２０２を監視するため、ロボットシステム２０００には撮像装置Ａ、Ｂ（不図示）が設けられており、それぞれの画角を画角Ａ、Ｂとする。上述した実施形態と同様、撮像装置Ａ、Ｂにはパンチルト機能を有するものとする。

撮像装置Ａ、Ｂは共にロボット装置２０１、２０２を監視できる位置に固定されている。なお、ロボット装置２０１、２０２は、理解しやすくするため、記号で簡単に表している。

また、図１１の画角Ａ、Ｂは長方形であるとは限らないが、説明を簡単にするため長方形としている。

図１２は、本実施形態における外部入力装置１３０の表示部１３１を示した図である。図１２において、表示部１３１は、ロボット装置操作部２０４、画像表示部２０５、撮像操作部２０６で構成されている。

ロボット装置操作部２０４は、ロボット装置切換ボタン２０７、座標系切換ボタン２０８、エンドエフェクタ操作ボタン２０９から成る。

ロボット装置切換ボタン２０７は、作業者が手動操作したいロボットを選択することができる。本実施形態の場合、ロボットシステム２０００にロボット装置２０１、２０２が設けられているので、「ロボット２０１」「ロボット２０２」がボタンとして表示されている。

座標系切換ボタン２０８は、作業者がロボット装置切換ボタン２０７で選択したロボット装置に対して手動操作する場合に用いる座標系を選択できる。

本実施形態では、「ベース」「エンドエフェクタ」「撮像装置」の３種類のボタンが表示されている。ベース座標系ボタン、エンドエフェクタ座標系ボタン、撮像座標系ボタンのそれぞれベース座標系、エンドエフェクタ座標系、撮像座標系での操作を可能とする。

ベース座標系は、ロボット装置切換ボタン２０７で選択したロボット装置のロボットベースに基づく座標系である。つまりロボット装置全体におけるワールド座標系である。

エンドエフェクタ座標系は、ロボット装置切換ボタン２０７で選択したロボット装置のエンドエフェクタに基づく座標系である。つまりワールド座標系であるベース座標系に対するローカル座標系である。

撮像座標系は、後述する撮像装置切換ボタン２１０で選択した撮像装置の座標系である。

エンドエフェクタ操作ボタン２０９は、ロボット装置切換ボタン２０７で選択したロボット装置において、座標系切換ボタン２０８で設定した座標系のＸＹＺ方向の並進移動と回転移動を手動操作することができる。

画像表示部２０５は、撮像操作部２０６で選択された撮像装置からの画像が表示される。図１２の場合、撮像装置Ａが撮像しているロボット装置２０１が映し出されている。

撮像操作部２０６は、撮像装置切換ボタン２１０、視点操作ボタン２１１、校正ボタン２１２から成る。

撮像装置切換ボタン２１０は、作業者が使用したい撮像装置を選択することができ、選択した撮像装置からの画像が画像表示部２０５に表示される。

視点操作ボタン２１１は、作業者が撮像装置切換ボタン２１０で選択した撮像装置のパン、チルト操作を行うことができる。なお、上述した第１の実施形態のように、さらにボタンを追加して、ズームイン・ズームアウト操作を行うためのズーム操作ボタンを備えても良い。

校正ボタン２１２は、座標系切換ボタン２０８で「撮像装置」を選択した場合、ロボット装置切換ボタン２０７で選択したロボット装置と、撮像装置切換ボタン２１０で選択した撮像装置の相対位置姿勢を校正することができる。

なお、撮像座標系でロボット装置を操作するためには、ロボット装置と撮像装置の相対位置姿勢が明らかでなければならないため、校正ボタン２１２は、エンドエフェクタ操作ボタン２０９で操作する前に必ず実行する必要がある。具体的な校正方法は後述する。

次に、ロボット装置座標系での操作と撮像座標系での操作方法について説明する。ロボット装置座標系での操作は、ロボット装置切換ボタン２０７で操作したいロボット装置を選択し、座標系切換ボタン２０８で「ベース」、または、「エンドエフェクタ」を選択することで操作可能となる。これは通常のロボット装置の操作と同様であるため、詳細は割愛する。

撮像座標系での操作は、ロボット装置切換ボタン２０７で、操作したいロボット装置を選択し、座標系切換ボタン２０８で「撮像装置」を選択し、撮像装置切換ボタン２１０で用いたいカメラを選択する必要があるが、これだけでは操作可能にならない。

先に説明したように、撮像座標系でロボット装置を操作するためには、ロボット装置と撮像装置の相対位置姿勢が明らかでなければならないので、校正ボタン２１２を押して校正する必要がある。

また、ロボット装置と撮像装置の相対位置姿勢の校正をする意義は、ロボット装置と撮像装置との位置には現場調整が入るため、必ずしも設計上の位置と一致しないためである。

本実施形態におけるロボット装置と撮像装置の相対位置姿勢の校正方法について説明する。図１３は、本実施形態におけるロボット装置と撮像装置の座標系を示した図である。

図１３では簡単のため、ロボット装置２０１と撮像装置Ａの組合せを例に取り説明する。ロボット装置２０１において、ベース座標系、エンドエフェクタ座標系、マーカ座標系に付された原点をそれぞれＢ、Ｅ、Ｍとする。

ここで、マーカ座標系とは、マーカ（不図示）に付された座標系である。マーカは校正する前にロボット装置２０１に付しておくか、常に付しておく。

マーカは、撮像装置Ａによって位置計測される。マーカは、６自由度が位置計測可能なマーカであっても良いし、３自由度がわかるマーカを３個以上用いても良い。

また、マーカは必ずしもロボット装置の先端に付いている必要はない。ロボット装置の先端にあると、マーカの位置姿勢を画角中央付近に移動させることができるので好適である。

そして、必ずしも必要ではないが、ロボット装置毎に違うマーカを付けておくと、ロボット装置を区別して視認できるため、好適である。

撮像装置Ａにおいて、撮像装置ベース座標系、パン関節座標系、チルト関節座標系、撮像座標系、それぞれに付された原点をそれぞれＣ０、Ｃ１、Ｃ２、Ｖとする。

校正ボタンを押す前に、マーカが画角に入るようにロボット装置２０１、または、撮像装置Ａをそれぞれエンドエフェクタ操作ボタン２０９、視点操作ボタン２１１で操作する。

３自由度がわかるマーカを３個用いる場合は、別途３点が同一直線上にないように画角に収める。これは、マーカ３点でマーカ座標系Ｍを作成するために必要である。

ここで、各座標系間の相対位置姿勢を表現するために、４×４の同次変換行列を用いる。例えば、ベース座標系Ｂからエンドエフェクタ座標系Ｅの相対位置姿勢を表した同次変換行列Ｈ_ＢＥは、次式で示される。

ただし、Ｃ_ＢＥは３×３の回転行列、ｒ_ＢＥは３×１の位置ベクトル、Ｏ_１ｘ３は１×３の零行列である。

ここで、撮像座標系での移動量をロボット装置座標系に変換することを考える。撮像座標系での移動量をΔＨ_Ｖ、それをロボット装置座標系で表したものをΔＨ_Ｒとすると、次式が成り立つ。

なおΔＨ_Ｖは、撮像座標系でエンドエフェクタ操作ボタン２０９を操作したときの移動量そのものである。

相対位置姿勢Ｈ_Ｃ０Ｖは、撮像装置ベース座標系Ｃ０から撮像座標系Ｖまでの相対位置姿勢であり、次式で表される。

Ｈ_Ｃ２Ｖは、撮像座標系において、撮像装置がどの位置にあるかは、撮像装置固有に決まっているので、既知とする。

また、パン角度をθ_Ｃ１、チルト角度をθ_Ｃ２とし、ｚ軸周りの回転行列をＲｏｔｚ、ｙ軸周りの回転行列をＲｏｔｙとすると、Ｈ_Ｃ０Ｃ１、Ｈ_Ｃ１Ｃ２は、次式で示される。

θ_Ｃ１、θ_Ｃ２は、撮像装置に設けられるパンモータ、チルトモータに搭載されるエンコーダより既知であり、位置ベクトルｒ_Ｃ０Ｃ１、ｒ_Ｃ１Ｃ２は、撮像装置固有の設計値のため、既知である。

つまり、相対位置姿勢Ｈ_Ｃ０Ｖは、既知である。よって、相対位置姿勢Ｈ_ＢＣ０を校正で求めることができれば、ロボット装置座標系での移動量ΔＨ_Ｒを求めることができる。

ロボット装置座標系での移動量ΔＨ_Ｒは、ベース座標系Ｂでの移動量そのものなので、通常のロボット装置の操作に落とし込むことができる。

ここで、相対位置姿勢Ｈ_ＢＣ０を求める方法について説明する。校正ボタン２１２を押すことで、まず、マーカの位置計測を行う。そのときの相対位置姿勢Ｈ_ＢＣ０は、図１３より、次式で示される。

ただし、次式が成り立つものとする。

相対位置姿勢Ｈ_ＢＥは、マーカを撮影したときのロボット装置２０１の各関節に搭載されたエンコーダの値から算出することができるため、既知である。相対位置姿勢Ｈ_Ｃ０Ｖは、数３より、既知である。

まず、６自由度が位置計測可能なマーカをロボット装置２０１の先端に付した場合を説明する。相対位置姿勢Ｈ_ＥＭは、エンドエフェクタ座標系Ｅに対して設計した位置にマーカを付せばよいので、既知である。

相対位置姿勢Ｈ_ＶＭは、マーカを撮像装置Ａで位置計測することで求めることができるので、既知である。

以上より、数５は既知の変数のみになるので、求める相対位置姿勢Ｈ_ＢＣ０は計算することができ、校正が完了する。

次に、３自由度がわかるマーカを３個以上用いる場合を説明する。ロボット装置座標系でのマーカ位置３点をそれぞれｒ_ＢＭ１、ｒ_ＢＭ２、ｒ_ＢＭ３とし、マーカ位置は設計上明らかであるとする。

ここで、この３点を用いてマーカ座標系を作成する。条件として、１点目をマーカ座標系の原点、２点目をマーカ座標系のｘ軸方向を決める点、３点目をマーカ座標系のｘｙ平面上の任意の点とする。ただし、この３点は、同一直線上にないものとする。

まず、ロボット装置座標系から見たマーカ座標系Ｍの相対位置姿勢Ｈ_ＢＭを求める。

ここで、１点目をマーカ座標系Ｍの原点、２点目をマーカ座標系のｘ軸方向を決める点、３点目をマーカ座標系のｘｙ平面上の任意の点とすると、次式が成り立つ。

ただし、

ここで、導入した上付きのチルダ（〜）は、３×３の歪対称行列であり、次式で示される。

以上で、相対位置姿勢Ｈ_ＢＭを求めることができる。

同様に、カメラ座標系から見たマーカ座標系の相対位置姿勢Ｈ_ＶＭを求めることができる。

以上より、数１５は既知の変数のみになるので、求める相対位置姿勢Ｈ_ＢＣ０は計算することができ、校正が完了する。なお、ロボット装置と撮像装置それぞれの組合せで校正する必要がある。

以上本実施形態では、ロボット装置２０１、２０２と撮像装置Ａ、Ｂがあるので、校正すべき同次変換行列Ｈ_ＢＣ０が４つあることになる。

それぞれの組合せの同次変換行列Ｈ_ＢＣ０を事前に校正しておくことにより、操作するロボット装置または撮像装置が切り換わっても、撮像座標系でロボット装置を操作可能となる。

本実施の形態では、撮像座標系での操作とロボット装置座標系での操作切り替え手段を設けることで、複数の撮像装置、複数のロボット装置が存在する場合でも、教示者が教示しやすい座標系でロボット装置を操作することができる。

（第５の実施形態）
次に第５の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

上記第４の実施形態では、複数のロボット装置、複数の撮像装置が存在することで、複数の座標系が存在する為に、作業者がロボット装置を操作する際に混乱しないように基準となる座標系を切り換えることができるＵＩ例を説明した。

本実施形態では、撮像装置の撮像部が動き、撮影している画像の上下が逆転するなど、外部入力装置を操作している作業者の直感に合わない場合、簡単に画像を作業者の直感に合うように変化させることができるＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図１４は、本実施形態における撮像装置２の駆動部を模式的に表した側面図である。撮像装置ベース座標系、パン関節座標系、チルト関節座標系、撮像座標系に付された原点をそれぞれＣ０、Ｃ１、Ｃ２、Ｖとする。

また、チルト角度をθ_Ｃ２とし、撮像装置２が真下を向く時のチルト角度をθ_Ｃ２＝０ｄｅｇとする。

図１４（ａ）はθ_Ｃ２＝−４５ｄｅｇのときの撮像装置２を図示し、図１４（ｂ）はθ_Ｃ２＝４５ｄｅｇのときの撮像装置２を図示したものである。図１４（ａ）から図１４（ｂ）へ遷移するとき、撮像装置２が撮影している画像内の天地は逆転してしまい、外部入力装置１３０の画像に基づいて操作する作業者の直感に合わなくなってしまう。本実施形態では撮像装置２の画像内の座標系の天地が逆転しても作業者にとって直感的に操作を行うことができるＵＩ例について説明する。

図１５は、本実施形態における外部入力装置１３０の表示部１３１を表した図である。ロボット装置操作部２０４、撮像操作部２０６は上記実施形態と同様であるため説明を省略する。

本実施形態における画像表示部２０５は、撮像装置２が撮影している画像と、上下反転切換ボタン２２０から成る。

上下反転切換ボタン２２０は、上下反転機能の「固定」と「自動」を選択するための固定ボタン２２３と、自動ボタン２２４とを備える。以下、上下反転方法について詳しく説明する。

図１６は、本実施形態における、作業者によるボタン操作で画像表示部２０５の画面を上下反転させる場合の画像表示部２０５を示した図である。図１６において、ロボット装置操作部２０４、撮像操作部２０６は、説明の簡略化の為、省いている。

図１６（ａ）は、撮像装置２が撮影している画像の座標系の天地が逆転することで、画像表示部２０５には、作業者の直感に合わない画像が表示されている状態を示している。

作業者は自身の指２２１で、上下反転切換ボタン２２０の「固定」ボタン２２３をタッチする。これにより、「固定」ボタン２２３の紙面向かって右側に上下反転ボタン２２５が表示される。

そして図１６（ｂ）より、表示された上下反転ボタン２２５を押すために、作業者は自身の指２２１を上下反転ボタン２２５上に移動させ、タッチする。

これにより、画像表示部２０５の画像が上下反転する。以上の方法で、簡単に画像表示部２０５の画像を作業者の直感に合うように上下反転させることができる。

次に、自動で画像表示部２０５の画像を上下反転させる方法について説明する。図１７は、本実施形態における自動で画像表示部２０５の画像を上下反転させる場合の設定方法を説明する図である。図１６と同様に、ロボット装置操作部２０４、撮像操作部２０６は、説明の簡略化の為、省いている。

図１７（ａ）は、自動ボタン２２４を作業者自身の指２２１でタッチしている状態を表した図である。図１７（ｂ）は、後述する設定ボタン２２６を作業者自身の指２２１でタッチしている状態を表した図である。図１７（ｃ）は、後述する自動設定部２２２が画像表示部２０５に表示された状態を表した図である。

図１７（ａ）より、画像表示部２０５の画像を自動で上下反転させる場合、作業者は自身の指２２１で、上下反転切換ボタン２２０の「自動」ボタン２２４をタッチし、選択する。

ただし、どのような場合に画像表示部２０５の画像を自動で上下反転させるかを設定しておかなければならない。

そこで本実施形態では、チルト角度θ_Ｃ２によって、画像表示部２０５の画像を上下反転させるかを決める。つまり、撮像装置２に設けられているチルトモータで検出されるチルト角度が、予め設定するチルト角度の値以下ならば画像表示部２０５の画像はそのまま表示させる。

逆に、撮像装置２に設けられているチルトモータで検出されるチルト角度が、予め設定したチルト角度以上ならば、画像表示部２０５の画像を上下反転して表示させるようにする。以下、その設定方法について詳述する。なお、上記チルトモータの角度は不図示のエンコーダにより検出を行うものとする。

図１７（ａ）において、作業者は自身の指２２１で、上下反転切換ボタン２２０の「自動」ボタン２２４をタッチし、選択する。これにより、自動ボタン２２４の紙面向かって右側に「設定」ボタン２２６が表示される。

次に図１７（ｂ）において、表示された設定ボタン２２６を押すために、作業者は自身の指２２１を設定ボタン２２６上に移動させ、設定ボタン２２６をタッチする。これにより、上下反転切換の自動設定部２２２が画像表示部２０５に表示される（図１７（ｃ））。

図１７（ｃ）において、作業者は、上下反転角度入力ボックス２２７に、設定したいチルト角度を入力する。本実施形態においては、０ｄｅｇが入力されている。

入力したチルト角度の値で設定したければ設定ボタン２２８を、入力した内容を変更したければ、戻るボタン２２９をタッチする。

そして、撮像装置２が撮影している画像を見ながら、ロボット装置１の教示を行っている際、設定したチルト角度の値をチルトモータのエンコーダが検出すれば、画像表示部２０５の画像を反転させる。

以上の方法で、簡単に画像表示部２０５の画像を作業者の直感に合うように自動で上下反転させることができる。

次に画像表示部２０５をマルチタッチすることで、画像表示部２０５の画像を回転させる方法について説明する。これは、必ずしも画像を上下反転（１８０ｄｅｇ）させるのではなく、例えば９０ｄｅｇ回転させたい場合に用いる。

図１８は、画像表示部２０５の画像を、マルチタッチ操作により回転させる場合の画像表示部２０５を示した図である。図１６、図１７と同様に、ロボット装置操作部２０４、撮像操作部２０６は、説明の簡略化の為、省いている。

図１８（ａ）はマルチタッチ操作により回転させる前の画像表示部２０５、図１８（ｂ）はマルチタッチ操作により画像表示部２０５を回転させた図である。

図１８（ａ）において、作業者は、予め自身の指２２１で、上下反転切換ボタン２２０の固定ボタン２２３をタッチし、選択しておく。

次に、回転中心としたい指２２１ａで、画像表示部２０５のボタン以外の任意の場所をタッチする。

そして、回転させたい方向を決める指２２１ｂで、画像表示部２０５の任意の場所をタッチしながら、回転方向にスライドさせる。図１８（ａ）では矢印Ａ方向に回転させている。

指２２１ａがタッチした場所を回転中心として、指２２１ｂが描いた軌跡（矢印Ａ）の角度がある閾値を超えた場合、その方向に画像表示部２０５が９０ｄｅｇ回転する（図１８（ｂ））。

上記で述べたある閾値は１５ｄｅｇ程度が好適である。以上の方法で、簡単に画像表示部２０５の画像を作業者の直感に合うように手動で回転させることができる。

以上より、本実施形態では、撮像蔵置２の撮像部の方向が動き、画像内の座標系の上下が逆転するなどして、外部入力装置を操作している作業者の直感に合わない場合でも、簡単に画像を作業者の直感に合うように変化させることができる。よって作業者が理解しやすい座標系でロボット装置１及びまたは撮像装置２を操作できるという効果がある。

（第６の実施形態）
次に第６の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、ロボットシステムの動作工程に合わせて撮像装置の座標系を変化させ、作業者が操作しやすい座標系に変化させることができるＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図１９は、本実施形態におけるロボット装置１による動作の「工程プログラム」を表示させた場合の、外部入力装置１３０の表示部１３１を示した図である。図１９（ａ）は、本実施形態のメニュー画面部２３０を表示した図である。図１９（ｂ）は、本実施形態の工程プログラム画面を表示した図である。

図１９（ａ）において、メニュー画面部２３０は、機能選択ボタン２３１を表示する。機能選択ボタン２３１は、ロボットシステム２０００の機能だけ数があり、それぞれの機能がそれぞれのボタンに割当てられ、それぞれのボタンを押すことで、該当する機能のメニューを開くことができる。本実施形態では、「工程プログラム」を選択することで、図１９（ｂ）に示す画面に遷移する。

図１９（ｂ）において、表示部１３１は、工程プログラム画面部２３２と画像表示部２０５を表示する。

工程プログラム画面部２３２は、工程プログラム選択ボタン２３３と撮像装置教示点選択部２３４から成る。

工程プログラム選択ボタン２３３は、ロボットシステム２０００において実行する工程を選択することができる。工程プログラム選択ボタン２３３を押すと工程プログラムの一覧がプルダウンリストで表示され、ユーザが選択することができる。本実施形態では、「工程Ｐｒｇ１」を選択したものとして説明を進める。

撮像装置教示点選択部２３４は、工程プログラム選択ボタン２３３で選択した工程プログラムの工程内容が表示される。工程とは、「ロボットアーム動作」「ロボットハンドクランプ」「有無検知」などの内容がある。

撮像装置教示点選択部２３４では、各工程において、画像表示部２０５に表示する画像を撮影する撮像装置と、その撮像装置に対応した教示点を選択することができる。

撮像装置は、ロボットシステム２０００に複数設けられており、本実施形態では、撮像装置教示点選択部２３４の撮像装置列の▽部分を押すことでプルダウンリストから撮像装置Ａまたは撮像装置Ｂの撮像装置の名称を選択することができる。

各撮像装置の教示点は、第３の実施形態で説明した方法により設定した、各撮像撮像装置におけるパン、チルト角度とズーム位置がデータとして格納されており、撮像装置教示点列の▽部分を押すことでプルダウンリストから選択することができる。本実施形態では、有無検知１の工程において、撮像装置Ａと撮像装置教示点ｔＣ１が選択されている。

画像表示部２０５は、撮像装置教示点選択部２３４で直前に選択した撮像装置と撮像装置教示点により撮影している画像が表示される。また、選択された撮像装置および撮像装置教示点の名前が表示される。本実施形態では、「撮像装置Ａ：ｔＣ１」と表示される。

撮像装置教示点を選択することで、表示される撮像装置の座標系を工程に合わせて一意に決めることができる。

以上より、工程プログラム選択部２３３で所定の工程プログラムを選択し、各工程において適切な撮像装置と撮像装置教示点を設定する。こうすることで、各工程実行時に設定された撮像装置と撮像装置教示点に切り換えて、画像表示部２０５に映し出すことが可能となる。

よって、ロボットシステムの動作工程に合わせて、画像表示部２０５に表示させる撮像装置の画像と、座標系を変化させることで、作業が理解しやすい座標系で操作することができる。

（第７の実施形態）
次に第７の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、複数の撮像装置が設けられている場合、作業者が理解しやすい画像を映し出すように、自動的に、外部入力装置１３０に表示している画像を撮影している撮像装置を切換えることができるＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図２０は、本実施形態におけるロボット装置２４２の姿勢の違いにより外部入力装置１３０の表示部１３１に表示する画面の差異を説明する図である。

図２０（ａ）は、本実施形態におけるロボット装置２４１の手先が画角Ａにいる場合の、ロボット装置２４１の上面図と表示部１３１の画面を示した図である。図２０（ａ）の紙面向かって左の図が、本実施形態におけるロボット装置２４１の手先が画角Ａにいる場合のロボッット装置２４１の上面図である。

図２０（ｂ）は、本実施形態におけるロボット装置２４１の手先が画角Ｂにいる場合の、ロボット装置２４１の上面図と表示部１３１の画面を示した図である。図２０（ｂ）の紙面向かって左の図が、本実施形態におけるロボット装置２４１の手先が画角Ｂにいる場合のロボッット装置２４１の上面図である。

図２０（ａ）の左図において、ロボット装置２４１は基台２４０に固定されている。また、基台２４０を監視するため、ロボット装置２４１の近傍には撮像装置Ａ、Ｂが設けられ、それぞれの撮像装置Ａ、Ｂが撮影する画角を画角Ａ、Ｂとする。なお、ロボット装置２４１は、説明の簡略化のため、簡単に図示している。

図２０（ａ）の右図は、本実施形態におけるロボット装置２４１の手先が画角Ａにいる場合の外部入力装置１３０の表示部１３１を示した図である。

表示部１３１は、ロボット装置操作部２０４、画像表示部２０５、撮像操作部２０６で構成される。

ロボット装置操作部２０４は、第４の実施形態と同様に、ロボット装置切換ボタン２０７、座標系切換ボタン２０８、エンドエフェクタ操作ボタン２０９から成る。

画像表示部２０５は、撮像操作部２０６で選択された撮像装置の名前と、選択した撮像装置が撮影している画像が表示される。図２０（ａ）の右図の場合、撮像装置Ａからの画像が表示されている。

撮像操作部２０６は、撮像装置切換ボタン２４２と視点操作ボタン１３１から成る。視点操作ボタンは、第４の実施形態と同様である。

本実施形態における撮像装置切換ボタン２４２は、複数設けられた撮像装置の中からどの撮像装置により撮影するかを選択することができる。

またロボット装置２４１の姿勢によって、自動で撮像装置を切り換える場合は、「自動」ボタン２４３を選択する。「自動」ボタン２４３を選択した場合、「自動」ボタン２４３の紙面向かって右横に、制御装置１３が自動的に選択した撮像装置を列挙し、第一候補の撮像装置の画像を画像表示部２０５に表示する。本実施形態の場合は、「自動」ボタン２４３の右横に「撮像装置Ａ」が表示されている。

次に図２０（ｂ）の左図において、ロボット装置２４１の手先が画角Ｂ内にあり、画角Ａ内には無い場合を図示している。

図２０（ｂ）の右図において、画像表示部２０５は、撮像装置Ｂからの画像が表示され、自動ボタン２４３の右横には「撮像装置Ｂ」が表示されている。

次に撮像装置の自動切換方法について説明する。撮像装置切換ボタン２４２の「自動」ボタン２４３が、教示者によってタッチされた場合、画像表示部２０５に映し出す画像を撮影する撮像装置を自動で切り換える。

まず、設けられた全撮像装置からの画像において、撮影している画像にロボット装置２４１が写っているかどうか画像認識する。

撮影している画像にロボット装置２４１が写っていた撮像装置の一覧を自動ボタン２４３の右横に列挙する。複数の候補がある場合、撮像装置の番号順、あるいは、名前順、あるいは、画角内に写っているロボット装置２４１の面積が大きい順に撮像装置を選択し、自動ボタン２４３の右横に列挙する。

撮影されているロボット装置２４１の面積は、直接画像認識して計測しても良いが、第４の実施形態で示したようにロボット装置と撮像装置の位置姿勢関係が校正されていれば、計算上の画角からロボット装置２４１の面積を算出しても良い。

以上により、作業者は、教示をさせたい部分（今回はロボット装置２４１の手先）が撮影されている撮像装置を、複数の撮像装置の中から瞬時に選択することができ、画像表示部２０５の画像を適切な物に切り換えることができる。

よって撮像装置が複数設けられている場合でも、作業者が教示しやすい撮像装置と座標系で操作を行うことができる。

（第８の実施形態）
次に第８の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置や作業者等の管理を行う場合に好適なＵＩ例について説明する。

本実施形態では、撮像装置を用い、撮像装置が撮影している作業者とロボット装置の作業時間を計測、外部入力装置１３１に表示させ、作業者とロボット装置の管理を容易にすることができるＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図２１は、本発明の実施形態におけるロボットシステム２０００の上面図を示した図である。図２１において、基台２５０上にロボット装置２５１とワーク置き場２５２、２５３、２５４が固定されている。

また、ワーク置き場２５２、２５３、２５４にワークが載置されているか否かを検知するため、本実施形態のロボットシステム２０００には不図示の撮像装置Ａ、Ｂ、Ｃが、設けられており、それぞれの画角を画角Ａ、Ｂ、Ｃとしている。

画角Ａ内にあるワーク置き場２５２は、ロボット装置２５１によりワークが載置される。画角Ｂ内にあるワーク置き場２５３は、ロボット装置２５１または作業者２５５によりワークが載置される。画角Ｃ内にあるワーク置き場２５４は、作業者２５５によりワークが載置される。

作業者２５５は、ロボット装置２５１と協業する作業者である。なお、ロボット装置２５１は、説明の簡略化のため、簡単に図示している。

図２２は、本実施形態における外部入力装置１３０の表示部１３１の表示画面の構成図を示している。図２２（ａ）は、本実施形態のメニュー画面部２５６を表示した図である。図２２（ｂ）は、本実施形態における作業時間計測画面を表示部１３１に表示した図である。図２２（ｃ）は、本実施形態における作業時間計測の設定画面を表示部１３１に表示した図である。

図２２（ａ）において、本実施形態におけるメニュー画面部２５６は、機能選択ボタン２５７を表示する。

機能選択ボタン２５７は、ロボットシステム２０００の機能の数だけあり、それぞれの機能がそれぞれの機能選択ボタン２５７に割り当てられ、それぞれに対応するボタンをタッチすることで、該当する機能のメニューを開くことができる。本実施形態では、「作業時間計測」を選択することで、図２２（ｂ）に遷移する。

図２２（ｂ）において、表示部１３１は、作業時間計測画面部２５８を表示する。作業時間計測画面部２５８は、作業時間計測の選択ボタン２５９から成る。作業時間計測の選択ボタン２５９は、計測設定ボタン２８１、計測ボタン２８２、計測履歴ボタン２８３を有する。

本実施形態では、計測設定ボタン２８１がタッチされると、図２２（ｃ）に遷移する。なお、計測ボタン２８２、計測履歴ボタン２８３がそれぞれタッチされた場合についても後述する。

図２２（ｃ）において、表示部１３１は、作業時間計測の設定画面部２６０を表示する。作業時間計測の設定画面部２６０は、作業時間計測の設定選択ボタン２６１から成る。

作業時間計測の設定選択ボタン２６１は、「工程プログラムによる計測」ボタン２８４、「人ロボ間距離による計測」ボタン２８５から成る。

「工程プログラムによる計測」ボタン２８４がタッチされた場合、図２３に示す工程プログラムによる計測の設定画面２６２に遷移する。「人ロボ間距離による計測」ボタン２８５がタッチされた場合、図２４に示す人ロボ間距離による計測の設定画面２６５に遷移する。

図２３は、本発明の実施形態における工程プログラムによる作業時間の計測の設定を行う場合における表示部１３１の画面構成を示した図である。

図２３において、表示部１３１は、工程プログラムによる計測の設定画面部２６２を表示する。工程プログラムによる計測の設定画面部２６２は、工程プログラム選択ボタン２６３と計測設定部２６４から成る。

工程プログラム選択ボタン２６３は、作業時間を計測する工程プログラムを選択することができる。工程プログラム選択ボタン２６３をタッチすると、工程プログラムの一覧がプルダウンリストで表示され、作業者２５５からの選択を受け付ける。本実施形態では、「工程Ｐｒｇ１」が作業者２５５により選択されたものとして説明を進める。

計測設定部２６４は、工程プログラム選択ボタン２６３で選択した工程プログラムの工程内容が表示され、工程内容における、各種作業のスタートとストップのトリガを設定することができる。

工程とは、「ロボットアーム動作」「ロボットハンドクランプ」「有無検知」などの内容である。作業分類ごとに作業のスタートとストップのトリガを設定する。

ここで示す作業分類は、「ロボット作業」「ロボット人作業」「人作業」「その他作業」とする。

「ロボット作業」とは、ロボット装置２５１だけが行う作業を指す。「ロボット人作業」とは、ロボット装置２５１と作業者２５５とが協業する作業を指す。以下、「ロボット人作業」における作業時間を協働作業時間と呼称する場合がある。「人作業」とは、作業者２５５だけが行う作業を指す。「その他作業」とは、「ロボット作業」「ロボット人作業」「人作業」いずれでもない作業を指す。

本実施形態では、ロボット装置２５１によりワーク置き場２５２からワークをワーク置き場２５３に載置する。そしてワーク置き場２５３で、ロボット装置２５１と教示者２５５により協働作業を行い、教示者２５５によりワーク置き場２５３からワーク置き場２５４にワークが載置されるものとする。

また本実施形態では、作業時間を算出するための、作業のスタートとストップのトリガとして、画像によるワークの有無検知を採用する。これは一般的に、作業の開始前後において、各ワーク置き場に載置されるワークは、載置されている状態から載置されていない状態に遷移し、作業完了前後において、載置されてない状態から載置されている状態に遷移するためである。

上記で述べたワーク置き場におけるワーク載置状態を利用し、作業開始前後と作業終了前後の間の時間を作業時間とみなす。

なお、作業時間を算出するための、作業のスタートとストップのトリガは、ワークの有無を用いても良いが、ワークに部品が追加または加工されたことを画像で検知することで用いても良い。

図２３の計測設定部２６４内の有無検知１は、画角Ａ内におけるワーク有無を検知し、「ロボット作業」の開始を計測するのに用いられる。

有無検知２は、画角Ｂ内におけるワーク有無を検知し、「ロボット作業」の完了、「ロボット人作業」の時間計測、「人作業」の開始を計測するのに用いられる。なお、協業作業は画角Ｂ内のワーク置き場内で行う。

有無検知３は、画角Ｃ内におけるワーク有無を検知し、「人作業」の完了と「その他作業」の開始を計測するのに用いられる。

これら有無検知に基づいて、作業者２５５は、計測設定部２６４において、工程単位で作業のスタート（Ｓｔａｒｔ）とストップ（Ｓｔｏｐ）のトリガを設定する。つまり、ＳｔａｒｔとＳｔｏｐの間が作業時間となり、計測する時間となる。

本実施形態では、画像処理によるワークの有無検知で作業のスタートとストップのトリガとした。しかしながら、トリガにするのは、近接スイッチによるワークの有無検知でも良いし、他のスイッチによる有無検知でも良いし、工程動作の開始信号、あるいは、完了信号でも良い。

図２３においては、作業者２５５の作業とロボット装置２５１の作業の区切りを工程ベースで付けることができたが、できない場合も考えられる。そこで、作業者２５５とロボット装置２５１との間の相対的なの距離を直接計測し、それに基づいて作業時間を計測する。

図２４は、作業者２５５とロボット装置２５１との間の相対的な距離の設定をする場合の表示部１３１の画面構成を示した図である。図２４において、表示部１３１は、教示者２５５とロボット装置２５１との間の距離を設定する設定画面部２６５を表示する。

設定画面部２６５は、人ロボ間距離設定部２６６を有する。人ロボ間距離設定部２６６は、協働作業とみなす人ロボ間距離を設定する。

ロボットシステム２０００に接続されたそれぞれの撮像装置の焦点距離と、撮像装置の画素の数と、から換算されるロボット装置２５１と作業者２５５との距離が、人ロボ間距離設定部２６６で設定された距離以下なら協働して作業を行っているとみなす。

これにより、ロボット装置２５１と作業者２５５とが協働している作業、つまり、「ロボット人作業」にかかる作業時間を計測することができる。なお、本実施形態の場合は、協業作業とみなす人ロボ間距離を２０ｍｍと設定した。

以上図２３と図２４を用いて、作業時間を計測するための設定方法について述べた。次にこれら設定方法を用いて計測した作業時間を確認する方法を述べる。作業時間の確認は、計測ボタン２８２あるいは、計測履歴ボタン２８３をタッチすることで実行することができる。

まず、計測ボタン２８２について説明する。図２５は、計測ボタン２８２をタッチした場合における表示部１３１の画面構成を示した図である。

図２５において、表示部１３１は、計測機能画面部２６７を表示する。計測機能画面部２６７は、工程プログラム名表示部２６８と工程プログラムの計測時間表示部２６９から成る。

工程プログラム名表示部２６８は、現在実行中の工程プログラム名が表示される。工程プログラムが実行されていない場合は、空欄となる。図２５では、工程Ｐｒｇ１が実行中の場合を示している。

工程プログラムの計測時間表示部２６９は、実行している工程プログラムの工程内容と、工程内容を実行したときの作業時間が表示される。現在実行中の工程は、実行中工程カーソル２７０で示される。

実行したときの作業時間は、工程を縦軸、作業分類を横軸にとった表（計測時間表示部２６９）に表示される。さらに、作業時間は、開始時間［Ｓｔａｒｔ］、完了時間［Ｓｔｏｐ］、計測時間［Ｔｉｍｅ］の３種類が表示される。なお、まだ実行されていない工程の作業時間は、空欄となる。

次に、計測履歴ボタン２８３について説明する。図２６は、計測履歴ボタン２８３をタッチした場合における表示部１３１の画面構成を示した図である。

図２６において、表示部１３１は、計測履歴画面部２７１と工程プログラムの計測履歴表示部２７２を表示する。計測履歴画面部２７１は、計測履歴選択ボタン２７３から成る。

計測履歴選択ボタン２７３は、実行された工程プログラム名と実行された日時をセットにしてその履歴が一覧としてボタン表示される。

作業者２５５は、参照したい履歴のボタンをタッチすることで、その内容を工程プログラムの計測履歴表示部２７２に表示することができる。

工程プログラムの計測履歴表示部２７２は、工程プログラム名表示部２７４と工程プログラムの計測時間表示部２７５から成る。

工程プログラム名表示部２７４は、計測履歴選択ボタン２７３で選択された工程プログラム名が表示される。本実施形態の場合は、工程Ｐｒｇ１が選択された場合を示す。

工程プログラムの計測時間表示部２７５は、計測履歴選択ボタン２７３で選択された工程プログラムの工程内容と、実行したときの作業時間が表示される。

図２５と同様に、実行したときの作業時間は、工程を縦軸、作業分類を横軸にとった表に表示される。さらに、作業時間は、開始時間［Ｓｔａｒｔ］、完了時間［Ｓｔｏｐ］、計測時間［Ｔｉｍｅ］の３種類が表示される。

以上より、撮像装置を用い、撮像装置が撮影している作業者とロボット装置の作業時間を計測し、外部入力装置１３１に表示させることができる。

これにより、作業時間が所定の閾値に達したロボット装置はメンテナンスを実行させたり、作業時間が所定の値に達した作業者には適宜休養を取らせる等の処置を行うことができ、作業現場における保守点検等の管理業務を容易に行うことができる。

（第９の実施形態）
次に第９の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、ロボット装置と撮像装置における教示項目が多項目にわたり、教示に時間がかかってしまう場合でも、教示時間の短縮を図ることができるＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図２７は本実施形態におけるロボット装置１と撮像装置２の教示方法のフローチャートである。所定の１か所の教示方法はＳ３００からＳ３０１の２工程からなり、本実施形態では複数箇所の教示を行う。

まずＳ３００では、ロボット装置１に対する教示を行う。ロボット装置１に対する教示は、ダイレクトティーチングまたは外部入力装置１３０を用いて行う。

Ｓ３０１では、撮像装置２の教示を行う。撮像装置２の教示も、外部入力装置１３０を用いて行う。

図２８は、本実施形態における外部入力装置１３０の表示部１３１に表示されるロボット装置１および撮像装置２の教示を行うための画面の構成例を示している。

図２８より、表示部１３１内には、画像表示部３６９と、ロボット装置操作部３７０と撮像操作部３７１と、座標表示部３７２が表示されている。

画像表示部３６９は撮像装置２が撮影している画像を表示する。ロボット装置操作部３７０は、ロボット装置１を操作するための操作部である。撮像操作部３７１は撮像装置２を操作するための操作部である。

座標表示部３７２は、ロボット装置１または撮像装置２が撮影している画像の表示領域の座標を表示または設定するための操作部である。

ロボット装置操作部３７０には、ロボット装置１の教示を、ダイレクトティーチングに切り替える、教示モード切換ボタン３７３を有している。

また、ロボット装置１のエンドエフェク１１を任意の座標系におけるＸＹＺ方向に移動させるためのエンドエフェクタ操作ボタン３７４と、ロボット装置１の各関節Ｊ１〜Ｊ６毎に回転量を操作する関節操作ボタン３７５を有している。

また、ロボット装置１を自動で操作するロボット追従ボタンを有する。ロボット追従ボタンには、自動の操作をＯＮにするロボット追従ＯＮボタン３７６と、自動の操作をＯＦＦにするロボット追従ＯＦＦボタン３７７とを有している。

そして現在のエンドエフェクタ１１の位置を座標表示部３７２に設定するロボット設定ボタン３８３、エンドエフェクタ１１の位置を座標表示部３７２に表示されている位置に移動するためのロボット移動ボタン３８４を有している。

撮像操作部３７１には、撮像装置２のパン、チルト操作を行うための視点操作ボタン３７８、ズームイン、ズームアウト操作を行うためのズーム操作ボタン３７９、を有している。

また、撮像装置２を自動で操作する場合における、撮像装置２の撮像対象を指定する撮像対象指定ボックス３８０を有している。

さらに撮像対象指定ボックス３８０で撮像対象を指定すれば、撮像装置２を撮像対象ボックスで指定した部位に追従させる撮像追従ボタンを備えている。撮像追従ボタンには、撮像追従をＯＮにする撮像追従ＯＮボタン３８１と、撮像追従をＯＦＦにする撮像追従ＯＦＦボタン３８２と、を有している。

また、現在の撮像装置２がフォーカスする座標を座標表示部３７２に設定する撮像設定ボタン３８５、撮像装置２がフォーカスする座標を座標表示部３７２に表示されている座標に移動させるための撮像移動ボタン３８６を備える。

座標表示部３７２には、ＸＹＺの座標を表示および入力するための座標表示ボックス３８７を備える。

教示作業中に、撮像装置２の撮影をロボット装置１の動作に追従させたい場合には、撮像追従ＯＮボタン３８１をタップまたはクリックすることで、撮像対象ボックス３８０で指定した位置に追従するようになる。

また撮像追従ＯＦＦボタン３８２をタップまたはクリックすることで、追従を解除できる。

同様に、ロボット装置１を撮像装置２の撮影範囲に追従させたい場合には、ロボット追従ＯＮボタン３７６をタップまたはクリックすることで、撮像範囲にロボット装置１が追従するようになる。

またロボット追従ＯＦＦボタン３７７をタップまたはクリックすることで、追従を解除できる。

教示作業中に、現在のエンドエフェクタ１１の空間的な位置を知りたい場合には、ロボット設定ボタン３８３をタップまたはクリックすることにより座標表示部３７２の座標表示ボックス３８７にＸＹＺの座標値を表示する。

エンドエフェクタ１１の位置は、ロボット装置１の各関節に設けられた不図示のエンコーダにより算出され、表示されるものとする。

空間的な所定の位置にエンドエフェクタ１１を移動させたい場合には、座標表示部３７２のＸＹＺそれぞれに数値を入力し、ロボット移動ボタン３８４をタップまたはクリックすることで、その座標にエンドエフェクタ１１が移動する。

その際、エンドエフェクタ１１の位置の値から逆運動学計算を用いることで、ロボット装置１の各関節における回転量を計算し、所定の位置にエンドエフェクタ１１を移動させる。

同様に、撮像装置２における撮影範囲の中心の空間的な位置を知りたい場合には、撮像設定ボタン３８６をタップまたはクリックすることにより、座標表示部３７２の座標表示ボックス３８７にＸＹＺの座標値を表示する。

空間的な所定の位置に撮像装置２の撮影範囲の中心を移動させたい場合には、座標表示部３７２のＸＹＺそれぞれに数値を入力し、撮像移動ボタン３８４をタップまたはクリックすることにより、その座標に移動する。

撮像装置２の撮影範囲の中心の位置は、画像処理を用いることで算出するものとする。

所定の箇所の教示作業が終了した場合には、ロボット装置１の各軸の値と撮像装置２のパン、チルト、ズームの情報が同時に制御装置１３に記録される。

以上により、作業者が所定の位置の値を外部入力装置１３０に入力するだけで、ロボット装置１、撮像装置２を所定の位置に動かすことができる。

さらに、教示作業中に注視したい部位を、常に画像表示部３６９に映し出すように、ロボット装置１および撮像装置２が追従して動作するので、複雑な手動操作を必要としない。

よって、ロボット装置と撮像装置における教示項目が多項目である場合でも作業者の操作の負担を軽減でき、教示時間の短縮を図ることができる。

（第１０の実施形態）
次に第１０の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態は、ロボット装置で扱うワークに注視させる教示を容易に行うことができるＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図２９は、本実施形態における外部入力装置１３０の表示部１３１に表示されるロボット装置１および撮像装置２を教示するための画面構成の例を示している。

上記第１０の実施形態と異なる点は、撮像操作部３７１に、領域設定ボタン３９０と、ワーク登録ボタン３９１、ワーク検索ボタン３９２を設けている点である。

領域設定ボタン３９０は、画像表示部３６９に表示されている画像に対し、所定の領域を設定することができる。

ワーク登録ボタン３９１は、領域設定ボタン３９０で設定された領域内から、ロボット装置１が扱うワークを検出し、注視するべきワークとして登録することができる。

ワークの検出については、あらかじめワークの画像データ等を制御装置１３に記録しておき、画像表示部３６９の画像を画像処理することで検知する。

ワーク検索ボタン３９２は、ワーク登録ボタン３９１で登録したワークを、画像表示部３６９に表示されている画像から検索することができる。

図３０は、本実施形態における、撮像装置２がワークを探索する際に実行されるフローチャートである。ワーク探索方法は図３０のＳ３１０からＳ３１２の３工程からなり、ワーク位置に撮像装置２の撮像視点を教示することができる。

図３０より、まずＳ３１０で、領域の選択を行う。領域設定ボタン３９０をタップまたはクリックすることにより、画像表示部３６９にワーク領域３９３が重畳表示される。

画像表示部３６９に表示されたワーク領域３９３をタップまたはクリックし、ピンチイン、ピンチアウト等の操作を行うことによりワーク領域３９３の大きさを設定することができる。

次にＳ３１１で、ワーク領域３９３内で検知されたワークを、注視すべきワークとして登録する。ワーク登録ボタン３９１をタップまたはクリックすることにより、選択したワーク領域３９３内で検知されたワークを、注視すべきワークとして登録することができる。

Ｓ３１２では、Ｓ３１１で登録されたワークを、撮像装置２がパン、チルト方向の駆動を行いながら、周囲から登録されたワークを探索する。ワーク探索ボタン３９２をタップまたはクリックすることにより、登録されたワークを探索させることができる。

これにより、複雑な座標の値等の入力を行うことなく、撮像装置２に対し、ワークを撮影し続けるよう教示することができ、撮像装置２に対する教示時間を短縮することができる。

（第１１の実施形態）
次に第１１の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、ある製品の組立を行う生産現場において、作業者が実施する組立工程によっては、製品の部品数が多い、工程手順が多い等の理由により工程が煩雑である場合を考える。

この場合、作業者が作業内容を間違えたり、作業に時間がかかったりする。

また作業内容が複雑だと、確認のため組立作業中に作業を中断し、印刷された手順書等を手元に取って工程の該当ページを確認するなどの手間がかかってしまう。

また、熟練していない作業者の場合だと、作業に著しく時間がかかる、作業を間違えるといったことがある。

また、作業者とロボット装置が共通の空間で作業を行う場合に、作業者が熟練していないとロボット装置の移動先を作業者が塞ぐなどしてしまい、ロボット装置やロボット装置に搬送されているワークと作業者とがぶつかる危険がある。

この場合、ロボット装置やワークの破損、ロボット装置の動作ずれによる組立不良、動作の停止による生産ラインの遅延が発生するといった問題が起こりうる。

本実施形態は、上記の課題に鑑み、外部入力装置により容易に作業工程を確認することができ、作業者が実施する作業の補助を行うことができるＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図３１は、本実施形態におけるロボットシステム３０００を用いた生産現場を示した図である。

ロボットシステム３０００には、ロボット装置１が配置されている。ロボット装置１は、予めプログラムされた動作に応じて自動で部品４０５に部品４０３を組み付ける組立作業を行うものである。

ロボット装置１の形状はこの他、単軸スライド動作、スカラー型、ＸＹ型など、自動で組立作業を行うことができるものであれば何でもよく、形状を垂直多関節に限定するものではない。

ただし、いずれの場合においてもロボット装置１の各関節はエンコーダ等のセンサを用いた回転位置、もしくは角度の検出機能を有しており、ロボット装置１の姿勢制御が可能であるものとする。

またロボット装置１の近傍には作業者４０４が滞在して部品４０５の組立作業を行っており、ロボット装置１が動作する空間と共通の空間に、手など体の一部を入れて作業を行うことがある。

なお、ロボット装置１は人と共通の空間で作業が可能であることを前提とした、協働ロボットと呼ばれる衝突や挟み込みなどの対策がなされた、十分安全な構造、機能を持つものであるとする。

作業者４０４は外部入力装置１３０を用いて、ロボット装置１の動作を担うロボットプログラムを編集することができる。

なお、部品４０５の組立作業を行う作業者と、ロボットプログラムを編集する作業者は多くの場合は異なっていることがあり、それぞれ専門の作業者が担当してもよいものとする。

外部入力措置１３０は、一般にティーチングペンダントとも呼ばれ、図示しないロボット装置１の制御装置との通信機能を有している。そして、ロボット装置１の移動操作、ロボット装置１の移動先を示す教示点の記録、記録された教示点位置へロボット装置１１を移動させる機能など、標準的なロボット操作機能を有する。

上記のようなロボット装置を用いた生産現場において、作業者４０４は外部入力装置１３０を手に持つ、あるいは視認可能な位置へ置いて、部品４０６を部品４０５へ組み付ける組立作業を行う。

また、ロボットシステム３０００には撮像装置２が配置されており、生産現場全体が視認できるように撮影している。

撮像装置２は、必要な対象を撮影するために、パン、チルト、ズームといった撮影方向、画角を変更する駆動機能を備えている。また、撮像装置２の設置数は一つでもよいし、一つの撮像装置で死角ができてしまう場合はそれを補う場所へ複数の撮像装置を設置してもよい。

図３２は本実施形態における外部入力装置１３０の構成を示した図である。本実施形態における外部入力装置１３０は、表示部１３１と、各種の操作部４６０を備える。操作部４６０は、上記実施形態と異なり、ボタン式であるが、かかる作用は上記実施形態と同様であるため説明を省略する。

図３２より、外部入力装置１３０は、撮像装置２で撮影された画像を表示する表示部１３１を有する。

表示部１３１は、撮像装置２からの画像の他、ロボットプログラム編集画面を表示できる。

表示部１３１は、タッチセンサを備えたタッチパネルになっており、表示部１３１を直接、作業者４０４が触って直感的に操作、編集することができる。

その他、操作部４６０の各種ボタンを用いて表示部１３１内の表示を選択して操作してもよいし、キーボードやマウスを別途接続するインタフェースを外部入力装置１３０に備えてもよい。

外部入力装置１３０は、撮像装置２で撮影している生産現場の画像に、ロボット装置１の工程の動作や、部品４０６の次の組立手順といった仮想的な画像を合成して編集する機能を有する。

ここで、生産現場に配置されたロボット装置１や、扱う部品に対する撮像装置２の設置位置、方向は既知であるものとする。

それらの位置関係から、一般的な透視投影の算出方法により導出できる透視図を用いて、表示部１３１上に仮想的なロボット装置１や扱う部品の位置姿勢を示すロボット合成画像４０１ｂやワーク合成画像４０３ｂを表示する（図３３）。

ロボット装置１の各関節には、エンコーダ等の角度検出機能を備えており、ロボット装置１の姿勢や、それによって搬送される部品４０３の位置は運動学計算により算出できる。

また、撮像装置２がパン、チルト、ズーム等の機能を有している場合でも、それらの駆動機構がエンコーダ等の回転角度検出機能を備えていることで、撮像装置２の撮影方向、拡大倍率を導出することができる。

ロボット装置１の形状モデルは３ＤＣＡＤにより準備されており、前記運動学と透視投影像の計算方法により算出されたロボット装置１の手先の位置や部品の位置の画像を、表示部１３１へ仮想的に合成表示することができる。

また表示部１３１には、タイムチャート４５２が表示されており、ロボットプログラム、作業者４０４の組立作業、合成表示といった工程の開始と終了のタイミングを編集する機能を有している。タイムチャート４５２上でそれらの工程の順序、表示タイミングを編集設定可能である。

タイムチャートの横軸は基本的には時間を示すが、ロボット装置１の性能によって移動にかかる時間は異なる。タイムチャートの１工程にかかる時間の長さは、作業者４０４が任意に設定したり、実際に一度ロボット装置１に動作を行わせて記録したりできる。別途ロボットシミュレーションを備えたロボット装置であれば、それを用いて導出してもよい。

また、各工程の動作開始タイミングについて、時間通りに動作する、もしくは前工程動作の終了タイミングを制御装置に認識させて、次の工程動作開始はその終了タイミングに合わせることも作業者４０４が任意に設定できる。

また、作業者４０４が組立内容を認識するための補助表示として、矢印、音、文字などといったものを設定してもよい。

その場合、表示アイコン４５３のように表示部１３１上に表示し、表示アイコン４５３を選択して配置、開始タイミングの設定を行う。

これら表示アイコン４５３は、矢印、文字、登録画像の点滅といった強調表示等の表示設定や、自在に色、大きさ、向きが設定できると、作業者４０４が他の作業に集中していても、注意喚起の認識性を高めることができる。

さらに撮像装置を複数備えて、複数方向から生産現場を撮影すれば、立体空間内における部品と作業者の距離を算出して、警告発生距離に使うことができる。

その場合、部品４０３と作業者４０４が接近したときに警告を発生させるには、画面上で対象物を選定し、それらの距離が一定数値より近くなった状態を閾値として設定し、画面の強調表示、音の発生などを表示アイコン４５３に設定する。

図３３は、表示部１３１にロボットシステム３０００を構成するロボット装置１、部品等の次の動作を仮想的に合成表示している図である。

実際のロボット装置１や部品４０３、教示者４０４を撮影して表示している画像を、ロボット装置撮影画像１ａや部品撮影画像４０３ａと呼称する。

逆にロボット装置１の次の動作により位置する部品４０３等を仮想的に表示している画像を、ロボット装置合成画像１ｂや部品合成画像４０３ｂと呼称する。

表示部１３１に合成するロボット装置１や部品４０３の合成画像については、一度ロボット装置１を実際に動かしたり、作業者４０４が組立作業を行ったりした際に、登録された対象物の形状を画像処理により認識し、動作を追跡して録画させて作成して良い。

画像処理方法については、エッジ抽出といった一般的な画像処理から作業者４０４、もしくは専門の画像処理技術者等が適切な手段を選択して適用する。

なお、上記の画像の合成、表示を追加する編集機能は、必ずしも外部入力装置１３０だけで実施することに限定する必要はない。

例えば、別途パソコンなどで編集を行ったものをロボット装置１の制御装置に保存しておき、制御装置１から外部入力装置１３０で表示させてもよい。

以上、本実施形態によれば、生産現場での作業中、実際にロボット装置を動作させなくても、次工程でどのような動作を行うかあらかじめ表示部１３１で確認することができる。

よって、予期せぬ部品同士や作業員４０４との接触などを容易に確認することができ、ロボット装置や部品の破損の危険性を低減することができる。

このようなロボット装置の工程における動作の確認、編集が、熟練したロボット装置や撮像装置の操作方法を習得したりする必要なく、容易に行うことができるようになる。

また、作業者４０４にロボット装置１や部品４０３が接近した際に、警告を発生させる設定を容易に実施することができる。

（第１２の実施形態）
次に第１２の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、作業者が、ダイレクトティーチングのように、ロボット装置を操作することで動作を教示する場合を考える。

上記のようなダイレクトティーチングを行う場合、ロボット装置の動作限界に到達すると異常とみなし、警告を示す音や文字の表示とともに操作を受け付けなくするものがある。

このため、ロボット装置の動作限界付近で動作設定を行う際に、頻繁に操作が止まってしまい、その度に復旧操作を行う必要があるため、動作設定に時間がかかるといった問題がある。

また、動作限界位置そのもの、またはその付近でロボット装置が停止した場合、ロボット装置が移動できる方向が限られるため、どの方向にロボット装置が移動できるか判断できず、ロボット装置の操作性を損なうといった問題がある。

本実施形態は上記課題に鑑み、ロボット装置の動作限界付近で教示等の動作設定を行う場合でも、教示の時間を低減し、ロボット装置の操作性を損なわないようにするＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図３４は、ロボット装置１を作業者４０４が操作して動かす状況を撮像装置２で撮影して、操作装置２上の表示部１３１にロボット装置撮影画像１ａとして表示している状態を示している。

この状態において、ロボット装置１は、ロボット装置１の一部の関節の駆動軸１ｊを中心とした回転動作を行う、いわゆる関節ジョグ操作や各軸操作などと呼ばれる操作がなされる。

この際、ロボット装置１が動作可能な範囲をロボット関節動作範囲４２０として、撮像装置２で撮影している画像に合成して、表示部１３１上へ表示している。

表示部１３１上に表示するこのロボット関節動作範囲４２０の幾何形状は、ロボット装置１の据え付け位置および各関節角度、撮像装置２の据え付け位置および姿勢に、駆動軸１ｊの回転可能角度を組み合わせる。

さらに、ロボット装置１もしくはロボット装置１が搬送する部品４０３の形状を組み合わせることで、第１１の実施形態と同様に算出可能である。

このように導出された幾何形状が、ロボット関節動作範囲４２０の表示部１３１上に表示される。

図３５は、直交ジョグ操作などと呼ばれる、ロボット装置１の据え付け面に対して直交している直交座標系４２５に沿って動かす操作がロボット装置１になされている状態である。

図３４と同様にロボット装置１の直交動作範囲４２１が表示されている。図３５の状態では、紙面上下方向へ移動させており、上下方向の移動限界を図示している。

図３４より、ロボット装置合成画像１ｂが、ロボット装置１の直交動作範囲４２１における下限を表しており、ロボット装置合成画像１ｂ’が、ロボット装置１の直交動作範囲４２１における上限を表している。

直交ジョグ操作では、他に紙面左右方向、奥行き方向、ならびにそれらの周方向で動かすことが可能である。その際も上記のようにロボット装置１の仮想的な動作を示す合成画像を用いて表示してよい。

なお、紙面奥行き方向に関しては、手前と奥側、もしくはそれに近い角度の動作限界は、ＳＩ単位系のミリメートル単位による数値表示を併記して、マイナス、プラス符号を付して表記するといった方法で認識性を高めるといった方法が考えられる。

その際の直交動作範囲４２１で表示される範囲方向の選択方法としては、操作部４６０の、各方向の動作ボタンを押したときにその方向に対応する範囲を表示する方法がある。

また、あらかじめどちらにロボット装置１を動かしたいか作業者４０４が選択し、その方向を常に表示する、といった手段が考えられる。

図３６は、ツールジョグ操作などと呼ばれる、ロボット装置１の手先姿勢に対して直交しているツール座標系４２６に沿って動かす操作がロボット装置１になされている。図３５と同様に、図３６ではツール動作範囲４２２が表示されている。

これにより、ツールジョグ操作の場合でも、容易にロボット装置１の動作範囲を把握することができ、ロボット装置１の操作性を向上させることができる。

図３４〜図３６で述べた各動作範囲４２０〜４２２は表示、非表示の切り替え自在で、作業者４０４の必要とする情報、タイミングで表示できるようにすれば、通常のロボット操作での視認性を妨げることがない。

もしくは、動作限界の表示によって確認対象の視認性が妨げられる場合、各動作範囲４２０〜４２２の非表示、半透明、輪郭表示等を設定できるようにするとよい。

また、ロボット装置１の動作範囲の表示とともに、ロボット装置１の動作限界を越えて移動させようとした際に、ロボット装置１がエラー停止する前に直前の移動操作の逆方向へロボット装置１を移動させて動作を止める。

これにより、ロボット装置１が停止することで、ロボット装置１の作業性が損なわれることなく、ロボット装置１の操作を継続することができる。

そのための具体的なロボット装置１の制御方式の一例を示す。例えば、ロボット装置の動作の制御方式の一つとして、外部入力装置１３０の操作部４６０のボタンを押下してロボット装置１に直交ジョグ操作をしようとする。

その場合、まずロボット装置１の手先の移動目標位置を設定し、その位置に到達するためのロボット装置１に設けられたロボットアームの各関節角度を運動学により算出する。

そして、現在のロボット装置１の各関節との差分から、各関節の動作速度を決定する操作・制御方式がある。

その場合に、動作限界付近で直交ジョグ操作を行ったとしても、ロボット装置１の手先の目標位置が各関節の可動限界角度、もしくはその手前までにしか設定されないようにすれば、ロボット装置１がエラー停止することはない。

また、動作限界付近の一定範囲の姿勢をロボット装置１がとった場合、その範囲を脱出する移動動作、例えば、直前の操作の逆方向に移動するように自動的に実施する制御を行う。

こうすれば、動作限界付近の移動方向が極度に限定された状態において、どちらに操作すればロボット装置１が移動できるかわからない、といった問題を回避することができる。

また、この動作限界付近の一定範囲は、作業者４０４が任意に設定できるようにしておく。こうすれば、範囲を狭めて限界付近での作業を多用できるようにしたり、逆に範囲を広げて限界位置で操作性を損なうリスクを回避したりと、ロボット装置１の用途に合わせて選択することができるようになる。

以上本実施形態により、ロボット装置１の動作限界が外部入力装置１３０で確認することができるため、ロボット装置１の操作性を向上させることができる。

特に、ロボット装置１の周囲に存在する構造物を避けたり、複雑な移動経路をロボット装置が通る場合に有効である。

また、ロボット装置１の動作限界付近で頻繁にエラー停止するといった事象が回避でき、ロボット装置１の操作性が向上することで、短時間でロボット装置の教示作業が可能となる。

（第１３の実施形態）
次に第１４の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、生産現場における、生産計画、作業内容により頻繁にロボット装置の設置位置を移設し、複数の製造ラインで使用する場合を考える。

ロボット装置を移設する場合、ロボット装置の据え付けを高精度に調整しなければ、ワークとロボット装置との相対位置がズレるため、ロボット装置がワークをつかむ、組み立てるといった動作ができなくなる、失敗確立が上がる、といった問題が起こる。

通常、ロボット装置を移設して位置調整を行う際は、精度を保証して製作された位置決め治具を用いてロボット装置と据え付ける構造物との位置が高精度に定まるように調整する必要がある。

しかし、上記のような位置決め治具は、製作する費用と時間がかかってしまう。また、レーザ距離計やプロトラクターといった角度計などの測定機を用いて調整することも考えられる。しかし、その場合も精度が保証された測定機を準備し、測定機を高精度に使用する、ロボット装置を設置するための設計や調整を行う、といった対応が必要になる。

本実施形態は上記課題に鑑み、ロボット装置を高精度に位置決めする場合でも、治具や、測定器を使用することなく、位置決めを行うことができるようにするＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図３７は、ロボット装置１を移設する際の作業を撮像装置２で撮影し、外部入力装置１３０上の表示部１３１に表示したものを表している。

撮像装置２で撮影しているロボット装置撮影画像１ａの近辺に、ロボット設置画像１ｃを表示することで、ロボット装置１の適切な設置位置の確認をできるようにしている。

ロボット設置画像１ｃの形状、および設置位置は、設計上の３ＤＣＡＤモデルを使用してもよいし、一度適切な位置に設置した後に、撮像装置の画像を処理することによって、ロボット装置１の位置および形状を取得し、それを用いてもよい。

上記のように準備しておいたロボット設置画像１ｃを用いれば、第１１の実施形態と同様に、ロボット装置１の姿勢と、撮像装置２の姿勢から表示画部１３１上に表示する幾何形状を算出可能である。

また、設置作業中のロボット装置１を撮像装置２で撮影し、その画像を処理することで、ロボット装置１の形状と位置を取得すれば、ロボット設置画像１ｃとの比較が可能となる。

これらの画像同士の適合面積や最大距離を比較し、設置位置が許容範囲内であるか否か、あるいはどちらにずれているかを表示部１３１上へ表示すれば、設置作業が容易になる。

適合面積や最大距離の許容範囲設定は、必要な組立精度等から作業者４０４が任意に設定できる。

また、設置作業の際にロボット装置１の姿勢を、複数方向へ向けたり、特徴的な姿勢を取らせたりして、それぞれの位置を合わせることで、設置精度の向上が可能となる。

特に、撮像装置２から見て奥行き方向ではなく、左右方向に長い姿勢をロボット装置１に取らせることで、画像処理精度の向上が期待できる。

また、撮像装置２のズーム機能を用いて、ロボット装置１の特徴的な一部分を拡大表示して記録し、その画像を位置合わせに用いれば高精度に位置合わせが可能になる。

これらの作業の際に、複数の撮像装置を用いて複数方向から撮影すれば、一つの撮像装置から確認しにくい方向での設置精度が向上できる。

ロボット設置画像１ｃの表示方法についても、ロボット装置１の形状の多角形表示、輪郭線のみの表示、半透明表示など、作業性、視認性に合わせて選択できるようにしても良い。

こうすることで、ロボット装置１を移設して複数の製造ラインで使用する場合でも、高価で長納期な位置決め治具の製作や測定機の使用が不要になる。

また、生産現場における生産計画や生産内容において、急遽新たな生産ラインの立ち上げや、試験運転を始める際にも、生産ラインに使用中のロボット装置を一時的に用いることができる。

さらにロボット装置の利用が完了した際にもすぐに元の生産ラインにロボット装置を戻すことができる。このように、多品種少量生産に対応したロボット運用ができるようになる。

（第１４の実施形態）
次に第１４の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、ロボット装置１と作業者４０４が並行して作業を進めている場合を考える。

この場合、作業者４０４が取り扱った部品４０６における撮像装置２による検査と、ロボット装置１の動作を同時に進めたい場合がある。

その際に、ロボット装置１が撮像装置２の視界を遮ってしまい部品４０６の検査ができない、もしくはロボット装置１がどの位置で作業を行えば並行作業が可能かわからないことがある。

本実施形態では上記課題が生じる場合でも、作業者が取り扱った部品における撮像装置による検査と、ロボット装置の動作を同時に進めることができるＵＩ例である。

以下では、上記の実施形態とは異なるハードウェアや制御系の構成の部分について図示し説明する。また、上記の実施形態と同様の部分については上記と同様の構成ならびに作用が可能であるものとし、その詳細な説明は省略するものとする。

図３８は、ロボット装置１と作業者４０４が共通の空間で並行して作業を進めている現場を、撮像装置２で撮影した画像を表示部１３１へ表示している例を示している。

部品４０６がロボット装置１の所定の関節によって遮られている状況が撮影されており、このままでは部品４０６における撮像装置２による検査ができない。

このとき、表示部１３１にはロボット装置回避姿勢１ｄが撮像装置２で撮影されている画像に合成表示されており、この示された範囲へロボット装置１を移動させることで、部品４０６における撮像装置２による検査が可能になる。

ロボット装置回避姿勢１ｄの導出方法としては、例えば部品撮影画像４０６ａの輪郭と撮像装置２のレンズ中心を結ぶ、錐体状の多面体を想定すると、その多面体とロボット装置１の干渉しない範囲が、ロボット装置１が部品４０６を遮らない範囲となる。

ロボット装置１の姿勢は、ロボット装置１に設けられたロボットアームの各関節角度から運動学により算出可能である。

よって、ロボット装置１の姿勢を所定の方向へ変えた際に、どの姿勢でロボット装置１と多面体との干渉がなくなるかを導出可能である。

また、この際の表示部１３１上で表示すべきロボット装置回避姿勢１ｄの幾何形状については、第１１の実施形態と同様にロボット装置１の姿勢、撮像装置２の姿勢から透視投影の計算により導出できる。

また、この計算の際にロボット装置１がどの方向へ回避した場合におけるロボット装置回避姿勢１ｄを計算するかは、作業者４０４が直交座標系などに沿って任意の方向を指定できるとよい。図３８においては、矢印Ｈ方向へロボット装置１が回避する場合の範囲を示している。

図３９は、上記で導出されたロボット装置回避姿勢１ｄの位置にロボット装置１が移動した状態を示している。

これにより、部品４０６全体が、ロボット装置１に遮られることなく、撮像装置２により映し出されており、部品４０６の検査を撮像装置２により行わせることができる。

以上本実施形態により、ロボット装置１と作業者４０４が並行して作業を実施する場合に、一方で撮像装置２により部品４０６を検査しながら、ロボット装置１が動作する教示の設定を実施することができる。

この機能を用いて、ロボット装置１が取り扱う部品４０３の設置位置を決定すれば、ロボット装置１と作業者４０４が並行作業しながら、両方の作業を撮像装置２で同時に監視可能な配置設計が容易になる。

（第１５の実施形態）
次に第１５の実施形態として、外部入力装置１３０に映し出された撮像装置からの画像を用いて、外部入力装置１３０により、ロボット装置と撮像装置の校正作業や教示作業を行う場合に好適なＵＩ例について説明する。

本実施形態では、外部入力装置１３０により撮像装置２を操作する際、撮像装置２を直感的に操作する場合を考える。撮像装置２がパン方向およびチルト方向に動作することができる場合、撮像装置２の取り付け方によっては今までパン方向を操作していた撮像操作部が、外部入力装置１３０での表示のさせ方によってはチルト方向の操作部のように見えてしまう場合がある。その際、撮像装置２を直感的に操作することが難しくなる。本実施形態では上記のような課題が生じても外部入力装置１３０により直感的に撮像装置２を操作できるＵＩ例について説明する。

図４０は本実施形態における表示部１３１に表示される画面を示している。上述した種々の実施形態と異なる点は、作業者から見た撮像装置２の設置状態を表示した撮像装置設置アイコン５６０を設けている点である。外部入力装置１３０はあらかじめ、操作対象となる撮像装置２の取り付け方の情報が格納されており、格納された情報に基づき撮像装置２の設置状態を撮像操作部１０５に表示する。またパン方向を示す視覚表示子である矢印Ｂ、チルト方向を示す視覚表示子である矢印Ａが撮像装置設置アイコン５６０に表示されている。

そして撮像装置２のチルト方向である矢印Ａに方向を操作する際は、視点操作ボタン１０６ａにより操作し、撮像装置２のパン方向である矢印Ｂ方向に操作する際は視点操作ボタン１０６ｂにより操作する。その際、視点操作ボタン１０６ａ付近にチルト方向を示す視覚表示子として「Ａ」を表示し、視点操作ボタン１０６ｂ付近にパン方向を示す視覚表示子として「Ｂ」を表示する。これにより、視点操作ボタン１０６ａが指し示す方向とチルト方向の矢印Ａ方向が見た目上一致し、視点操作ボタン１０６ｂが指し示す方向とパン方向の矢印Ｂ方向が見た目上一致する。これにより部入力装置１３０により直感的に撮像装置２を操作することができる。

図４１は図４０とは異なる取り付け方で撮像装置２が設置されている場合の表示部１３１に表示される画面を示している。図４１では図４０における撮像装置２の設置状態から９０°回転させて設置されている。そして撮像装置２を９０°回転させた状態で撮像装置設置アイコン５６０を撮像操作部１０５に表示している。

図４１においては、撮像装置２のチルト方向である矢印Ａに方向を操作する際は、視点操作ボタン１０６ｂにより操作し、撮像装置２のパン方向である矢印Ｂ方向に操作する際は視点操作ボタン１０６ａにより操作する。その際、視点操作ボタン１０６ａ付近にパン方向を示す視覚表示子として「Ｂ」を表示し、視点操作ボタン１０６ｂ付近にチルト方向を示す視覚表示子として「Ａ」を表示する。これにより、視点操作ボタン１０６ｂが指し示す方向とチルト方向の矢印Ａ方向が見た目上一致し、視点操作ボタン１０６ａが指し示す方向とパン方向の矢印Ｂ方向が見た目上一致する。これにより撮像装置２の取り付け方が異なる場合でも部入力装置１３０により直感的に撮像装置２を操作することができる。また、撮像装置２の取り付け方が表示されているので、より直感的に撮像装置２の操作を行うことが可能となる。なお、視覚表示子として文字や矢印を表示しているが、図や絵など作業者の視覚により認識できる方法を適宜用いて構わない。

上述した種々の実施形態の処理手順は具体的には制御装置１３により実行されるものとして説明したが、上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体を外部入力装置１３０に搭載させて実施しても良い。

従って上述した機能を実行可能なソフトウェアの制御プログラムおよびそのプログラムを記録した記録媒体は本発明を構成することになる。

また、上記実施形態では、コンピュータで読み取り可能な記録媒体がＲＯＭ或いはＲＡＭであり、ＲＯＭ或いはＲＡＭに制御プログラムが格納される場合について説明したが、本発明はこのような形態に限定されるものではない。

本発明を実施するための制御プログラムは、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、制御プログラムを供給するための記録媒体としては、ＨＤＤ、外部記憶装置、記録ディスク等を用いてもよい。

（その他の実施形態）
上述した種々の実施形態では、ロボット装置１が複数の関節を有する多関節ロボットアームを用いた場合を説明したが、関節の数はこれに限定されるものではない。ロボット装置の形式として、垂直多軸構成を示したが、パラレルリンク型など異なる形式の関節においても上記と同等の構成を実施することができる。

また、ロボット装置１の構成例を各実施形態の例図により示したが、これに限定されるものではなく、当業者において任意に設計変更が可能である。また、ロボット装置１に設けられる各モータは、上述の構成に限定されるものではなく、各関節を駆動する駆動源は例えば人工筋肉のようなデバイス等であってもよい。

また上述した種々の実施形態は、制御装置に設けられる記憶装置の情報に基づき、伸縮、屈伸、上下移動、左右移動もしくは旋回の動作またはこれらの複合動作を自動的に行うことができる機械に適用可能である。

また、上述した種々の実施形態では、撮像装置２により画像されているロボット装置の動作を監視するための画面構成を外部入力装置１３０に表示したがこれに限られない。

例えば、アプリ等によりロボット装置を操作できるような携帯端末、デスクトップパソコンやノートパソコン等、種々のインタフェースに表示しても構わない。

また、上記実施形態では、外部入力装置の表示部に表示されるものをボタンと呼称して説明したが、例えば表示アイコンや表示アイテムとして置き換えて実施しても構わない。

また、上述した種々の実施形態では、撮像装置２を所定の位置に設置されて撮像する撮像装置を例にとり説明したがこれに限られない。例えば、ロボット装置のエンドエフェクタに撮像装置を備え、撮像装置をオンハンドカメラとして使用し、定点から撮像する撮像装置からの画像と、オンハンドカメラとして使用している撮像装置からの画像とを、外部入力装置の同一画面に表示しても構わない。これにより、ロボット装置全体を確認しながら、作業を行うエンドエフェクタからの視点も確認でき、ロボット装置の教示をさらに容易に行うことが可能となる。また、定点から撮像する撮像装置からの画像と、オンハンドカメラとして使用している撮像装置からの画像とを交互に切り換えながら画像表示部に表示するようにしてもかまわない。

また、上述した種々の実施形態では、撮像装置２で撮影した画像を表示する例をとり説明したがこれに限られない。例えば、制御装置１３に画像処理装置を内蔵させ、撮像装置２から撮像された画像を画像処理し、画像処理結果を外部入力装置１３０の表示部１３１に表示させても構わない。これにより撮像装置２を用いてロボット装置に教示を修正する際に、画像処理の結果を確認しながらロボット装置の教示を修正することができる。

１ ロボット装置
２ 撮像装置
１０１、２０４、３７０ ロボット装置操作部
１０５、２０６、３７１ 撮像操作部
１０４、１４６、２０５、３６９ 画像表示部
１３０ 外部入力装置

Claims (49)

1. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
   前記外部入力装置は、
   表示領域と、
   前記ロボット装置を操作するロボット装置操作部と、
   前記撮像装置を操作する撮像操作部と、
   前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
   前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されており、前記画像表示部は、前記ロボット装置操作部と前記撮像操作部との間に配置されていることを特徴とする外部入力装置。
2. 請求項１に記載の外部入力装置において、
   前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部の表示位置を変更できることを特徴とする外部入力装置。
3. 請求項１または２に記載の外部入力装置において、
   前記ロボット装置操作部として、前記画像表示部に表示されている前記ロボット装置をタッチすることで、前記ロボット装置を操作でき、
   前記撮像操作部として、前記画像表示部に表示されている前記ロボット装置以外のいずれかの部分をタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
4. 請求項３に記載の外部入力装置において、
   前記ロボット装置操作部として、前記画像表示部に表示されているいずれかの部分をシングルタッチまたはマルチタッチすることで、前記ロボット装置を操作でき、
   前記撮像操作部として、前記画像表示部に表示されているいずれかの部分を、前記シングルタッチまたは前記マルチタッチの内、前記ロボット装置の操作に使用しなかった方法でタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
5. 請求項１または２に記載の外部入力装置において、
   前記ロボット装置操作部として、前記画像表示部に表示されているいずれかの部分を、所定の力の値以上でタッチすることで、前記ロボット装置を操作することができ、
   前記撮像操作部として、前記画像表示部に表示されているいずれかの部分を、前記所定の力の値未満でタッチすることで、前記撮像装置を操作できることを特徴とする外部入力装置。
6. 請求項１または２に記載の外部入力装置において、
   前記画像表示部に、
   前記画像表示部のタッチによって、前記ロボット装置または前記撮像装置どちらの操作を行うのか設定する操作設定ボタンが表示されていることを特徴とする外部入力装置。
7. 請求項３から６のいずれか１項に記載の外部入力装置において、
   前記画像表示部のタッチによって、前記撮像装置を操作する際、
   前記画像表示部をタッチし、所定の方向へスライドすることで、前記撮像装置の撮像視点を移動させ、
   前記画像表示部をタッチし、ピンチアウトすることで、前記撮像装置によるズームアウトを行い、
   前記画像表示部をタッチし、ピンチインすることで、前記撮像装置によるズームインを行うことを特徴とする外部入力装置。
8. 請求項３から７のいずれか１項に記載の外部入力装置において、
   前記画像表示部のタッチによって、前記ロボット装置を操作する際、
   前記画像表示部をタッチし、フリックする動作を受け付けないことを特徴とする外部入力装置。
9. 請求項１または２に記載の外部入力装置において、
   前記ロボット装置操作部は、
   予め教示されている前記ロボット装置の所定の動作の終了時間までを表す再生バーと、
   前記再生バーにおける、時間的な位置を示す第１の位置マークと、を備え、
   前記撮像操作部は、
   前記撮像装置における各駆動部の動作範囲を示す操作バーと、
   前記操作バーにおける、現在位置を示す第２の位置マークと、を備えていることを特徴とする外部入力装置。
10. 請求項９に記載の外部入力装置において、
    前記再生バーと、前記操作バーの各々には、前記撮像装置における所定の撮像視点の教示点を表す、撮像視点教示ポイントが表示されることを特徴とする外部入力装置。
11. 請求項９または１０に記載の外部入力装置において、
    前記操作バーの各々には、前記各駆動部の前記動作範囲における、前記撮像視点の教示点として設定可能な範囲を示す設定可能範囲がそれぞれ表示されることを特徴とする外部入力装置。
12. 請求項９から１１のいずれか１項に記載の外部入力装置において、
    前記撮像装置は、パンチルトカメラであり、ズーム機能を備え、
    前記操作バーは、
    前記撮像装置をパン方向に操作するパン操作バーと、
    前記撮像装置をチルト方向に操作するチルト操作バーと、
    前記ズーム機能を調整するズーム調整バーと、を備え、
    前記パン操作バー、前記チルト操作バー、前記ズーム調整バーのそれぞれには、それぞれの動作範囲における現在位置を示す第３の位置マークが表示されることを特徴とする外部入力装置。
13. 請求項１または２に記載の外部入力装置において、
    前記外部入力装置による操作対象を変更する際、前記操作対象それぞれの操作の基準となっている座標系に切り換えて、前記操作対象を操作可能にする座標系切換ボタンを備えていることを特徴とする外部入力装置。
14. 請求項１３に記載の外部入力装置において、
    前記座標系切換ボタンは、
    前記ロボット装置が設置されている位置を基準とするベース座標系に切り換える、ベース座標系ボタンと、
    前記ロボット装置におけるエンドエフェクタの位置を基準とするエンドエフェクタ座標系に切り換える、エンドエフェクタ座標系ボタンと、
    前記撮像装置に関する座標系に切り換える、撮像座標系ボタンと、を備えていることを特徴とする外部入力装置。
15. 請求項１または２に記載の外部入力装置において、
    前記画像表示部の画像の上下を反転させる上下反転ボタンを備えていることを特徴とする外部入力装置。
16. 請求項１５に記載の外部入力装置において、
    前記画像表示部の画像の上下の反転を自動で行う、自動ボタンを備え、
    前記自動ボタンの操作により、前記画像表示部の画像の上下の反転を自動で行う際のトリガを設定する自動設定部が表示されることを特徴とする外部入力装置。
17. 請求項１６に記載の外部入力装置において、
    前記自動設定部は、前記撮像装置の各駆動部における角度の値を設定できることを特徴とする外部入力装置。
18. 請求項１または２に記載の外部入力装置において、
    前記画像表示部の画像は、マルチタッチにより、回転させることができることを特徴とする外部入力装置。
19. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記ロボット装置の動作の工程を表示する工程プログラム画面が表示され、
    前記工程プログラム画面には、前記工程の所定の工程において使用される撮像装置の名称と、当該撮像装置に教示されている教示点と、が表示されることを特徴とする外部入力装置。
20. 請求項１９に記載の外部入力装置において、
    前記撮像装置は複数設けられ、
    前記外部入力装置には、前記表示部に画像を映し出す撮像装置として、前記複数の撮像装置のうち前記ロボット装置を撮影している撮像装置に自動で切り換える撮像装置切換ボタンを備えていることを特徴とする外部入力装置。
21. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記ロボット装置と、前記ロボット装置と共に作業を行う作業者の、作業時間の計測を行わせる計測ボタンと、
    前記作業時間の計測の設定を行う計測設定ボタンと、
    計測した前記作業時間を表示する時間表示部と、が表示されていることを特徴とする外部入力装置。
22. 請求項２１に記載の外部入力装置において、
    前記計測設定ボタンの操作により、前記ロボット装置と前記作業者とが協働して作業している協働作業時間の計測の設定を行う設定画面が表示されることを特徴とする外部入力装置。
23. 請求項２１に記載の外部入力装置において、
    前記設定画面は、前記ロボット装置と前記作業者との相対的な距離を設定でき、
    前記ロボット装置と前記作業者との相対的な距離が、前記設定画面で設定した距離以下となっている時間を、前記協働作業時間として計測することを特徴とする外部入力装置。
24. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記撮像装置の撮像対象を設定する、撮像対象指定ボックスと、
    前記撮像対象指定ボックスにより指定された撮像対象を自動で撮影し続けるように、前記撮像装置の制御を行わせる撮像追従ボタンと、が表示されていることを特徴とする外部入力装置。
25. 請求項２４に記載の外部入力装置において、
    前記表示領域には、
    前記撮像対象指定ボックスにより指定された撮像対象を自動で撮影され続けるように、前記ロボット装置を制御するロボット追従ボタンと、が表示されていることを特徴とする外部入力装置。
26. 請求項２４または２５に記載の外部入力装置において、
    前記表示領域には、
    前記ロボットシステムにおける所定の座標値を表示する座標表示ボックスを備え、
    前記座標表示ボックスは、所定の座標値の入力を行うことができ、
    前記座標表示ボックスで入力された所定の座標値に、前記ロボット装置を動作させるロボット移動ボタンと、
    前記座標表示ボックスで入力された所定の座標値を、前記撮像装置に撮像させる撮像移動ボタンと、が表示されていることを特徴とする外部入力装置。
27. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記撮像装置により撮影されている撮像に所定の領域を設定する領域設定ボタンと、
    前記撮像装置が撮影すべきワークを設定するワーク登録ボタンと、
    前記所定の領域から、撮影すべき前記ワークを検索するワーク検索ボタンと、が表示されていることを特徴とする外部入力装置。
28. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    前記撮像装置が撮影している画像を表示する画像表示部を有し、
    前記画像表示部に、前記撮像装置が、所定の工程における前記ロボット装置を撮影している画像と共に、前記所定の工程の次の工程における前記ロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
29. 請求項２８に記載の外部入力装置において、
    前記画像表示部には、前記撮像装置が所定の工程における前記ロボット装置を撮影している撮像と共に、前記ロボット装置の動作範囲を表示することを特徴とする外部入力装置。
30. 請求項２９に記載の外部入力装置において、
    前記動作範囲は、仮想的な前記ロボット合成画像により、前記動作範囲の限界が表示されていることを特徴とする外部入力装置。
31. 請求項２８に記載の外部入力装置において、
    前記画像表示部に、前記撮像装置が前記ロボット装置を所定の場所に設置している作業を撮影している撮像と共に、前記ロボット装置を前記所定の場所とは異なる場所に設置した場合のロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
32. 請求項２８に記載の外部入力装置において、
    前記画像表示部に、前記撮像装置が、前記ロボット装置により一部が隠れたワークを撮影している撮像と共に、前記ワークの全てを前記撮像装置により撮影できるようになる前記ロボット装置の位置を示す仮想的なロボット合成画像を表示することを特徴とする外部入力装置。
33. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    前記撮像装置が撮影している画像を表示する画像表示部を有し、
    前記画像表示部の表示設定を行う第１のアイコンと、
    前記ロボットシステムのいずれかの部品から生じさせる音の設定を行う第２のアイコンと、が前記画像表示部に表示されていることを特徴とする外部入力装置。
34. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    表示領域と、
    前記外部入力装置を用いて、前記ロボットシステムを操作する作業者の顔のデータを記憶する記憶部と、を有し、
    前記表示領域には、
    前記撮像装置により、前記外部入力装置を使用している作業者の顔を検知し、検知した当該顔と、前記記憶部に記憶している前記顔のデータを比較する顔認証ボタンが備えられていることを特徴とする外部入力装置。
35. 請求項３４に記載の外部入力装置において、
    前記顔認証ボタンによる操作は、検知した前記顔と、前記記憶部に記憶している前記顔のデータを比較し、検知した前記顔と、前記記憶部に記憶している前記顔のデータが一致しない場合、前記作業者による前記ロボット装置の操作に制限をかけることを特徴とする外部入力装置。
36. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、
    前記ロボット装置を操作するロボット装置操作部と、
    前記撮像装置を操作する撮像操作部と、
    前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
    前記外部入力装置の所定の面に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が設けられていることを特徴とする外部入力装置。
37. 請求項３６に記載の外部入力装置において、
    前記画像表示部を基準として、左右のどちらか一方に前記ロボット装置操作部が設けられ、他方に前記撮像操作部が設けられていることを特徴とする外部入力装置。
38. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムであって、
    前記ロボットシステムへ所定の操作を入力できる外部入力装置と、を備え、
    前記外部入力装置は、
    表示領域と、
    前記ロボット装置を操作するロボット装置操作部と、
    前記撮像装置を操作する撮像操作部と、
    前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
    前記表示領域に、前記ロボット装置操作部と、前記撮像操作部と、前記画像表示部と、が表示されていることを特徴とするロボットシステム。
39. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムの制御方法であって、
    前記ロボットシステムへ所定の操作を入力できる外部入力装置と、
    前記外部入力装置からの指令により前記ロボットシステムを制御する制御装置と、を備え、
    前記外部入力装置は、
    前記ロボット装置を操作するロボット装置操作部と、
    前記撮像装置を操作する撮像操作部と、
    前記撮像装置が撮影している画像を表示する画像表示部と、を有し、
    前記制御装置は、
    前記ロボット装置操作部と、前記撮像操作部とからの入力により、前記ロボット装置と前記撮像装置とを平行して操作できるように制御することを特徴とする制御方法。
40. 撮像視点を変更可能な撮像装置と、ロボット装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を有し、
    前記表示領域には、
    前記撮像装置の設置状態を示した撮像装置設置アイコンが表示されていることを特徴とする外部入力装置。
41. 請求項４０に記載の外部入力装置において、
    前記撮像装置の設置状態が変更された際、前記撮像装置設置アイコンの表示も変更することを特徴とする外部入力装置。
42. 請求項４０または４１に記載の外部入力装置において、
    前記表示領域には、前記撮像装置を操作する撮像操作部が表示されており、
    前記撮像装置の設置状態が変更された際、前記撮像操作部の設定を変更することを特徴とする外部入力装置。
43. 請求項４２に記載の外部入力装置において、
    前記撮像装置はパン方向およびチルト方向に駆動させることができるパンチルトカメラであって、
    前記撮像装置設置アイコンには、前記パン方向を示す視覚表示子と前記チルト方向を示す視覚表示子が表示されていることを特徴とする外部入力装置。
44. ロボット装置と、撮像視点を変更可能であり前記ロボット装置により移動しない場所に設けられた第１の撮像装置と、前記ロボット装置の所定の部位に設けられた第２の撮像装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を備えており、
    前記表示領域には、前記第１の撮像装置により撮影される画像と、前記第２の撮像装置により撮影される画像と表示することができることを特徴とする外部入力装置。
45. 請求項４４に記載の外部入力装置において、
    前記第１の撮像装置により撮影される画像と、前記第２の撮像装置により撮影される第２の画像とは、同一の表示領域に表示されることを特徴とする外部入力装置。
46. 請求項４４に記載の外部入力装置において、
    前記第１の撮像装置により撮影される画像と、前記第２の撮像装置により撮影される第２の画像と、を交互に表示させることができることを特徴とする外部入力装置。
47. 撮像視点を変更可能な撮像装置と、ロボット装置と、前記撮像装置から取得される画像を画像処理する画像処理装置と、を有するロボットシステムを操作する外部入力装置であって、
    前記外部入力装置は、表示領域を備えており、
    前記表示領域に、前記画像処理装置から取得される画像処理結果を表示させることができることを特徴とする外部入力装置。
48. 請求項３９に記載の制御方法を、コンピュータに実行させるための制御プログラム。
49. 請求項４８に記載の制御プログラムを記録した、コンピュータで読み取り可能な記録媒体。

Images