JP2023017436A - ロボット制御装置 - Google Patents

Abstract

【課題】ロボットを操作する際に、ロボットの座標系を基準として操作を行う必要があり、熟練者でなければ思い通りにロボットを操作することが難しかった。
【解決手段】ロボット制御装置２は、ロボット１の座標系と、ロボット１を操作する作業者の座標系との相対的な関係を取得する関係取得部２３と、ロボット１に対する操作であって、作業者の座標系を基準とした操作を受け付ける受付部２２と、受け付けられた操作及び相対的な関係に基づいてロボット１を動作させる制御部２４と、を備える。このような構成により、作業者の座標系を基準としてロボット１を操作することができ、ロボット１の操作に熟練していない作業者であっても、容易にロボット１を操作することができるようになる。
【選択図】図１

Description

本発明は、ロボットを制御するロボット制御装置に関する。

従来、産業用ロボットなどを操作するためにロボット制御装置が用いられている。そのようなロボット制御装置を介して教示などのためにロボットを操作する際には、ティーチングペンダント等によってロボットの座標系を基準とした操作が行われていた。

ロボットの座標系を基準とした操作を行わなければならないため、ロボットを操作する作業者は、直感的な操作が難しいという問題があった。例えば、ロボットの手先の位置を作業者の左側に移動させたい場合に、ロボットのＸＹＺ座標系におけるＸ方向、Ｙ方向、Ｚ方向の移動を組み合わせて、その目的とする移動を実現する必要があり、熟練した作業者でなければ、目的とする操作を容易に行うことができなかった。

本発明は、上記課題を解決するためになされたものであり、作業者が容易にロボットを操作することができるためのロボット制御装置を提供することを目的とする。

上記目的を達成するため、本発明の一態様によるロボット制御装置は、ロボットの座標系と、ロボットを操作する作業者の座標系との相対的な関係を取得する関係取得部と、ロボットに対する操作であって、作業者の座標系を基準とした操作を受け付ける受付部と、受け付けられた操作及び相対的な関係に基づいてロボットを動作させる制御部と、を備えたものである。

本発明の一態様によるロボット制御装置によれば、ロボットを作業者の座標系を基準として操作することができるため、直感的な操作が可能となり、初心者であってもロボットを容易に操作することができるようになる。したがって、例えば、ロボットの教示作業などが容易になるというメリットがある。

本発明の実施の形態１によるロボット制御システムの構成を示す模式図 同実施の形態によるロボット制御装置の動作を示すフローチャート 同実施の形態における作業者の座標系とロボットの座標系との関係の一例を示す模式図 本発明の実施の形態２によるロボット制御システムの構成を示す模式図 同実施の形態によるロボット制御装置の動作を示すフローチャート 同実施の形態における座標系図形の表示の一例を示す図

以下、本発明によるロボット制御装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１によるロボット制御装置は、実ロボットを作業者の座標系を基準として操作することができるものである。

図１は、本実施の形態によるロボット制御システム１００の構成を示す模式図である。図１で示されるように、ロボット制御システム１００は、ロボット１と、ロボット制御装置２と、ティーチングペンダント（ＴＰ）５とを備える。また、ロボット制御装置２は、記憶部２１と、受付部２２と、関係取得部２３と、制御部２４とを備える。本実施の形態では、ロボット制御装置２の制御対象がロボット１である場合について説明し、制御対象が仮想ロボットである場合については実施の形態２において説明する。ロボット制御装置２は、例えば、ティーチングプレイバック方式によってロボット１を制御してもよい。なお、各装置間は、例えば、有線または無線で接続されてもよい。また、ロボット制御システム１００は、例えば、ロボット１が溶接ロボットである場合には、必要に応じて溶接電源やワイヤ送給装置等をさらに有していてもよい。

ロボット１は、通常、産業用ロボットであり、モータにより駆動される関節によって連結された複数のアーム（リンク）を有するマニピュレータであってもよい。ロボット１は、例えば、垂直多関節ロボットであってもよく、水平多関節ロボットであってもよい。また、ロボット１は、例えば、搬送ロボットであってもよく、溶接ロボットであってもよく、組立ロボットであってもよく、塗装ロボットであってもよく、または、その他の用途のロボットであってもよい。なお、ロボット１は、実環境に存在するロボットであるため、仮想環境に存在する３次元モデルの仮想ロボットと区別するために実ロボットと呼ぶこともある。実環境とは、実空間の環境のことである。

記憶部２１では、例えば、ロボット１の教示データが記憶されてもよい。教示データは、例えば、教示点ごとにロボット１の位置及び姿勢を示すものであってもよい。ロボット１の位置及び姿勢を示す情報は、例えば、ロボット１の手先の位置及び姿勢を示す情報であってもよく、ロボット１の各軸における角度を示す情報であってもよい。記憶部２１は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスクなどであってもよい。

受付部２２は、ロボット１に対する操作を受け付ける。その操作は、作業者の座標系を基準とした操作である。なお、本実施の形態では、作業者の座標系がＴＰ５の座標系である場合について説明し、実施の形態２では、作業者の座標系が、仮想ロボットを表示する表示装置の座標系である場合について説明する。本実施の形態では、受付部２２は、操作をＴＰ５から受け付けるものとする。ロボット１への操作は、例えば、ティーチングのために行われてもよい。この場合には、受付部２２は、教示の指示も受け付けてもよい。そして、その教示の指示に応じて教示データが作成され、記憶部２１に蓄積されてもよい。また、ロボット１への操作は、ティーチング以外の目的、例えば、ロボット１の先端の到達範囲を確認する目的や、ロボット１が周囲の物体と干渉するかどうかを確認する目的などのために行われてもよい。また、受付部２２は、その他の入力を受け付けてもよい。

関係取得部２３は、ロボット１の座標系と、ロボット１を操作する作業者の座標系との相対的な関係を取得する。本実施の形態では、上記したように、作業者の座標系はＴＰ５の座標系である。

ロボット１の座標系は、ロボット１のローカル座標系のことであり、例えば、ロボット１の基端側の端部に原点が設けられた座標系であってもよく、ロボット１の手先に装着されたツールの座標系であってもよく、その他のローカル座標系であってもよい。本実施の形態では、ロボット１の座標系が、図３で示されるように、ロボット１の基端側が原点となる座標系（ＸＹＺ座標系）である場合について主に説明する。なお、図３では、説明の便宜上、ロボット１の隣にＸＹＺ座標系を表示しているが、ＸＹＺ座標系の原点は、ロボット１の基台の中心に位置してもよい。

ＴＰ５の座標系は、ＴＰ５のローカル座標系のことであり、例えば、図３で示される両矢印Ａ１の方向がｘ軸となり、両矢印Ａ２の方向がｚ軸となり、ｘ軸、ｚ軸に直交する方向がｙ軸となるｘｙｚ座標系（以下、この座標系を「第１のｘｙｚ座標系」と呼ぶこともある。）であってもよい。または、ＴＰ５の座標系は、例えば、両矢印Ａ１の方向を水平面に投影した方向がｘ軸となり、そのｘ軸に垂直であり、かつ水平面内に存在する方向がｚ軸となり、鉛直方向に延びる方向がｙ軸となるｘｙｚ座標系（以下、この座標系を「第２のｘｙｚ座標系」と呼ぶこともある。）であってもよい。また、ＴＰ５の座標系は、ＴＰ５のその他のローカル座標系であってもよい。なお、作業者の座標系すなわちＴＰ５の座標系は、通常、操作を容易にするため、直交座標系である。

ロボット１の座標系と、ＴＰ５の座標系との相対的な関係は、例えば、両座標系の間の変換を示す同次変換行列によって示されてもよく、両座標系の間の回転を示す回転行列によって示されてもよい。回転行列は、通常、３次元の回転変換の行列である。本実施の形態では、両座標の相対的な関係が回転行列によって示される場合について主に説明する。

通常、ロボット１の配置される空間の座標系であるワールド座標系と、ロボット１のローカル座標系との関係はロボット１の配置状況によって決まるため、既知である。また、ワールド座標系と、ＴＰ５の座標系との間の回転を示す回転行列は、例えば、ＴＰ５に装着されたセンサによって取得されたＴＰ５の向きを示す情報を用いて特定することができる。

例えば、ＴＰ５の座標系が第１のｘｙｚ座標系である場合には、両矢印Ａ１の方向を水平面に投影した方向を取得するための方位センサと、両矢印Ａ１の方向と水平面とのなす角度を取得するための傾斜センサとを用いて、両矢印Ａ１の方向、すなわちｘ軸の方向を特定することができる。また、両矢印Ａ２の方向、すなわちｚ軸の方向も同様にして特定することができる。ｙ軸の方向は、そのようにして特定したｘ軸、ｚ軸に直交する方向に取られる。

また、例えば、ＴＰ５の座標系が第２のｘｙｚ座標系である場合には、両矢印Ａ１の方向を水平面に投影した方向を取得するための方位センサを用いて、両矢印Ａ１の方向、すなわちｘ軸の方向を特定することができる。また、ｚ軸の方向は、ｘ軸に垂直な水平面内の方向に取られる。また、ｙ軸の方向は、そのようにして特定したｘ軸、ｚ軸に直交する鉛直方向に取られる。

上記のようにして、ＴＰ５に装着されたセンサの値によってＴＰ５の座標系が決定される場合には、関係取得部２３は、ＴＰ５から、それらのセンサの値を取得してもよい。そして、そのセンサの値を用いて、ワールド座標系とＴＰ５の座標系との間の回転を示す回転行列を取得してもよい。また、関係取得部２３は、ワールド座標系とＴＰ５の座標系との間の回転を示す回転行列、及び、ワールド座標系とロボット１の座標系との間の回転を示す既知の回転行列を用いて、ロボット１の座標系とＴＰ５の座標系との間の回転を示す回転行列、すなわち両座標系の相対的な関係を取得することができる。

なお、ロボット１の座標系とＴＰ５の座標系との相対的な関係が、両座標系の間の変換を示す同次変換行列によって示される場合には、関係取得部２３は、例えば、実施の形態２の関係取得部２３ａと同様に、ＴＰ５で取得されたロボット１の撮影画像や、ＴＰ５で取得されたロボット１までの距離を示す情報（例えば、深度センサによって取得された値）などを用いて、その同次変換行列を取得してもよい。

また、関係取得部２３は、通常、ロボット１の座標系とＴＰ５の座標系との相対的な関係を、ロボット１の操作が開始される直前に１回取得し、その後は、その取得された相対的な関係を用いた操作が行われることになる。その取得のタイミングは、例えば、作業者によって指示されてもよく、最初の操作が受け付けられた時点が取得のタイミングとなってもよい。この場合には、相対的な関係が取得された後にＴＰ５の向き等が変更されたとしても、ロボット１の操作において、その変更は考慮されないことになる。本実施の形態では、作業者がそのタイミングを指示する場合について主に説明する。その指示は、例えば、受付部２２によって受け付けられてもよい。一方、関係取得部２３は、リアルタイムで相対的な関係を取得してもよい。この場合には、現在の相対的な関係に応じて、ロボット１が操作されることになる。すなわち、現時点のＴＰ５の座標系を基準としたロボット１の操作が行われることになる。

なお、関係取得部２３が、ロボット１のツール座標系と、ＴＰ５の座標系との相対的な関係を取得する場合などのように、その相対的な関係がロボット１の位置及び姿勢に応じて変化する場合には、関係取得部２３は、その変化に応じて相対的な関係を取得してもよい。この場合には、関係取得部２３は、例えば、制御部２４からロボット１の基端側の座標系（ロボット１の位置及び姿勢に応じて変化しない座標系）と、ツール座標系との相対的な関係を受け取り、その相対的な関係と、上記のようにして取得したロボット１の基端側の座標系とＴＰ５の座標系との間の相対的な関係とを用いて、ツール座標系とＴＰ５の座標系との間の相対的な関係を取得してもよい。ＴＰ５の座標系と、ツール座標系以外のロボット１の動作に応じて座標系が変化する座標系との相対的な関係が取得される際にも同様である。この場合にも、ＴＰ５の座標系については、例えば、固定の座標系が用いられてもよく、最新の座標系が用いられてもよい。

制御部２４は、受付部２２で受け付けられた操作と、関係取得部２３によって取得された相対的な関係とに基づいてロボット１を動作させる。制御部２４は、受付部２２で受け付けられた作業者の座標系、例えば、ＴＰ５の座標系を基準とした操作を、関係取得部２３によって取得された相対的な関係を用いて、ロボット１の座標系の操作に変換し、変換後の操作に応じてロボット１を制御してもよい。なお、相対的な関係が同次変換行列である場合であっても、制御部２４は、その同次変換行列の回転行列を用いて作業者の座標系を基準とした操作を、ロボット１の座標系の操作に変換するものとする。より具体的には、ＴＰ５の座標系の操作が、ｘ軸方向に所定距離だけ移動させる操作である場合には、制御部２４は、そのｘ軸方向の移動を示すベクトルに、ロボット１の座標系とＴＰ５の座標系との間の回転を示す回転行列を掛けることによって、ロボット１の座標系におけるＸ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれの移動距離を算出し、それに応じた移動が行われるようにロボット１を制御してもよい。例えば、ロボット１の手先の位置や姿勢を示すＴＰ５の座標系の操作が受け付けられた場合には、制御部２４は、その操作をロボット１の座標系の操作に変換し、その変換後の手先の位置や姿勢から、逆運動学によって各関節の角度を算出し、各関節が算出した角度となるようにロボット１の各関節のモータを制御してもよい。制御部２４は、例えば、ロボット１の各関節のモータの角度を示す値、例えば、エンコーダの値を受け取り、フィードバック制御を行ってもよい。なお、制御部２４によるロボット１の制御は、受け付けられた作業者の座標系における操作をロボット１の座標系における操作に変換する処理以外は、すでに公知であり、その詳細な説明を省略する。

また、制御部２４は、受付部２２によって教示の指示が受け付けられた場合に、その時点のロボット１の位置及び姿勢に応じた教示データを記憶部２１に蓄積してもよい。また、制御部２４は、受付部２２によって、プレイバック動作を開始する旨の指示が受け付けられた場合に、記憶部２１から教示データを読み出し、その読み出した教示データに基づいてロボット１を動作させてもよい。なお、その際に、制御部２４は、読み出した教示データを適宜、補間してもよい。

次に、ロボット制御装置２の動作について図２のフローチャートを用いて説明する。

（ステップＳ１０１）関係取得部２３は、ロボット１の座標系とＴＰ５の座標系との相対的な関係を取得するかどうか判断する。そして、相対的な関係を取得する場合には、ステップＳ１０２に進み、そうでない場合には、相対的な関係を取得すると判断するまでステップＳ１０１の処理を繰り返す。なお、関係取得部２３は、例えば、受付部２２が、相対的な関係を取得する旨の指示を受け付けた場合に、相対的な関係を取得すると判断してもよい。

（ステップＳ１０２）関係取得部２３は、ロボット１の座標系とＴＰ５の座標系との相対的な関係を取得する。なお、関係取得部２３は、例えば、相対的な関係を取得する旨の指示が受付部２２で受け付けられた場合に、ＴＰ５に方位センサ等のセンサの値を取得する旨の指示を出力してもよい。その指示に応じて、ＴＰ５では、センサの値が取得され、関係取得部２３に送信されてもよい。そして、関係取得部２３は、そのようにして送信されたセンサの値を用いて、ロボット１の座標系とＴＰ５の座標系との相対的な関係を取得してもよい。

（ステップＳ１０３）受付部２２は、ロボット１への操作を受け付けたかどうか判断する。そして、受け付けた場合には、ステップＳ１０４に進み、そうでない場合には、操作を受け付けるまでステップＳ１０３の処理を繰り返す。なお、受付部２２が受け付ける操作は、ＴＰ５の座標系を基準とした操作である。

（ステップＳ１０４）制御部２４は、ステップＳ１０２で取得された相対的な関係を用いて、ステップＳ１０３で受け付けられた操作を、ロボット１の座標系の操作に変換する。例えば、ＴＰ５の座標系におけるｘ軸方向にロボット１の手先を移動させる操作が、ロボット１の座標系におけるＸ軸方向、Ｙ軸方向、及びＺ軸方向にロボット１の手先を移動させる操作に変換される。

（ステップＳ１０５）制御部２４は、ステップＳ１０４の変換後の操作を用いてロボット１を制御する。そして、ステップＳ１０３に戻る。

なお、図２のフローチャートには含まれていないが、例えば、受付部２２で教示の指示が受け付けられた場合には、制御部２４は、その教示の指示に応じて、その時点のロボット１の位置及び姿勢に応じた教示データを記憶部２１に蓄積してもよい。また、例えば、受付部２２でプレイバック動作を開始する旨の指示が受け付けられた場合には、制御部２４は、記憶部２１から教示データを読み出し、その読み出した教示データに基づいてロボット１を動作させてもよい。また、ＴＰ５による操作が行われている際に、ロボット１の座標系とＴＰ５の座標系との相対的な関係が取得されてもよい。例えば、作業者が操作を行う向き、すなわちＴＰ５の向きを変更した場合に、相対的な関係を取得する旨の指示を入力し、それに応じて新たな相対的な関係が取得されてもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、本実施の形態によるロボット制御装置２の動作について、具体例を用いて説明する。

まず、図３で示されるように、作業者Ｕ１は、ロボット１を向いた状態でＴＰ５を操作し、相対的な関係を取得する旨の指示を入力する。すると、その指示は受付部２２で受け付けられ、関係取得部２３に渡される。その指示を受け取ると、関係取得部２３は、相対的な関係を取得すると判断し（ステップＳ１０１）、ＴＰ５に、方位センサ等のセンサによって取得された値を送信する旨の指示を出力する。そして、その指示に応じてＴＰ５から関係取得部２３に、方位センサ等のセンサによって取得された値が送信されたとする。関係取得部２３は、その送信された情報を用いて、ワールド座標系とＴＰ５との間の回転を示す回転行列を取得し、その取得した回転行列と、あらかじめ保持しているワールド座標系とロボット１との間の回転を示す回転行列とを用いて、ロボット１の座標系とＴＰ５の座標系との間の回転を示す回転行列を取得する（ステップＳ１０２）。なお、その回転行列は制御部２４に渡される。この回転行列が、ロボット１の座標系とＴＰ５の座標系との相対的な関係を示す情報である。

その後、作業者Ｕ１は、ＴＰ５の座標系を基準とした操作をＴＰ５から入力する。その操作は受付部２２で受け付けられ、制御部２４に渡される（ステップＳ１０３）。制御部２４は、そのＴＰ５の座標系を基準とした操作を、関係取得部２３から受け取った回転行列を用いてロボット１の座標系の操作に変換し（ステップＳ１０４）、その変換後の操作を用いて、ロボット１の各関節のモータを制御する（ステップＳ１０５）。このようにして、作業者Ｕ１の入力した操作に応じてロボット１が動作することになる。

以上のように、本実施の形態によるロボット制御装置２によれば、作業者は、作業者の座標系、すなわちＴＰ５の座標系に基づいて操作することによって、ロボット１を動作させることができる。したがって、熟練者でなくても、実ロボットであるロボット１に対して目的とする操作を容易に行うことができるようになる。また、ＴＰ５の座標系を基準として操作が入力されることによって、作業者は、操作中に基準となる座標系の方向を容易に把握できる。また、例えば、作業者は、目的とする操作を入力しやすい位置において、相対的な関係を取得する旨の指示を入力することもできる。例えば、目的とする移動が、ＴＰ５の座標系におけるｘ軸方向の移動となるようにＴＰ５の座標系を設定することもできる。このようにすることで、ロボット１の操作がより簡単になる。

なお、本実施の形態では、作業者の座標系が、ＴＰ５の座標系である場合について主に説明したが、そうでなくてもよい。例えば、作業者の座標系を設定するための装置がロボット制御装置２に接続されており、その装置のローカル座標系が、作業者の座標系として用いられてもよい。この場合でも、ロボット１の座標系と作業者の座標系との相対的な関係を取得するために、ＴＰ５に代えてその装置が用いられる以外は本実施の形態と同様であり、その説明を省略する。

（実施の形態２）
本発明の実施の形態２によるロボット制御装置は、仮想ロボットを作業者の座標系を基準として操作することができるものである。

図４は、本実施の形態によるロボット制御システム１００ａの構成を示す模式図である。本実施の形態によるロボット制御システム１００ａは、ロボット制御装置２ａと、表示装置４と、ＴＰ５とを備える。ＴＰ５は、実施の形態１と同様のものであるが、方位等を取得するためのセンサは装着されていなくてもよい。ロボット制御装置２ａは、記憶部２１と、受付部２２と、関係取得部２３ａと、制御部２４ａと、画像生成部２５と、出力部２６とを備える。本実施の形態では、実ロボットであるロボット１ではなく、ロボット１に対応する仮想ロボット１０が操作の対象となる。なお、本実施の形態によるロボット制御装置２ａは、制御の対象が実ロボットから仮想ロボットとなった以外は、実施の形態１によるロボット制御装置２と同様のものであり、同様の構成については重複した説明を省略することもある。また、記憶部２１及び受付部２２は、以下で特に説明する以外は、実施の形態１と同様のものであるとする。また、本実施の形態では、作業者の座標系は、表示装置４の座標系であるものとする。

表示装置４は、画像を実環境の画像または実環境そのものに重ねて表示する。すなわち、仮想ロボット１０を操作する作業者は、表示装置４によって、実環境と仮想環境の画像との両方を見ることができる。表示装置４は、仮想ロボット１０を操作する作業者が頭部に装着する装着型の表示装置であってもよく、または、タブレット端末などの可搬型の情報処理端末である表示装置であってもよい。装着型の表示装置は、例えば、ヘッドマウントディスプレイであってもよい。また、表示装置４は、例えば、透過型ディスプレイを有するものであってもよい。この場合には、表示装置４は、画像を実環境そのものに重ねて表示することになる。透過型ディスプレイを有する装着型の表示装置４としては、例えば、ＨｏｌｏＬｅｎｓ（登録商標）等が知られている。このような透過型ディスプレイを有する表示装置４は、複合現実（ＭＲ：Mixed Reality）を実現するための表示装置であると考えることもできる。また、表示装置４は、例えば、非透過型ディスプレイを有するものであってもよい。この場合には、表示装置４は、画像を実環境の画像に重ねて表示することになる。したがって、非透過型ディスプレイを有する表示装置４は、実環境を撮影するためのカメラを有しているか、または、実環境を撮影するカメラと接続されていることが好適である。カメラで撮影された実環境の画像は、リアルタイムで非透過型ディスプレイに表示される。非透過型ディスプレイを有する装着型の表示装置４としては、例えば、Ｏｃｕｌｕｓ Ｑｕｅｓｔ等が知られている。このような非透過型ディスプレイを有する表示装置４は、拡張現実（ＡＲ：Augmented Reality）を実現するための表示装置であると考えることもできる。タブレット端末などの可搬型の情報処理端末である表示装置４は、例えば、カメラとディスプレイとを有しており、カメラで撮影した実環境の画像をリアルタイムでティスプレイに表示してもよい。本実施の形態では、表示装置４が透過型のディスプレイを有するヘッドマウントディスプレイである場合について主に説明する。

記憶部２１では、実環境に存在する実ロボットであるロボット１に対応する仮想ロボットの３次元モデルも記憶される。仮想ロボットの３次元モデルは、３次元モデルで構成されている以外は、実ロボットであるロボット１と同じサイズ及び構成であるものとする。また、この３次元モデルは、ロボット１と同様に、複数のアームの関節の角度などを変更可能になっているものとする。記憶部２１に仮想ロボットの３次元モデルの情報が記憶される過程は問わない。例えば、記録媒体を介して情報が記憶部２１で記憶されるようになってもよく、通信回線等を介して送信された情報が記憶部２１で記憶されるようになってもよい。

関係取得部２３ａは、実ロボットであるロボット１の存在する実環境と表示装置４との相対的な位置関係を取得する。また、その取得した相対的な位置関係に基づいて、仮想ロボット１０の座標系と、作業者の作業系、すなわち表示装置４の座標系との相対的な関係を取得する。なお、表示装置４の座標系は、例えば、ユーザの視線方向またはカメラの光軸方向がｚ軸となり、そのｚ軸に垂直であり、かつ水平面内に存在する方向がｘ軸となり、ｘ軸及びｚ軸に垂直な方向がｙ軸となるｘｙｚ座標系であってもよい。実環境と表示装置４との相対的な位置関係を取得するとは、例えば、実環境の座標系であるワールド座標系と、表示装置４のローカル座標系である表示座標系との相対的な位置関係を取得することであってもよい。その相対的な位置関係は、例えば、両座標系間の変換を示す同次変換行列によって示されてもよい。なお、実環境と表示装置４との相対的な位置関係は、例えば、実環境に存在するロボット１や他のオブジェクトと、表示装置４との相対的な位置関係であってもよく、実環境における表示装置４の位置や姿勢を示す情報であってもよい。

関係取得部２３ａが、この相対的な位置関係を取得する方法は問わない。例えば、実環境の環境地図が用意されている場合には、関係取得部２３ａは、実環境の環境地図と、表示装置４によって取得された周囲の物体までの距離や周囲の画像とを用いて、ＳＬＡＭ（Simultaneous Localization and Mapping）や、Ｖｉｓｕａｌ－ＳＬＡＭの手法を用いて、３次元の実環境における表示装置４の位置や姿勢を示す情報である相対的な位置関係を取得してもよい。この場合には、例えば、ロボット制御装置２ａにおいて環境地図が保持されており、関係取得部２３ａは、表示装置４から受け取った周囲の物体までの距離や周囲の画像と、環境地図とを用いて、相対的な位置関係を取得してもよい。また、例えば、ＳＬＡＭやＶｉｓｕａｌ－ＳＬＡＭの手法を用いた相対的な位置関係の取得は表示装置４において行われ、その相対的な位置関係が関係取得部２３ａに渡されてもよい。この場合には、関係取得部２３ａによる相対的な位置関係の取得は、相対的な位置関係の受け付けであってもよい。また、この場合には、表示装置４は、周囲の物体までの距離を測定可能な深度センサや、周囲の画像を取得可能なカメラを有していてもよい。また、関係取得部２３ａは、表示装置４のカメラで撮影された画像を受け取り、その画像に含まれるロボット１や他のオブジェクトの３以上の特徴点を用いて、ワールド座標系と表示座標系との間の変換を示す同次変換行列を取得してもよい。

また、関係取得部２３ａは、上記した以外の方法によって、実環境と表示装置４との相対的な位置関係を取得してもよい。その方法の一例については、例えば、後述する特許文献１～３等を参照されたい。また、後述する表示画像の生成ごとに、関係取得部２３ａによって上記のようにして相対的な位置関係が取得されてもよく、または、そうでなくてもよい。後者の場合には、例えば、相対的な位置関係が取得された後の表示装置４の位置や姿勢の変化を用いて、実環境と表示装置４との相対的な位置関係が更新されてもよい。この更新は、例えば、関係取得部２３ａによって行われてもよい。また、この更新が行われる場合には、表示装置４は、例えば、加速度センサや表示装置４の向きを取得するためのセンサ等を備えており、それらのセンサを用いて位置の変化や姿勢の変化が取得されてもよい。なお、それらのセンサによって取得された値は、例えば、関係取得部２３ａなどの相対的な位置関係を更新する構成要素に渡されてもよい。表示装置４の向きを取得するためのセンサは、例えば、ジャイロセンサや方位センサ等であってもよい。

通常、実環境におけるロボット１の配置位置は既知である。また、通常、ロボット１と仮想ロボット１０の３次元モデルとの位置関係も決まっている。したがって、実環境と表示装置４との位置関係を取得することができれば、関係取得部２３ａは、仮想ロボット１０の座標系と、表示装置４の座標系との相対的な関係を取得することができる。なお、この場合には、関係取得部２３ａは、仮想ロボット１０の座標系と、表示装置４の座標系と間の変換を示す同次変換行列を取得することができるが、実施の形態１と同様に、仮想ロボット１０の座標系と、表示装置４の座標系と間の回転を示す回転行列を取得してもよい。

制御部２４ａは、受付部２２で受け付けられた操作と、関係取得部２３ａによって取得された相対的な関係とに基づいて仮想ロボット１０の３次元モデルを動作させる。仮想ロボット１０の３次元モデルを動作させるとは、例えば、その３次元モデルの各関節の角度を、操作に応じて変更させることであってもよい。なお、その際に、制御部２４ａは、受付部２２で受け付けられた作業者の座標系、すなわち表示装置４の座標系を基準とした操作を、関係取得部２３ａによって取得された相対的な関係を用いて、仮想ロボット１０の座標系の操作に変換し、変換後の操作に応じて仮想ロボット１０を制御してもよい。

なお、受け付けられた操作に応じて仮想ロボット１０を動作させることができないこともあり得る。例えば、仮想ロボット１０の手先を、移動可能な範囲を超えて移動させる操作または回転可能な範囲を超えて回転させる操作が受け付けられることもある。このような場合には、制御部２４ａは、その操作に応じて３次元モデルを動作させなくてもよく、または、可能な範囲内で仮想ロボット１０の３次元モデルを動作させてもよい。

また、制御部２４ａは、受付部２２によって教示の指示が受け付けられた場合に、その時点の仮想ロボット１０の３次元モデルの位置及び姿勢に応じた教示データを記憶部２１に蓄積してもよい。また、制御部２４ａは、受付部２２によって、プレイバック動作を開始する旨の指示が受け付けられた場合に、記憶部２１から教示データを読み出し、その読み出した教示データに基づいて仮想ロボット１０を動作させてもよい。なお、その際に、制御部２４ａは、読み出した教示データを適宜、補間してもよい。

なお、制御部２４ａは、仮想ロボット１０だけでなく、実ロボットであるロボット１をも制御してもよい。例えば、制御部２４ａは、仮想ロボット１０を用いたティーチングの結果である教示データを用いて、実ロボットであるロボット１を動作させてもよい。

画像生成部２５は、記憶部２１で記憶されている３次元モデル、及び関係取得部２３ａで取得された、実環境と表示装置４との相対的な位置関係に基づいて、仮想ロボット１０の３次元モデルを、実環境の所定の位置に表示するための表示画像を生成する。また、仮想ロボット１０が操作された場合には、画像生成部２５は、操作された３次元モデルを実環境の所定の位置に表示するための表示画像を生成する。実環境の所定の位置は、例えば、ロボット１の位置に対してあらかじめ決められた位置であってもよく、作業者が変更することができる位置であってもよい。仮想ロボット１０の３次元モデルは、例えば、ロボット１の位置に表示されてもよく、ロボット１と異なる位置に表示されてもよい。仮想ロボット１０の３次元モデルをロボット１の位置に表示するとは、ロボット１と同じ位置に仮想ロボット１０が配置されるように３次元モデルを表示することであり、例えば、仮想ロボット１０の３次元モデルの基端側の端部（例えば、床面などへの取り付け部分）が、ロボット１の基端側の端部に重なるように表示することであってもよい。ロボット１と異なる位置に仮想ロボット１０の３次元モデルが表示される場合には、例えば、ロボット１の隣に３次元モデルが表示されてもよい。いずれにしても、仮想ロボット１０の３次元モデルは、実ロボットであるロボット１との位置関係が変化しないように表示されることになる。したがって、表示装置４において、作業者が表示装置の向きを変化させたとしても、実環境における仮想ロボット１０の３次元モデルの表示位置は変化しないことになる。

ワールド座標系におけるロボット１の配置位置は既知である。また、ロボット１と仮想ロボット１０の３次元モデルとの位置関係も決まっている。したがって、これらの情報を用いることによって、画像生成部２５は、ロボット１の配置位置があらかじめ決まっている仮想空間において、そのロボット１の配置位置と所定の位置関係となるように仮想ロボット１０の３次元モデルを配置することができる。なお、仮想ロボット１０の３次元モデルの各関節の角度は、上記したように、受け付けられた操作に応じて制御部２４ａによって変更される。また、画像生成部２５は、関係取得部２３ａによって取得された相対的な位置関係によって、ワールド座標系と表示装置４のローカル座標系である表示座標系との関係を知ることができるため、仮想空間における表示装置４の位置及び向きを特定することができる。したがって、画像生成部２５は、仮想空間における仮想ロボット１０の３次元モデルを、表示装置４の位置及び向きを基準としてレンダリングすることによって、３次元モデルを表示するための２次元の表示画像を生成することができる。仮想ロボット１０が操作されると、上記のように、仮想空間における仮想ロボット１０の３次元モデルの形状が、それに応じて変更されることになる。また、表示装置４の位置や向きが実環境において変化した場合には、それに応じて仮想空間上の視点の位置や方向が変更されることになる。そして、その変更後にレンダリングが行われることによって、操作後の３次元モデルの表示画像や、表示装置４の位置や向きの変化後の３次元モデルの表示画像が生成されることになる。なお、画像生成部２５が生成する表示画像は通常、静止画であるが、短時間に連続して複数の表示画像が生成された場合には、実質的に動画像と同様の表示画像が生成されることになる。なお、画像生成部２５は、仮想ロボットの３次元モデルの表示画像が表示装置４のディスプレイに表示された際に、その表示画像の大きさが実環境と整合するように、表示画像を生成するものとする。すなわち、表示装置４のディスプレイに表示された仮想ロボットの３次元モデルと、その３次元モデルと同じ相対的な位置関係となるように実環境に配置された実ロボットとが、表示装置４を介して見たときに同じ大きさになるように、表示画像が生成されることになる。

画像生成部２５は、受付部２２で受け付けられる操作の基準となる表示装置４の座標系を示す座標系画像を生成してもよい。座標系画像は、関係取得部２３ａが仮想ロボット１０の座標系と表示装置４の座標系との相対的な関係を取得した時点における表示装置４の座標系の各軸、例えば、ｘ軸、ｙ軸、ｚ軸の方向を仮想ロボット１０の位置で表示するための図形であってもよい。仮想ロボット１０の位置とは、例えば、仮想ロボット１０の手先の位置や、基端側の位置などであってもよい。なお、手先の位置は、例えば、手先に重なる位置であってもよく、手先の近傍の位置であってもよい。基端側の位置についても同様である。画像生成部２５は、仮想ロボット１０の座標系と表示装置４の座標系との相対的な関係を用いて、仮想空間に表示装置４の３次元の座標系を示すオブジェクトを配置することができる。そして、表示画像のレンダリングの際に、その座標系のオブジェクトも一緒にレンダリングすることによって、座標系画像を生成することができる。なお、表示画像と座標系画像とは一体として生成されてもよく、または、別々に生成されてもよい。

出力部２６は、画像生成部２５によって生成された表示画像を表示装置４に出力する。また、出力部２６は、画像生成部２５によって生成された座標系画像を表示装置４に出力してもよい。なお、出力部２６は、例えば、表示画像や座標系画像のみを出力してもよい。この場合には、表示装置４において、実環境の画像または実環境そのものに画像が重ねられて表示されることになる。一方、表示装置４が非透過型ディスプレイを有する場合であって、表示装置４で撮影された実環境の画像がロボット制御装置２ａで受け付けられている場合には、実環境の画像と表示画像や座標系画像とが合成された結果が、表示装置４に出力されてもよい。この合成は、例えば、ロボット制御装置２ａが有する図示しない合成部によって行われてもよい。

実ロボットであるロボット１と異なる位置に仮想ロボット１０の３次元モデルが表示される場合には、例えば、図４で示されるように、ロボット１の隣に仮想ロボット１０の３次元モデルが表示されてもよい。図４におけるロボット１及び仮想ロボット１０の３次元モデルは、仮想ロボット１０を操作する作業者が表示装置４を介して見ている状況を模式的に示したものである。

なお、仮想ロボット１０の３次元モデルを実ロボットと共に表示することなどについては、例えば、次の特許文献１～３で示されるようにすでに公知であり、その詳細な説明を省略する。

特開２０１７－１００２３４号公報 特開２０２０－０５５０７５号公報 特開２０２０－０６９５３８号公報

次に、ロボット制御装置２ａの動作について図５のフローチャートを用いて説明する。なお、図５のフローチャートにおけるステップＳ１０３、Ｓ１０４の処理は、操作対象がロボット１から仮想ロボット１０となり、操作の基準となる座標系がＴＰ５の座標系から表示装置４の座標系となり、制御部２４が制御部２４ａとなった以外、図２のフローチャートにおける処理と同様であり、その説明を省略する。

（ステップＳ２０１））関係取得部２３ａは、仮想ロボット１０の座標系と表示装置４の座標系との相対的な関係を取得するかどうか判断する。そして、相対的な関係を取得する場合には、ステップＳ２０２に進み、そうでない場合には、相対的な関係を取得すると判断するまでステップＳ２０１の処理を繰り返す。なお、関係取得部２３ａは、例えば、受付部２２が、相対的な関係を取得する旨の指示を受け付けた場合に、相対的な関係を取得すると判断してもよい。

（ステップＳ２０２）関係取得部２３ａは、実環境と表示装置４との相対的な位置関係を取得する。

（ステップＳ２０３）関係取得部２３ａは、ステップＳ２０２で取得した相対的な位置関係に基づいて、仮想ロボット１０の座標系と表示装置４の座標系との相対的な関係を取得する。

（ステップＳ２０４）制御部２４ａは、ステップＳ１０４の変換後の操作を用いて仮想ロボット１０の３次元モデルを制御する。具体的には、制御部２４ａは、その操作に基づいて、３次元モデルの各関節の角度を変化させる。

（ステップＳ２０５）関係取得部２３ａは、実環境と表示装置４との相対的な位置関係を取得する。

（ステップＳ２０６）画像生成部２５は、仮想ロボット１０の３次元モデルと、ステップＳ２０５で取得された相対的な位置関係とを用いて、操作後の仮想ロボット１０の３次元モデルの位置及び姿勢に対応する表示画像を生成する。なお、画像生成部２５は、座標系画像をも生成してもよい。

（ステップＳ２０７）出力部２６は、生成された表示画像を表示装置４に出力する。そして、ステップＳ１０３に戻る。このようにして、仮想ロボット１０を操作する作業者は、操作に応じて位置や姿勢の変更された仮想ロボット１０について確認することができる。

なお、図５のフローチャートには含まれていないが、例えば、受付部２２で教示の指示が受け付けられた場合には、制御部２４ａは、その教示の指示に応じて、その時点の仮想ロボット１０の位置及び姿勢に応じた教示データを記憶部２１に蓄積してもよい。また、例えば、受付部２２でプレイバック動作を開始する旨の指示が受け付けられた場合には、制御部２４ａは、記憶部２１から教示データを読み出し、その読み出した教示データに基づいて仮想ロボット１０の３次元モデルを動作させてもよい。また、操作が行われている際に、仮想ロボット１０の座標系と表示装置４の座標系との相対的な関係が取得されてもよい。例えば、作業者が操作を行う向き、すなわち表示装置４の向きを変更した場合に、相対的な関係を取得する旨の指示を入力し、それに応じて新たな相対的な関係が取得され、その新たな相対的な関係が、表示装置４の座標系を基準とした操作を仮想ロボット１０の座標系の操作に変換するために用いられてもよい。また、表示装置４の位置や向きが変更されると、それに応じて新たな表示画像が生成されることが好適である。そのため、操作が行われていない場合であっても、ステップＳ２０５～Ｓ２０７の処理が繰り返して行われてもよい。また、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、本実施の形態によるロボット制御装置２ａの動作について、具体例を用いて説明する。

まず、作業者は、頭部装着型の表示装置４を装着し、仮想ロボット１０の表示される方向を向いた状態でＴＰ５を操作し、相対的な関係を取得する旨の指示を入力する。すると、その指示は受付部２２で受け付けられ、関係取得部２３ａに渡される。その指示を受け取ると、関係取得部２３ａは、相対的な関係を取得すると判断し（ステップＳ２０１）、表示装置４に、実環境と表示装置４との相対的な位置関係を取得する旨の指示を出力する。そして、その指示に応じて表示装置４から関係取得部２３ａに、相対的な位置関係が送信されたとする。関係取得部２３ａは、その送信された情報を受け取ると（ステップＳ２０２）、その相対的な位置関係を示す情報と、実環境における仮想ロボット１０の表示位置とを用いて、表示装置４の座標系と、仮想ロボット１０の座標系との間の変換を示す同次変換行列を取得する（ステップＳ２０３）。なお、その同次変換行列は制御部２４ａに渡される。この同次変換行列が、仮想ロボット１０の座標系と表示装置４の座標系との相対的な関係を示す情報である。

その後、作業者は、表示装置４の座標系を基準とした操作をＴＰ５から入力する。その操作は受付部２２で受け付けられ、制御部２４ａに渡される（ステップＳ１０３）。制御部２４ａは、受け取った同次変換行列の回転行列を用いて、その表示装置４の座標系を基準とした操作を仮想ロボット１０の座標系の操作に変換し（ステップＳ１０４）、その変換後の操作を用いて、仮想ロボット１０の３次元モデルの各関節の角度を変更する（ステップＳ２０４）。

また、上記のようにして実環境と表示装置４との相対的な位置関係が関係取得部２３ａによって受け付けられ（ステップＳ２０５）、画像生成部２５に渡される。そして、画像生成部２５は、その相対的な位置関係と、各関節の角度の変更された３次元モデルとに応じて、操作後の３次元モデルに応じた表示画像を生成し、出力部２６に渡す（ステップＳ２０６）。表示画像を受け取ると、出力部２６は、その表示画像を表示装置４に出力する（ステップＳ２０７）。その結果、作業者は、自らの入力した操作に応じて動作した仮想ロボット１０について表示装置４を介して見ることができるようになる。

なお、表示画像のみでなく、座標系画像も表示される場合には、ロボット制御装置２ａから表示装置４に座標系画像も出力され、作業者は、例えば、図６で示されるように、その座標系画像１１を仮想ロボット１０の表示画像と共に見ることができるようになる。そのため、作業者は、仮想ロボット１０の操作においてどちらに移動させればよいのかを容易に把握することができるようになる。

以上のように、本実施の形態によるロボット制御装置２ａによれば、作業者は、作業者の座標系、すなわち表示装置４の座標系に基づいて操作を入力することによって仮想ロボット１０を操作することができる。したがって、熟練者でなくても、仮想ロボット１０に対して目的とする操作を容易に行うことができるようになる。また、表示装置４の座標系を基準として操作が入力されることによって、作業者は、操作中に基準となる座標系の方向を直感的に把握できる。例えば、表示装置４が頭部装着型の装置である場合には、作業者の向きに応じた座標系を基準として操作を入力できるからである。また、座標系画像も生成されて表示装置４に出力されることによって、仮想ロボット１０を操作する作業者は、操作の基準となる座標系の方向について容易に把握することができるようになる。

なお、本実施の形態では、仮想ロボット１０への操作や他の指示等を、作業者がＴＰ５を介して入力する場合について説明したが、そうでなくてもよい。例えば、タブレット端末などの可搬型の情報処理端末である表示装置４に表示される入力インターフェースや、頭部装着型の表示装置４に表示される仮想入力インターフェースを介して、仮想ロボット１０への操作や他の指示等が入力されてもよい。仮想入力インターフェースは、仮想的なティーチングペンダントであってもよい。表示装置４に表示される入力インターフェースや仮想入力インターフェースを介して仮想ロボット１０が操作される場合には、ロボット制御システム１００ａは、ＴＰ５を備えていなくてもよい。仮想入力インターフェースは、例えば、エアタップなどの動作に応じて表示装置４のディスプレイに表示され、作業者の指やポインティングデバイスによってボタン等が選択された場合に、そのボタン等の操作に応じた入力が表示装置４から受付部２２に渡されてもよい。なお、作業者の手を用いた操作が行われる場合には、表示装置４はカメラを有しており、そのカメラで撮影された作業者の手のハンドトラッキングが行われることによって、作業者の手が、ディスプレイ上のどの位置に存在するのかが特定されてもよい。仮想入力インターフェースを用いて入力を受け付ける方法はすでに公知であり、その詳細な説明を省略する。

また、本実施の形態では、関係取得部２３が、仮想ロボット１０の座標系と表示装置４の座標系との相対的な関係を取得する際に、実環境と表示装置４との相対的な位置関係を用いる方法は問わない。例えば、関係取得部２３は、実環境と表示装置４との相対的な位置関係を用いてワールド座標系と仮想ロボット１０の座標系との間の回転を示す回転行列を取得し、実施の形態１と同様にして、ワールド座標系と表示装置４の座標系との間の回転を示す回転行列を取得し、両回転行列を用いて、仮想ロボット１０の座標系と表示装置４の座標系との相対的な関係を取得してもよい。

また、上記各実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。例えば、ロボット制御装置２、２ａの少なくとも一部の構成は、物理的には、ディスプレイを有する装置などに含まれてもよい。したがって、図１、図４で示される装置の切り分けは、物理的な装置に応じたものではなく、機能に応じた便宜上のものであると考えてもよい。

また、上記各実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

また、上記各実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

また、上記各実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記各実施の形態において、ロボット制御装置２，２ａに含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。また、そのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。また、そのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

また、本発明は、以上の各実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

１ ロボット、２、２ａ ロボット制御装置、４ 表示装置、１０ 仮想ロボット、２１ 記憶部、２２ 受付部、２３、２３ａ 関係取得部、２４、２４ａ 制御部、２５ 画像生成部、２６ 出力部、１００、１００ａ ロボット制御システム

Claims (5)

1. ロボットの座標系と、当該ロボットを操作する作業者の座標系との相対的な関係を取得する関係取得部と、
   前記ロボットに対する操作であって、前記作業者の座標系を基準とした操作を受け付ける受付部と、
   受け付けられた操作及び前記相対的な関係に基づいて前記ロボットを動作させる制御部と、を備えたロボット制御装置。
2. 前記ロボットは、実環境に存在する実ロボットである、請求項１記載のロボット制御装置。
3. 前記受付部は、ティーチングペンダントから操作を受け付けるものであり、
   前記作業者の座標系は、前記ティーチングペンダントの座標系である、請求項１または請求項２記載のロボット制御装置。
4. 前記ロボットは、実環境に存在する実ロボットに対応する仮想ロボットであり、
   前記作業者の座標系は、画像を実環境の画像または実環境そのものに重ねて表示する表示装置の座標系であり、
   前記関係取得部は、実環境と前記表示装置との相対的な位置関係に基づいて、前記仮想ロボットの座標系と前記表示装置の座標系との相対的な関係を取得し、
   前記仮想ロボットの３次元モデルが記憶される記憶部と、
   前記３次元モデルと前記相対的な位置関係とに基づいて、操作された３次元モデルを、前記実環境の所定の位置に表示するための表示画像を生成する画像生成部と、
   前記表示画像を前記表示装置に出力する出力部と、をさらに備え、
   前記制御部は、受け付けられた操作及び前記相対的な関係に基づいて前記仮想ロボットの３次元モデルを動作させる、請求項１記載のロボット制御装置。
5. 前記画像生成部は、前記受付部で受け付けられる操作の基準となる前記表示装置の座標系を示す座標系画像をも生成し、
   前記出力部は、前記座標系画像をも前記表示装置に出力する、請求項４記載のロボット制御装置。

Images