JP2023017435A - 教示データ修正装置 - Google Patents

Abstract

【課題】ロボットの動作中には教示データを修正できないという課題があった。【解決手段】教示データ修正装置３は、実環境の実ロボットに対応する仮想ロボットの３次元モデルが記憶されるモデル記憶部３１と、実ロボットの教示データが記憶される教示データ記憶部３２と、３次元モデルに対する操作及び教示の指示を受け付ける受付部３４と、画像を実環境の画像または実環境そのものに重ねて表示する表示装置４と実環境との相対的な位置関係を取得する位置関係取得部３３と、３次元モデルと相対的な位置関係とを用いて、実ロボットと所定の関係となるように、操作された３次元モデルを表示するための表示画像を生成する画像生成部３５と、表示画像を表示装置４に出力する出力部３６と、実ロボットの動作中に教示の指示が受け付けられた際に、３次元モデルに応じて教示データを修正する修正部３９とを備える。【選択図】図１

Description

本発明は、教示データを修正する教示データ修正装置に関する。

従来、ティーチングプレイバック方式によるロボットの制御が行われている。そのティーチングプレイバック方式では、通常、ロボットを操作することによってティーチングが行われ、教示データが作成されていた。

なお、教示データが適切でなかった場合や、ワーク等に変更がある場合などには、ティーチング後に教示データを修正したくなることもある。しかしながら、ロボットの動作中には、ロボットを用いた教示データの修正を行うことができないという課題があった。教示データの修正のためにロボットを停止させると生産性が落ちるからである。また、例えば、溶接ロボットの場合には、溶接の途中で動作を停止させることによって、溶接対象が不良品になるという問題もあった。

本発明は、上記課題を解決するためになされたものであり、ロボットの動作中に教示データの修正を行うことができる教示データ修正装置を提供することを目的とする。

上記目的を達成するため、本発明の一態様による教示データ修正装置は、実環境に存在する実ロボットに対応する仮想ロボットの３次元モデルが記憶されるモデル記憶部と、実ロボットの教示データが記憶される教示データ記憶部と、仮想ロボットの３次元モデルに対する操作及び教示の指示を受け付ける受付部と、実ロボットの存在する実環境と、画像を実環境の画像または実環境そのものに重ねて表示する表示装置との相対的な位置関係を取得する位置関係取得部と、３次元モデルと相対的な位置関係とに基づいて、実ロボットと所定の位置関係となるように、操作された３次元モデルを表示するための表示画像を生成する画像生成部と、表示画像を表示装置に出力する出力部と、実ロボットの動作中に、受付部によって仮想ロボットの３次元モデルに対する教示の指示が受け付けられた際に、仮想ロボットの３次元モデルに応じて教示データを修正する修正部と、を備えたものである。

本発明の一態様による教示データ修正装置によれば、実ロボットの動作中であっても、仮想ロボットの３次元モデルを用いることによって、教示データを修正することができるため、生産性を落とすことなく、教示データの修正を行うことができるようになる。

本発明の実施の形態によるロボット制御システムを示す模式図 同実施の形態による教示データ修正装置の構成を示すブロック図 同実施の形態による教示データ修正装置の動作を示すフローチャート 同実施の形態による教示データ修正装置の動作を示すフローチャート 同実施の形態における教示データの修正対象の期間の一例を示す図 同実施の形態における教示データの修正対象の領域の一例を示す図 同実施の形態における教示データの修正の一例を示す図

以下、本発明による教示データ修正装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による教示データ修正装置によれば、実ロボットに対応する仮想ロボットの３次元モデルを用いて教示データを修正するため、実ロボットの稼働中にも教示データの修正を行うことができる。

図１は、本実施の形態によるロボット制御システム１００の構成を示す模式図である。図１で示されるように、ロボット制御システム１００は、ロボット１と、ロボット制御装置２と、教示データ修正装置３と、表示装置４とを備える。なお、各装置間は、例えば、有線または無線で接続されてもよい。

ロボット１は、通常、産業用ロボットであり、モータにより駆動される関節によって連結された複数のアーム（リンク）を有するマニピュレータであってもよい。ロボット１は、例えば、垂直多関節ロボットであってもよく、水平多関節ロボットであってもよい。また、ロボット１は、例えば、搬送ロボットであってもよく、溶接ロボットであってもよく、組立ロボットであってもよく、塗装ロボットであってもよく、または、その他の用途のロボットであってもよい。なお、ロボット１は、実環境に存在するロボットであるため、仮想環境に存在する３次元モデルの仮想ロボットと区別するために実ロボットと呼ぶこともある。実環境とは、実空間の環境のことである。

ロボット制御装置２は、ティーチングプレイバック方式によってロボット１の動作を制御する。教示データに基づいてロボット１を動作させるロボット制御装置２は、すでに公知であり、その詳細な説明を省略する。なお、ロボット制御システム１００は、例えば、ロボット１のティーチングを行うためのティーチングペンダントをさらに有していてもよく、また、ロボット１が溶接ロボットである場合には、必要に応じて溶接電源やワイヤ送給装置等をさらに有していてもよい。

教示データ修正装置３は、ロボット１の動作中に、ロボット１に対応する仮想ロボットの３次元モデルを用いて、ロボット１の教示データを修正するものである。教示データ修正装置３の詳細については後述する。

表示装置４は、画像を実環境の画像または実環境そのものに重ねて表示する。すなわち、教示データを修正する作業者は、表示装置４によって、実環境と仮想環境の画像との両方を見ることができる。表示装置４は、教示データを修正する作業者が頭部に装着する装着型の表示装置であってもよく、または、タブレット端末などの可搬型の情報処理端末である表示装置であってもよい。装着型の表示装置は、例えば、ヘッドマウントディスプレイであってもよい。また、表示装置４は、例えば、透過型ディスプレイを有するものであってもよい。この場合には、表示装置４は、画像を実環境そのものに重ねて表示することになる。透過型ディスプレイを有する装着型の表示装置４としては、例えば、ＨｏｌｏＬｅｎｓ（登録商標）等が知られている。このような透過型ディスプレイを有する表示装置４は、複合現実（ＭＲ：Mixed Reality）を実現するための表示装置であると考えることもできる。また、表示装置４は、例えば、非透過型ディスプレイを有するものであってもよい。この場合には、表示装置４は、画像を実環境の画像に重ねて表示することになる。したがって、非透過型ディスプレイを有する表示装置４は、実環境を撮影するためのカメラを有しているか、または、実環境を撮影するカメラと接続されていることが好適である。カメラで撮影された実環境の画像は、リアルタイムで非透過型ディスプレイに表示される。非透過型ディスプレイを有する装着型の表示装置４としては、例えば、Ｏｃｕｌｕｓ Ｑｕｅｓｔ等が知られている。このような非透過型ディスプレイを有する表示装置４は、拡張現実（ＡＲ：Augmented Reality）を実現するための表示装置であると考えることもできる。タブレット端末などの可搬型の情報処理端末である表示装置４は、例えば、カメラとディスプレイとを有しており、カメラで撮影した実環境の画像をリアルタイムでティスプレイに表示してもよい。本実施の形態では、表示装置４が透過型のディスプレイを有するヘッドマウントディスプレイである場合について主に説明する。

図２は、本実施の形態による教示データ修正装置３の構成を示すブロック図である。図２で示されるように、教示データ修正装置３は、ロボット制御装置２及び表示装置４と接続されており、モデル記憶部３１と、教示データ記憶部３２と、位置関係取得部３３と、受付部３４と、画像生成部３５と、出力部３６と、期間受付部３７と、領域受付部３８と、修正部３９とを備える。

モデル記憶部３１では、実環境に存在する実ロボットであるロボット１に対応する仮想ロボットの３次元モデルが記憶される。仮想ロボットの３次元モデルは、３次元モデルで構成されている以外は、ロボット１と同じサイズ及び構成であるものとする。また、この３次元モデルは、ロボット１と同様に、複数のアームの関節の角度などを変更可能になっているものとする。

モデル記憶部３１に仮想ロボットの３次元モデルの情報が記憶される過程は問わない。例えば、記録媒体を介して情報がモデル記憶部３１で記憶されるようになってもよく、通信回線等を介して送信された情報がモデル記憶部３１で記憶されるようになってもよい。モデル記憶部３１は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。

教示データ記憶部３２では、実ロボットであるロボット１の教示データが記憶される。なお、本実施の形態では、ロボット制御装置２で保持されている教示データと同じ教示データが、教示データ記憶部３２で記憶されているものとする。すなわち、ロボット制御装置２と教示データ修正装置３とによってそれぞれ同じ内容の教示データが保持されているものとする。そして、一方の教示データに修正が行われた場合には、その修正後に他の教示データにも修正内容が反映されるものとする。なお、ロボット制御装置２と教示データ修正装置３との一方でのみ教示データが保持されていてもよい。この場合には、教示データを保持していない装置は、教示データを保持している装置の教示データにアクセスできてもよい。例えば、教示データ記憶部３２は、ロボット制御装置２にアクセスして読み出された教示データが一時的に記憶されている記憶部であってもよい。教示データは、例えば、教示点ごとにロボット１の位置及び姿勢を示すものであってもよい。ロボット１の位置及び姿勢を示す情報は、例えば、ロボット１の手先の位置及び姿勢を示す情報であってもよく、ロボット１の各軸における角度を示す情報であってもよい。教示データ記憶部３２は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスクなどであってもよい。

位置関係取得部３３は、実ロボットであるロボット１の存在する実環境と、表示装置４との相対的な位置関係を取得する。実環境と表示装置４との相対的な位置関係を取得するとは、例えば、実環境の座標系であるワールド座標系と、表示装置４のローカル座標系である表示座標系との相対的な位置関係を取得することであってもよい。その相対的な位置関係は、例えば、両座標系間の変換を示す同次変換行列によって示されてもよい。なお、実環境と表示装置４との相対的な位置関係は、例えば、実環境に存在するロボット１や他のオブジェクトと、表示装置４との相対的な位置関係であってもよく、実環境における表示装置４の位置や姿勢を示す情報であってもよい。

位置関係取得部３３が、この相対的な位置関係を取得する方法は問わない。例えば、実環境の環境地図が用意されている場合には、位置関係取得部３３は、実環境の環境地図と、表示装置４によって取得された周囲の物体までの距離や周囲の画像とを用いて、ＳＬＡＭ（Simultaneous Localization and Mapping）や、Ｖｉｓｕａｌ－ＳＬＡＭの手法を用いて、３次元の実環境における表示装置４の位置や姿勢を示す情報である相対的な位置関係を取得してもよい。この場合には、例えば、教示データ修正装置３において環境地図が保持されており、位置関係取得部３３は、表示装置４から受け取った周囲の物体までの距離や周囲の画像と、環境地図とを用いて、相対的な位置関係を取得してもよい。また、例えば、ＳＬＡＭやＶｉｓｕａｌ－ＳＬＡＭの手法を用いた相対的な位置関係の取得は表示装置４において行われ、その相対的な位置関係が位置関係取得部３３に渡されてもよい。この場合には、位置関係取得部３３による相対的な位置関係の取得は、相対的な位置関係の受け付けであってもよい。また、この場合には、表示装置４は、周囲の物体までの距離を測定可能な深度センサや、周囲の画像を取得可能なカメラを有していてもよい。また、位置関係取得部３３は、表示装置４のカメラで撮影された画像を受け取り、その画像に含まれるロボット１や他のオブジェクトの３以上の特徴点を用いて、ワールド座標系と表示座標系との間の変換を示す同次変換行列を取得してもよい。

また、位置関係取得部３３は、上記した以外の方法によって、実環境と表示装置４との相対的な位置関係を取得してもよい。その方法の一例については、例えば、後述する特許文献１～３等を参照されたい。また、後述する表示画像の生成ごとに、位置関係取得部３３によって上記のようにして相対的な位置関係が取得されてもよく、または、そうでなくてもよい。後者の場合には、例えば、相対的な位置関係が取得された後の表示装置４の位置や姿勢の変化を用いて、実環境と表示装置４との相対的な位置関係が更新されてもよい。この更新は、例えば、位置関係取得部３３によって行われてもよい。また、この更新が行われる場合には、表示装置４は、例えば、加速度センサや表示装置４の向きを取得するためのセンサ等を備えており、それらのセンサを用いて位置の変化や姿勢の変化が取得されてもよい。なお、それらのセンサによって取得された値は、例えば、位置関係取得部３３などの相対的な位置関係を更新する構成要素に渡されてもよい。表示装置４の向きを取得するためのセンサは、例えば、ジャイロセンサや方位センサ等であってもよい。

受付部３４は、仮想ロボットの３次元モデルに対する操作を受け付ける。また、受付部３４は、仮想ロボットの３次元モデルに対する教示の指示を受け付ける。３次元モデルに対する操作は、例えば、３次元モデルの少なくとも一部の位置や姿勢を変化させるための操作であってもよい。操作や教示の指示の受け付けは、例えば、実環境に存在するティーチングペンダントなどの入力デバイスを介して行われてもよく、表示装置４のディスプレイに表示された仮想ボタンや仮想ティーチングペンダントなどの仮想入力インターフェースを介して行われてもよい。仮想入力インターフェースは、例えば、エアタップなどの動作に応じて表示装置４のディスプレイに表示され、作業者の指やポインティングデバイスによってボタン等が選択された場合に、そのボタン等の操作に応じた入力が表示装置４から受付部３４に渡されてもよい。また、作業者の手などのジェスチャによって、仮想ロボットの３次元モデルの少なくとも一部（例えば、ツールなどの手先など）の位置や姿勢を変更できてもよい。この場合には、例えば、作業者がディスプレイに表示された３次元モデルを手でつまむ動作（ホールド動作）を行うことによって、その手でつまんだ部分が操作の対象として特定され、その手の位置や姿勢を変化させることによって、特定された対象の位置や姿勢を変化させる操作が行われ、そのつまむ動作を終了させることによって、特定された対象への操作が終了されてもよい。この場合には、例えば、操作の対象を示す情報（例えば、３次元モデルにおける位置や部分を示す情報）と、操作の内容を示す情報（例えば、位置の変更や姿勢の変更などを示す情報）とが表示装置４から受付部３４に渡されてもよく、または、表示装置４において取得されたハンドトラッキングの結果が受付部３４に渡され、教示データ修正装置３において、操作の対象や操作の内容が特定されてもよい。表示装置４において操作の対象を示す情報と操作の内容を示す情報とが取得される場合には、表示装置４は、教示データ修正装置３で保持されている、仮想空間における仮想ロボットの現時点の３次元モデルの情報にアクセス可能であってもよい。なお、作業者の手を用いた操作が行われる場合には、表示装置４はカメラを有しており、そのカメラで撮影された作業者の手のハンドトラッキングが行われることによって、作業者の手が、ディスプレイ上のどの位置に存在するのかが特定されてもよい。また、作業者の手などのジェスチャに応じた３次元モデルの表示画像への操作を、３次元仮想空間における３次元モデルの位置や姿勢の変化に変換する方法はすでに公知であり、その詳細な説明を省略する。

受付部３４は、例えば、入力デバイスや表示装置４から入力された情報を受け付けてもよく、有線または無線の通信回線を介して送信された情報を受信してもよい。なお、受付部３４は、受け付けを行うためのデバイス（例えば、入力デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、受付部３４は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

画像生成部３５は、モデル記憶部３１で記憶されている３次元モデル、及び位置関係取得部３３で取得された、実環境と表示装置４との相対的な位置関係に基づいて、実ロボットであるロボット１と仮想ロボットの３次元モデルとが所定の位置関係となるように、３次元モデルを表示するための表示画像を生成する。また、仮想ロボットへの操作が受け付けられた場合には、画像生成部３５は、操作された３次元モデルを表示するための表示画像を生成する。所定の位置関係は、例えば、あらかじめ決められた位置関係であってもよく、作業者が変更することができる位置関係であってもよい。仮想ロボットの３次元モデルは、例えば、ロボット１の位置に表示されてもよく、ロボット１と異なる位置に表示されてもよい。仮想ロボットの３次元モデルをロボット１の位置に表示するとは、ロボット１と同じ位置に仮想ロボットが配置されるように３次元モデルを表示することであり、例えば、仮想ロボットの３次元モデルの基端側の端部（例えば、床面などへの取り付け部分）が、ロボット１の基端側の端部に重なるように表示することであってもよい。なお、教示データの修正時に仮想ロボットの３次元モデルがロボット１の位置に表示される場合には、例えば、実環境のティーチングペンダントまたは仮想ティーチングペンダントを用いて３次元モデルが操作されてもよい。作業者の手のジェスチャによって３次元モデルを操作する場合には、仮想ロボットの位置すなわちロボット１の位置に近づく可能性もあり、危険だからである。ロボット１と異なる位置に仮想ロボットの３次元モデルが表示される場合には、例えば、ロボット１の隣に３次元モデルが表示されてもよい。いずれにしても、仮想ロボットの３次元モデルは、実ロボットであるロボット１との位置関係が変化しないように表示されることになる。したがって、表示装置４において、作業者が表示装置４の向きを変化させたとしても、実環境における仮想ロボットの３次元モデルの表示位置は変化しないことになる。

ワールド座標系におけるロボット１の配置位置は既知である。また、ロボット１と仮想ロボットの３次元モデルとの位置関係も決まっている。したがって、これらの情報を用いることによって、画像生成部３５は、ロボット１の配置位置があらかじめ決まっている仮想空間において、そのロボット１の配置位置と所定の位置関係となるように仮想ロボットの３次元モデルを配置することができる。なお、仮想ロボットの各関節の角度は、操作が行われていない場合には初期値となり、操作が行われた場合には操作後の値となる。操作後の各関節の角度は、例えば、実ロボットと同様に、操作後の仮想ロボットの３次元モデルにおける手先の位置及び姿勢を用いた逆運動学によって算出されてもよい。また、画像生成部３５は、位置関係取得部３３によって取得された相対的な位置関係によって、ワールド座標系と表示装置４のローカル座標系である表示座標系との関係を知ることができるため、仮想空間における表示装置４の位置及び向きを特定することができる。したがって、画像生成部３５は、仮想空間における仮想ロボットの３次元モデルを、表示装置４の位置及び向きを基準としてレンダリングすることによって、３次元モデルを表示するための２次元の表示画像を生成することができる。仮想ロボットが操作されると、上記のように、仮想空間における仮想ロボットの３次元モデルの形状が、それに応じて変更されることになる。また、表示装置４の位置や向きが実環境において変化した場合には、それに応じて仮想空間上の視点の位置や方向が変更されることになる。そして、その変更後にレンダリングが行われることによって、操作後の３次元モデルの表示画像や、表示装置４の位置や向きの変化後の３次元モデルの表示画像が生成されることになる。なお、画像生成部３５は、仮想ロボットの３次元モデルの表示画像が表示装置４のディスプレイに表示された際に、その表示画像の大きさが実環境と整合するように、表示画像を生成するものとする。すなわち、表示装置４のディスプレイに表示された仮想ロボットの３次元モデルと、その３次元モデルと同じ相対的な位置関係となるように実環境に配置された実ロボットとが、表示装置４を介して見たときに同じ大きさになるように、表示画像が生成されることになる。

画像生成部３５は、例えば、教示データの修正時には、仮想ロボットの３次元モデルを、実ロボットであるロボット１と異なる位置に表示するための表示画像を生成してもよい。例えば、ロボット１の動作中に仮想ロボットをロボット１と同じ位置に表示すると、作業者は仮想ロボットを見づらいこともある。特に、ロボット１が溶接ロボットであり、溶接が行われている場合にはそのようになる。そのため、教示データの修正時には、仮想ロボットがロボット１と異なる位置に表示されることが好適である。

画像生成部３５は、例えば、教示データの修正後に、修正された教示データに応じて動作する仮想ロボットの３次元モデルを表示するための表示画像を生成してもよい。この場合には、画像生成部３５は、修正された教示データに基づいて、所定の時間間隔ごとに仮想ロボットの複数の表示画像を生成してもよい。この表示画像は、例えば、仮想ロボットの３次元モデルを実ロボットであるロボット１の位置に表示するためのものであってもよく、または、仮想ロボットの３次元モデルをロボット１と異なる位置に表示するためのものであってもよい。前者の場合には、実環境におけるロボット１が配置されている位置において、修正後の教示データに応じた動きを確認することができる。

なお、画像生成部３５が生成する表示画像は通常、静止画であるが、短時間に連続して複数の表示画像が生成された場合には、実質的に動画像と同様の表示画像が生成されることになる。例えば、修正された教示データに応じて動作する仮想ロボットの３次元モデルを表示するための表示画像は、通常、動画像と同様の表示画像となる。

また、受け付けられた操作に応じて仮想ロボットを操作できないこともあり得る。例えば、仮想ロボットの手先を、移動可能な範囲を超えて移動させる操作または回転可能な範囲を超えて回転させる操作が受け付けられることもある。このような場合には、画像生成部３５は、その操作に応じた表示画像を生成しなくてもよく、または、可能な範囲内で移動または回転を行った仮想ロボットの３次元モデルの表示画像を生成してもよい。

出力部３６は、画像生成部３５によって生成された表示画像を表示装置４に出力する。なお、出力部３６は、表示画像のみを出力してもよい。この場合には、表示装置４において、実環境の画像または実環境そのものに表示画像が重ねられて表示されることになる。一方、表示装置４が非透過型ディスプレイを有する場合であって、表示装置４で撮影された実環境の画像が教示データ修正装置３で受け付けられている場合には、実環境の画像と表示画像とが合成された結果が、表示装置４に出力されてもよい。この合成は、例えば、教示データ修正装置３が有する図示しない合成部によって行われてもよい。

実ロボットであるロボット１と異なる位置に仮想ロボットの３次元モデルが表示される場合には、例えば、図１で示されるように、ロボット１の隣に仮想ロボットの３次元モデル１０が表示されてもよい。図１におけるロボット１及び仮想ロボットの３次元モデル１０は、ティーチングを行う作業者が表示装置４を介して見ている状況を模式的に示したものである。

なお、仮想ロボットの３次元モデルを実ロボットと共に表示することや、その仮想ロボットの３次元モデルを表示デバイスの仮想入力インターフェースや作業者のジェスチャ等を用いて操作することなどについては、例えば、次の特許文献１～３で示されるようにすでに公知であり、その詳細な説明を省略する。

特開２０１７－１００２３４号公報 特開２０２０－０５５０７５号公報 特開２０２０－０６９５３８号公報

期間受付部３７は、実ロボットであるロボット１の動作中に、教示データの修正対象の期間を受け付ける。期間受付部３７によって受け付けられる期間は、ロボット１の動作における期間を特定するものであってもよい。この受け付けは、例えば、期間の終期と、期間の時間的な長さとの受付であってもよい。この場合には、例えば、教示データを修正する作業者は、ロボット１の動作を見ていて教示データを修正したい箇所があったときに、その修正したい箇所の動作の終了時に、現時点が期間の終期であることを示す情報を入力すると共に、修正対象の期間の時間的な長さを入力してもよい。また、この受け付けは、例えば、期間の始期と終期との受け付けであってもよい。この場合には、例えば、教示データを修正する作業者は、ロボット１の動作を見ていて教示データを修正したい箇所があるときに、その修正したい箇所の動作の開始時点と終了時点とにおいて、それぞれ現時点が期間の始期であることを示す情報と期間の終期であることを示す情報とを入力してもよい。そのようにして作業者によって入力された情報は、期間受付部３７によって受け付けられることになる。

領域受付部３８は、実ロボットであるロボット１の動作中に、教示データの修正対象の領域を受け付ける。領域受付部３８によって受け付けられる領域は、ロボット１の動作における領域を特定するものであってもよい。この受け付けは、例えば、ロボット１の手先の位置の領域の指定の受け付けであってもよい。この場合には、例えば、教示データを修正する作業者は、ロボット１の動作を見ていて教示データを修正したい箇所があったときに、その修正したい箇所の動作時の手先の位置を入力してもよい。この入力は、例えば、表示装置４等を用いた空間上の領域の特定によって行われてもよい。例えば、ロボット１が溶接ロボットである場合には、溶接された箇所を作業者の指やポインティングデバイスによって示す情報が、領域受付部３８によって入力されてもよい。なお、ロボット１の手先は、例えば、ＴＣＰ（ツールセンターポイント）であってもよい。

期間受付部３７及び領域受付部３８は、例えば、入力デバイスや表示装置４等から入力された情報を受け付けてもよく、有線または無線の通信回線を介して送信された情報を受信してもよい。なお、期間受付部３７及び領域受付部３８は、受け付けを行うためのデバイス（例えば、入力デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、期間受付部３７及び領域受付部３８は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

修正部３９は、実ロボットであるロボット１の動作中に、受付部３４によって仮想ロボットの３次元モデルに対する教示の指示が受け付けられた際に、仮想ロボットの３次元モデルに応じて教示データを修正する。すなわち、教示の指示が受け付けられた際に表示されている３次元モデルの位置及び姿勢を示す情報が、修正後の教示データとして教示データ記憶部３２に蓄積されることになる。修正部３９は、例えば、修正対象の期間が期間受付部３７によって受け付けられた場合に、その修正対象の期間の教示データを修正してもよい。修正対象の期間の教示データとは、実ロボットであるロボット１が、その期間の動作のために用いた教示データであってもよい。また、修正部３９は、例えば、修正対象の領域が領域受付部３８によって受け付けられた場合に、その修正対象の領域の教示データを修正してもよい。修正対象の領域の教示データとは、実ロボットであるロボット１が、その領域の動作のために用いた教示データであってもよい。具体的には、修正部３９は、修正対象の期間や修正対象の領域に対応する教示データを特定し、その特定した教示データによって特定される教示点を、受け付けられた操作に応じて順次、修正してもよい。修正対象の期間が受け付けられた場合には、修正部３９は、例えば、ロボット制御装置２にアクセスすることによって、その期間の動作に対応する教示データを特定してもよい。また、修正対象の領域が受け付けられた場合には、修正部３９は、例えば、その領域がロボット１の手先の位置となる教示データを特定してもよい。修正部３９は、例えば、特定した修正対象の教示データに含まれる教示点に応じた位置及び姿勢の仮想ロボットの３次元モデルの表示画像を画像生成部３５に生成させてもよい。そして、その仮想ロボットの３次元モデルへの操作が受け付けられることによって、仮想ロボットの３次元モデルの位置や姿勢が変更されてもよい。その後、教示の指示が受け付けられたことに応じて、修正部３９は、修正対象の教示点の情報を、その時点の仮想ロボットの３次元モデルの位置及び姿勢に応じた新たな情報に修正してもよい。このように、教示データの修正は、例えば、教示点ごとに行われてもよい。または、修正部３９は、例えば、特定した修正対象の教示データに代わる新たな教示データを、仮想ロボットの３次元モデルの操作と教示の指示との複数回の受け付けによって取得し、修正対象の教示データを新たな教示データに変更してもよい。なお、修正部３９は、教示データの修正に必要な情報、例えば、仮想ロボットの３次元モデルのローカル座標系であるロボット座標系における手先の位置や姿勢、または各関節の角度などの情報を画像生成部３５から取得してもよく、または、他の構成から取得してもよい。仮想ロボットの３次元モデルのロボット座標系における手先の位置や姿勢は、例えば、仮想空間における手先の位置や姿勢を、仮想空間と仮想ロボットのロボット座標系との間の変換を示す同次変換行列を用いて変換することによって取得することができる。

なお、モデル記憶部３１と、教示データ記憶部３２とは、同一の記録媒体によって実現されてもよく、または、別々の記録媒体によって実現されてもよい。前者の場合には、例えば、仮想ロボットの３次元モデルを記憶している領域がモデル記憶部３１となり、教示データを記憶している領域が教示データ記憶部３２となる。

また、修正部３９によって修正された教示データは、例えば、ロボット制御装置２からアクセス可能になっていてもよく、または、教示データ修正装置３は、修正された教示データをロボット制御装置２に出力するための図示しない出力部を備えていてもよい。その出力は、例えば、送信であってもよい。

次に、教示データ修正装置３の動作について図３のフローチャートを用いて説明する。

（ステップＳ１０１）期間受付部３７は、教示データの修正対象の期間を受け付けたかどうか判断する。そして、教示データの修正対象の期間を受け付けた場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。

（ステップＳ１０２）修正部３９は、受け付けられた修正対象の期間に応じた修正対象の教示データを特定する。

（ステップＳ１０３）領域受付部３８は、教示データの修正対象の領域を受け付けたかどうか判断する。そして、教示データの修正対象の領域を受け付けた場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０１に戻る。

（ステップＳ１０４）修正部３９は、受け付けられた修正対象の領域に応じた修正対象の教示データを特定する。

（ステップＳ１０５）修正部３９は、特定した教示データを修正する。この処理については、図４のフローチャートを用いて後述する。

（ステップＳ１０６）位置関係取得部３３は、実環境と表示装置４との相対的な位置関係を取得する。

（ステップＳ１０７）画像生成部３５は、仮想ロボットの３次元モデルと、ステップＳ１０６で取得された相対的な位置関係と、修正後の教示データとを用いて、修正後の教示データに応じた仮想ロボットの動作に応じた３次元モデルの表示画像を生成する。画像生成部３５は、例えば、所定の時間間隔ごとの複数の表示画像を生成してもよい。なお、画像生成部３５は、例えば、仮想ロボットの３次元モデルをロボット１の位置に表示するための表示画像を生成してもよい。

（ステップＳ１０８）出力部３６は、生成された表示画像を表示装置４に出力する。出力部３６は、所定の時間間隔ごとに複数の表示画像を順次、表示装置４に出力してもよい。このようにして、修正後の教示データに応じた仮想ロボットの動作を作業者が確認できるようになる。そして、ステップＳ１０１に戻る。

なお、図３のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図４は、図３のフローチャートにおける教示データの修正の処理（ステップＳ１０５）の詳細を示すフローチャートである。

（ステップＳ２０１）修正部３９は、カウンタｉを１に設定する。

（ステップＳ２０２）位置関係取得部３３は、実環境と表示装置４との相対的な位置関係を取得する。

（ステップＳ２０３）画像生成部３５は、仮想ロボットの３次元モデルと、ステップＳ２０２で取得された相対的な位置関係とを用いて、修正対象の教示データにおけるｉ番目の教示点に応じた仮想ロボットの３次元モデルの位置及び姿勢に対応する表示画像を生成する。

（ステップＳ２０４）出力部３６は、ステップＳ２０３で生成された表示画像を表示装置４に出力する。その結果、教示データを修正する作業者は、ｉ番目の教示点に応じた位置及び姿勢の仮想ロボットの３次元モデルを見ることができる。

（ステップＳ２０５）受付部３４は、仮想ロボットの３次元モデルへの操作を受け付けたかどうか判断する。そして、仮想ロボットの３次元モデルへの操作を受け付けた場合には、ステップＳ２０６に進み、そうでない場合には、ステップＳ２０９に進む。

（ステップＳ２０６）位置関係取得部３３は、実環境と表示装置４との相対的な位置関係を取得する。

（ステップＳ２０７）画像生成部３５は、受け付けられた操作によって位置や姿勢の変更された仮想ロボットの３次元モデルを表示するための表示画像を、位置関係取得部３３によって取得された相対的な位置関係を用いて生成する。

（ステップＳ２０８）出力部３６は、生成された表示画像を表示装置４に出力する。そして、ステップＳ２０５に戻る。このようにして、教示データを修正する作業者は、位置や姿勢の変更された仮想ロボットについて確認することができる。作業者は、その仮想ロボットの位置や姿勢によって新たな教示を行ってよい場合には、教示の指示を入力し、そうでない場合には、再度、仮想ロボットの操作を入力することになる。なお、表示装置４の位置や向きが変更されると、それに応じて新たな表示画像が生成されることが好適である。そのため、操作が行われていない場合であっても、ステップＳ２０６～Ｓ２０８の処理が繰り返して行われてもよい。

（ステップＳ２０９）受付部３４は、教示の指示を受け付けたかどうか判断する。そして、教示の指示を受け付けた場合には、ステップＳ２１０に進み、そうでない場合には、ステップＳ２０５に戻る。

（ステップＳ２１０）修正部３９は、ｉ番目の教示点に応じた教示データとして、その時点の仮想ロボットの３次元モデルの位置及び姿勢に応じた教示データを教示データ記憶部３２に蓄積する。この蓄積は、例えば、上書きでの蓄積であってもよく、そうでなくてもよい。後者の場合には、最新の教示データを、そうでない教示データと区別できるようになっていることが好適である。

（ステップＳ２１１）修正部３９は、カウンタｉを１だけインクリメントする。

（ステップＳ２１２）修正部３９は、修正対象の教示データにｉ番目の教示点が含まれるかどうか判断する。そして、ｉ番目の教示点が含まれる場合には、ステップＳ２０２に戻り、そうでない場合には、一連の教示データの修正が終了したことになるため、図３のフローチャートに戻る。

次に、本実施の形態によるロボット制御システム１００の動作について、具体例を用いて説明する。

作業者が、透過型ディスプレイを有する表示装置４を頭部に装着して実ロボットであるロボット１の動作を見ているとする。このときには、仮想ロボットの３次元モデルは表示されていてもよく、または、表示されていなくてもよい。そして、ロボット１の動作において修正したい箇所があった場合に、作業者は、その修正したい箇所の動作が終了した時点に図示しない入力デバイスを操作して、教示データの修正対象の期間の終期を示す入力を行う。また、その後に、作業者は、期間の時間的な長さ（例えば、１５秒や３０秒など）を入力する。その期間の終期のタイミングを示す入力と、期間の時間的な長さを示す入力とは、期間受付部３７によって受け付けられ、それぞれ修正部３９に渡される（ステップＳ１０１）。

修正部３９は、教示データの修正対象の期間の終期を示す入力を受け取ると、図示しない時計部からその時点の時刻Ｔ２を取得する。また、期間の時間的な長さを受け取ると、時刻Ｔ２よりもその時間的な長さだけ以前の時点である修正対象の期間の始期の時刻Ｔ１を特定する。そして、修正部３９は、ロボット制御装置２にアクセスし、時刻Ｔ１から時刻Ｔ２までの期間のロボット１の動作で用いられた教示データを特定する（ステップＳ１０２）。例えば、ロボット１の先端側１ａが、時刻Ｔ１から時刻Ｔ２までに図５Ａで示されるように移動していた場合には、その移動に応じた教示データが特定されることになる。なお、この時刻は、例えば、ロボット１の動作における時点を示す情報（例えば、タイマの値など）であってもよい。

次に、修正部３９は、特定した教示データを修正するための処理を行う（ステップＳ１０５）。具体的には、特定された修正対象の教示データに含まれる１番目の教示点に応じた位置及び姿勢になるように、仮想ロボットの３次元モデルが表示される（ステップＳ２０１～Ｓ２０４）。そして、作業者は、その教示点を変更したい場合には、図６で示されるように仮想ロボットの３次元モデルの位置及び姿勢を変更する。この変更は、例えば、作業者が図６の実線で示される仮想ロボットの３次元モデルの先端側１ａを人差し指と親指とでホールドして、破線で示される位置に移動させてホールドを解除することによって行われてもよい。この操作は受付部３４で受け付けられ、操作後の３次元モデルが表示される（ステップＳ２０５～Ｓ２０８）。そして、変更後の位置及び姿勢で教示を行ってよい場合には、作業者はエアタップによって表示させた仮想教示ボタンを指で選択する。その選択に応じて教示の指示が受付部３４で受け付けられ、その時点の仮想ロボットの３次元モデルの位置及び姿勢に応じた教示データが教示データ記憶部３２に蓄積される（ステップＳ２０９、Ｓ２１０）。このようにして、１番目の教示点が書き換えられることになる。

一方、１番目の教示点を変更する必要がない場合には、作業者は、１番目の教示点に応じた表示が行われた際に仮想教示ボタンを選択する。すると、すでに記憶されている１番目の教示点と同じ内容の教示データが教示データ記憶部３２に蓄積される（ステップＳ２０９、Ｓ２１０）。なお、３次元モデルに対する操作が行われることなく教示の指示が受け付けられた場合には、同じ教示データを蓄積する代わりに、１番目の教示点に対応する教示データの蓄積の処理をスキップしてもよい。

その後、修正対象の教示データに含まれる２番目の教示点に対応する位置及び姿勢となるように、仮想ロボットの３次元モデルが表示される（ステップＳ２１１，Ｓ２１２、Ｓ２０２～Ｓ２０４）。このようにして、２番目以降の教示点についても、順次、必要に応じて変更が行われることになる。そして、修正対象の教示データに含まれるすべての教示点について必要に応じて適宜、変更が行われると、教示データを修正する処理が終了する。その修正後の教示データに応じた仮想ロボットの動作を示す表示画像は表示装置４のディスプレイに表示される（ステップＳ１０６～Ｓ１０８）。この表示が行われることによって、作業者は、修正後の教示データについて確認することができる。

ここでは、修正対象の教示データの範囲を期間によって指定する場合について説明したが、修正対象の教示データの範囲は領域によって指定されてもよい。この場合には、例えば、実ロボットであるロボット１が動作している際に、図５Ｂで示されるように、修正対象の教示データの領域Ｒ１が領域受付部３８によって受け付けられてもよい（ステップＳ１０３）。この場合には、例えば、修正対象の教示データに対応するツールの先端の軌跡を含む領域Ｒ１がユーザの指やポインティングデバイスによって指定され、その領域Ｒ１が領域受付部３８によって受け付けられてもよい。通常、その領域Ｒ１は、表示座標系またはワールド座標系において領域を示す情報であるため、ロボット１のローカル座標系における領域を示す情報に変換されてもよい。この変換は、例えば、位置関係取得部３３によって取得された相対的な位置関係と、実環境におけるロボット１の配置位置（例えば、ワールド座標系と、ロボット１のローカル座標系との間の変換を示す同次変換行列）とを用いて修正部３９等によって行われてもよい。そして、修正部３９は、教示データを用いて、ツールの先端がその領域となる教示データの範囲を特定し（ステップＳ１０４）、その特定した範囲について教示データの修正を行ってもよい（ステップＳ１０５）。修正対象の教示データが特定された後の処理は上記説明と同様であり、その詳細な説明を省略する。

以上のように、本実施の形態による教示データ修正装置３によれば、実ロボットであるロボット１が動作中であっても、そのロボット１の教示データを、ロボット１の動作を途中で停止させることなく、仮想ロボットを用いて修正することができる。例えば、多層盛溶接においては、教示データのプレイバックが長時間にわたって継続されるため、その終了を待ってから教示データの修正を行うと生産性が下がることになる。一方、本実施の形態による教示データ修正装置３では、ロボット１の動作中に教示データを修正できるため、ロボット１は、プレイバック動作の終了後に、修正された教示データを用いたプレイバック動作をすぐに開始することができ、生産性を向上させることができる。また、教示データの修正対象の期間や領域を受け付けることによって、修正対象の教示データの範囲を容易に特定することができる。ロボット１の動作において、修正したい動作の期間や、修正したい動作の領域を特定すればよいからである。また、教示データの修正時には、仮想ロボットの３次元モデルがロボット１とは異なる位置に表示されることによって、仮想ロボットの３次元モデルが動作中のロボット１と重ならないことになり、より容易に教示データの修正を行うことができるようになる。また、教示データの修正後には、修正された教示データに応じて動作する仮想ロボットの３次元モデルが、ロボット１の位置に表示されることによって、ロボット１の位置における修正後の教示データに応じた動作について確認することもできるようになる。

なお、本実施の形態では、教示データ修正装置３が期間受付部３７及び領域受付部３８を有している場合について説明したが、そうでなくてもよい。教示データ修正装置３は、期間受付部３７及び領域受付部３８の少なくとも一方を有していなくてもよい。なお、教示データ修正装置３が期間受付部３７及び領域受付部３８の両方を有していない場合には、修正対象の教示データは、ユーザが手動で指定してもよい。例えば、表示装置４に教示データそのものが表示され、そのうち修正を行いたい部分がユーザによって指定されてもよい。また、この場合には、ロボット１が作業Ａを行っている際に、作業Ｂに関する教示データの修正を教示データ修正装置３によって行ってもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。例えば、教示データ修正装置３の少なくとも一部の構成は、物理的には、ディスプレイを有する装置や、ロボットコントローラなどに含まれてもよい。したがって、図２で示される装置の切り分けは、物理的な装置に応じたものではなく、機能に応じた便宜上のものであると考えてもよい。

また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。

また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。

また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。

また、上記実施の形態において、教示データ修正装置３に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。また、そのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。また、そのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

１ ロボット、２ ロボット制御装置、３ 教示データ修正装置、４ 表示装置、３１ モデル記憶部、３２ 教示データ記憶部、３３ 位置関係取得部、３４ 受付部、３５ 画像生成部、３６ 出力部、３７ 期間受付部、３８ 領域受付部、３９ 修正部、１００ ロボット制御システム

Claims (5)

1. 実環境に存在する実ロボットに対応する仮想ロボットの３次元モデルが記憶されるモデル記憶部と、
   前記実ロボットの教示データが記憶される教示データ記憶部と、
   前記仮想ロボットの３次元モデルに対する操作及び教示の指示を受け付ける受付部と、
   前記実ロボットの存在する実環境と、画像を実環境の画像または実環境そのものに重ねて表示する表示装置との相対的な位置関係を取得する位置関係取得部と、
   前記３次元モデルと前記相対的な位置関係とに基づいて、前記実ロボットと所定の位置関係となるように、操作された３次元モデルを表示するための表示画像を生成する画像生成部と、
   前記表示画像を前記表示装置に出力する出力部と、
   前記実ロボットの動作中に、前記受付部によって前記仮想ロボットの３次元モデルに対する教示の指示が受け付けられた際に、当該仮想ロボットの３次元モデルに応じて前記教示データを修正する修正部と、を備えた教示データ修正装置。
2. 前記実ロボットの動作中に、教示データの修正対象の期間を受け付ける期間受付部をさらに備え、
   前記修正部は、前記修正対象の期間の教示データを修正する、請求項１記載の教示データ修正装置。
3. 前記実ロボットの動作中に、教示データの修正対象の領域を受け付ける領域受付部をさらに備え、
   前記修正部は、前記修正対象の領域の教示データを修正する、請求項１または請求項２記載の教示データ修正装置。
4. 前記画像生成部は、前記教示データの修正時には、前記仮想ロボットの３次元モデルを、前記実ロボットと異なる位置に表示するための表示画像を生成する、請求項１から請求項３のいずれか記載の教示データ修正装置。
5. 前記画像生成部は、前記教示データの修正後には、当該修正された教示データに応じて動作する前記仮想ロボットの３次元モデルを、前記実ロボットの位置に表示するための表示画像を生成する、請求項４記載の教示データ修正装置。

Images