JP2004213673A - 強化現実システム及び方法 - Google Patents

Abstract

【課題】強化現実システムを改善し、遠隔タスク又は処理を行う際に、遠隔操作者が実際に現場を経験しているかのような表示を可能にする。
【解決手段】ローカルサイトに可動に配置された画像取得のためのカメラ（１９）と、図形を生成し、生成された図形をカメラからの画像に登録することにより合成強化現実画像を提供する登録装置（９）と、ローカルサイトから物理的に分離した遠隔サイトに配置された、合成強化現実画像を含むビューを表示するための表示装置（５）と、ローカルサイトと遠隔サイト間の情報通信のための通信リンク（１）と、さらに、遠隔サイトにおける位置と方向を特定するための特定装置（７）とを備える強化現実システムを提供する。登録装置は、特定された位置と方向に基づいて生成された図形表示を画像に登録するのに適しており、カメラは、特定された位置と方向に基づいてその位置と方向が決まるように構成されている。
【選択図】図１

Description

本発明は、ローカルサイトに可動に配置された画像取得のためのカメラと、図形を生成し、該生成された図形をカメラからの画像に登録することにより合成強化現実画像を提供する登録装置と、ローカルサイトから物理的に分離した遠隔サイトに配置された、合成強化現実画像を含むビューを表示するための表示装置と、ローカルサイトと遠隔サイト間の情報通信のための通信リンクとを備える強化現実システムに関する。

本発明は、さらに、図形情報を現地で取得された画像に重ねたものを含む強化現実ビューを遠隔地で表示する方法に関する。

本発明によるシステム及び方法は、タスク又は処理を行う位置から操作者が物理的に離れた所にいる状況で行われる、遠隔タスク及び処理に適している。例えば、本発明は、遠隔ロボットプログラミング、遠隔メンテナンス及び検査、並びに遠隔共同作業に関して有用である。

本発明は、さらに、工業ロボットのプログラミングを遠隔地で行うための、本発明によるシステムの使用に関する。

強化現実（ＡＲ）は、現実世界の表示にコンピュータが生成した情報を重ねる周知の方法である。理想的な強化現実に基づくビジョンでは、ユーザは実写とコンピュータにより生成された図形との差異を認識することができず、よって現実世界環境の認識を向上させることができる。今日では、強化現実技術は多くの用途に使用されている。強化現実は、例えば、メディア（気象予報）や医薬（体内器官の視覚化）業界で、共同作業環境（バーチャル会議室）で、ならびにメンテナンス及びサービスなどの作業を行う産業で使用されている。

伝統的なビジョンに基づく強化現実システムでは、コンピュータによって生成された情報が現実のローカルシーンに付加される。コンピュータによって生成された図形を重ねて遠隔環境を視覚化することを、以降、遠隔強化現実と称する。遠隔強化現実は、危険な環境における調査、ならびにサービス及びサポートタスクなど、タスクを物理的に行う地点から専門家が離れている場合に有益である。

強化現実システムにおけるユーザ間の共同作業が、これまでに文献に取り上げられている。これは、複数の遠隔ユーザの画像を、現実環境に重ね合わせた図形として取り入れることにより行うことができる。このようなシステムでは、強化現実に提供された会議のメンバーの画像を見ることにより、会議参加者が互いを視覚化することができる。さらに、遠隔ユーザは同じ強化現実環境に示されたバーチャル情報により通信することができる。しかしながら、遠隔ユーザは、別の視点から見た、現場のシーンの異なるビューを見ることはできない。

特許文献１により、強化現実画像をコンピュータネットワークにリンクすることが公知である。該文献には、少なくとも１つはＡＲでなければならないが、それ以外はＡＲでもＡＲでなくともよい１又は複数のローカル局と、ＡＲでもＡＲでなくともよい１又は複数の遠隔局とを含む、インターネット上で動作する現実システムが開示されている。ローカル局と遠隔局は互いにネットワークで結ばれている。遠隔局は、データベース、高性能演算、及び遠隔局のユーザがローカルＡＲ局のユーザと相互に関連できる方法など、ローカルＡＲ局では利用できないリソースを提供できる。

開示されている１つの実施形態では、訓練生がローカルＡＲ局に位置し、遠隔局に位置するインストラクターが訓練のモニタと管理を行う。メンテナンスの実施形態では、操作者がローカルＡＲ局でタスクを実行し、情報と援助は遠隔ＡＲ局に置かれている。ローカルＡＲ局はローカル局のユーザが使用する頭部搭載ディスプレイと、該頭部搭載ディスプレイに対して固定の位置に配置されたカメラと、図形表示を生成するソフトウェアを備えたコンピュータと、生成された図形表示を画像と混合して合成強化現実画像を作成するビデオミキサとを備えている。

頭部搭載ディスプレイは合成強化現実画像を含むビューの表示に適するようにつくられている。頭部搭載ディスプレイに示されるビューは、ローカルＡＲ局のユーザの頭の位置と方向に基づいている。合成強化現実に関する情報は、ローカル局と遠隔局を結ぶネットワークを介して遠隔局に転送される。遠隔局は、転送された合成強化現実の表示に適した表示装置を備える。遠隔局に位置するユーザは、ローカル局で頭部搭載ディスプレイを装着したユーザとまったく同じビューを見ることができる。

特許文献２には、環境のコンピュータモデルを作成する環境モデラを備える、危険環境での処理のための強化現実メンテナンスシステムが開示されている。環境レンダラはそれぞれが１つの観察位置及び方向に対応する複数の画像を作成する。固定端で固定構造に取付けられた遠隔操作マニピュレータアームの先端には、ビデオカメラなどのユーティリティパッケージが取付けられている。アクチュエータはマニピュレータアームを環境内の所望の位置に移動させる。マニピュレータアームの位置と方向は、位置と方向の感知に適した装置により決定される。この情報はマニピュレータアームレンダラに渡され、マニピュレータアームレンダラは予め保存されたマニピュレータアームのモデルから、異なる複数の視点から見た画像を作成する。環境の計算されたビューを提供するための視点は、座標入力、又は予め作成された視点座標のリストから選択することにより操作者により決定される。それを環境レンダラに供給すると、環境レンダラは、選択された視点から見たときの、環境ジオミトリにより規定された形状に対応する画像を生成する。

マニピュレータアームの先端の位置と方向を組み合せることにより形成される、結果として得られた視点、及びユーティリティパッケージのオフセット移動により、ユーティリティパッケージの視点から見た環境のビューに対応する画像を環境レンダラは作成することができる。同様に、マニピュレータアームの先端の位置と方向はマニピュレータアームレンダラに供給される。マニピュレータアームレンダラは、環境レンダラが使用したものと同じ視点から見たマニピュレータアームの画像を生成する。ビデオミキサはマニピュレータアームの画像と環境の画像を重畳し、重畳された画像をモニタに表示する。これにより、操作者は、環境に対するマニピュレータアームの位置を視覚化することができる。

しかしながら、上述のシステムでは、遠隔操作者が、異なる視点からローカルシーンを見ることができない。

本発明は工業ロボットの遠隔制御に特に適している。塗装、研削及び研磨などのために高質のプログラムを生成するには、処理経験豊富な熟練したプログラマが必要である。これは、品質要件を満たすために処理に関する専門知識が重要である今日のプログラミングシステムの性質による。末端顧客の組織内にこの能力を築き、維持するには、時間、費用の両方が掛かる。遠隔地にいる専門家が複数の顧客のロボットプログラミングをサポート、又は実行すれば、費用を節減することができる。
米国特許出願公開第２００２−００１０７３４号 米国特許第５７４５３８７号

本発明の課題は、強化現実システムを改善し、遠隔操作者が遠隔タスク又は処理を行う際に、遠隔操作者が実際に現場を経験しているような表示を可能にすることである。

本発明の一態様では、冒頭に記載のシステムにより本発明の課題を解決する。当該システムは、遠隔サイトにおける位置と方向を特定するための特定装置をさらに備え、カメラは該特定された位置と方向に基づいて決定される位置と方向に配置されており、登録装置は該特定された位置と方向に基づいて生成された図形を画像に登録するように構成されていることを特徴とする。本明細書では、ローカルサイトは処理又はタスクが実行される位置を意味し、遠隔サイトは操作者が該処理又はタスクを行う位置を意味する。

本発明によるシステムにより、表示する視点を遠隔操作者が決定することができる。操作者は所望の視点に対応する位置と方向を特定し、該特定された位置と方向に基づいてカメラの位置と方向が調整され、該特定された位置と方向に基づいて図形が画像に登録される。本発明によるシステムにより、遠隔操作者は、ローカルサイトの環境を視覚化してコンピュータにより生成された複数の視点からの図形を重ねることができ、よって遠隔操作者は、ローカルサイトに仮想現実的に存在することができる。本発明の利点は、遠隔操作者がローカルシーンを複数の角度から見ることができ、バーチャル図形を重ね合わせることにより環境に対する認識を向上させることができることである。専門家はサービス及びサポートのためにローカルサイトまで移動しなくともよい。

本発明の１実施形態では、前記特定装置は、予め特定された固定の遠隔座標系に対する、遠隔サイトに位置する可動装置の位置と方向を決定するように構成された追随装置を備える。好適には、可動装置は操作者に装着されているか、操作者が携帯するものであり、よって操作者の位置と方向が表示されるビューを決定する。追随装置は独立した装置であるか、又は可動装置の一部である。追随装置は位置と方向を決定するために使用される任意の種類の従来型センサ又は従来技術でよい。好適には、前記可動装置は表示装置である。表示装置は手持ち型表示装置、又は頭部搭載型表示装置であることが好ましい。従って表示される視点は表示装置の位置と方向によって決まる。操作者が表示装置を携行する場合、操作者の実際の動きによりカメラの位置と方向、従って表示される視点が制御される。

本発明の好適な１実施形態では、当該システムは、ローカルサイトに位置するロボットをさらに備え、ロボットにはカメラが搭載されており、ロボットは、予め特定された固定のローカル座標系に対するその動きが、特定された位置と方向に基づいて決定されるように構成されている。好適には、ロボットの動きは可動装置の動きによって決定される。ユーザが可動装置を装着している場合、ロボットは操作者の動きに合わせて動く。本明細書では、ロボットは工業ロボットを意味する。ロボットは、マニピュレータと、マニピュレータの動きを制御する制御システムを備える。

本発明のさらなる実施形態では、当該システムは、図形表示を生成する図形生成器と、図形表示に基づいて図形を生成するように構成された登録装置を備える。図形表示は帯域幅をそれ程要さずに遠隔サイトとローカルサイト間で転送が容易であるため、まず図形表示を生成し、次いで図形表示に基づいて図形を生成することが有利である。

本発明のさらなる実施形態では、当該システムは、表示する図形に関連するデータをシステムに供給するための、遠隔サイトに位置する操作者入力手段を備える。表示すべき図形に関するデータを供給するための操作者入力手段を設けることにより、操作者は、バーチャル環境にバーチャル情報（注釈又は挿絵）を加えることができる。危険な、又は接近不可能な環境では、処理又は装置に対する特定の性質の検査を行うために、ロボットを導入する必要が生じることがある。これは、核放射線が存在する環境、深海、極端な温度条件下などに当てはまる。このような検査を行う専門家が遠隔地に位置する場合、遠隔強化システムにより、遠隔操作者に対し検査対象物の必要画像を供給することができる。本発明のこの実施形態は、遠隔操作者に対し実際の環境にバーチャル情報を付加する可能性を提供し、操作者のローカルシーンに対する認識を向上させる。例えば、遠隔ロボットプログラミングを行う際、バーチャル情報は、プログラムされたロボットパスと、ロボット処理の結果を示す処理関連情報を含む。遠隔検査のために、バーチャル情報は、実際の環境の温度又は放射線地図や、対象物又は構造の状況情報を含んでもよい。

本発明の好適な実施形態によれば、当該システムは、指示装置と、指示装置の位置を決定するための追随装置とをさらに備え、当該システムは指示装置の位置に基づいて指示部材が現在指し示す地点の図形表示を生成するように構成されている。好適には、指示装置は手持ち式である。このような指示装置は、例えば遠隔サイトにいる操作者がロボットパスを教示するのに使用される。さらなる実施形態では、システムは第２指示装置及び第２追随装置を具備し、該第２指示装置及び第２追随装置はローカルサイトに位置する操作者により使用される。

処理が実行されるローカルサイトにロボットプログラミングの技術を持つ職員がいないとき、又は処理の目的となる対象物のモデルが無い場合、ロボットプログラムの教示において指示装置は特に有益である。指示装置により、ロボットの所在地から遠隔して位置する処理専門家は、実際の目標対象物の画像に特定のタスクを実行することができる。指示装置を使用することにより、遠隔操作者は、仮想現実世界において地点を教示することによりロボットプログラミングタスクを実行することができ、教示された地点は図形表示により示される。遠隔操作者は頭部搭載型ディスプレイを装着することができ、該ディスプレイは、カメラから見た現実世界の図形表示にコンピュータにより生成された図形を重ねて写すことができる。コンピュータにより生成された図形は、例えば、指示装置、処理関連情報及びプログラムされたロボットパスを表す。指示装置はロボットパスのウェイポイントを特定するために使用され、操作者入力手段は処理関連情報をシステムに対して特定するために使用される。

本発明の１実施形態では、当該システムは、ローカルサイトにおける位置と方向を特定するための第２特定装置と、図形を生成し、生成された図形を、実際の環境又はローカルサイトの環境の画像に、第２特定装置により特定された位置と方向に基づいて登録する第２登録装置と、ローカルサイトの環境と該環境に投射された図形を含むビューを表示するように構成されたローカル表示装置とを備える。ローカルサイトの第２表示装置により、現場の操作者が遠隔地の操作者の動作を監督することができる。本発明のこの実施形態により、遠隔操作者とローカル操作者が、同時に、それぞれの視点から、同じコンピュータ生成図形が重ねられた同じ環境を見ることが可能である。同じ強化環境を共有することで、現場の操作者は遠隔操作者をサポートすることができる。遠隔操作者に示される視点は、遠隔操作者本人が決定した位置と方向（例えば操作者の手又は頭の位置）によって決定され、現場の操作者の視点はローカル操作者本人が決定した位置と方向により決定される。

本発明の１実施形態では、当該システムは、ローカルサイトに位置する第２可動装置を備え、第２特定装置は第２可動装置の位置と方向を決定する第２追随装置を備える。好適な実施形態では、第２可動装置はローカル表示装置である。ローカル表示装置は、例えば手持ち型の表示装置又は頭部搭載型ディスプレイである。これにより、実際の環境内での操作者の実際の動きをコンピュータ生成図形で説明することにより、遠隔操作者とローカル操作者間の共同作業が可能になる。システムのユーザ同士は共有するバーチャルな環境を通じて交流することができ、遠隔ユーザとローカルユーザの両方が視点を変えることができる。

本発明の１実施形態では、当該システムは、ローカルサイトに位置し、第２図形表示を生成する第２図形生成器をさらに備え、ローカル表示装置が第２図形表示を含むビューを表示するように構成されている。これにより、ローカル操作者が図形表示を生成し、表示されたビューに該図形を付加することができる。通信リンクは、ローカルサイトと遠隔サイトの間で生成された図形表示を通信するのに適した構成である。よって、ローカル操作者と遠隔操作者の両方が図形を修正でき、その一方で両方の操作者が異なる視点から同じ図形を見ることが可能である。図形又は合成強化現実画像全体ではなく、カメラからのビデオ信号と図形表示のみがローカルサイトと遠隔サイト間で転送されるため、通信帯域幅を削減することができる。

本発明の１実施形態では、当該システムは、第２可動装置に対して固定された位置に配置された、画像取得のための第２カメラと、第２カメラからの画像に生成された図形表示を登録し、合成強化現実画像を提供する第２登録装置を備え、ローカル表示装置は合成強化現実画像を含むビューを表示するように構成されている。本実施形態では、コンピュータ生成図形を現実世界の画像に融合させる。或いは、コンピュータ生成図形を操作者が装着する透過ガラスに表示する。生成された図形はガラスに投射され、よって操作者は現実世界と処理対象物に対する図形を見ることができる。

本発明の１実施形態では、遠隔表示装置は、遠隔サイトにおいて特定された位置と方向に基づく第１視角から見たビューを表示するように、ローカル表示装置は、ローカルサイトにおいて特定された位置と方向に基づく第２視角から見た、遠隔表示装置と同じビューを表示するように、それぞれ構成される。

本発明の１実施形態では、当該システムは、通信リンクを介してローカルサイトと遠隔サイトの間で音声を転送する手段を備える。これにより、遠隔操作者とローカル操作者は会話により通信することができる。好適には、前記通信手段は、遠隔サイト及びローカルサイトにマイク又はヘッドセットを備える。好適には、通信リンクはインターネットなどのネットワークである。

本発明の別の実施態様では、冒頭に記した方法により本発明の課題を解決する。当該方法は、ローカルサイトから物理的に離れている遠隔サイトにおいて位置と方向を特定する過程と、特定された位置と方向に従って、ローカルサイトに位置するカメラの位置決定及び方向付けを行う過程と、カメラから前記画像を取得する過程と、図形を生成する過程と、前記画像、前記図形、及び前記特定された位置と方向に基づいて合成強化現実画像を生成する過程と、合成強化現実画像を含むビューを表示する過程とを含む。

本発明のさらに別の実施態様は、コンピュータの内蔵メモリに直接ロードすることができるコンピュータプログラム製品であって、該製品がコンピュータ上で実行されると、本発明による方法の過程を行うためのソフトウェアコード部を含むコンピュータプログラム製品により本発明の目的を達成する。コンピュータプログラム製品は、コンピュータで読取可能な媒体、又はインターネットなどのネットワークを通じて提供される。

本発明のさらに別の実施態様は、プログラムを記録したコンピュータで読取可能な媒体であって、該プログラムがコンピュータ上で実行されると、コンピュータに本発明による方法の各過程を行わせるコンピュータで読取可能な媒体により本発明の目的を達成する。

本発明の１実施形態では、当該システムは、表示部材とカメラとを備える手持ち型の表示装置を備える。好適には、手持ち型表示装置は、ユーザがディスプレイを通して直接見ているかのような印象を持つように構成される。手持ち型表示装置は、ユーザが折に触れてコンピュータ生成情報を見なければならないときに有効である。

本発明により、タスク又は処理（例えばロボットプログラムの生成）を遠隔地から実行することが可能になる。遠隔ロボットプログラミングに使用した場合の本発明の利点は、末端消費者がロボットプログラミング能力を有する職員を雇用及び訓練する必要がないこと、及び共同作業環境にプログラミング専門家の集団を有することでロボットプログラミングの効率が向上することである。

本発明の複数の実施例、及び添付図面により、本発明を以下に詳述する。

図１には、本発明の実施例による強化現実システムが図示されている。当該システムは遠隔サイトに位置する部分と、ローカルサイトに位置する部分とを備える。ローカル部と遠隔部は通信リンク１により相互に接続されている。１以上の遠隔操作者３は遠隔サイトに位置している。遠隔部は、図形表示装置５（例えば頭部搭載表示装置）と、固定の遠隔座標系（ｘＲ，ｙＲ，ｚＲ）に対する表示装置５の位置と方向を決定する追随装置７と、図形表示と強化現実画像を生成するのに必要なソフトウェアを備えるコンピュータ９と、コンピュータ９がローカルサイトと通信するための通信装置１１とを備えている。好適には、追随装置７の位置と方向は表示装置５に対して固定されている。コンピュータ９は、例えば装着可能なコンピュータである。携帯情報端末（ＰＤＡ）スクリーン等の異なる種類の手持ち型ディスプレイも使用可能である。

遠隔操作者３はまた、操作者が遠隔サイトの位置と方向を指し示すことを可能にするポンティング装置１３を有する。指示装置１３は、指示装置１３の位置と方向を決定するための追随装置を備える。指示装置追随装置とディスプレイ追随装置から得られる位置と方向は、遠隔座標系（ｘＲ，ｙＲ，ｚＲ）に関連付けられており、該遠隔座標系はローカルサイトのローカル座標系（ｘＬ，ｙＬ，ｚＬ）に対応している。１変形例では、指示装置は、プッシュボタン等、操作者とシステムを相互に交流するのに適した複数のインタラクション手段を備える。該インタラクション手段は、例えば、処理に関する情報をシステムに入力するのに適している。或いは、操作者はキーボード又はその他任意の既知の入力手段により情報をシステムに供給する。

ディスプレイ追随装置７及び指示装置追随装置は、画像認識、加速度計、慣性センサ、ジャイロ、磁気追随装置、超音波、レーザ技術、及び全地球位置決定システム（ＧＰＳ）等の、位置と方向を決定するための任意の従来技術に基づいている。

処理又は検査の対象物１５がローカルサイトに位置している。システムのローカル部は、１又は複数のロボットマニピュレータ１７と、ロボットアームの一端に搭載された、対象物１５の立体又はモノスコープのビデオストリームを取得するためのカメラ装置１９を備えている。ロボットに搭載されたカメラの位置と方向を決定するための追随装置を配置してもよい。或いは、ロボット制御システムからの情報に基づいてカメラの位置と方向を計算するシステムを設置してもよい。ロボットコントローラ２０がロボットマニピュレータに接続されており、それによりリアルタイムで固定のローカル座標系（ｘＬ，ｙＬ，ｚＬ）に対して特定された位置と方向に従ってロボットアームを動かすことができる。以降、位置と方向のことをポーズと称する。ローカル部は、遠隔部通信装置１１と通信する通信装置２２をさらに備える。

システムを所望の目的に使用するために、固定の遠隔座標系（ｘＲ，ｙＲ，ｚＲ）及びローカル座標系（ｘＬ，ｙＬ，ｚＬ）を予め特定する必要がある。遠隔サイトのポーズ（７，１３）は遠隔座標系に関連付けられており、ローカルサイトにおいて指定されたポーズはローカル座標系に関連付けられている。よって、遠隔操作者３が遠隔座標系に対してポーズを指定したとき、ローカル座標系の規定によりこの地点のポーズがローカル環境において規定される。

あらゆる種類のカメラを使用できるが、位置と方向に精度を求めると、カメラの種類は限定される。例えば、ウェブカメラ、ビデオカメラ、又はＣＣＤカメラを使用することができる。別の実施形態では、立体画像を提供できるように配置された１以上（例えば２）のカメラを使用することができる。十分な自由度（好ましくは自由度５）を有する任意の既知の工業ロボットを使用できる。工業ロボットは互いに対して可動である複数のアームを有するマニピュレータと、アームの動きを制御する制御システムを備えている。

本発明の１実施例では、ローカル部に操作者がいなくてもシステムを操作することができる。本発明の別の実施例では、ローカル操作者が行うのは遠隔操作者のサポートである。ローカル部に操作者２４が存在するとき、ローカル部は図形表示装置２６（例えば頭部搭載型ディスプレイ）と、環境と対象物１５の画像ストリームを取得するための、表示装置に搭載されたカメラ２８と、ローカル座標系において表示装置２６とカメラ２８の位置と方向を決定する追随装置２７と、カメラ２８からのビデオストリームと生成された図形表示とに基づいて、図形表示と強化現実画像を生成するために必要なソフトウェアを含むコンピュータ３２を備える。

カメラ２８は表示装置２６に対して固定の位置に搭載されている。好適には、表示装置は、カメラビューの軸に沿ってカメラの画像面内に配置される。別の実施例では、表示装置２６は光学透過ディスプレイであり、ローカル操作者２４は表示装置によりカメラストリーム無しで直接現実世界環境と対象物を見るため、カメラは不要である。ローカル部は手持ち型指示装置３４と、ローカル座標系に対する該指示装置の位置と方向を決定する追随装置と、システムとのインタラクション手段とをさらに備える。好適には、コンピュータ３２は装着可能なコンピュータである。

遠隔操作者３は表示装置５を装着しており、該操作者の動きは追随装置７により感知される。表示装置５と装着可能コンピュータ９間の通信は、有線又は無線リンクを介して行われる。コンピュータ９は、カメラ１９からのビデオストリームと生成された図形表示に基づいて図形表示と強化現実画像を生成するのに必要なソフトウェアを含む。コンピュータ９はまた、所望のタスク又は処理（例えばロボットプログラムの生成）を行うためのソフトウェアを含む。最後に、コンピュータ９は以前に保存した情報を保存及び復元するための記憶媒体を含む。

指示装置１３からコンピュータ９への情報通信は、有線又は無線リンクを介して行われる。追随システムの種類によって、指示装置１３のポーズは、指示装置自体から得られるか、又は外部追随装置から得られる。通信装置１１は、コンピュータ９からローカル通信装置２２への通信を可能にするのに必要なソフトウェアとハードウェアを含む。コンピュータ９から通信装置１１への通信は、有線又は無線通信リンクにより提供される。遠隔通信装置１１とローカル通信装置２２間の通信は、インターネット又はその他適当な通信リンクを介して行うことができる。

カメラ１９がロボット１７の先端に搭載されており、環境及び対象物１５の画像を遠隔操作者３に転送する。ロボットコントローラ２０は遠隔部のディスプレイ追随装置７から連続的に更新されるポーズを受信し、それにより該カメラは遠隔操作者３のポーズに従う位置へと移動する。指示装置３４と表示装置２６の位置はローカル部座標系に関連付けられる。ローカル操作者２４は表示装置２６を装着し、該表示装置はローカル環境と対象物１５の強化現実ビューを操作者に提供する。表示装置２６がビデオ透過型である場合、カメラ２８を使用してローカル環境の画像を取得することができる。表示装置２６が光学透過型である場合、カメラは不要である。

ローカル操作者２４は指示装置３４を使用してポーズを特定し、共有バーチャル環境とインタラクションさせる。指示装置３４の位置はローカル座標系上で追随される。コンピュータ３２はローカル強化現実ビューを生成するのに必要なソフトウェアを含む。コンピュータ３２は、遠隔操作者が見た、処理又はタスクに関連した図形を生成する。コンピュータ３２はまた、遠隔部又は他のローカル部から通信リンク１を介して転送された仮想現実世界の図形表示を含む図形装置を含む。従って、ローカルサイトと遠隔サイト間で、ビデオフォーマットの図形を転送する必要が無く、これにより通信帯域幅要件を低減することができる。コンピュータ３２は、バーチャル図形表示、或いは、遠隔又はローカル操作者により与えられた処理又はタスク関連情報等の、処理関連情報を保存するために使用される記憶装置をさらに備える。ローカルサイトはまた、同様にシステムとインタラクションするさらに多くのローカル操作者を含むことができる。

図２は、本発明の１実施例による強化現実システムのブロック図である。遠隔サイトに位置するシステムの遠隔部は、ロボットに搭載されたローカルカメラ１９から画像のビデオストリームを受信する。遠隔操作者３は指示及びインタラクション装置１３を介してシステムと交流することができる。追随装置は指示装置のポーズを３Ｄで追随することを可能にし、また遠隔座標系を特定するためにも使用できる。ロボットをプログラミングする際に、ロボットパス上のウェイポイントの指定、及び処理関連情報の特定に指示装置１３を使用することが可能であり、一方遠隔検査においては、指示装置を使用して検査するべき対象物又は構造にバーチャル情報を付加することができる。

指示装置１３からの出力と、操作者がシステムに供給した情報は、適用装置３６に転送される。適用装置３６は、ロボットプログラムの生成や遠隔検査の支援といった所望の処理又はタスクを実行するために必要なソフトウェアを含む。図形装置３７は、適用装置３６に示された視覚情報の３Ｄ図形表示を生成する図形生成器を備える。図形装置３７は、視覚化される複数の３Ｄ図形要素の仕様を有する。適用装置３６からの図形の表示を保持することに加え、図形装置３７はまた、他の遠隔部又はローカル部から得られたバーチャル図形表示全体を含む。全図形要素の位置は遠隔座標系に対して特定される。ロボットプログラミングの分野では、関連する視覚情報は、操作者が指定したウェイポイント、実際のロボットパス、及びタスクに特定の情報である。加えて、他の操作者が指し示すものの視覚的表示を操作者が得ることができるように、指示装置のポーズが提供される。生成された図形表示は登録装置３８に転送される。記憶装置３９により、適用作業に関連する情報の保存及びロードが可能である。

ディスプレイ追随装置７は、表示装置５のポーズに関する更新データを連続的に伝達する。ポーズデータは通信装置１１に転送され、さらにロボットコントローラ装置２０に転送される。ディスプレイ追随装置７からのポーズデータは登録装置３８にも転送される。登録装置３８は図形を生成し、また図形装置３７の図形表示に基づいてカメラ装置１９から得た画像に図形を登録し、よって合成強化現実画像を提供する。登録装置３８はディスプレイ追随装置７から得たポーズデータを使用してコンピュータ生成図形を現実世界画像に重ねる。登録が正確に行われると、コンピュータ生成図形が現実世界のシーンに視覚的に添付される。組み合わされた画像は表示装置５に表示される。

ローカル通信装置２２は、遠隔座標系上の遠隔表示装置５のポーズに関する情報を連続的に受信し、このデータをロボットコントローラ装置２０に供給する。ロボットコントローラ装置２０は、ローカル座標系上の同じポーズにロボットに搭載されたカメラ１９を向ける。カメラ１９は、シーンの画像を連続的に取得し、それは通信装置２２に、さらに登録装置３８に返送される。

図３は、ローカルサイトに所在するローカル部の別の実施例を示す。本実施例は、遠隔操作者とローカル操作者の共同作業について示されたものである。通信装置２２は、遠隔操作者が特定した処理に関する特定の情報、遠隔表示装置５の現在のポーズ、及び遠隔指示装置１３の現在のポーズと、遠隔図形装置３７において生成された図形表示を受信する。受信された図形表示はローカルサーバ装置４０に転送される。表示装置２６に取り付けられたカメラ装置２８は、ローカル現現実世界画像を生成する。カメラ２８と表示装置２６のポーズは、ローカル座標系に従って決定され、現現実世界シーンに図形モジュール４４から生成されたコンピュータ生成図形を重ね合わせる登録装置４２に転送される。図形モジュール４４は、共有されるバーチャル環境に提供された図形要素の表示であるバーチャル図形情報を遠隔サイトから受信し、表示する。

ローカル操作者は、指示及びインタラクション装置３４を使用してシステムと交流する。指示装置のポーズは、共有されるバーチャル環境において可視であるように、図形情報と共に提供される。ローカル操作者に関する図形表示は、通信装置２２によって他の操作者に転送される。指示及びインタラクション装置３４からの情報は、指示装置の図形表示を生成するローカル図形モジュール４４に転送される。この図形表示は、ローカル登録装置４２へ、サーバ装置４０を介して通信装置２２へ、及び遠隔通信装置１１を介して遠隔図形装置３７へと転送される。遠隔図形モジュールは、受信した図形表示を、遠隔部の情報に基づいて生成された図形表示に付加する。このようにして、遠隔操作者とローカル操作者は異なる視点から見た同一のビューを見ることができる。

サーバ装置４０は、通信装置２２を介して遠隔サイトからデータを受信する。さらに、サーバ装置４０はローカル座標系に関する情報を保持している。サーバ装置４０と通信する記憶装置４６は、システム情報（例えば、適用作業関連情報、図形表示、及びローカル座標系等のシステム構成パラメータ）を記憶するために使用される。１又は複数のローカル操作者を、サーバ装置４０に従属させることができる。

当該システムは、通信リンクを介して、遠隔操作者とローカル操作者の間で双方向に音声を転送することができるように構成されている。ローカル操作者と遠隔操作者の両方にマイクロフォンとヘッドセットを装備することにより、操作者が音声によって互いに通信することができる。

後述では、本発明による強化現実システムの使用法について説明する。ローカル操作者及び遠隔操作者のいずれもセッションを開始することができる。或いは、セッションの開始は予め設定される。まず、ローカル座標系を特定しなければならない。これを行う１つの方法に６点較正法があり、該方法では、操作者が座標系の位置と方向を規定する６点を特定する。ローカル追随装置によって与えられる全てのポーズ情報をこのローカル座標系に関連付ける。このローカル座標系に関連付けられたロボットの位置と方向も認知される必要がある。このように、遠隔地から特定された点もロボット座標系にマッピングすることができる。

遠隔操作者は表示装置を装着することによりシステムの操作を開始する。遠隔操作者は、次いで、ローカル座標系に対応する遠隔座標系を特定しなければならない。遠隔座標系は、ローカル座標系と同様にして特定することができる。遠隔追随装置により提供された全ポーズ情報を遠隔座標系に関連付ける。ローカルサイトでは、目標対象物がローカル座標系における所望の位置に配置される。

遠隔操作者がシステムの使用を開始すると、遠隔表示装置の動きがディスプレイ追随装置によって捕らえられ、通信リンクによりローカルアプリケーションサーバに転送される。次いで、ローカル通信サーバは、ロボットコントローラに対し、遠隔ディスプレイ追随装置により特定されたポーズにカメラを移動しろという指令を送る。ここで、ロボット搭載型カメラの位置は、遠隔座標系において追随装置が位置するのと同じ、ローカル座標系上のポーズへと移動する。

遠隔指示装置のポーズは遠隔座標系上で追随される。遠隔指示装置に関するポーズ情報はローカル通信装置に転送される。ローカル操作者が存在する場合、ローカル操作者のローカル表示装置上にコンピュータ生成図形を提供するために、遠隔操作者の指示装置の位置が使用される。よって、ローカル操作者は、実際のシーンに重ね合わせたバーチャル３Ｄ図形により、遠隔操作者の指示装置の動きをリアルタイムで視覚化することができる。

この段階において遠隔ユーザは所望の処理（例えばロボットプログラムの生成）を実行することができる。特定のタスクを実行する間、処理関連情報はコンピュータ生成３Ｄ図形と共に遠隔表示装置上に視覚化される。図形にローカルカメラからの現現実世界表示を重ね、遠隔座標系に対して固定する。これにより、目標対象物の画像にコンピュータ生成図形が付加されて、遠隔ユーザは目標対象物の周囲を仮想現実的に動くことができる。ローカルロボット搭載型カメラが遠隔操作者の動きに従って動くように、遠隔操作者の動きが捉えられ、ローカルロボット搭載型カメラに転送される。

遠隔ユーザが何らかのオフラインタスク（例えばロボットパスプログラムの生成）を実行する場合、ローカル操作者はまた、３Ｄコンピュータ生成図形がローカル表示装置に表示されることにより、遠隔操作者と同様に処理結果を視覚化することができる。処理の図形はローカル操作者から見た現現実世界表示に登録され、重ねられるので、ローカル操作者が新しい位置に移動すると、コンピュータにより生成された処理の図形がローカル座標系に固定されて視覚化される。

ローカル操作者が指示及びインタラクション装置も装着している場合、ローカル指示装置の位置はローカル操作者及び遠隔操作者に対して視覚化される。ローカル指示装置の位置がローカル座標系上で追随される。ローカル指示装置に関するポーズ情報が、ローカル及び遠隔通信装置を介して遠隔サイトに転送される。ローカル操作者の指示装置のポーズ情報は、遠隔表示装置及びローカル表示装置にコンピュータ生成図形を表示するために使用される。このようにして、遠隔操作者はローカル操作者の指示装置の動きを視覚化することができる。さらに多くの遠隔操作者がいる場合も、各遠隔操作者は他の遠隔操作者の指示装置の動きを視覚化することができる。

本発明による方法を実行するために使用されるソフトウェアは、当業者に既知のソフトウェアに部分的に基づいている。例えば、指示部材の位置と方向をＡＲＴｏｏｌＫｉｔで生成することができる。ＡＲＴｏｏｌＫｉｔはワシントン大学と広島大学によって開発されたもので、正確なコンピュータの視覚に基づく追随技術を使用した強化現実アプリケーションの構築を可能にする公開ソフトウェアライブラリである。適用業務インタフェイスのために、Ｏｐｅｎ ＧＬというソフトウェアを使用することができる。Ｏｐｅｎ ＧＬは、モデル修正、色、光及び陰影機能を含む２Ｄ及び３Ｄ機能のライブラリを提供している。マイクロソフト Ｖｉｓｉｏｎ ＳＤＫは、画像操作とコンピュータ上での分析を実行する書き込みプログラムのライブラリである。強化現実ソフトウェアには、点と線等の描画図形のアルゴリズム、異なる座標系間での位置と方向の転送、位置と方向のシーケンスリストの抽出及び生成、処理関連情報の獲得、並びに、異なる幅と方向の塗装を表す塗り分け点及び線等の、描画における先端図形が含まれる。

本発明は開示された実施例に限定されるものではなく、請求の範囲に規定される範囲内で変更及び修正可能である。例えば、１変形例では、遠隔サイトに、複数のカメラと、複数の表示装置と、複数の特定装置と、複数の図形生成器と、複数の登録装置を設置し、２以上の遠隔操作者が、同時に、ローカルサイトの環境と、それに重ねられた図形を自身のビューから見ることを可能にする。別の変形実施例では、ローカルサイトにも複数のカメラと、複数の表示装置と、複数の特定装置と、複数の図形生成器と、複数の登録装置を設置し、２以上のローカル操作者が、同時に、ローカルサイトの環境と、それに重ねられた図形を、複数の視点から見ることを可能にする。

１変形例では、操作者が位置と方向をシステムに供給する。例えば、操作者は１以上のジョイスティックにより位置と方向を特定する。この実施例では、表示装置は固定のコンピュータスクリーンである。

１実施例では、システムは手持ち型強化現実表示装置を備える。操作者は、コンピュータ生成図形を重ねた現現実世界を表示する手持ち型表示装置を携行する。コンピュータ生成図形は、プログラムされたロボットパス、処理特定情報、目標点及び作業等の処理関連情報を表示する。動きに基づく認識システムにより操作者の手の動きを使用するか、又は指示及びインタラクション装置を使用して、処理関連情報をシステムに対して特定する。

コンピュータ生成情報は、ロボットプログラミングのための操作者による入力を表示する。操作者は手持ち型ＡＲディスプレイを利用して、新規ロボットプログラムを作成しながら自身の作業の結果を観察する。手持ち型ディスプレイは、ディスプレイと同じ視界が内蔵されたカメラを有する。該カメラは現実世界のライブビデオを取得する。システムは、操作者の入力を表示するコンピュータ生成図形に該ライブビデオを組み合わせ、且つ同期させ、それを手持ち型ＡＲディスプレイ上に表示する。操作者は環境内で手持ち型ＡＲディスプレイを自由に動かすことができるので、異なる視点から見た対象物を含むローカル環境にコンピュータ生成図形を重ねて見ることができる。操作者は、手持ち型ＡＲディスプレイを介してその反対側を「覗き込む」ことで、実際の対象物に対して生成されたロボットプログラムを見ることができる。

本発明によるシステムを図４に示す。当該システムは、手持ち型インタラクション／指示装置１を備えており、該インタラクション／指示装置には、該インタラクション／指示装置の位置と方向を絶対座標系６０上で決定するための追随システムが取り付けられている。或いは、当該システムは、絶対座標系において手又は指の、位置と方向を認識及び決定するための認識システムを有する、動きに基づく認識システムを備える。システムは、手持ち型表示装置６２（例えば超小型ＰＣ又はＰＤＡ）をさらに備える。表示装置は表示部材６４と、該表示装置６４に搭載又は内蔵された、環境の画像ストリームを取得するためのカメラ８とを備える。カメラ８は表示装置６４に対して固定の位置に設置される。表示装置は、カメラのビュー軸に沿って、カメラの画像面内に配置される。

当該システムは、表示装置の位置と方向を決定するための追随システム６６をさらに備える。好ましくは、追随システムは表示装置の上に搭載される。システムはまた、現実世界表示に重ね合わせたコンピュータ生成図形情報の強化現実表示を生成するためのシステムを備える。操作者２の動きはディスプレイ追随システム６６によって感知される。

装着可能なコンピュータ６８は、カメラ８からのビデオストリームとコンピュータ生成図形とに基づいて強化現実環境を生成するのに必要なソフトウェアを含む。装着可能なコンピュータ６８はまた、所望のタスク又は処理（例えばロボットプログラムの生成と到達可能性の確認）を実行するのに必要なソフトウェアを含む。さらに、装着可能コンピュータは、強化現実ビューを提供する図形を生成する。最後に、装着可能コンピュータは、以前に保存した情報を保存及び復元するための記憶媒体を含む。インタラクション／指示装置１から装着可能コンピュータ６８への情報の通信は、有線又は無線リンクを介して行われる。操作者は、表示装置６２を携行し、それにより環境の強化現実ビューを見る。表示装置は「ビデオ透過」型である。

ビデオ透過は、手持ち型ＡＲ表示装置に強化現実世界を生成及び表示するために使用される。表示装置に内蔵されたカメラは現実世界のライブビデオを取得するために使用される。カメラはディスプレイに対し、ユーザが表示装置を「介して」反対側を覗き込んだときに見るのと同じビューを提供するような位置に配置される。コンピュータ生成図形を組み合わせたライブビデオストリームはリアルタイムで表示装置に表示される。追加的な機能には、実際のカメラの焦点距離の出力によるカメラのズーミングが含まれる。これにより、システムは倍率を変更しながらコンピュータ生成図形を正確に表示することができる。追随システムに視覚に基づく追随を用いる場合、視覚に基づく追随にカメラを使用することもできる。

本発明の実施例による強化現実システムを示す。 本発明の実施例による、ローカル部と遠隔部を含む強化現実システムのブロック図である。 本発明の別の実施例による強化現実システムのローカル部のブロック図である。 手持ち型表示装置を備えた本発明の実施例を示す。

符号の説明

１ 通信リンク
３ 遠隔操作者
５ 図形表示装置
７ 追随装置
９ コンピュータ
１１ 遠隔部通信装置
１３ 指示装置
１５ 対象物
１７ マニピュレータ
１９ カメラ
２０ ロボットコントローラ
２２ ローカル通信装置
２４ ローカル操作者
２６ 表示装置
２７ 追随装置
２８ カメラ
３２ コンピュータ
３４ 手持ち型指示装置

Claims (33)

1. − ローカルサイトに可動に配置された画像取得のためのカメラ（１９）と、
   − 図形を生成し、該生成された図形をカメラからの画像に登録することにより合成強化現実画像を提供する登録装置（３８）と、
   − ローカルサイトから物理的に分離した遠隔サイトに配置された、合成強化現実画像を含むビューを表示するための表示装置（５）と、
   − ローカルサイトと遠隔サイト間の情報通信のための通信リンク（１）と
   を備え、
   遠隔サイトにおける位置と方向を特定するための特定装置（７）をさらに備えており、カメラの位置と方向が該特定された位置と方向に基づいて決定され、前記登録装置が該特定された位置と方向に基づいて生成された図形を画像に登録するように構成されていることを特徴とする強化現実システム。
2. 前記特定装置が遠隔サイトに位置する可動装置（５）の位置と方向を決定するように構成された追随装置（７）を備え、前記登録装置（３８）が可動装置の位置と方向に基づいて生成された図形を画像に登録するように構成されており、及びカメラ（１９）の位置と方向が可動装置の位置と方向に基づいて決定されることを特徴とする、請求項１に記載のシステム。
3. 可動装置が表示装置（５）である請求項２に記載のシステム。
4. ローカルサイトに位置するロボット（１７，２０）をさらに備え、該ロボットがカメラを搭載し、ロボットの動きが前記特定された位置と方向に基づいて決定されることを特徴とする、請求項１ないし３のいずれか１項に記載のシステム。
5. 図形表示を生成する図形生成器（３７）をさらに備え、前記登録装置（３８）が該図形表示に基づいて図形を生成するように構成されていることを特徴とする、請求項１ないし４のいずれか１項に記載のシステム。
6. 表示する図形に関連するデータをシステムに供給するための、遠隔サイトに位置する操作者入力手段（１３）をさらに備えており、システムは該データに基づいて図形を生成するように構成されていることを特徴とする、請求項１ないし５のいずれか１項に記載のシステム。
7. 前記操作者入力手段が、指示装置（１３）と、該指示装置の位置を決定するための追随装置とを備えており、システムは指示装置の位置に基づいて指示部材が現在指し示している地点の図形表示を生成するように構成されていることを特徴とする、請求項６に記載のシステム。
8. ローカルサイトにおける位置と方向を特定するための第２特定装置（２７）と、図形を生成し、該生成された図形を、実際の環境又はローカルサイトの環境の画像に、第２特定装置（２７）により特定された位置と方向に基づいて登録する第２登録装置（４２）と、ローカルサイトの環境と、該環境に投射される前記生成された図形とを含むビューを表示するように構成されたローカル表示装置（２６）とを備えることを特徴とする、請求項１ないし７のいずれか１項に記載のシステム。
9. ローカルサイトに位置する第２可動装置（２６）を備えており、第２特定装置が、該第２可動装置の位置と方向を決定する第２追随装置（２７）を備えることを特徴とする、請求項８に記載のシステム。
10. 前記第２可動装置がローカル表示装置（２６）であることを特徴とする、請求項９に記載のシステム。
11. 第２可動装置（２６）に対して固定に配置された、画像取得のための第２カメラ（２８）を備えており、第２登録装置（４２）が、生成された図形を第２カメラ（２８）からの画像に登録することにより合成強化現実画像を提供するように構成され、ローカル表示装置が合成強化現実画像を含むビューを表示するように構成されていることを特徴とする、請求項９又は１０に記載のシステム。
12. 遠隔表示装置（５）は、前記第１特定装置（７）から受信した位置と方向に基づく第１視角から見たビューを表示するように、ローカル表示装置（２６）は、前記第２特定装置（２７）から受信した位置と方向に基づく第２視角から見た、遠隔表示装置（５）と同じビューを表示するように、それぞれ構成されていることを特徴とする、請求項８ないし１１のいずれか１項に記載のシステム。
13. 通信リンクを介し、遠隔サイトとローカルサイト間で音声を転送する手段を備えることを特徴とする、請求項１ないし１２のいずれか１項に記載のシステム。
14. 通信リンクがネットワークであることを特徴とする、請求項１ないし１３のいずれか１項に記載のシステム。
15. − ローカルサイトから物理的に離れている遠隔サイトにおいて位置と方向を特定する過程と、
    − 該特定された位置と方向に従って、ローカルサイトに位置するカメラ（１９）の位置決定及び方向付けを行う過程と、
    − 該カメラから画像を取得する過程と、
    − 図形を生成する過程と、
    − 前記画像、前記図形、及び前記特定された位置と方向に基づいて合成強化現実画像を生成する過程と、
    − 合成強化現実画像を含むビューを表示する過程と
    を含む、ローカルサイトで取得した画像に図形情報を重ねたものを含む強化現実ビューを遠隔地で表示する方法。
16. 前記位置と方向を特定する過程が、遠隔サイトに位置する可動装置（５）の位置と方向を決定することを含み、カメラの位置と方向を可動装置（５）の位置と方向に基づいて決定する、請求項１５に記載の方法。
17. 可動装置が遠隔表示装置（５）であり、前記合成強化現実画像を含むビューを該遠隔表示装置に表示する、請求項１６に記載の方法。
18. ロボット（１７）の動きを制御することと、可動装置（５）の位置と方向に従って該ロボットにカメラ（１９）を搭載することとを含む、請求項１５ないし１７のいずれか１項に記載の方法。
19. 表示するべき図形に関するデータを取得する過程と、該データに基づいて図形を生成する過程とを含む、請求項１５ないし１８のいずれか１項に記載の方法。
20. 指示装置（１３）の位置に関する情報を受信する過程と、該指示装置（１３）の位置に基づいて指示部材が現在指し示している地点を表す図形を生成する過程とを含む、請求項１５ないし１９のいずれか１項に記載の方法。
21. ローカルサイトにおける位置と方向を特定する過程と、ローカルサイトの環境と併せて、ローカルサイトにおいて特定された位置と方向に基づいて該環境に投影された状態で、生成された図形を表示する過程とを含む、請求項１５ないし２０のいずれか１項に記載の方法。
22. ローカルサイトにおける位置と方向を特定する過程が、ローカルサイトに位置する前記第２可動装置（２６）の位置と方向を決定する過程を含む、請求項２１に記載の方法。
23. 第２可動装置がローカル表示装置（２６）であり、ローカルサイトの環境と図形とを含む前記第２ビューを該ローカル表示装置に表示する、請求項２２に記載の方法。
24. 第２可動装置（２６）に対して固定に配置した第２カメラ（２８）から画像を取得する過程と、該第２カメラ（２８）からの画像に生成された図形を登録することにより合成強化現実画像を提供する過程と、該合成強化現実画像を含むビューをローカル表示装置（２６）に表示する過程とを含む、請求項２２又は２３に記載の方法。
25. 第２図形を生成する過程と、ローカルサイトの環境と、特定した位置と方向に基づいて該環境に第２図形を投射したものとを含む第２ビューを表示する過程とを含む、請求項２１ないし２４のいずれか１項に記載の方法。
26. ローカル図形表示を生成する過程と、遠隔図形表示を生成する過程と、ローカル及び遠隔図形表示をローカルサイトと遠隔サイト間で転送する過程と、ローカル及び遠隔図形表示に基づいて前記第１図形を生成する過程と、ローカル及び遠隔図形表示に基づいて前記第２図形を生成する過程とを含む、請求項２５に記載の方法。
27. 遠隔サイトに表示するビューには、ローカルサイトの環境に、遠隔サイトにおいて特定した位置と方向に基づく視角から見た図形を重ねたものを含め、ローカルサイトに表示するビューには、ローカルサイトの環境には、ローカルサイトにおいて特定した位置と方向に基づく視角から見た図形を重ねたものを含める、請求項２１ないし２６に記載の方法。
28. コンピュータの内蔵メモリに直接ロードすることができるコンピュータプログラム製品であって、該製品がコンピュータ上で実行されると、請求項１５ないし２７のいずれか１項に記載の過程を行うためのソフトウェアコード部を含むコンピュータプログラム製品。
29. プログラムを記録したコンピュータで読取可能な媒体であって、該プログラムがコンピュータ上で実行されると、請求項１５ないし２７のいずれか１項に記載の過程を行わせるコンピュータで読取可能な媒体。
30. 請求項１ないし１４のいずれか１項に記載のシステムを、工業ロボットの遠隔プログラミングに使用する方法。
31. 表示部材（６４）とカメラ（８）を備える手持ち型表示装置（６２）を備えることを特徴とする、請求項１１ないし１４のいずれか１項に記載のシステム。
32. 手持ち型表示装置は、ユーザがディスプレイを通して直接見ているかのような印象を持つように構成されることを特徴とする、請求項３１に記載のシステム。
33. 請求項１ないし１３のいずれか１項に記載のシステムを塗装に使用する方法。

Images