JP2020026028A - データ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システム - Google Patents

Abstract

【課題】操作者が操作する操作端末とロボットとの間の通信遅延が操作者の操作に与える影響を抑制する。【解決手段】データ生成装置は、表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するためのデータ生成装置であって、表示器には、実作業空間をモデル化した作業空間モデルが動画像として表示され、作業空間モデルは、実ロボットをモデル化したロボットモデルと、実ロボットの周辺にある所定の周辺物をモデル化した周辺物モデルとを含み、ロボットモデルは、操作器に対する操作者の操作に応じて動作するように作成され、データ生成装置は、周辺物の状態を示す状態情報を取得する状態情報取得部と、状態情報に基づき、現時点より所定時間分だけ後の周辺物の状態を予測するとともに、予測した結果を、表示器に表示される周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測部と、を備える。【選択図】図７

Description

本発明は、操作者がネットワークを通じて遠隔地のロボットを遠隔操作するシステムにおけるデータ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システムに関する。

従来、操作者がネットワークを通じて遠隔地のロボットを遠隔操作するシステムが知られている。この種のシステムでは、操作者が操作する操作装置とロボットとの間で通信遅延が生じる虞がある。例えば特許文献１には、スレーブ装置とマスタ装置との間の通信遅延を把握することができる遠隔操作システムが開示されている。

特許文献１に開示された遠隔操作システムでは、マスタ装置とスレーブ装置とを備えている。スレーブ装置は、マスタ装置から送られた操作者の操作に対応する操作情報に従って動作するスレーブロボットを備える。スレーブロボットは、自身の作業環境を撮像する撮像機器を有しており、スレーブ装置は、作業環境を逐次撮影し、撮影した実画像をマスタ装置に送信する。マスタ装置は、スレーブロボットに送られる操作情報に基づいて動作シミュレーションを行うシミュレータを備えており、スレーブ装置から送られた実画像と動作シミュレーションにより得られたシミュレーション画像とを合成することにより表示画像を生成する。表示画像における実画像とシミュレーション画像の合成の割合は、マスタ装置とスレーブ装置の間の通信遅延に応じて変えている。具体的には、通信遅延が大きい場合は、シミュレーション画像の割合を大きくして表示画像が生成される。実画像が、スレーブロボットの状況と共に作業環境の背景等についても映りこんだ画像であるのに対して、シミュレーション画像は、スレーブロボットの状況のみを表示した画像である。このため、操作者が、表示画像における例えば作業環境の背景が色濃く映っているか等から通信遅延がどの程度生じているかを容易に把握することを可能にしている。

特開２０１５−４７６６６号公報

しかしながら、特許文献１のシステムでは、操作者は、実画像とシミュレーション画像の合成割合から通信遅延の程度を判断する必要があり、また、通信遅延が大きいと判断した場合には、マスタ装置へ与える操作量を減らすなどの対応を適宜とる必要がある。このため、上述のシステムでは、操作者は、ロボットの操作以外に通信遅延に伴う状況判断を行う必要があり、操作者がロボットの操作に集中できない虞がある。

そこで本発明は、操作者が操作する操作端末とロボットとの間の通信遅延が操作者の操作に与える影響を抑制することができるデータ生成装置、データ生成方法、データ生成プログラムおよび遠隔操作システムを提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係るデータ生成装置は、操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、実作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するためのデータ生成装置であって、前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像（time-varying image）として表示され、前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、前記データ生成装置は、前記実周辺物の状態を示す状態情報を取得する状態情報取得部と、前記状態情報に基づき、現時点より所定時間分だけ後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測部と、を備える。

操作端末と実ロボットとの間に通信遅延がある場合、操作者が操作器を操作してからその操作に対応する動作を実ロボットが行うまでの間のタイムラグにより、同時刻におけるロボットモデルの動作と実ロボットの動作との間にずれが生じ得る。前記構成によれば、予測部により、現時点より所定時間分後の実周辺物の状態が予測され、その予測結果が表示器に表示される周辺物モデルの作成に使用される周辺物モデルデータとして生成される。このため、周辺物モデルの状態と実周辺物の状態との間にも、ロボットモデルと実ロボットとの間と同じ時間ずれを生じさせることができる。これにより、ロボットモデルと周辺物モデルとの時間軸を一致させることができるため、通信遅延が操作者の操作に与える影響を抑制することができる。

前記実周辺物は、前記実ロボットの作業対象であるワーク、前記ワークを搬送する搬送装置、および前記実ロボットを移動させる移動装置の少なくとも１つを含んでもよい。

前記状態情報は、前記作業空間に設置された撮像装置が前記実周辺物を撮像することにより生成される撮像情報を含んでもよい。

前記状態情報は、前記実周辺物としての周辺機器に設定された設定情報を含んでもよい。

上記のデータ生成装置は、所定の時点において前記表示器に表示された前記作業空間モデルの状況と、前記所定の時点より前記所定時間分だけ後の前記実作業空間の状況との間のズレの程度を検知するズレ検知部を更に備えてもよい。例えば、ズレ検知部により検知されるズレが所定の値より大きい場合に、実ロボットの作業を停止させる、あるいは表示器に表示されるモデルを補正するなどの対応が可能になる。

上記のデータ生成装置は、前記ズレ検知部により検知されたズレが予め設定された範囲を超えた場合に、前記ズレが解消されるように前記作業空間モデルを補正するモデル補正部を更に備えてもよい。

前記操作端末は、前記操作器としてのコントローラを含むゲーム装置であってもよい。

前記操作端末は、個人情報端末（ＰＤＡ（Personal Data Assistant））、スマートフォン、パーソナルコンピュータ、タブレット、およびロボット専用遠隔操作器のうちの少なくとも１つであってもよい。

また、本発明の一態様に係るデータ生成方法は、操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するためのデータ生成方法であって、前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある周辺物をモデル化した周辺物モデルとを含み、前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、前記データ生成方法は、前記実ロボットの周辺にある周辺物の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報に基づき、現時点より後の前記周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測ステップと、を含む。

また、本発明の一態様に係るデータ生成プログラムは、操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、コンピュータに実行されることにより、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するデータ生成プログラムであって、前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある周辺物をモデル化した周辺物モデルとを含み、前記ロボットモデルは、前記操作器に対する前記操作者の操作により生成され、前記データ生成プログラムは、前記実ロボットの周辺にある周辺物の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報に基づき、現時点より後の前記周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測ステップと、を前記コンピュータに実行させる。

なお、前記データ生成プログラムは、記憶装置に記憶される。前記記憶装置は、コンピュータに内蔵または外付けされる読み書き可能または読み取り可能な装置であり、例えば、ハードディスク、フラッシュメモリ、光ディスク等を用いることができる。前記記憶装置に記憶されたプログラムは、前記記憶装置が直接接続されるコンピュータにおいて実行されてもよいし、前記記憶装置とネットワーク（例えば、インターネット）を介して接続されたコンピュータにおいてダウンロードされて実行されてもよい。

また、本発明の一態様に係る遠隔操作システムは、操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、実作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムであって、前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、前記遠隔操作システムは、前記実周辺物の状態を示す状態情報を取得する状態情報取得部と、前記状態情報に基づき、現時点より所定時間分だけ後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測部とを備えるデータ生成装置を備える。

本発明によれば、操作者が操作する操作端末とロボットとの間の通信遅延が操作者の操作に与える影響を抑制することができる。

本発明の一実施形態に係る遠隔操作システムの全体構成を示すブロック図である。 図１のゲーム装置、中継装置および仲介装置のハードウェア構成の一例を示すブロック図である。 図１のロボットシステムの一例を模式的に示す図である。 図１のゲーム装置の制御部の機能的構成を示すブロック図である。 図１の中継装置の制御部の機能的構成を示すブロック図である。 ゲーム装置および中継装置の各々におけるロボットの作業開始前の処理フローを示す図である。 ゲーム装置および中継装置の各々におけるロボットの作業開始後の処理フローを示す図である。 ゲーム装置および中継装置の各々において時間の経過に伴い実行される処理の一例を説明するための図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

（システムの概要）
まず本実施形態に係る遠隔操作システム１の概要を、図１を参照して説明する。図１は、遠隔操作システム１の全体構成を示すブロック図である。本実施形態の遠隔操作システム１は、公知の各種ゲーム装置２（操作端末）と、操作者の居る場所とは異なる遠隔地の作業現場（作業空間。以下、「実作業空間」ともいう。）に設置されたロボット５１とを通信ネットワーク４を介して接続する。そして、操作者にゲーム装置２を用いてロボット５１を遠隔操作させて、当該ロボット５１に所定の作業を遂行させる。

遠隔操作システム１は、複数のゲーム装置２と、１つの仲介装置６と、複数のロボットシステム５とを含み、これらは例えばインターネット等の通信ネットワーク４を介して相互に通信可能となっている。ゲーム装置２は、例えば操作者の自宅などに置かれた据え置き型のゲーム装置または操作者が携帯する携帯型ゲーム装置である。

ロボットシステム５は、操作者に遠隔操作される対象であるロボット５１と、ロボット５１の周辺に設置された１以上の周辺機器５２と、中継装置５３とを備える。ロボット５１、周辺機器５２および中継装置５３はいずれも、ゲーム装置２を操作する操作者が居る場所から離れた遠隔地の作業現場に設置されている。作業現場には、１以上のロボットシステム５が存在する。

なお、遠隔操作システム１が有する複数のロボットシステム５の一部または全部は、互いに同じ作業現場に設置されていてもよいし異なる作業現場に設置されていてもよい。また、同じ作業現場に設置された複数のロボットシステム５が、互いに共有する周辺機器５２を有していてもよい。なお、複数のロボットシステム５は、互いに種類が同じまたは異なる複数の周辺機器５２を含み得るが、図１では、図の簡略化のため、周辺機器５２を示すブロックを１のロボットシステム５につき１つだけ示す。

中継装置５３は、同じロボットシステム５のロボット５１および周辺機器５２のそれぞれに通信可能に接続されている。中継装置５３は、通信ネットワーク４を介して、ゲーム装置２または仲介装置６から送られる情報をロボット５１または周辺機器５２に送ったり、ロボット５１または周辺機器５２の情報をゲーム装置２または仲介装置６に送ったりする。

仲介装置６は、１の操作者（１のゲーム装置２）に対して１のロボットシステム５を割り当てる。より詳しくは、操作者は、ゲーム装置２から仲介装置６にアクセスして予めユーザ登録を行っており、ユーザ登録により操作者にはユーザＩＤが付与されている。操作者はゲーム装置２において自己のユーザＩＤを入力し仲介装置６に対して操作要求を送ると、操作要求を受信した仲介装置６は、ゲーム装置２をいずれかのロボットシステム５に対応付けるとともに、ゲーム装置２と対応付けたロボットシステム５の中継装置５３とを、通信ネットワーク４を介して互いに通信接続させる。

例えば仲介装置６は、ゲーム装置２から操作要求を受け付けると、作業内容などを示す作業リスト情報を当該ゲーム装置２に送る。操作要求には、操作者が入力した希望条件情報が含まれる。希望条件情報には、ロボットの種類、ロボットの作業内容、対象ワーク、作業量、作業時間の一部または全部が含まれる。仲介装置６は、操作要求を受信すると、その操作要求に含まれる希望条件情報に基づき、操作者が希望する条件に合うものをフィルタリングし、ゲーム装置２にフィルタリングされた作業リストを送る。操作者はゲーム装置２の表示装置２５に表示された作業リストの中から、希望するものを１つ指定すると、ゲーム装置２から仲介装置６に、操作者の指定に対応した指定情報が送られる。仲介装置６は、そのゲーム装置２を、指定情報に対応するロボットシステム５の中継装置５３に接続する。

このように、遠隔操作システム１では、操作者がゲーム装置２を用いて物理的に遠く離れた様々な作業現場のロボット５１を遠隔操作することが可能となっている。例えば、遠隔操作システム１により、操作者は自宅に居ながら、地球の裏側の作業現場にあるロボット５１を操作することが可能である。互いに接続されたゲーム装置２とロボットシステム５（より詳しくはロボット５１）との間には、ゲーム装置２およびロボットシステム５の各々の通信環境やゲーム装置２およびロボットシステム５の互いの物理的距離などに起因した通信遅延が生じ得る。本実施形態では、後述するように、互いに接続されたゲーム装置２とロボット５１との間に生じる通信遅延が、操作者の操作に与える影響を抑制する遠隔操作システム１を実現している。

（ハードウェア構成）
図２に、ゲーム装置２、中継装置５３および仲介装置６のハードウェア構成の一例を示す。なお、図２では、複数のゲーム装置２のうちの１のゲーム装置２のみ示し、複数のロボットシステム５のうちの１のロボットシステム５のみ示す。ゲーム装置２は、ゲーム装置本体２ａと、それに接続される表示装置２５（表示器）、スピーカ２７、コントローラ２８（操作器）を備える。

図２に示すように、ゲーム装置本体２ａは、バス２０上に制御部２１、通信部２２、およびハードディスクまたはメモリーカード等の記憶部２３を備える。制御部２１は、コントローラ２８の操作に基づき、通信ネットワーク４を介してロボット５１に送られる操作情報を生成する。なお、ロボット５１は、この操作情報に基づき動作する。また、制御部２１は、コントローラ２８の操作に基づき、表示装置２５に表示される画像を生成する。このような制御部２１は、ＣＰＵ２１０、ＲＯＭ（フラッシュメモリ）２１１、ＲＡＭ２１２、画像プロセッサ２１３、音声プロセッサ２１４、および操作部２１５を備えている。

ＣＰＵ２１０はゲーム装置２の各部の動作を制御する。ＲＯＭ２１１には、ゲーム装置２の基本プログラム等が記憶されている。記憶部２３には、遠隔操作によりロボット５１を動作させるための遠隔操作プログラムや、各種ゲームを実行するためのゲームプログラム等が記憶されている。ＲＡＭ２１２には、ＣＰＵ２１０がゲームプログラムを実行する際に使用されるワークエリアが設定される。なお、本実施形態では、記憶部２３における上記遠隔操作プログラムの記憶は必須であるが、上記ゲームプログラムの記憶は必須ではない。なお、以下の説明では、各種プログラムやデータが記憶された制御部２１のＲＯＭ２１１やＲＡＭ２１２および記憶部２３などを総称して、ゲーム装置２の記憶装置と呼ぶこととする。

画像プロセッサ２１３は、ゲーム画面を生成可能なＧＰＵ（Graphics Processing Unit）を備える。画像プロセッサ２１３には、ビデオＲＡＭ（ＶＲＡＭ）２４が接続される。このＶＲＡＭ２４には表示装置２５が接続されている。

音声プロセッサ２１４は、ゲーム音声を生成するＤＳＰ（Digital Signal Processor）を備える。音声プロセッサ２１４は、生成したゲーム音声をＤ／Ａコンバータを含むアンプ２６に送信する。アンプ２６は、この音声信号を増幅してスピーカ２７に送信する。

操作部２１５には、コントローラ２８が無線または有線で通信接続されている。コントローラ２８は、十字ボタン、プッシュスイッチ、ジョイスティック、マウス、キーボードおよびタッチパネルなどを含む。また、操作部２１５は、ユーザによるコントローラ２８を介した操作信号を検出し、その操作信号をＣＰＵ２１０に送信する。

通信部２２は、通信ネットワーク４を介して仲介装置６および中継装置５３と通信する通信機器である。

仲介装置６は、制御部６１、通信部６２および記憶部６３を備えている。制御部６１は、例えばプロセッサとメモリとを有する演算器で構成される。この演算器は、具体的には、例えばマイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、コンピュータ、パーソナルコンピュータなどで構成される。制御部６１は、集中制御を行う単独の演算器で構成されてもよく、分散制御を行う複数の演算器で構成されてもよい。通信部６２は、通信ネットワーク４を介してゲーム装置２および中継装置５３と通信する通信機器である。記憶部６３は、読み書き可能または読み取り可能な記憶装置であり、例えば、ハードディスク、フラッシュメモリ、光ディスク等である。制御部６１は仲介装置６の各部の動作を制御する。制御部６１のメモリや記憶部６３には、ゲーム装置２をロボットシステム５に対応付けを行うプログラムなどの仲介装置６の動作を制御する各種プログラムやデータが記憶されている。

中継装置５３は、制御部５５、通信部５６および記憶部５７を備えている。制御部５５は、例えばプロセッサとメモリとを有する演算器で構成される。この演算器は、具体的には、例えばマイクロコントローラ、ＭＰＵ、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、コンピュータ、パーソナルコンピュータなどで構成される。制御部５５は、集中制御を行う単独の演算器で構成されてもよく、分散制御を行う複数の演算器で構成されてもよい。通信部５６は、通信ネットワーク４を介してゲーム装置２、仲介装置６、ロボット５１、および周辺機器５２と通信する通信機器である。記憶部５７は、読み書き可能または読み取り可能な記憶装置であり、例えば、ハードディスク、フラッシュメモリ、光ディスク等である。制御部５５は、中継装置５３の動作を制御する。制御部５５のメモリや記憶部５７には、中継装置５３の動作を制御する各種プログラムやデータが記憶されている。

図３に、ロボットシステム５の一例を模式的に示す。このロボットシステム５では、コンベア５２ａにて搬送されるワークＷをピッキングする作業をロボット５１が行う。図３に示されたロボットシステム５において、ロボット５１は、産業用ロボットである。ロボット５１は、操作者に遠隔操作される対象であるロボット本体５１ａと、ロボット本体５１ａの動作を制御するロボットコントローラ５１ｂとを含む。図３に示したロボット本体５１ａは、先端部にツールが装着された垂直多関節型のロボットアームであり、本例では、ツールとして、垂直多関節型のロボットアームの先端部には、ワークＷを把持可能な把持ハンドが装着されている。ロボットコントローラ５１ｂは、プロセッサを備えており、格納されたプログラムや外部から入力される各種信号の解読・演算処理などをプロセッサで行い、ロボット本体５１ａの動作制御、各種出力ポートからの信号出力などをつかさどる。また、図３のロボットシステム５は、周辺機器５２として、作業対象であるワークを搬送するコンベア５２ａ、ロボット５１の作業状況を撮像する１以上の（本例では２つの）撮像装置５２ｂ、およびワークＷの位置を検知するセンサ５２ｃなどを備える。

なお、図３に示されたロボットシステム５の構成は、一例であり、ロボット５１や周辺機器５２の種類などは、ロボット５１の作業内容に応じた構成となっている。例えば、ロボット５１の作業は、ピッキング作業の他にも、例えば塗装作業や弁当盛り付け作業、溶接作業等であってもよい。また、ロボット５１は、垂直多関節型ロボットでなくてもよく、例えば水平多関節型ロボット、パラレルリンク型ロボット、極座標ロボット、円筒座標型ロボット、直角座標型ロボット等の産業用ロボットでもよい。また、周辺機器５２としての搬送装置は、コンベア以外の搬送装置でもよい。周辺機器５２は、ロボット本体５１ａを移動させる移動装置を含んでもよい。周辺機器５２としての１以上のセンサは、ワークＷの位置を検知するセンサの代わりにまたは加えて、ロボット５１の位置や姿勢を検知するセンサなどであってもよい。周辺機器５２としての１以上のセンサには、検査対象物の位置、向きまたは向きを検知するセンサを含む。また、ロボットシステム５は、周辺機器５２として複数の撮像装置５２ｂを備えてもよい。撮像装置５２ｂはロボット本体５１ａに取り付けられていてもよい。

（機能的構成）
図４は、ゲーム装置２の制御部２１の機能的構成を示すブロック図である。ゲーム装置２の制御部２１は、機能的構成として、通信制御部３１、操作側時間管理部３２、状態情報取得部３３、シミュレート部（予測部）３４、画像表示部３５、通信遅延計測部３６、ズレ検知部３７、モデル補正部３８を有している。これらの機能部は、ゲーム装置２の記憶装置に記憶された所定のプログラムとの協働によって機能的に実現される。なお、ゲーム装置２の記憶装置に記憶された所定のプログラムには、本発明の「データ生成プログラム」が含まれる。

通信制御部３１は、通信部２２を制御して、仲介装置６に上述した操作要求や指定情報を送ったり、仲介装置６からリスト情報を受信したりする。また、通信制御部３１は、通信部２２を制御して、仲介装置６がゲーム装置２と対応付けたロボットシステム５と通信接続するための情報を仲介装置６から受信する。また、通信制御部３１は、通信部２２を制御して、操作者がコントローラ２８を操作することで生成された操作情報を、対応するロボットシステム５の中継装置５３に送る。

操作側時間管理部３２は、コントローラ２８に対して操作者が操作してから、その操作に基づきロボット５１が動作するまでの時間が一定に保たれるように、ゲーム装置２側の時間を管理する。

状態情報取得部３３およびシミュレート部３４は、表示装置２５に表示される画像の生成に使用される少なくとも一部のデータを生成する。具体的には、表示装置２５には、ロボット（以下、「実ロボット」）５１が実際に存在する作業空間（以下、「実作業空間」）をモデル化した作業空間モデルが動画像として表示される。作業空間モデルは、仮想の作業空間に配置されたロボットモデルおよび周辺物モデルを含む。ロボットモデルは、実ロボット５１をモデル化したものである。周辺物モデルは、実ロボット５１の周辺にある所定の周辺物（以下、「実周辺物」）をモデル化したものである。実周辺物には、ロボット５１の周辺に位置する周辺機器５２およびワークＷが含まれ、周辺物モデルには、これらに対応した周辺機器モデルおよびワークモデルが含まれる。表示装置２５に表示される画像の生成には、ロボットモデルデータや周辺物モデルデータが用いられる。

ロボットモデルデータは、実ロボット５１の静的情報が含まれる。ロボットモデルの静的情報には、例えば、実ロボット５１の構造を示す構造情報（ロボット本体５１ａの関節数やリンク長、ツールの構造、など）や作業開始前の位置および／または姿勢を示す情報（例えばロボット本体５１ａが有するサーボモータの回転角度情報）などが含まれる。また、ロボットモデルデータには、ロボットモデルの動的情報、つまりコントローラ２８に対する操作者の操作情報（コマンド）が含まれる。この操作情報は、ロボットモデルを動作させるために使用されるとともに、通信ネットワーク４を介してゲーム装置２から実ロボット５１に送られて、実ロボット５１の動作にも使用される。つまり、操作者が、表示装置２５の表示画面を見ながらコントローラ２８を操作して、表示画面上のロボットモデルを動作させると、作業現場の実ロボット５１も同様に動作する。ただし、後述するように、ロボットモデルの動作に一定時間遅れて実ロボット５１は動作する。

周辺物モデルデータには、実周辺物の静的情報が含まれる。実周辺物の静的情報には、周辺機器５２の構造情報、周辺機器５２の作業開始前の位置および／または姿勢を示す情報、実ロボット５１の作業対象であるワークＷの形状データや構造情報、ワークＷの作業開始前の位置および／または姿勢を示す情報が含まれる。また、周辺物モデルデータには、実周辺物の所定時間先の位置や姿勢を予測した情報が含まれる。この予測を状態情報取得部３３およびシミュレート部３４が行う。本実施形態では、状態情報取得部３３およびシミュレート部３４を備えるゲーム装置２が、本発明の「データ生成装置」に対応する。

具体的には、状態情報取得部３３が、実ロボット５１の周りの周辺機器５２やワークＷなどの実周辺物の状態を示す状態情報を取得する。そして、シミュレート部３４は、状態情報に基づき、時間経過に伴う実周辺物の位置や姿勢の変化をシミュレートする。例えば状態情報取得部３３が、ある時点における周辺機器５２としての搬送装置に設定された搬送速度を示す情報と当該搬送装置に搬送されるワークＷの位置を示す情報とを状態情報として取得した場合、シミュレート部３４は、その搬送速度情報およびワーク位置情報から、一定時間先のワークＷの位置や姿勢を容易に算出可能である。このようにシミュレート部３４は、シミュレーションにより現時点より所定時間分だけ後の実周辺物の状態を予測する。そして、シミュレート部３４は、予測した結果を周辺物モデルの作成に使用される周辺物モデルデータとして生成する。

画像表示部３５は、ロボットモデルデータおよび周辺物モデルデータに基づき作成される作業空間モデルを、表示装置２５に表示する。例えば、画像表示部３５は、ロボットモデルデータおよび周辺物モデルデータに基づき作成されたロボットモデルおよび周辺物モデルが配置される仮想の作業空間に、仮想のカメラを配置する。この仮想のカメラにより撮像した画像を、表示装置２５に表示する。仮想カメラの位置、向き、ズームなどは、予め定められていてもよいし、例えばコントローラ２８に対する操作者の操作に応じて変更可能であってもよい。仮想作業空間における仮想カメラの位置や向きが、実作業空間における撮像装置５２ｂの位置や向きとそれぞれ対応していてもよい。

通信遅延計測部３６、ズレ検知部３７およびモデル補正部３８について、詳細は後述する。

図５は、中継装置５３の制御部５５の機能的構成を示すブロック図である。中継装置５３の制御部５５は、機能的構成として、通信制御部７１、ロボット側時間管理部７２を有している。これらの機能部は、中継装置５３の制御部５５および／または記憶部５７に記憶された所定のプログラムとの協働によって機能的に実現される。

通信制御部７１は、通信部５６を制御して、ゲーム装置２から、操作者がコントローラ２８を操作することで生成された操作情報を受信する。

ロボット側時間管理部７２は、コントローラ２８に対して操作者が操作してから、その操作に基づきロボット５１が動作するまでの時間が一定に保たれるように、ロボットシステム５側の時間を管理する。

（処理フロー）
次に、ゲーム装置２および中継装置５３の各々における実行処理について、図６〜８を参照して説明する。

図６は、ゲーム装置２および中継装置５３の各々におけるロボット５１の作業開始前の処理フローを示す図である。作業開始前において、作業空間モデルにおけるロボットモデル、周辺機器モデルおよびワークモデルは、実ロボット５１、周辺機器５２およびワークＷと、それぞれ互いに同じ状態となるように作成される。

具体的には、仲介装置６によりゲーム装置２と中継装置５３とが接続されると、まず中継装置５３の通信制御部７１は、作業開始前の作業空間モデルを作成するための情報をゲーム装置２に送信する（ステップＳ２０１）。作業開始前の作業空間モデルを作成するための情報には、実ロボット５１の周辺にある実周辺物の状態を示す状態情報が含まれる。

本実施形態では、状態情報には、実作業空間に設置された撮像装置５２ｂが周辺機器５２およびワークＷを撮像することにより生成される撮像情報が含まれる。また、状態情報には、周辺機器５２としてのセンサの検知情報が含まれる。センサの検知情報には、例えばワークＷが作業空間の所定の位置にあるか否かを示す情報や、ワークＷの位置または姿勢を示す情報などが含まれる。また、状態情報には、周辺機器５２に設定された設定情報が含まれる。設定情報には、例えばロボットシステム５が周辺機器５２として搬送装置を含む場合、搬送装置に対し設定された搬送速度や搬送間隔が含まれてもよい。搬送間隔は、搬送されるワーク間の距離であってもよいし、あるワークＷがロボット５１の前の所定の位置に搬送された時点から、その次のワークＷが所定の位置に搬送されるまでの時間間隔などであってもよい。

また、ステップＳ２０１で中継装置５３からゲーム装置２に送られる状態情報には、実ロボット５１の状態を示す情報も含まれる。実ロボット５１の状態を示す情報には、例えばロボットコントローラ５１ｂが記憶している実ロボット５１の姿勢情報や位置情報が含まれてもよい。また、実ロボット５１の状態を示す情報には、周辺機器５２である撮像装置５２ｂにより得られる撮像情報やセンサ５２ｃの検知情報が含まれてもよい。

ゲーム装置２側では、状態情報取得部３３は、中継装置５３から受信した状態情報を取得する（ステップＳ１０１）。そして、シミュレート部３４は、状態情報取得部３３により取得した状態情報に基づき、作業開始前の実作業空間と同じ状態の作業空間モデルを作成する（ステップＳ１０２）。例えば、ワークＷの形状データや構造情報、ワークＷの位置や向き、周辺機器５２の位置情報や構造情報、設定情報などが含まれている。

具体的には、シミュレート部３４は、作業開始前の実ロボット５１の位置情報（実作業空間に対し設定された座標系における位置座標）および姿勢情報（ロボット本体５１ａが有するサーボモータの回転角度情報など）に基づき、ロボットモデルの状態（位置や姿勢など）が実ロボット５１と同じ状態となるように、ロボットモデルを作成する。また、シミュレート部３４は、作業開始前の実周辺物の状態情報に基づき、周辺物モデルが実周辺物と同じ状態となるように、周辺物モデルを作成する。

画像表示部３５は、ステップＳ１０２で作成した作業空間モデルの画像を生成して、表示装置２５に表示する（ステップＳ１０３）。こうして、作業開始の準備が整う。

図７は、ゲーム装置２および中継装置５３の各々におけるロボット５１の作業開始後の処理フローである。また、図８は、ゲーム装置２および中継装置５３の各々において時間の経過に伴い実行される処理の一例を説明するための図である。

ステップＳ１０３の後、ゲーム装置２の制御部２１は、作業開始を指示する操作がなされたか否かを判定する（ステップＳ１０５）。作業開始指示がない場合（ステップＳ１０５：Ｎｏ）、作業開始指示があるまで待機した状態となる。操作者によりコントローラ２８に対して作業開始を指示する操作がなされると（ステップＳ１０５：Ｙｅｓ）、通信制御部３１は、中継装置５３に作業開始指示を送信する（ステップＳ１０６）。また、操作側時間管理部３２は、作業開始指示の送信時刻を、操作側基準時刻ｔ１としてゲーム装置２の記憶装置（ＲＡＭ２１２または記憶部２３など）に記憶する（ステップＳ１０７、図８も参照）。

ロボットシステム５側では、中継装置５３の通信制御部７１が作業開始指示を受信すると（ステップＳ２０２）、通信制御部７１は、作業開始指示の受信時刻から所定時間Δｔだけ待機した後を作業開始時刻とし、ロボット５１および周辺機器５２に作業開始指示を送る（ステップＳ２０３）。また、ロボット側時間管理部７２は、作業開始指示の受信時刻から所定時間Δｔだけ後の時刻を、ロボット側基準時刻ｔ２として記憶する（ステップＳ２０４、図８も参照）。

こうして、以降に説明するように、操作側基準時刻ｔ１から、表示装置２５に表示される作業空間モデル内のロボットモデルの作業が開始され、ロボット側基準時刻ｔ２から、実作業空間での実ロボットの作業が開始される。言い換えれば、実作業空間は、作業空間モデルよりも基準時刻の差分（ｔ２−ｔ１）だけ遅れて進行する。例えばゲーム装置２からロボットシステム５に送られる作業開始指示には、周辺機器５２を停止状態から稼働状態に移行する指令が含まれてもよい。例えば作業空間モデルのワークモデルは、搬送装置モデルに操作側基準時刻ｔ１から搬送され始め、実作業空間の実ワークＷは、搬送装置にロボット側基準時刻ｔ２から搬送され始めてもよい。

ゲーム装置２では、ステップＳ１０７で基準時刻ｔ１を設定した後、ロボット５１の遠隔操作が可能となる。すなわち、コントローラ２８に対してロボット５１を操作するための操作が行われた場合（ステップＳ１０８：Ｙｅｓ）、操作情報が生成される。シミュレート部３４は、操作情報に基づき、ロボットモデルの動作をシミュレートする（ステップＳ１０９）。また、通信制御部３１は、操作情報とともに、その操作情報に対応した操作を行うまでに経過した時間を示す基準時刻ｔ１からの経過時間Ｔとを中継装置５３に送信する（ステップＳ１１０）。

ロボットシステム５側では、中継装置５３の通信制御部７１が、ゲーム装置２から操作情報および時間情報とをセットで受信すると、基準時刻ｔ２からの経過時間Ｔ後に、受信した操作情報に基づく操作を実行するように、ロボット５１に動作指令を送る（ステップＳ２０５）。なお、ステップＳ１１０では、経過時間Ｔの代わりに、操作した時刻を示す時刻を示す時刻情報など、操作情報に対応した操作がなされた時間を示す時間情報が送られればよい。

また、ステップＳ１０８で操作があったと判定されたか否かに関わらず、シミュレート部３４は、実周辺物の状態をシミュレートする（ステップＳ１１１）。具体的に、シミュレート部３４は、状態情報に基づき、現時点より所定時間分だけ後の実周辺物の状態を予測し、予測した結果を周辺物モデルの作成に使用される周辺物モデルデータとして生成する。なお、状態情報は、状態情報取得部３３が作業開始前にステップＳ１０１で取得したものでなくてもよく、作業開始後に取得した情報であってもよい。つまり、ロボットシステム５からゲーム装置２に最新の状態情報が、逐次送られてもよく、状態情報取得部３３は、最新の状態情報を逐次取得してもよい。シミュレート部３４は、最新の状態情報に基づき実周辺物の状態を予測してもよい。

画像表示部３５は、ステップＳ１０９およびＳ１１１でのシミュレーション結果に基づき生成されるデータに基づき、作業空間モデルを示す画像を表示装置２５に表示する（ステップＳ１１２）。画像表示部３５は、実際の作業空間の状況に対してロボット側基準時刻ｔ２と操作側基準時刻ｔ１との差分（ｔ２−ｔ１）だけ先の状況の作業空間モデルを表示する。言い換えれば、図８に示すように、表示装置２５に表示される作業空間モデルに対して、実際の作業空間は、ロボット側基準時刻ｔ２と操作側基準時刻ｔ１との差分（ｔ２−ｔ１）だけ遅れて進行する。

コントローラ２８に対して作業終了のための操作が行われるまで、あるいは一定の作業が完了するまでは（ステップＳ１１３：Ｎｏ）、ステップＳ１０８〜Ｓ１１２が繰り返される。

上述のステップＳ２０３では、ロボット側時間管理部７２は、作業開始指示の受信時刻をロボット側基準時刻ｔ２とせず、作業開始指示の受信時刻から所定時間Δｔだけ待機した後の時刻をロボット側基準時刻ｔ２として設定している。このように、操作側基準時刻ｔ１とロボット側基準時刻ｔ２との間に一定の間隔を設けることで、ゲーム装置２とロボットシステム５との通信遅延（図８のΔｄ１，Δｄ２参照）の変動を吸収している。

なお、待機時間Δｔは、ゲーム装置２とロボットシステム５（詳細には中継装置５３）との間の実際に通信遅延から設定してもよい。通信遅延計測部３６は、ゲーム装置２とそれに対応付けられたロボットシステム５（より詳しくは中継装置５３）との間の通信遅延を計測する。通信遅延の計測は、周知の方法で実施される。ロボット側時間管理部７２は、ステップＳ１０５の前に通信遅延計測部３６により計測された通信遅延の変動度合いに応じて、待機時間Δｔの長さ、言い換えればロボット側基準時刻ｔ２と操作側基準時刻ｔ１との差分（ｔ２−ｔ１）が設定してもよい。

また、本実施形態では、ステップＳ１０８〜Ｓ１１２を繰り返す際に、定期的に、作業空間モデルを補正する。ズレ検知部３７は、所定の時点において表示装置２５に表示された作業空間モデルの状況と、所定の時点より所定の時間分だけ後の実作業空間の状況との間のズレの程度を検知する。より詳しくは、ズレ検知部３７は、所定の時点の作業空間モデルの状況と、当該所定の時点より、ロボット側基準時刻ｔ２と操作側基準時刻ｔ１との差分（ｔ２−ｔ１）だけ後の実作業空間の状況との間のズレの程度を検知する。

例えばズレ検知部３７は、ある時刻ｔａの実作業空間の状態を示す状態情報と、シミュレート部３４により予測した当該時刻ｔａの作業空間モデルの状態とを比較してズレの程度を検知してもよい。ズレ検知部３７が比較する実作業空間の状態を示す状態情報には、シミュレート部３４が実周辺物の状態を予測するために使用する状態情報が含まれてもよい。ズレ検知部３７は、例えば時刻ｔａの実作業空間の撮像情報をロボットシステム５から受信し、その撮像情報から実周辺物（周辺機器５２やワークＷ）の位置や姿勢を画像認識で判断してもよい。ズレ検知部３７は、時刻ｔａの撮像情報から判断した実周辺物の位置や姿勢と、時刻ｔａの実作業空間に対応する時刻（つまり、時刻（ｔａ−（ｔ２−ｔ１）））の作業空間モデルにおける周辺物モデルの位置や姿勢を比較する。つまり、ズレ検知部３７は、時刻ｔａの撮像情報から判断した実周辺物の状態（周辺機器５２やワークＷの位置や姿勢など）と、時刻ｔａより時間（ｔ２−ｔ１）だけ前の周辺物モデルの状態とを比較する。

そして、モデル補正部３８は、ズレ検知部３７により検知されたズレが予め設定された範囲を超えた場合に、ズレが解消されるように作業空間モデルを補正する。例えば、モデル補正部３８は、シミュレート部３４に用いられる状態情報を、ズレ検知部３７により検知したズレだけ調整してもよい。あるいは、モデル補正部３８は、シミュレート部３４により生成された周辺物モデルデータを、ズレ検知部３７により検知したズレだけ調整してもよい。なお、モデル補正部３８が作業空間モデルの補正を行った後に、シミュレート部３４が実周辺物の状態をシミュレートする場合、作業空間モデルの補正を加味して、実周辺物の状態をシミュレートする。

以上説明したように、本実施形態のデータ生成装置としてのゲーム装置２および遠隔操作システム１によれば、シミュレート部３４により、現時点より所定時間分後の実周辺物の状態が予測され、その予測結果が、表示装置２５に表示される周辺物モデルの作成に使用される周辺物モデルデータとして生成される。このため、周辺物モデルの状態と実周辺物の状態との間にも、ロボットモデルと実ロボットとの間と同じ時間ずれを生じさせることができる。これにより、ロボットモデルと周辺物モデルとの時間軸を一致させることができるため、通信遅延が操作者の操作に与える影響を抑制することができる。

また、本実施形態では、ズレ検知部３７が所定の時点において表示装置２５に表示された作業空間モデルの状況と、所定の時点より所定時間分だけ後の実作業空間の状況との間のズレの程度を検知し、モデル補正部３８が、ズレ検知部３７により検知されたズレが予め設定された範囲を超えた場合に、ズレが解消されるように作業空間モデルを補正する。このため、表示装置２５に表示される作業空間モデルの状況と実作業空間の状況との間のズレを抑制することができる。

（その他の実施形態）
本発明は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変形が可能である。

例えば、上記実施形態では、操作端末としてゲーム装置２が例示されたが、本発明における操作端末はゲーム装置２でなくてもよい。操作端末は、操作者の操作を受け付ける操作器および操作者が視認可能な表示器を有するものであればよい。例えばゲーム装置２は、公知の各種ゲーム装置の他に、例えば個人情報端末（ＰＤＡ（Personal Data Assistant））、スマートフォン、パーソナルコンピュータ、タブレット、およびロボット専用遠隔操作器のいずれかであってもよい。

また、例えば、仲介装置６または別のサーバ装置の制御部が、所定のプログラムを実行することにより、状態情報取得部および予測部として機能してもよい。つまり、本発明の「データ生成装置」は、操作者が操作する操作端末でなくてもよく、操作端末と通信する装置であってもよい。例えば、本発明のデータ生成装置は、ロボットコントローラ５１ｂ、中継装置５３、仲介装置６、あるいは仲介装置６とは別のサーバ装置であってもよい。本発明のデータ生成装置は、通信遅延計測部３６、ズレ検知部３７およびモデル補正部３８の一部または全部を備えていなくてもよい。

また、本発明の「データ生成プログラム」は、操作端末としてのゲーム装置２の記憶装置の代わりにまたは加えて、ロボットコントローラ５１ｂ、中継装置５３、仲介装置６、および仲介装置６とは別のサーバ装置の少なくとも１つが備える記憶装置に記憶されていてもよい。また、本発明の「データ生成プログラム」は、ロボットコントローラ５１ｂ、中継装置５３、仲介装置６、および仲介装置６とは別のサーバ装置の少なくとも１つが夫々内蔵するコンピュータに実行されることにより、当該コンピュータに状態情報取得部および予測部として機能させるものであればよい。図６および図７に沿って説明したゲーム装置２および中継装置５３の処理フローも、本発明を制限するものではない。

また、遠隔操作システム１は、ゲーム装置２を１つだけ備えてもよい。また、遠隔操作システム１は、ロボットシステム５を１つだけ備えてもよい。また、遠隔操作システム１は、仲介装置６を備えなくてもよい。また、ロボットシステム５における中継装置５３とロボットコントローラ５１ｂとは一体的に構成されていてもよい。すなわち、ロボットシステム５は、中継装置５３とロボットコントローラ５１ｂの各々の機能を兼ね備える１台の制御装置を備えてもよい。

また、本発明における実ロボットは、産業用ロボットでなくてもよく、操作端末における操作者の操作に応じて動作するロボットであればよい。例えば本発明の実ロボットは、介護、医療、運搬、清掃、料理などのサービスを提供するサービス用ロボットであってもよい。また、本発明の実ロボットは、ヒューマノイドであってもよい。実ロボットは、操作者による操作器の操作により生成される操作情報に基づき動作するが、実ロボットは、当該操作情報だけでなく予め設定したタスクプログラムに基づいても動作してよい。

上記実施形態では、データ生成プログラムは、実周辺物の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報に基づき、現時点より後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測ステップと、を操作端末としてのゲーム装置２の制御器２１に実行させるものであったが、本発明のデータ生成プログラムは、上述した状態情報取得ステップおよび予測ステップを、他のコンピュータに実行させてもよい。例えば、本発明のデータ生成プログラムは、上述した状態情報取得ステップおよび予測ステップを、ロボットコントローラ５１ｂ、中継装置５３、仲介装置６、および仲介装置６とは別のサーバ装置の少なくとも１つが備える制御器（コンピュータ）に実行させてもよい。データ生成プログラムは複数の記憶装置に分散して記憶されていてもよい。例えばデータ生成プログラムの一部が操作端末の記憶装置に記憶され、それ以外が別の記憶装置（例えば中継装置５３など）に記憶されていてもよい。また、本発明のデータ生成プログラムは、所定の時点において前記表示器に表示された前記作業空間モデルの状況と、前記所定の時点より前記所定時間分だけ後の前記実作業空間の状況との間のズレの程度を検知するズレ検知ステップを、コンピュータに実行させてもよい。また、本発明のデータ生成プログラムは、前記ズレ検知ステップにより検知されたズレが予め設定された範囲を超えた場合に、前記ズレが解消されるように前記作業空間モデルを補正するモデル補正ステップをコンピュータに実行させてもよい。

１ ：遠隔操作システム
２ ：ゲーム装置（操作端末）
４ ：通信ネットワーク
５ ：ロボットシステム
６ ：仲介装置
２５ ：表示装置（表示器）
２８ ：コントローラ（操作器）
３３ ：状態情報取得部
３４ ：シミュレート部（予測部）
３５ ：画像表示部
３６ ：通信遅延計測部
３７ ：ズレ検知部
３８ ：モデル補正部
５１ ：ロボット
５１ａ ：ロボット本体
５１ｂ ：ロボットコントローラ
５２ ：周辺機器
５２ａ ：コンベア
５２ｂ ：撮像装置
５２ｃ ：センサ
５３ ：中継装置
５５ ：制御部

Claims (11)

1. 操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、実作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するためのデータ生成装置であって、
   前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、
   前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、
   前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、
   前記データ生成装置は、
   前記実周辺物の状態を示す状態情報を取得する状態情報取得部と、
   前記状態情報に基づき、現時点より所定時間分だけ後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測部と、を備える、データ生成装置。
2. 前記実周辺物は、前記実ロボットの作業対象であるワーク、前記ワークを搬送する搬送装置、および前記実ロボットを移動させる移動装置の少なくとも１つを含む、請求項１に記載のデータ生成装置。
3. 前記状態情報は、前記作業空間に設置された撮像装置が前記実周辺物を撮像することにより生成される撮像情報を含む、請求項１または２に記載のデータ生成装置。
4. 前記状態情報は、前記実周辺物としての周辺機器に設定された設定情報を含む、請求項１〜３のいずれか１項に記載のデータ生成装置。
5. 所定の時点において前記表示器に表示された前記作業空間モデルの状況と、前記所定の時点より前記所定時間分だけ後の前記実作業空間の状況との間のズレの程度を検知するズレ検知部を更に備える、請求項１〜４のいずれか１項に記載のデータ生成装置。
6. 前記ズレ検知部により検知されたズレが予め設定された範囲を超えた場合に、前記ズレが解消されるように前記作業空間モデルを補正するモデル補正部を更に備える、請求項５に記載のデータ生成装置。
7. 前記操作端末は、前記操作器としてのコントローラを含むゲーム装置である、請求項１〜６のいずれか１項に記載のデータ生成装置。
8. 前記操作端末は、個人情報端末（ＰＤＡ（Personal Data Assistant））、スマートフォン、パーソナルコンピュータ、タブレット、およびロボット専用遠隔操作器のうちの少なくとも１つである、請求項１〜７のいずれか１項に記載のデータ生成装置。
9. 操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するためのデータ生成方法であって、
   前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、
   前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、
   前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、
   前記データ生成方法は、
   前記実周辺物の状態を示す状態情報を取得する状態情報取得ステップと、
   前記状態情報に基づき、現時点より後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測ステップと、を含む、データ生成方法。
10. 操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムにおいて、コンピュータに実行されることにより、前記表示器に表示される画像の生成に使用される少なくとも一部のデータを生成するデータ生成プログラムであって、
    前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、
    前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、
    前記ロボットモデルは、前記操作器に対する前記操作者の操作により生成され、
    前記データ生成プログラムは、
    前記実周辺物の状態を示す状態情報を取得する状態情報取得ステップと、
    前記状態情報に基づき、現時点より後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測ステップと、を前記コンピュータに実行させる、データ生成プログラム。
11. 操作者の操作を受け付ける操作器および前記操作者が視認可能な表示器を有する操作端末と、実作業空間内に設置され、前記操作端末とデータ通信可能なネットワークを介して接続された実ロボットと、を備える遠隔操作システムであって、
    前記表示器には、前記実作業空間をモデル化した作業空間モデルが動画像として表示され、
    前記作業空間モデルは、前記実ロボットをモデル化したロボットモデルと、前記実ロボットの周辺にある実周辺物をモデル化した周辺物モデルとを含み、
    前記ロボットモデルは、前記操作器に対する前記操作者の操作に応じて動作するように作成され、
    前記遠隔操作システムは、前記実周辺物の状態を示す状態情報を取得する状態情報取得部と、前記状態情報に基づき、現時点より所定時間分だけ後の前記実周辺物の状態を予測するとともに、予測した結果を、前記表示器に表示される前記周辺物モデルの作成に使用される周辺物モデルデータとして生成する予測部とを備えるデータ生成装置を備える、遠隔操作システム。

Images