JP2015047666A - 遠隔操作装置、及び操作画像表示方法 - Google Patents

Abstract

【課題】スレーブ装置とマスタ装置間の通信遅延を把握しながらスレーブ装置（内のスレーブロボット）に対する適切な操作を行うこと。【解決手段】遠隔操作システム１は、マスタ装置１０と、スレーブ装置２０を備える。スレーブ装置２０は、マスタ装置１０からの操作指令に応じて動作を行って動作中の画像である実画像を撮像して、マスタ装置１０に送信するスレーブロボット２２０を備える。マスタ装置１０は、遅延測定部１２０と表示画像生成部１３０を備える。遅延測定部１２０は、スレーブ装置２０との間の通信遅延を測定する。表示画像生成部１３０は、通信遅延に基づいて、実画像を調整した表示画像を生成する。【選択図】図１

Description

本発明は遠隔操作装置、及び操作画像表示方法に関するものであり、特にスレーブ装置とマスタ装置との間で通信遅延が生じる場合における遠隔操作装置及び操作画像表示方法に関する。

近年、遠隔地にあるスレーブロボットを制御するシステムが広く使用されている。一般的な遠隔操作システムは、操作者が操作指令を与えるマスタロボットを備えたマスタ装置と、マスタロボットに与えられた操作指令を受信してスレーブロボットを動作させるスレーブ装置と、を備える。スレーブ装置は、マスタ装置から物理的に離間された場所に配置される。

スレーブロボットは遠隔地に配置されるため、スレーブロボットとマスタロボットとの間の通信処理に遅延が生じる場合がある。一般的な遠隔操作システムは、通信遅延によって非連続的な操作量が生じることを想定して、スレーブロボットの制御ゲインを小さくする調整を行う。この際に遠隔操作システムは、通信遅延に応じてスレーブロボットの制御ゲインを可変にする制御を行っていた。

上述の通信遅延を扱う技術として例えば特許文献１が挙げられる。特許文献１は、ロボットの遠隔操作装置を開示している。この遠隔操作装置は、遠隔地のロボットに操作指令を送信するとともに、操作指令に応じたシミュレーションを行って作成した模擬画像を生成する。そして遠隔操作装置は、遠隔地のロボットから送信された実画像と、模擬画像を所定時間遅延させた同定画像と、を重畳して表示する。操作者は、重畳画像を確認することにより、通信遅延が大きい環境においても遠隔地のロボット操縦を簡単に行うことができる。

特許文献２にはロボットの作業環境の実画像と、シミュレータが生成した模擬画像を所定時間だけ遅延させた画像と、をオーバーレイして表示するロボットの遠隔操作装置が開示されている。

特開平２−１１６４９４号公報 特開平３−５５１９４号公報

上述のように遠隔操作システムは、通信遅延に応じてスレーブロボットの制御ゲインを可変にする制御を行っていた。しかしながらこの制御が行われる場合、操作者が認識できない通信遅延により制御ゲインが変化してしまう場合があった。制御ゲインが変化してしまうことにより、スレーブロボットの操作性が悪くなるという問題があった。すなわち、操作者が適切に通信遅延を認識することができないためにスレーブロボットの操作性が悪くなるという問題があった。このシステムにおいて通信遅延をグラフ等に表示することも考えられるが、操作者はグラフ等への視線移動を行う必要があるため、操作者の操作性が依然として悪かった。

また特許文献１の方式では、操作者が通信遅延の大きさ（通信遅延時間）を直感的に認識することができなかった。そのため、操作者は通信遅延の状況を把握することができず、スレーブロボットに対する適切な操作を行うことができない場合があった。

特許文献２の方式は、模擬画像を通信遅延に応じて遅延させて実画像とオーバーレイして表示する。そのためユーザが確認するオーバーレイ画像は、常に実画像の環境とは異なる画像（例えば数秒前の画像）となる。そのため、特許文献１の方式と同様に、操作者は通信遅延の状況を把握することができず、スレーブロボットに対する適切な操作を行うことができない場合があった。

すなわち、上述したような既存の技術では、スレーブ装置とマスタ装置間の通信遅延の大きさを操作者が適切に把握できず、スレーブ装置（内のスレーブロボット）に対する適切な操作ができないという問題があった。

本発明にかかる遠隔操作装置の一態様は、スレーブロボットに対して操作指令を送信し、前記スレーブロボットが動作中に撮像した実画像を受信する遠隔操作装置であって、前記スレーブロボットとの間の通信遅延を測定する遅延測定部と、前記通信遅延の大きさに基づいて、前記実画像の画像パラメータを調整した表示画像を生成する表示画像生成部と、を備える、遠隔操作装置である。

この一態様において前記スレーブロボットに送られる前記操作指令に基づいて動作シミュレーションを行い、動作シミュレーションに従ったシミュレーション画像を生成するシミュレータを備え、前記表示画像生成部は、前記通信遅延の大きさに基づいて、前記実画像と前記シミュレーション画像を合成することにより前記表示画像を生成する、ものであってもよい。

また、この一態様において、前記表示画像生成部は、前記通信遅延が大きくなるにつれて前記シミュレーション画像の合成の割合を大きくするように制御を行う、ものであってもよい。

さらに上述の態様において、前記スレーブロボットに送信する前記操作指令を受け付けると共に、操作者に対して前記スレーブロボットに生じた反力を伝える操作部と、前記通信遅延に基づいて、前記シミュレータが算出した前記スレーブロボットの位置及び力の情報と、前記スレーブロボットに生じている位置及び力の情報と、を合成して前記操作部が操作者に対して伝える反力を算出する反力算出部と、を更に備える、ものであってもよい。

前記表示画像生成部は、 前記表示画像生成部は、前記操作指令に含まれる前記スレーブロボットに対する操作量が大きくなるにつれて前記シミュレーション画像の合成の割合を大きくするように制御を行う、ものであってもよい。

前記表示画像生成部は、前記通信遅延の大きさに基づいて前記実画像の各画素の濃淡を調整することにより前記表示画像を生成する、ものであってもよい。

本発明にかかる操作画像表示方法の一態様は、スレーブロボットに対して操作指令を送信し、前記スレーブロボットが動作中に撮像した実画像を受信し、前記スレーブロボットとの間の通信遅延を測定し、前記通信遅延の大きさに基づいて、前記実画像を調整した表示画像を生成する、ものである。

本発明は、スレーブ装置とマスタ装置間の通信遅延を把握しながらスレーブ装置（内のスレーブロボット）に対する適切な操作ができる遠隔操作装置及び操作画像表示方法を提供することができる。

本発明の実施の形態１にかかる遠隔操作システム１の構成を示すブロック図である。 本発明の実施の形態１にかかる操作部１１０の外観構成を示す図である。 本発明の実施の形態１にかかるスレーブロボット２２０の外観構成を示す図である。 本発明の実施の形態２にかかる遠隔操作システム１の構成を示すブロック図である。 本発明の実施の形態３にかかる遠隔操作システム１の構成を示すブロック図である。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる遠隔操作システムの構成を示すブロック図である。遠隔操作システム１は、マスタ装置１０とスレーブ装置２０を有する。マスタ装置１０とスレーブ装置２０は物理的に離間された位置に配置され、両装置は任意の通信手段により情報の送受信が可能な構成である。

マスタ装置１０は、操作部１１０、遅延測定部１２０、表示画像生成部１３０、及び画像表示部１４０を備える。操作部１１０は、マスタコントローラ１１１及びマスタロボット１１２を有する。マスタ装置１０は、スレーブ装置２０を制御する遠隔操作装置である。

スレーブ装置２０は、マスタ装置１０とは物理的に離間された様々な作業環境（宇宙環境等も含む）に配置され、内部にスレーブコントローラ２１０及びスレーブロボット２２０を備える。

はじめにマスタ装置１０の各処理部の動作について説明する。マスタコントローラ１１１は、操作者からマスタロボット１１２への操作を受け付ける制御部である。マスタコントローラ１１１は、操作者から様々な操作（押す、引く、ひねる等）を受け付けるとともに、マスタロボット１１２の操作に応じた反力を操作者に伝える。反力は、スレーブロボット２２０から受信した位置情報及び力情報を基に生成される。反力は、例えば操作部１１０に特定の向きに力を生じさせることにより操作者に伝えられる（例えば操作者に対して押す等の力覚が与えられることにより反力が伝わる。）。マスタコントローラ１１１は、操作者から受け付けた操作指令をマスタロボット１１２に伝える。

マスタロボット１１２は、マスタコントローラ１１１の操作指令に応じて動作を行う。ここでマスタロボット１１２とスレーブロボット２２０には、その動作位置と力が相互に協調するバイラテラル制御が行われる。マスタロボット１１２は、自身に与えられた操作指令をスレーブコントローラ２１０に送信する。

なおマスタコントローラ１１１とマスタロボット１１２は、一体化された一つの装置（筐体）であってもよい。例えばマスタコントローラ１１１とマスタロボット１１２は、操作者の腕等に装着する装置であってもよく、操作者が把持することにより操作するコントローラ等であってもよい。

遅延測定部１２０は、マスタ装置１０とスレーブ装置２０の間の通信遅延ｔｄを測定する。遅延測定部１２０は、一般的なネットワーク環境において行われる任意の遅延測定方法を用いて通信遅延ｔｄを測定すればよい。例えばマスタ装置１０とスレーブ装置２０の時刻情報を予め同期させておき、データの送信を行う際にデータに対してタイムスタンプを付与しておく。遅延測定部１２０は、タイムスタンプと受信した際の実時刻を比較することにより通信遅延ｔｄを算出する。遅延測定部１２０は、測定した通信遅延ｔｄを表示画像生成部１３０に通知する。

表示画像生成部１３０には、スレーブロボット２２０が作業環境を撮像した実画像（動画像）が逐次入力される。さらに表示画像生成部１３０には、遅延測定部１２０から測定した通信遅延ｔｄが入力される。表示画像生成部１３０は、通信遅延ｔｄの大きさに応じて割合ｒを算出し、この割合ｒを用いて実画像を調整（加工）した表示画像を生成する。以下、表示画像の生成方法について説明する。

通信遅延ｔｄが大きい場合、受信した実画像と実際の作業環境との差が大きいと想定される。そのため表示画像生成部１３０は、実画像がぼやけるように加工した表示画像を生成する。一方、通信遅延ｔｄが小さい場合、受信した実画像と実際の作業環境との差が小さいと想定される。そのため表示画像生成部１３０は、実画像が色濃く表示された表示画像を生成する。例えば表示画像生成部１３０は、以下の（数１）に示すように割合（ブレンドレート）ｒを算出し、割合ｒを用いて表示画像を生成する。

本実施の形態では、上述の割合ｒは、実画像の各画像の濃淡値に乗算される係数である。例えばｒ＝０．８である場合、実画像の各画素の濃淡値に０．８を乗じ、乗算により得られた各画素の濃淡値を用いて表示画像が生成される。なお表示画像生成部１３０の画像の調整処理は、必ずしも上述の割合ｒを算出するものである必要はなく、通信遅延ｔｄに応じて実画像を調整するものであれば他の任意の手法であってもよい。

画像表示部１４０は、表示画像生成部１３０が生成した表示画像を表示する。画像表示部１４０は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）である。画像表示部１４０は、マスタ装置１０と一体化された形式（マスタ装置１０にディスプレイが埋め込まれている形式）であってもよく、マスタ装置１０とケーブルを介して接続された形式であってもよい。

続いてスレーブ装置２０の各構成について説明する。スレーブコントローラ２１０は、マスタロボット１１２から送信された操作指令を受信する。スレーブコントローラ２１０は、入力された操作指令を用いてスレーブロボット２２０を制御する。

スレーブロボット２２０は、スレーブコントローラ２１０の制御に従って作業環境における各種作業を行う。スレーブロボット２２０は、例えばロボットハンド等を有するロボットであり、ヒューマノイド型のロボットであってもよく、その他の形態のロボットであってもよい。スレーブロボット２２０は、自身の作業環境を撮像する撮像機器（好適にはカメラ）を有する。スレーブロボット２２０は、作業環境を逐次撮影し、撮影した画像（すなわち実画像）をマスタ装置１０に送信する。またスレーブロボット２２０は、自身の位置情報（スレーブロボット２２０の各種部材の位置情報）と力情報（各種部材に生じている力の方向や大きさ等）をマスタコントローラ１１１に送信する。

続いて操作部１１０及びスレーブロボット２２０の構成例について図面を参照して説明する。図２は、操作部１１０の一例を示す外観構成図である。本構成では、マスタコントローラ１１１とマスタロボット１１２が一体化されているケースについて説明する。図示するように操作部１１０は操作者が着脱可能な装置である。操作者は、腕などを動かす（伸ばす、縮める等）ことにより操作部１１０を操作する。操作者が腕等を動かした方向や速さ等が操作指令としてスレーブロボット２２０に伝わる。

図３は、スレーブロボット２２０の外観構成例を示す図である。スレーブロボット２２０は、図示するようにロボットハンド等を備えたヒューマノイド型のロボットであり、操作部１１０の外観と対応するものである。スレーブロボット２２０は、操作者の操作に対応する操作指令を受信し、この操作指令に従って動作を行う。

なお、操作部１１０及びスレーブロボット２２０の外観は、図２、図３の構成に限られるものではない。スレーブロボット２２０は、マスタ装置１０の操作指令に応じて動作し、撮像機能を有するものであればどのような形態であってもよい。また、操作部１１０の外観とスレーブロボット２２０の外観は必ずしも対応する必要はなく、大きさも異なっていてもよい。例えば操作部１１０がリモートコントローラのような形態であり、スレーブロボット２２０がヒューマノイドロボットのような形態とすることも可能である。

続いて本実施の形態にかかる遠隔操作システム１の効果について説明する。遠隔操作システム１は、マスタ装置１０とスレーブ装置２０の間の通信遅延ｔｄに応じて、スレーブ装置２０が撮像した実画像を調整した表示画像を操作者に提示している。本実施の形態では、マスタ装置１０は、通信遅延が大きくなるにつれて表示が薄くなる（濃淡値が小さくなる）表示画像を操作者に提示している。これにより、操作者は、作業を行う際に通信遅延ｔｄがどの程度生じているかをリアルタイムで把握することができる。すなわち操作者は、作業のために参照する画面から目線を移すことなく直感的に通信遅延ｔｄの大きさを把握することができる。これにより操作者は、通信遅延ｔｄが大きい場合にはマスタコントローラ１１１に与える操作量を減らす等の対応が可能となり、操作性を向上させることができる。なお表示画像生成部１３０は、上述の説明では実画像の画像パラメータの一種である濃淡値の調整を行ったが、通信遅延ｔｄの大きさに応じて濃淡値以外の画像パラメータ（画像の明るさ、輝度、コントラスト等）を調整することにより表示画像を生成してもよい。

＜実施の形態２＞
本実施の形態にかかる遠隔操作システム１は、実画像とシミュレーションにより得られたシミュレーション画像を合成することにより表示画像を生成することを特徴とする。すなわち、本実施の形態にかかる遠隔操作システム１は、通信遅延に応じた画像の調整処理として、実画像とシミュレーション画像の合成を行って表示画像を生成する。以下、本実施の形態にかかる遠隔操作システム１の構成について、実施の形態１と異なる点を説明する。

図４は、本実施の形態にかかる遠隔操作システム１の構成を示すブロック図である。なお図中において同一名称・同一符号を付した処理部は、特に説明を行わない場合には実施の形態１と同様の動作を行う（以下の実施の形態でも同様とする。）。

本実施の形態にかかるマスタ装置１０は、図１の構成に加えてシミュレータコントローラ１５０及びシミュレータ１６０を有する。マスタロボット１１２は、マスタコントローラ１１１の操作指令に応じて動作を行うと共に、同一の操作指令をスレーブコントローラ２１０とシミュレータコントローラ１５０に送信する。

シミュレータコントローラ１５０には、マスタロボット１１２から操作指令が入力される。シミュレータコントローラ１５０は、入力された操作指令を用いてシミュレータ１６０を制御する。

シミュレータ１６０は、操作指令に従ってスレーブロボット２２０のシミュレーションを行う。詳細にはシミュレータ１６０は、スレーブロボット２２０の構造情報や環境モデル等の各種情報を参照し、操作指令に従ってスレーブロボット２２０が動作した場合の状況をシミュレーションする。スレーブロボット２２０の構造情報や環境モデル等の各種情報は、例えばマスタ装置１０内の図示しないデータベース等に記憶されていればよい。シミュレータ１６０は、シミュレーション結果を画像（動画像であり、以下の説明では「シミュレーション画像」とも記載する。）として表示画像生成部１３０に出力する。

またシミュレータ１６０は、シミュレーションにより算出したロボットの位置情報（スレーブロボット２２０の各種部材の位置情報）と力情報（各種部材に生じている力の方向や大きさ等）をマスタコントローラ１１１に通知する。

本実施の形態では表示画像生成部１３０は、実施の形態１と同様に割合ｒを算出し、この割合ｒを実画像とシミュレーション画像の合成に用いる割合とし、合成処理を行うことにより表示画像を生成する。

通信遅延ｔｄが大きい場合、受信した実画像と実際の作業環境との差が大きいと想定される。そのため表示画像生成部１３０は、シミュレーション画像の合成の割合を大きくして表示画像を生成する。一方、通信遅延ｔｄが小さい場合、受信した実画像と実際の作業環境との差が小さいと想定される。そのため表示画像生成部１３０は、実画像の合成の割合を大きくして表示画像を生成する。

ここで、上述の（数１）により算出した割合ｒをシミュレータ画像の合成の割合とし、割合１−ｒを実画像の合成の割合とする。当該合成は、例えば各画像の各画素の濃淡値に合成割合（ｒまたは１−ｒ）を掛け合わせて合算し、表示画像の各画素の濃淡値を算出することにより行われる。

なお割合ｒの算出に用いる上述の（数１）の重み係数ａは、画像を完全に切り替えたい程度の遅延時間ｔｄの大きさに応じて決めればよい。例えば、ｘ秒以上の通信遅延がある場合には実画像を合成せずにシミュレーション画像をそのまま表示したほうが良い場合、（１／ｘ）を基に重み係数ａを決定すればよい。

これと同様に、前述のマスタコントローラ１１１から操作者に与えられる反力も通信遅延ｔｄに応じて切り替えられる。通信遅延ｔｄが大きい場合、スレーブロボット２２０から受信した位置情報及び力情報と、実際の作業環境のスレーブロボット２２０の位置及び力（作業環境において生じてる力）と、の差が大きいと想定される。そこでマスタコントローラ１１１は、シミュレータ１６０から通知された位置情報及び力情報を操作者に与える反力とする。一方、通信遅延ｔｄが小さい場合、マスタコントローラ１１１は、スレーブロボット２２０から通知された位置情報及び力情報を操作者に与える反力とする。この切り替えは、例えば遅延測定部１２０の測定した通信遅延ｔｄが所定の閾値よりも大きいか否かに応じて行えばよい。

続いて本実施の形態にかかる遠隔操作システム１の効果について説明する。遠隔操作システム１は、マスタ装置１０とスレーブ装置２０の間の通信遅延ｔｄに応じて、シミュレーション画像と実画像を合成した表示画像を操作者に提示する。実画像は、スレーブロボット２２０の状況と共に作業環境の背景等についても映りこんだ画像である。一方、シミュレーション画像は、一般的にスレーブロボット２２０の状況のみを表示した画像である。そのため操作者は、例えば作業環境の背景が色濃く映っているか等から通信遅延ｔｄがどの程度生じているかを容易に把握することができる。またシミュレーション画像は、実画像に比べて簡易化された画像となっている場合が多いため、合成の割合に応じて通信遅延ｔｄがどの程度生じているかを容易に把握することができる。すなわち操作者は、作業のために参照する画面から目線を移すことなく直感的に通信遅延ｔｄの大きさを把握することができる。これにより操作者は、通信遅延ｔｄが大きい場合にはマスタコントローラ１１１に与える操作量を減らす等の対応が可能となり、操作性を向上させることができる。

また本実施の形態では、シミュレーション画像と実画像を合成した表示画像を生成しているため、実施の形態１の構成と比べて、操作者は実環境におけるスレーブロボット２２０の状況により近い環境を認識することができる。

なおシミュレータ１６０は、スレーブロボット２２０の実際の色とは異なる色をロボットの色として配色したシミュレーション画像を生成してもよい。これにより操作者は、ロボットの合成色からも容易に通信遅延ｔｄの大きさを把握することができる。

また、上述の説明ではマスタ装置１０内に操作部１１０、シミュレータ１６０、表示画像生成部１３０等が備えられているものとしたが必ずしもこれに限られない。これらの処理部は、データの送受信に通信遅延が生じない構成であれば別の装置に分散されて配置されてもよい。

＜実施の形態３＞
本実施の形態にかかる遠隔操作システム１は、操作者に与えられる反力についても通信遅延ｔｄから算出した割合ｒを用いて算出することを特徴とする。以下、本実施の形態にかかる遠隔操作システム１の構成について、実施の形態２と異なる点を説明する。

図５は、本実施の形態にかかる遠隔操作システム１の構成を示すブロック図である。本実施の形態にかかる遠隔操作システム１は、図４の構成に加えてマスタ装置１０内に反力算出部１７０を有する。

スレーブロボット２２０は、自身の位置情報（スレーブロボット２２０の各種部材の位置情報）と力情報（各種部材に生じている力の方向や大きさ等）を反力算出部１７０に送信する。

シミュレータ１６０は、シミュレーションにより算出したロボットの位置情報（スレーブロボット２２０の各種部材の位置情報）と力情報（各種部材に生じている力の方向や大きさ等）を反力算出部１７０に送信する。

また遅延測定部１２０は、測定した通信遅延ｔｄを表示画像生成部１３０に送信するとともに反力算出部１７０に送信する。

反力算出部１７０は、表示画像生成部１３０と同様に、通信遅延ｔｄに応じた割合ｒ（ブレンドレート）を算出し、算出した割合ｒを用いてマスタコントローラ１１１が操作者に与える反力を求める。割合ｒは、表示画像生成部１３０と同様に例えば以下の（数２）に従って算出すればよい。なお、式中の重み係数ａは、表示画像生成部１３０における算出の際の重み係数と異なる値を用いてもよい。

反力算出部１７０は、上述の割合ｒをシミュレータ１６０からの位置情報及び力情報の合成の割合とし、割合１−ｒをスレーブロボット２２０からの位置情報及び力情報の合成の割合とする。反力算出部１７０は、この割合ｒ及び１−ｒに応じて算出した位置情報及び力情報をマスタコントローラ１１１に供給する。

マスタコントローラ１１１は、反力算出部１７０から通知された位置情報及び力情報を反力として操作者に伝える。すなわちマスタコントローラ１１１は、自身の位置や動きを通じてロボットがどのような動作を行っているかを操作者に伝える。

以上が本実施の形態にかかる遠隔操作システム１の動作である。これ以外の動作は、実施の形態２と同様である。続いて本実施の形態にかかる遠隔操作システム１の効果について説明する。本実施の形態では、表示画像だけではなく、操作者に伝わる反力も通信遅延ｔｄに応じて合成している。通信遅延ｔｄの大きさに応じて反力が合成されることにより、遠隔操作システム１は通信遅延ｔｄが生じている場合であっても連続性のある反力提示を行うことができる。これにより、実施の形態１にかかる遠隔操作システム１と比べて操作者の操作性を更に向上させることができる。

＜実施の形態４＞
続いて本実施の形態３にかかる遠隔操作システム１について説明する。本実施の形態にかかる遠隔操作システム１は、操作者がマスタコントローラ１１１に与える操作量も考慮して画像の調整割合（すなわち割合ｒ）を算出することを特徴とする。本実施の形態にかかる遠隔操作システム１について実施の形態２と異なる点を以下に説明する。

本実施の形態にかかる遠隔操作システム１の構成は、図４に示す構成と同様であるため、構成についての詳細な説明は省略する。一般的にシミュレーション画像は、シミュレーションにより算出したスレーブロボット２２０の動作状態を表示する。ここでシミュレーション画像は一般的にスレーブロボット２２０の外観等が簡略化された画像である。一方で実画像は、スレーブロボット２２０の動作と共に周辺の作業環境も撮像しているため、シミュレーション画像よりも情報量が多い。そのため通信遅延ｔｄが生じている場合であっても、操作量に変化が少ない場合には、実画像を参照する方が操作しやすいことが想定される。よって、表示画像生成部１３０は、上述の（数１）ではなく、以下の（数３）を用いて割合ｒを算出する。

なお、上述の算出式（数３）は、あくまでも算出例であり、この他の算出式を用いてもよいことは勿論である。すなわち表示画像生成部１３０は、マスタロボット１１２に対する操作量が大きくなるにつれてシミュレーション画像の合成の割合が高くなるように制御をすれば（換言するとマスタロボット１１２に対する操作量が少なくなるにつれて実画像の合成の割合が高くなるように制御をすれば）、どのような算出方法で割合ｒを算出してもよい。

続いて本実施の形態にかかる遠隔操作システム１の効果について説明する。本実施の形態にかかる遠隔操作システム１は、通信遅延ｔｄに加え、マスタロボット１１２に対する操作量も考慮して画像の合成の割合（ｒ及び１−ｒ）を算出する。これにより、操作者は作業環境をより明確に把握することができる。

なお、上述の算出式（数３）により求めた割合ｒ及び１−ｒを反力合成にも用いてもよいことは勿論である。また実施の形態１のようにシミュレーション画像を用いない形態においても、上述したような操作量の大きさに応じた調整を行うことも可能である。

＜その他の実施の形態＞
遠隔操作システム１は、表示画像の生成に関し、様々な合成手法を用いてよい。上述の説明では、表示画像生成部１３０は、各画像（シミュレーション画像、実画像）における各画素の濃度を割合ｒを用いて乗算し、対応する画素の乗算値を足し合わせることにより表示画像の各画素の濃淡値を算出して表示画像を生成していた。しかしながら、表示画像生成部１３０は、濃淡値のみならず、色合い、コントラスト、色相等の値も考慮して表示画像を生成してもよい。

例えば表示画像生成部１３０は、濃淡値の計算と同様に、各画像（シミュレーション画像、実画像）における各画素の色相値を割合ｒを用いて乗算し、対応する画素の乗算値を足し合わせることにより表示画像の各画素の色相値を算出する。表示画像生成部１３０は、コントラスト等についても同様に算出する。なお割合ｒを算出する際に各画像パラメータ（色合い、コントラスト、色相等）に応じて、異なる重み係数（（数１）における重み係数ａ）を用いてもよい。

一般的にシミュレーション画像は、実画像に比べて単純な色合いの画像となる。そこで表示画像生成部１３０は、実画像とシミュレーション画像の関係性からどのように表示画像を生成するかを切り替えればよい。

上述した実施の形態は本件発明者により得られた技術思想の適用に関する例に過ぎない。すなわち、当該技術思想は、上述した実施の形態のみに限定されるものではなく、種々の変更が可能であることは勿論である。

例えば上述の表示画像に対して、遅延測定部１２０が測定した通信遅延ｔｄの値を更に重畳して表示してもよい。これにより、ユーザは通信遅延ｔｄの大きさをより明確に把握することができる。

また表示画像生成部１３０は、操作者のモード切り替えの入力に応じて、上述の表示画像を表示するモードと、実画像をそのまま表示するモードと、を切り替えてもよい。これにより操作者は、実画像をそのまま表示するモードを選択した場合、スレーブロボット２２０の作業環境（背景）をより明確に認識することができる。

マスタ装置１０内の各処理部（シミュレータ１６０、遅延測定部１２０、表示画像生成部１３０、反力算出部１７０、操作部１１０における通信処理）の各処理は、ＣＰＵ（Central Processing Unit）がコンピュータプログラムを実行することにより実現されてもよい。

コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１ 遠隔操作システム
１０ マスタ装置
１１０ 操作部
１１１ マスタコントローラ
１１２ マスタロボット
１２０ 遅延測定部
１３０ 表示画像生成部
１４０ 画像表示部
１５０ シミュレータコントローラ
１６０ シミュレータ
１７０ 反力算出部
２０ スレーブ装置
２１０ スレーブコントローラ
２２０ スレーブロボット

Claims (8)

1. スレーブロボットに対して操作指令を送信し、前記スレーブロボットが動作中に撮像した実画像を受信する遠隔操作装置であって、
   前記スレーブロボットとの間の通信遅延を測定する遅延測定部と、
   前記通信遅延の大きさに基づいて、前記実画像の画像パラメータを調整した表示画像を生成する表示画像生成部と、を備える、遠隔操作装置。
2. 前記スレーブロボットに送られる前記操作指令に基づいて動作シミュレーションを行い、動作シミュレーションに従ったシミュレーション画像を生成するシミュレータを備え、
   前記表示画像生成部は、前記通信遅延の大きさに基づいて、前記実画像と前記シミュレーション画像を合成することにより前記表示画像を生成する、ことを特徴とする請求項１に記載の遠隔操作装置。
3. 前記表示画像生成部は、
   前記通信遅延が大きくなるにつれて前記シミュレーション画像の合成の割合を大きくなるように制御を行う、ことを特徴とする請求項２に記載の遠隔操作装置。
4. 前記スレーブロボットに送信する前記操作指令を受け付けると共に、操作者に対して前記スレーブロボットに生じた反力を伝える操作部と、
   前記通信遅延に基づいて、前記シミュレータが算出した前記スレーブロボットの位置及び力の情報と、前記スレーブロボットに生じている位置及び力の情報と、を合成して前記操作部が操作者に対して伝える反力を算出する反力算出部と、
   を更に備える、ことを特徴とする請求項２または請求項３に記載の遠隔操作装置。
5. 前記表示画像生成部は、
   前記操作指令に含まれる前記スレーブロボットに対する操作量が大きくなるにつれて前記シミュレーション画像の合成の割合を大きくするように制御を行う、ことを特徴とする請求項２〜請求項４のいずれか１項に記載の遠隔操作装置。
6. 前記表示画像生成部は、前記シミュレーション画像の合成の割合をｒ（ただしｒ＜＝１）とし、前記実画像の合成の割合を１−ｒとした場合、割合ｒを以下の（数１）に従って算出することを特徴とする請求項５に記載の遠隔操作装置。
   

   
7. 前記表示画像生成部は、前記通信遅延の大きさに基づいて前記実画像の各画素の濃淡を調整することにより前記表示画像を生成する、ことを特徴とする請求項１に記載の遠隔操作装置。
8. スレーブロボットに対して操作指令を送信し、
   前記スレーブロボットが動作中に撮像した実画像を受信し、
   前記スレーブロボットとの間の通信遅延を測定し、
   前記通信遅延の大きさに基づいて、前記実画像を調整した表示画像を生成する、操作画像表示方法。

Images