JP2022095300A - 遠隔制御システム、遠隔制御システムの制御方法及び遠隔制御プログラム - Google Patents

Abstract

【課題】撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減する。【解決手段】遠隔制御システム１００は、ユーザに操作される操作装置２と、操作装置２の動作に応じて対象物Ｗに作用を加えるロボット１と、ロボット１に設けられ、ロボット１の動作状態を検出する接触力センサ１３と、ロボット１及び対象物Ｗの少なくとも一方の画像を撮影する撮像装置７１と、撮像装置７１による撮影画像を表示して、操作装置２を操作するユーザに提供する表示装置８と、接触力センサ１３の検出結果に基づいてロボット１及び操作装置２の少なくとも一方の動作制御を実行する制御装置３とを備えている。制御装置３は、動作制御に対する撮影画像の表示装置８による表示タイミングのズレを低減するように、動作制御を遅延させる。【選択図】図１

Description

ここに開示された技術は、遠隔制御システム、遠隔制御システムの制御方法及び遠隔制御プログラムに関する。

従来より、マスタ装置によってスレーブ装置を遠隔制御する技術が知られている。例えば、特許文献１には、物理的に互いに離間された位置に配置されたマスタ装置とスレーブ装置とを備えた遠隔制御システムが開示されている。この遠隔制御システムでは、スレーブ装置側からマスタ装置側へ送信されてくる画像を表示する表示装置が設けられている。そして、マスタ装置とスレーブ装置との間の通信遅延が大きい場合には、表示装置に画像がぼやけるように表示される。これにより、ユーザは、通信遅延が大きいことを知ることができる。

特開２０１５－４７６６６号公報

前述のように、遠隔制御システムにおいては、マスタ装置及びスレーブ装置間の制御信号だけでなく、画像信号のような様々な信号が送受信され得る。信号の送受信に要する時間及び信号の処理に要する時間は、信号ごとにばらつきがある。最終的な信号の処理に信号ごとの時間のズレが生じると、ユーザに違和感を与える虞がある。例えば、前述の遠隔制御システムの場合、マスタ装置とスレーブ装置との間での制御と表示装置での画像表示との間で時間のズレが生じると、ユーザが違和感を覚える虞がある。

ここに開示された技術は、かかる点に鑑みてなされたものであり、その目的とするところは、撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減することにある。

ここに開示された遠隔制御システムは、ユーザに操作されるマスタ装置と、前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置と、前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行する制御装置とを備え、前記制御装置は、前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させる。

ここに開示された遠隔制御システムの制御方法は、ユーザに操作されるマスタ装置と、前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置とを備えた遠隔制御システムの制御方法であって、前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行することと、前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させることとを含む。

ここに開示された遠隔制御プログラムは、ユーザに操作されるマスタ装置と、前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置とを備えた遠隔制御システムを制御する機能をコンピュータに実現させるための遠隔制御プログラムであって、前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行する機能と、前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させる機能とをコンピュータに実現させる。

前記遠隔制御システムによれば、撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減することができる。

前記遠隔制御システムの制御方法によれば、撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減することができる。

前記遠隔制御プログラムによれば、撮影画像の表示を伴う遠隔制御システムにおいてユーザに与える違和感を低減することができる。

図１は、実施形態に係る遠隔制御システムの構成を示す模式図である。 図２は、ロボット制御装置の概略的なハードウェア構成を示す図である。 図３は、操作制御装置の概略的なハードウェア構成を示す図である。 図４は、制御装置の概略的なハードウェア構成を示す図である。 図５は、画像処理装置の概略的なハードウェア構成を示す図である。 図６は、表示制御装置の概略的なハードウェア構成を示す図である。 図７は、遠隔制御システムの制御系統の構成を示すブロック図である。 図８は、遠隔制御システムの動作を示すフローチャートである。 図９（ｉ）は、入力処理部から出力されるセンサ信号の一例である。図９（ii）は、撮像装置７１から出力される画像信号の一例である。 図１０は、合成部から出力される、センサ信号が合成された画像信号の一例である。 図１１（ｉ）は、制御装置がロボット制御装置から取得するセンサ信号の一例である。図１１（ii）は、表示制御装置によるデコード後の画像信号の一例である。 図１２は、画像信号から分離されたセンサ信号の一例である。

以下、例示的な実施形態を図面に基づいて詳細に説明する。図１は、実施形態に係る遠隔制御システム１００の構成を示す模式図である。尚、図１における破線は、無線通信を表している。

遠隔制御システム１００は、マスタスレーブシステム１１０を備えている。マスタスレーブシステム１１０は、ユーザに操作される操作装置２と、操作装置２の動作に応じて対象物Ｗに作用を加えるロボット１と、ロボット１及び操作装置２を制御する制御装置３とを有している。操作装置２及び制御装置３は、第１サイトＳ１に配置されている。ロボット１は、第１サイトＳ１とは別の第２サイトＳ２に配置されている。マスタスレーブシステム１１０は、操作装置２とロボット１との間で遠隔制御を実現する。操作装置２は、マスタ装置の一例であり、ロボット１は、スレーブ装置の一例である。

尚、本開示において、ロボット１が行う作業は、ティーチング作業並びに教示の確認及び修正作業を含まない。したがって、操作装置２は、ティーチペンダントを含まない。

ロボット１と操作装置２とは、通信可能に接続されている。具体的には、ロボット１と制御装置３とは、無線通信可能に接続されている。つまり、ロボット１、無線通信及び制御装置３という伝送路（以下、「第１伝送路」という）を介して、ロボット１と制御装置３との間で信号が送受信される。操作装置２は、制御装置３に接続されている。すなわち、操作装置２は、制御装置３を介してロボット１と通信を行う。

この例では、ロボット１は、産業用ロボットである。ロボット１は、対象物Ｗに作用を加える。作用は、具体的には加工であり、より具体的には研削である。作用は、研削に限定されず、研削又は研磨等であってもよい。対象物Ｗは、例えば、大きな鋼板又は大型タンクの壁等である。

ロボット１は、ロボット１の動作状態を検出するセンサを有している。この例では、センサは、ロボット１は、対象物Ｗから受ける反力（以下、「接触力」という）を検出する接触力センサ１３をさらに有している。

制御装置３は、接触力センサ１３の検出結果をロボット１を介して受信している。制御装置３は、接触力センサ１３の検出結果に基づいてロボット１及び操作装置２の少なくとも一方の動作制御を実行している。この例では、制御装置３は、ユーザによる操作装置２の操作及び接触力センサ１３の検出結果に応じて、ロボット１の動作を制御すると共にロボット１に作用する反力をユーザに提示するように操作装置２の動作を制御する。

遠隔制御システム１００は、画像システム１２０をさらに備えている。画像システム１２０は、画像を撮影する撮像装置７１と、撮像装置７１による撮影画像を表示する表示装置８とを有している。画像システム１２０は、撮像装置７１の撮影画像を処理する画像処理装置７２をさらに有している。表示装置８は、第１サイトＳ１に配置されている。表示装置８は、ユーザが操作装置２を操作しながら視認できる位置に配置されている。撮像装置７１及び画像処理装置７２は、第２サイトＳ２に配置されている。撮像装置７１は、ロボット１及び／又は対象物Ｗの画像を撮影する。

撮像装置７１と表示装置８とは、通信可能に接続されている。具体的には、画像処理装置７２と表示装置８とは、無線通信可能に接続されている。つまり、画像処理装置７２、無線通信及び表示装置８という伝送路（以下、「第２伝送路」という）を介して、撮像装置７１と表示装置８との間で信号が送受信される。撮像装置７１は、画像処理装置７２に接続されている。すなわち、撮像装置７１は、画像処理装置７２を介して表示装置８と通信を行う。

画像システム１２０は、ロボット１及び／又は対象物Ｗの画像を撮像装置７１で撮影し、撮影画像を表示装置８で表示することによって、操作装置２を操作するユーザを補助する。

＜遠隔制御システムの詳細構成＞

［ロボット］
ロボット１は、対象物Ｗに作用を加えるエンドエフェクタ１１と、エンドエフェクタ１１を動作させるロボットアーム１２とを有していてもよい。ロボット１は、ロボットアーム１２によってエンドエフェクタ１１を動作、即ち、移動させて、エンドエフェクタ１１によって対象物Ｗに作用を加える。ロボット１は、ロボットアーム１２を支持するベース１０と、ロボット１の全体を制御するロボット制御装置１４とをさらに有していてもよい。

ロボット１には、直交３軸のロボット座標系が規定されている。例えば、上下方向にＺ軸が設定され、水平方向に互いに直交するＸ軸及びＹ軸が設定される。

エンドエフェクタ１１は、研削装置１１ａを有し、対象物Ｗに作用としての研削を加える。例えば、研削装置１１ａは、グラインダ、オービタルサンダ、ランダムオービットサンダ、デルタサンダ又はベルトサンダ等であってもよい。グラインダは、円盤状の研削砥石を回転させるタイプ、円錐状又は円柱状の研削砥石を回転させるタイプ等であってもよい。ここでは、研削装置１１ａは、グラインダである。

ロボットアーム１２は、研削装置１１ａの位置を変更する。さらに、ロボットアーム１２は、研削装置１１ａの姿勢を変更してもよい。ロボットアーム１２は、垂直多関節型のロボットアームである。ロボットアーム１２は、複数のリンク１２ａと、複数のリンク１２ａを接続する関節１２ｂと、複数の関節１２ｂを回転駆動するサーボモータ１５（図２参照）とを有している。

尚、ロボットアーム１２は、水平多関節型、パラレルリンク型、直角座標型、又は極座標型のロボットアーム等であってもよい。

接触力センサ１３は、この例では、ロボットアーム１２とエンドエフェクタ１１との間（具体的には、ロボットアーム１２とエンドエフェクタ１１との連結部）に設けられている。接触力センサ１３は、エンドエフェクタ１１が対象物Ｗから受ける接触力を検出する。接触力センサ１３は、直交する３軸方向の力と該３軸回りのモーメントを検出する。接触力センサ１３は、力覚センサの一例である。

尚、力覚センサは、接触力センサ１３に限定されない。例えば、接触力センサ１３は、１軸、２軸又は３軸方向の力のみを検出してもよい。あるいは、力覚センサは、ロボットアーム１２のサーボモータ１５の電流を検出する電流センサ又はサーボモータ１５のトルクを検出するトルクセンサ等であってもよい。

図２は、ロボット制御装置１４の概略的なハードウェア構成を示す図である。ロボット制御装置１４は、ロボットアーム１２のサーボモータ１５及び研削装置１１ａを制御する。ロボット制御装置１４は、接触力センサ１３の検出信号を受け付ける。ロボット制御装置１４は、制御装置３及び画像処理装置７２と情報、指令及びデータ等の送受信を行う。ロボット制御装置１４は、制御装置３と無線通信を行う。ロボット制御装置１４は、画像処理装置７２と配線で接続され、配線を介して画像処理装置７２へ情報及びデータ等を送信する。ロボット制御装置１４は、制御部１６と、記憶部１７と、メモリ１８と、通信部１９とを有している。

制御部１６は、ロボット制御装置１４の全体を制御する。制御部１６は、各種の演算処理を行う。例えば、制御部１６は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部１６は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。

記憶部１７は、制御部１６で実行されるプログラム及び各種データを格納している。記憶部１７は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。

メモリ１８は、データ等を一時的に格納する。例えば、メモリ１８は、揮発性メモリで形成される。

通信部１９は、通信モジュールであり、無線通信を実行する。例えば、通信部１９は、５Ｇの通信規格に則った無線通信を実現する。

［操作装置］
操作装置２は、図１に示すように、ユーザが操作する操作部２１と、操作部２１にユーザから加えられる操作力を検出する操作力センサ２３とを有している。操作装置２は、ロボット１を手動運転で操作するための入力を受け付け、入力された情報である操作情報を制御装置３へ出力する。具体的には、ユーザは、操作部２１を把持して操作装置２を操作する。その際に操作部２１に加えられる力を操作力センサ２３が検出する。操作力センサ２３によって検出される操作力は、操作情報として制御装置３へ出力される。

操作装置２は、ベース２０と、ベース２０に設けられ、操作部２１を支持する支持機構２２と、操作装置２の全体を制御する操作制御装置２４とをさらに有していてもよい。操作装置２は、制御装置３からの制御によって、操作力に対する反力をユーザに提示する。具体的には、操作制御装置２４は、制御装置３からの指令を受けて、支持機構２２を制御することによって、反力をユーザに感知させる。

操作装置２には、直交３軸の操作座標系が規定されている。操作座標系は、ロボット座標系と対応している。つまり、上下方向にＺ軸が設定され、水平方向に互いに直交するＸ軸及びＹ軸が設定される。

支持機構２２は、複数のリンク２２ａと、複数のリンク２２ａを接続する関節２２ｂと、複数の関節２２ｂを回転駆動するサーボモータ２５（図３参照）とを有している。支持機構２２は、操作部２１が３次元空間内で任意の位置及び姿勢をとることができるように、操作部２１を支持する。操作部２１の位置及び姿勢に対応して、サーボモータ２５が回転する。サーボモータ２５の回転量、即ち、回転角は、一義的に決まる。

操作力センサ２３は、この例では、操作部２１と支持機構２２との間（具体的には、操作部２１と支持機構２２との連結部）に設けられている。操作力センサ２３は、直交する３軸方向の力と該３軸回りのモーメントを検出する。

尚、操作力の検出部は、操作力センサ２３に限定されない。例えば、操作力センサ２３は、１軸、２軸又は３軸方向の力のみを検出してもよい。あるいは、検出部は、支持機構２２のサーボモータ２５の電流を検出する電流センサ又はサーボモータ２５のトルクを検出するトルクセンサ等であってもよい。

図３は、操作制御装置２４の概略的なハードウェア構成を示す図である。操作制御装置２４は、サーボモータ２５を制御することによって支持機構２２を動作させる。操作制御装置２４は、操作力センサ２３の検出信号を受け付ける。操作制御装置２４は、制御装置３と配線で接続され、配線を介して制御装置３と情報、指令及びデータ等の送受信を行う。操作制御装置２４は、制御部２６と、記憶部２７と、メモリ２８とを有している。

制御部２６は、操作制御装置２４の全体を制御する。制御部２６は、各種の演算処理を行う。例えば、制御部２６は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部２６は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。

記憶部２７は、制御部２６で実行されるプログラム及び各種データを格納している。記憶部２７は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。

メモリ２８は、データ等を一時的に格納する。例えば、メモリ２８は、揮発性メモリで形成される。

［制御装置］
制御装置３は、マスタスレーブシステム１１０の全体を制御し、ロボット１及び操作装置２の動作制御を行う。具体的には、制御装置３は、ロボット１と操作装置２との間でマスタスレーブ制御、具体的には、バイラテラル制御を行う。制御装置３は、ユーザの操作による操作装置２の動作に応じてロボット１の動作を制御する第１制御と、接触力センサ１３の検出結果に応じた反力をユーザに提示するように操作装置２の動作を制御する第２制御とを実行する。つまり、第１制御によってエンドエフェクタ１１が対象物Ｗを加工すると共に、第２制御によって加工時の反力がユーザに提示される。

図４は、制御装置３の概略的なハードウェア構成を示す図である。制御装置３は、ロボット制御装置１４及び操作制御装置２４と情報、指令及びデータ等の送受信を行う。さらに、制御装置３は、表示装置８と情報、指令及びデータ等の送受信を行う。制御装置３は、制御部３１と、記憶部３２と、メモリ３３と、通信部３４とを有している。尚、図示を省略するが、制御装置３は、ロボット１及び操作装置２の動作制御の設定を行うためにユーザが操作する入力操作部と、設定内容を表示するディスプレイとをさらに有していてもよい。

制御部３１は、制御装置３の全体を制御する。制御部３１は、各種の演算処理を行う。例えば、制御部３１は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部３１は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。

記憶部３２は、制御部３１で実行されるプログラム及び各種データを格納している。例えば、記憶部３２は、遠隔制御システム１００を制御する遠隔制御プログラムが格納されている。記憶部３２は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。

メモリ３３は、データ等を一時的に格納する。例えば、メモリ３３は、揮発性メモリで形成される。

通信部３４は、通信モジュールであり、無線通信を実行する。例えば、通信部３４は、５Ｇの通信規格に則った無線通信を実現する。

［撮像装置及び画像処理装置］
撮像装置７１は、ロボット１及び対象物Ｗの画像、具体的には動画を撮影する。この例では、ロボット１が対象物Ｗの研削を行うため、撮像装置７１は、エンドエフェクタ１１及び対象物Ｗを中心に撮影する。撮像装置７１は、所定のフレームレートで動画を撮影する。撮像装置７１の撮影画像は、画像信号として画像処理装置７２へ入力される。

画像処理装置７２は、撮像装置７１の撮影画像、即ち、画像信号を受信し、画像信号を処理し、処理後の画像信号を表示装置８へ送信する。画像処理装置７２は、処理後の画像信号をエンコードし、エンコードされた画像信号を無線通信によって表示装置８へ送信する。

詳しくは、画像処理装置７２は、撮像装置７１の画像信号に加えて、接触力センサ１３の検出結果をロボット１から受信する。画像処理装置７２は、撮影画像の処理として、互いに対応するタイミングで取得された撮像装置７１の撮影画像と接触力センサ１３の検出結果とを関連付ける。具体的には、画像処理装置７２は、撮影画像と対応するタイミングで取得された接触力センサ１３の検出結果を撮影画像に付加する。画像処理装置７２は、接触力センサ１３の検出結果が付加された撮影画像をエンコードして表示装置８へ送信する。

図５は、画像処理装置７２の概略的なハードウェア構成を示す図である。画像処理装置７２は、制御部７３と、記憶部７４と、メモリ７５と、通信部７６とを有している。

制御部７３は、画像処理装置７２の全体を制御する。制御部７３は、各種の演算処理を行う。例えば、制御部７３は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部７３は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。

記憶部７４は、制御部７３で実行されるプログラム及び各種データを格納している。記憶部７４は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。

メモリ７５は、データ等を一時的に格納する。例えば、メモリ７５は、揮発性メモリで形成される。

通信部７６は、通信モジュールであり、無線通信を実行する。例えば、通信部７６は、５Ｇの通信規格に則った無線通信を実現する。

［表示装置］
表示装置８は、撮像装置７１の撮影画像を表示する。表示装置８は、ディスプレイ８１と、表示制御装置８２とを有している。

表示制御装置８２は、撮像装置７１の撮影画像を無線通信によって受信する。具体的には、表示制御装置８２は、画像処理装置７２と無線通信を行う。表示制御装置８２は、画像処理装置７２から画像信号を受信する。表示制御装置８２は、受信された画像信号をデコードし、デコード後の画像信号をディスプレイ８１に出力する。

ディスプレイ８１は、表示制御装置８２から入力された画像信号を画像として表示する。

図６は、表示制御装置８２の概略的なハードウェア構成を示す図である。表示制御装置８２は、制御部８３と、記憶部８４と、メモリ８５と、通信部８６とを有している。

制御部８３は、表示制御装置８２の全体を制御する。制御部８３は、各種の演算処理を行う。例えば、制御部８３は、ＣＰＵ（Central Processing Unit）等のプロセッサで形成されている。制御部８３は、ＭＣＵ（Micro Controller Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＰＬＣ（Programmable Logic Controller）、システムＬＳＩ等で形成されていてもよい。

記憶部８４は、制御部８３で実行されるプログラム及び各種データを格納している。記憶部８４は、不揮発性メモリ、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等で形成される。

メモリ８５は、データ等を一時的に格納する。例えば、メモリ８５は、揮発性メモリで形成される。

通信部８６は、通信モジュールであり、無線通信を実行する。例えば、通信部８６は、５Ｇの通信規格に則った無線通信を実現する。

＜遠隔制御システムの制御＞
このように構成された遠隔制御システム１００においては、制御装置３は、ユーザの操作による操作装置２の動作に応じてロボット１の動作を制御する第１制御と、接触力センサ１３の検出結果に応じた反力をユーザに提示するように操作装置２の動作を制御する第２制御とを並行して行うマスタスレーブ制御を実行する。それと並行して、画像システム１２０は、撮像装置７１によってロボット１及び対象物Ｗを撮影し、表示装置８によってその撮影画像を表示する画像表示制御を実行する。ユーザは、表示装置８に表示される撮影画像を観ながら操作装置２を操作することができる。このとき、制御装置３は、マスタスレーブ制御と表示装置８に表示される撮影画像とのズレを低減するように、マスタスレーブ制御を遅延させる遅延制御を実行する。

さらに、制御装置３は、マスタスレーブ制御及び画像表示制御の実行中に、マスタスレーブ制御と表示装置８に表示される撮影画像とのズレ時間を求めると共に、遅延制御の遅延量をズレ時間に基づいて更新する。

図７は、遠隔制御システム１００の制御系統の構成を示すブロック図である。

ロボット制御装置１４の制御部１６は、記憶部１７からプログラムをメモリ１８に読み出して展開することによって、各種機能を実現する。具体的には、制御部１６は、入力処理部４１と動作制御部４２として機能する。

入力処理部４１は、接触力センサ１３及びサーボモータ１５から受け取る情報、データ及び指令等を制御装置３に出力する。具体的には、入力処理部４１は、接触力センサ１３から６軸の力の検出信号（以下、「センサ信号」という）を受け取り、該センサ信号を制御装置３へ出力する。センサ信号は、無線通信によって制御装置３へ送信される。また、入力処理部４１は、サーボモータ１５から回転センサ（例えば、エンコーダ）及び電流センサの検出信号を受け取る。入力処理部４１は、動作制御部４２によるロボットアーム１２のフィードバック制御のために該検出信号を動作制御部４２へ出力する。また、入力処理部４１は、ロボットアーム１２の位置情報として該検出信号を制御装置３へ出力する。それに加えて、入力処理部４１は、接触力センサ１３のセンサ信号を画像処理装置７２へも出力する。

動作制御部４２は、制御装置３から指令位置ｘｄｓを無線通信を介して受け取り、指令位置ｘｄｓに従ってロボットアーム１２を動作させるための制御指令を生成する。動作制御部４２は、サーボモータ１５へ制御指令を出力し、ロボットアーム１２を動作させ、研削装置１１ａを指令位置に対応する位置へ移動させる。このとき、動作制御部４２は、入力処理部４１からのサーボモータ１５の回転センサ及び／又は電流センサの検出信号に基づいて、ロボットアーム１２の動作をフィードバック制御する。また、動作制御部４２は、研削装置１１ａに制御指令を出力し、研削装置１１ａを動作させる。これにより、研削装置１１ａが対象物Ｗを研削する。

操作制御装置２４の制御部２６は、記憶部２７からプログラムをメモリ２８に読み出して展開することによって、各種機能を実現する。具体的には、制御部２６は、入力処理部５１と動作制御部５２として機能する。

入力処理部５１は、操作力センサ２３から受け取る情報、データ及び指令等を制御装置３に出力する。具体的には、入力処理部５１は、操作力センサ２３から６軸の力の検出信号を受け取り、該検出信号を制御装置３へ出力する。また、入力処理部５１は、サーボモータ２５から回転センサ（例えば、エンコーダ）及び電流センサの検出信号を受け取る。入力処理部５１は、動作制御部５２による支持機構２２のフィードバック制御のために該検出信号を動作制御部５２へ出力する。

動作制御部５２は、制御装置３から指令位置ｘｄｍを受け取り、指令位置ｘｄｍに従って支持機構２２を動作させるための制御指令を生成する。動作制御部５２は、サーボモータ２５へ制御指令を出力し、支持機構２２を動作させ、操作部２１を指令位置に対応する位置へ移動させる。このとき、動作制御部５２は、入力処理部５１からのサーボモータ２５の回転センサ及び／又は電流センサの検出信号に基づいて、支持機構２２の動作をフィードバック制御する。これにより、ユーザが操作部２１に与える操作力に対して反力が与えられる。その結果、ユーザは、対象物Ｗから反力を操作部２１から疑似的に感じつつ、操作部２１を操作することができる。

制御装置３の制御部３１は、記憶部３２からプログラム（具体的には、遠隔制御プログラム）をメモリ３３に読み出して展開することによって、各種機能を実現する。具体的には、制御部３１は、操作力取得部６１と接触力取得部６２と加算部６３と力／速度換算部６４と第１速度／位置換算部６５と第２速度／位置換算部６６と分離部６７とズレ検出部６８と遅延部６９として機能する。

また、画像処理装置７２の制御部７３は、記憶部７４からプログラムをメモリ７５に読み出して展開することによって、各種機能を実現する。具体的には、制御部７３は、合成部７７とエンコーダ７８として機能する。

表示制御装置８２の制御部８３は、記憶部８４からプログラムをメモリ８５に読み出して展開することによって、各種機能を実現する。具体的には、制御部８３は、デコーダ８７として機能する。

操作力取得部６１は、入力処理部５１を介して、操作力センサ２３の検出信号を受け取り、検出信号に基づいて操作力ｆｍを取得する。操作力取得部６１は、操作力ｆｍを加算部６３へ入力する。

接触力取得部６２は、入力処理部４１を介して、接触力センサ１３のセンサ信号を受け取り、センサ信号に基づいて接触力ｆｓを取得する。接触力取得部６２は、接触力ｆｓを加算部６３へ入力する。それに加えて、接触力取得部６２は、センサ信号をズレ検出部６８へ出力する。

加算部６３は、操作力取得部６１から入力された操作力ｆｍと接触力取得部６２から入力された接触力ｆｓとの和を算出する。ここで、操作力ｆｍと接触力ｆｓとは、反対向きの力なので、操作力ｆｍと接触力ｆｓとは正負の符号が異なる。つまり、操作力ｆｍと接触力ｆｓとが足されることによって、操作力ｆｍの絶対値は小さくなる。加算部６３は、操作力ｆｍと接触力ｆｓとの和である合成力ｆｍ＋ｆｓを出力する。

遅延部６９は、マスタスレーブ制御を遅延させる機能を有している。この例では、遅延部６９は、ローパスフィルタであり、より具体的には、一次遅れフィルタである。一次遅れフィルタには、時定数が含まれている。遅延部６９は、加算部６３から力／速度換算部６４への合成力ｆｍ＋ｆｓの入力を時定数に応じて遅延させる。

力／速度換算部６４は、遅延部６９を介して入力された合成力ｆｍ＋ｆｓを指令速度ｘｄ’に換算する。力／速度換算部６４は、慣性係数、粘性係数（ダンパ係数）及び剛性係数（バネ係数）を含む運動方程式に基づく運動モデルを用いて指令速度ｘｄ’を算出する。具体的には、力／速度換算部６４は、以下の運動方程式に基づいて指令速度ｘｄ’を算出する。

ここで、ｘｄは、指令位置である。ｍｄは、慣性係数である。ｃｄは、粘性係数である。ｋｄは、剛性係数である。ｆｍは、操作力である。ｆｓは、接触力である。尚、「’」は１回微分を表し、「”」は２回微分を表す。

式（１）は線形微分方程式であり、式（１）をｘｄ’について解くと、式（２）のようになる。

ここで、Ａは、ｆｍ，ｆｓ，ｍｄ，ｃｄ，ｋｄ等によって表される項である。

式（２）は、記憶部３２に格納されている。力／速度換算部６４は、記憶部３２から式（２）を読み出して指令速度ｘｄ’を求め、求められた指令速度ｘｄ’を第１速度／位置換算部６５及び第２速度／位置換算部６６へ出力する。

第１速度／位置換算部６５は、座標変換された指令速度ｘｄ’をロボット座標系を基準として、ロボット１のための指令位置ｘｄｓに換算する。例えば、操作装置２の移動量に対するロボット１の移動量の比が設定されている場合、第１速度／位置換算部６５は、指令速度ｘｄ’から求めた指令位置ｘｄを移動比に応じて逓倍して指令位置ｘｄｓを求める。第１速度／位置換算部６５は、求めた指令位置ｘｄｓをロボット制御装置１４、具体的には、動作制御部４２へ出力する。動作制御部４２は、前述の如く、指令位置ｘｄｓに基づいてロボットアーム１２を動作させる。

第２速度／位置換算部６６は、指令速度ｘｄ’を操作座標系を基準として、操作装置２のための指令位置ｘｄｍに換算する。第２速度／位置換算部６６は、求めた指令位置ｘｄｍを操作制御装置２４、具体的には、動作制御部５２へ出力する。動作制御部５２は、前述の如く、指令位置ｘｄｍに基づいて支持機構２２を動作させる。

合成部７７は、撮像装置７１の撮影画像に、該撮影画像と対応するタイミングで取得された接触力センサ１３の検出結果を互いの関連付けを示す関連情報として付加する。具体的には、合成部７７は、撮像装置７１から画像信号を受け取ると共に、入力処理部４１を介して接触力センサ１３のセンサ信号を受け取る。合成部７７は、画像信号にセンサ信号を合成する。合成部７７は、接触力センサ１３及び撮像装置７１によって互いに対応するタイミング（即ち、略同じタイミング）で取得されたセンサ信号と画像信号とを合成する。例えば、合成部７７は、画像信号及びセンサ信号をそれぞれ合成部７７で受信した時間を、画像信号及びセンサ信号それぞれの取得時間とみなす。こうして、画像信号には、該画像信号と対応するタイミングで取得されたセンサ信号が互いの関連付けを示す関連情報として付加される。

センサ信号には、６軸の力のセンサ信号が含まれている。合成部７７は、６軸の力のセンサ信号のうち少なくとも１つのセンサ信号を画像信号に合成する。好ましくは、合成部７７は、６軸の力のセンサ信号のうち、ロボット１が対象物Ｗに作用を加える際に変動が大きなセンサ信号を画像信号に合成する。この例では、対象物Ｗへの作用は研削であるので、合成部７７は、Ｚ軸方向への力のセンサ信号を画像信号に合成する。

このとき、合成部７７は、電子透かし技術を利用してセンサ信号を画像信号に合成する。好ましくは、合成部７７は、知覚困難型の電子透かしによって、センサ信号を画像信号に埋め込む。

エンコーダ７８は、合成部７７においてセンサ信号が合成された画像信号をエンコードする。エンコーダ７８は、エンコードされた画像信号を通信部７６へ出力する。エンコードされた画像信号は、通信部７６を介して表示制御装置８２へ送信される。

表示制御装置８２は、通信部８６を介して、画像処理装置７２からの画像信号を受信する。画像信号は、デコーダ８７に入力される。デコーダ８７は、画像信号をデコードする。デコーダ８７は、デコードされた画像信号をディスプレイ８１及び制御装置３の分離部６７へ出力する。

ディスプレイ８１は、デコードされた画像信号に応じて画像を表示する。

分離部６７は、デコードされた画像信号からセンサ信号を分離する。この例では、センサ信号は、電子透かしによって画像信号に合成されている。分離部６７は、電子透かし技術によって画像信号からセンサ信号を分離する。分離部６７は、分離されたセンサ信号をズレ検出部６８へ出力する。

ズレ検出部６８は、マスタスレーブ制御を遅延させる遅延量としての遅延時間を求め、更新していく。ズレ検出部６８は、ロボット１から受信するセンサ信号と表示装置８から受信する画像信号とのズレ時間に基づいて遅延時間を求める。ここで、センサ信号と画像信号とのズレ時間とは、元々は互いに対応するタイミング、即ち、略同じタイミングで取得されたセンサ信号と画像信号とがズレ検出部６８、即ち、制御装置３に受信される時間のズレである。センサ信号と画像信号とは、元々の取得タイミングが略同じであっても、制御装置３までの伝送路及びその途中で受ける処理が異なるため、制御装置３に到達するまでの時間にズレが生じる。

また、ロボット１から受信するセンサ信号は、指令位置ｘｄｓ及び指令位置ｘｄｍの導出に用いられる。また、表示装置８から受信する画像信号は、ディスプレイ８１へ入力される画像信号と同じ信号である。つまり、ロボット１から受信するセンサ信号と表示装置８から受信する画像信号とのズレ時間は、マスタスレーブ制御に対する撮影画像の表示装置８による表示タイミングのズレに相当する。

具体的には、ズレ検出部６８は、接触力取得部６２からのセンサ信号と分離部６７からのセンサ信号とのズレ時間を求める。ズレ検出部６８には、接触力取得部６２からセンサ信号が入力されると共に、分離部６７からセンサ信号が入力される。接触力取得部６２からのセンサ信号は、ロボット制御装置１４、即ち、ロボット１から受信したセンサ信号である。一方、分離部６７からのセンサ信号は、表示装置８においてデコードされた画像信号から分離された信号であり、その画像信号が撮像装置７１によって取得されたタイミングと対応するタイミングで接触力センサ１３によって取得された信号である。そのため、接触力取得部６２からのセンサ信号と分離部６７からのセンサ信号とのズレ時間は、ロボット１から受信するセンサ信号と表示装置８から受信する画像信号とのズレ時間に相当する。

尚、合成部７７によって画像信号に合成されたセンサ信号は、６軸の力のセンサ信号のうち研削時に変動が大きいＺ軸方向への力のセンサ信号なので、ズレ検出部６８は、接触力取得部６２からのセンサ信号のうちＺ軸方向への力のセンサ信号を分離部６７からのセンサ信号と比較する。

ズレ検出部６８は、求めたズレ時間を記憶部３２に保存していく。ズレ時間は、記憶部３２に蓄積されていく。

記憶部３２には、遅延部６９の時定数を決定するための基準となる遅延時間が記憶されている。遅延時間の初期値は、ズレ時間を前述のようにして予め求めることによって設定されている。ズレ検出部６８は、記憶部３２に蓄積されたズレ時間に基づいて、遅延時間を更新する。ズレ検出部６８は、ズレ時間が遅延時間に対して大きく異なる状態が一定期間以上継続するような場合に、ズレ時間で遅延時間を更新する。

遅延時間が更新されると、ズレ検出部６８は、遅延部６９に設定する時定数を遅延時間に基づいて求める。具体的には、記憶部３２には、遅延時間を時定数に変換するための変換関数が記憶部３２に記憶されている。ズレ検出部６８は、変換関数を用いて遅延時間から時定数を求める。ズレ検出部６８は、求められた時定数で遅延部６９の時定数を更新する。遅延部６９は、更新された時定数を用いて前述の処理を実行する。

次に、このように構成された遠隔制御システム１００の動作について説明する。図８は、遠隔制御システム１００の動作を示すフローチャートである。

［マスタスレーブシステムの動作］
マスタスレーブシステム１１０によるマスタスレーブ制御について説明する。マスタスレーブ制御は、制御装置３が記憶部３２に格納された遠隔制御プログラムをメモリ３３に読み出して展開することによって実現される。

まず、ステップＳａ０において、遅延制御の設定を行う。制御装置３は、ディスプレイ（図示省略）に遅延制御の設定を行うための設定画面を表示する。具体的には、ディスプレイには、遅延制御の有効及び無効を切り替える表示、遅延制御を有効とする場合のマスタスレーブ制御の遅延量（詳しくは、遅延時間）等が表示される。ユーザは、入力操作部を介して遅延制御の設定を行う。

続いて、ステップＳａ１において、ユーザが操作装置２を操作すると、ユーザが操作部２１を介して加えた操作力を操作力センサ２３が検出する。このとき、ロボット１の接触力センサ１３が接触力を検出する。

操作力センサ２３に検出された操作力は、入力処理部５１によって検出信号として制御装置３へ入力される。制御装置３では、操作力取得部６１が、検出信号に基づく操作力ｆｍを加算部６３へ入力する。

接触力センサ１３に検出された接触力は、センサ信号として入力処理部４１に入力される。入力処理部４１に入力されたセンサ信号は、通信部１９を介して制御装置３へ送信される。それに加えて、入力処理部４１は、センサ信号を画像処理装置７２へ入力する。

制御装置３では、通信部３４がセンサ信号を受信し、センサ信号を接触力取得部６２へ入力する。接触力取得部６２は、センサ信号に基づく接触力ｆｓを加算部６３へ入力する。それに加えて、接触力取得部６２は、センサ信号をズレ検出部６８へ入力する。ズレ検出部６８は、センサ信号をメモリ３３に保存していく。

次に、ステップＳａ２において、制御装置３は、遅延制御が有効となっているか否かを判定する。

遅延制御が無効な場合には、ステップＳａ４において、ロボット１による研削加工及び操作装置２による反力の提示が実行される。具体的には、加算部６３は、入力された操作力ｆｍ及び接触力ｆｓに基づいて合成力ｆｍ＋ｆｓを求め、合成力ｆｍ＋ｆｓを力／速度換算部６４に入力する。このとき、遅延部６９は、無効なものとして扱われる。つまり、加算部６３から出力される合成力ｆｍ＋ｆｓは、遅延することなく、力／速度換算部６４へ入力される。力／速度換算部６４は、合成力ｆｍ＋ｆｓを用いて式（２）に基づいて指令速度ｘｄ’を求める。

ロボット１に関しては、第１速度／位置換算部６５が指令速度ｘｄ’から指令位置ｘｄｓを求める。ロボット制御装置１４の動作制御部４２は、指令位置ｘｄｓに従ってロボットアーム１２を動作させ、研削装置１１ａの位置を制御する。これにより、操作力ｆｍに応じた押付力が対象物Ｗに加えられつつ、対象物Ｗが研削装置１１ａにより研削される。

操作装置２に関しては、第２速度／位置換算部６６が指令速度ｘｄ’から指令位置ｘｄｍを求める。操作制御装置２４の動作制御部５２は、指令位置ｘｄｍに従って支持機構２２を動作させ、操作部２１の位置を制御する。これにより、ユーザは接触力ｆｓに応じた反力を感知する。

一方、遅延制御が有効な場合には、ステップＳａ３において、マスタスレーブ制御が遅延させられる。具体的には、遅延部６９は、設定された時定数に基づいて、加算部６３から力／速度換算部６４への合成力ｆｍ＋ｆｓの入力を遅延させる。その結果、操作力センサ２３の検出信号及び接触力センサ１３のセンサ信号が入力されてから、ロボットアーム１２及び操作部２１の動作制御が実行されるまでの時間が遅延する。

マスタスレーブシステム１１０は、このような処理を所定の制御周期で繰り返す。ユーザは、第１サイトＳ１において操作装置２を操作することによって、第２サイトＳ２に配置されたロボット１を遠隔制御して対象物Ｗの研削を実行することができる。その際に、ユーザは、研削装置１１ａが対象物Ｗから受ける反力を操作装置２を介して感知しながら、操作装置２の操作を行うことができる。尚、ステップＳａ０は、この制御の開始時に１回のみ実行され、それ以降の制御周期においては実行されない。

［画像システムの動作］
これと並行して、画像システム１２０は、ロボット１及び対象物Ｗを撮影し、撮影画像をユーザに提示する画像表示制御を実行する。

まず、ステップＳｂ１において、撮像装置７１は、ロボット１及び対象物Ｗの撮影する。撮像装置７１は、所定のフレームレートでロボット１及び対象物Ｗの動画を撮影する。撮像装置７１は、撮影画像（即ち、画像信号）を画像処理装置７２に入力する。

ステップＳｂ２において、画像処理装置７２の合成部７７は、撮影画像に接触力センサ１３のセンサ信号を合成する。この合成は、撮影画像をユーザに提示するための処理ではなく、マスタスレーブ制御の遅延時間を更新するために行われる処理である。

詳しくは、図９（ｉ）は、入力処理部４１から出力されるセンサ信号の一例である。図９（ii）は、撮像装置７１から出力される画像信号の一例である。図１０は、合成部７７から出力される、センサ信号が合成された画像信号の一例である。

図９（ｉ）に示すように、入力処理部４１から出力されるセンサ信号は、マスタスレーブ制御の制御周期に対応するサンプリング周期で取得されたデータを含んでいる。一方、図９（ii）に示すように、撮像装置７１から入力される画像信号は、所定のフレームレートで取得されたフレーム（静止画）を含んでいる。この例では、フレームレートに比べてサンプリング周期の方が短い。そこで、合成部７７は、各フレームに、そのフレームと１つ前のフレームとの間に取得されたセンサ信号を合成する。合成部７７は、各フレームの画像にセンサ信号を画像として、即ち、時系列の信号波形を合成する。センサ信号の合成は、電子透かし技術によって行われる。その結果、図１０に示すように、フレームにセンサ信号の画像が電子透かしとして合成された画像信号が生成される。合成されたフレームとセンサ信号とは、略同じタイミングで取得されたものである。

ステップＳｂ３において、エンコーダ７８は、合成部７７によって生成された画像信号をエンコードする。

その後、ステップＳｂ４において、画像処理装置７２は、エンコードされた画像信号を無線通信によって表示制御装置８２へ送信する。表示制御装置８２は、画像処理装置７２からの画像信号を受信する。

表示制御装置８２では、デコーダ８７は、ステップＳｂ５において、画像信号をデコードする。デコーダ８７は、デコードされた画像信号をディスプレイ８１へ出力する。

ディスプレイ８１は、ステップＳｂ６において、画像信号に基づいて画像を表示する。これにより、撮像装置７１による撮影画像がユーザに提示される。ここで、ディスプレイ８１は、センサ信号が合成された撮影画像を表示する。しかし、センサ信号は、知覚困難型の電子透かし技術によって合成されているため、ユーザが視認することはない。

画像システム１２０は、このような処理を撮影画像のフレームレートで繰り返す。撮像装置７１は、第２サイトＳ２に配置されたロボット１及び対象物Ｗを撮影し、表示装置８は、第１サイトＳ１においてその撮影画像を表示する。ユーザは、第１サイトＳ１において操作装置２を操作する際又は操作後に、第２サイトＳ２において研削中又は研削後のロボット１及び対象物Ｗの画像を第１サイトＳ１に配置された表示装置８で確認することができる。

［遅延制御］
このように、マスタスレーブ制御と画像表示制御とが並行して行われる場合、接触力センサ１３がセンサ信号を取得してから制御装置３がセンサ信号を用いてロボット１及び操作装置２の動作制御を実行するまでの時間に比べて、撮像装置７１が撮影画像を取得してから表示装置８で撮影画像を表示するまでの時間が長くかかってしまう。

詳しくは、ロボット１が対象物Ｗを研削する際には、接触力センサ１３が対象物Ｗからの接触力をセンサ信号として検出すると共に、撮像装置７１がロボット１及び対象物Ｗの撮影画像を画像信号として取得する。接触力センサ１３のセンサ信号は、マスタスレーブシステム１１０の第１伝送路を介して制御装置３へ入力される。制御装置３は、前述のようにセンサ信号を入力の１つとしてロボット１及び操作装置２を制御する。一方、撮像装置７１の画像信号は、画像システム１２０の第２伝送路を介して表示装置８へ入力される。さらに、画像信号は、その途中で、画像処理装置７２においてエンコードされ、表示制御装置８２においてデコードされる。

ここで、センサ信号に比べると、画像信号のデータ量をかなり大きい。特に、撮影画像が高画質になると、データ量の差はさらに大きくなる。そのため、画像処理装置７２から表示制御装置８２への画像信号の通信時間は、ロボット制御装置１４から制御装置３へのセンサ信号の通信時間に比べて長くなる。それに加えて、画像信号は、エンコード及びデコードする必要がある。画像信号のデータ量が大きいと、エンコード及びデコードに要する時間も長くなる。

その結果、元々は略同じタイミングで取得されたセンサ信号及び撮影画像に関して、センサ信号を用いたマスタスレーブ制御に対して表示装置８による撮影画像の表示タイミングがズレる、具体的には、遅延する。図１１（ｉ）は、制御装置３がロボット制御装置１４から取得するセンサ信号の一例である。図１１（ii）は、表示制御装置８２によるデコード後の画像信号の一例である。図１１（ｉ）に示すように、制御装置３が取得するセンサ信号は、ロボット制御装置１４と制御装置３との間の通信時間等の影響により、図９（ｉ）に示す、入力処理部４１から出力される接触力センサ１３のセンサ信号に比べると少しだけ遅れる。ただし、その遅延は、無視できる程度に小さい。一方、図１１（ii）に示すように、デコード後の画像信号は、エンコード時間、画像処理装置７２と表示制御装置８２との間の通信時間、及びデコード時間等の影響により、図９（ii）に示す、撮像装置７１から出力される画像信号に比べると遅れる。センサ信号の遅れに比べて、画像信号の遅れは大きい。

そのため、ユーザは、リアルタイムよりも遅れたロボット１及び対象物Ｗの撮影画像を観ながら、ロボット１及び操作装置２による研削加工を行うことになる。さらに、ユーザは、操作装置２の操作に対して、表示装置８による画像表示と操作装置２を介した反力提示との２つのフィードバック情報を得ることになる。しかし、反力提示と画像表示とのタイミングがズレるため、ユーザは違和感を覚える。それに加えて、人間は、触覚による情報よりも視覚による情報に頼る傾向にある。そのため、ユーザは、操作装置２による反力の提示ではなく、リアルタイムから遅れた表示装置８の画像を頼りに、操作装置２を操作することになってしまう。画像が高画質になればなるほど、その傾向は大きくなる。しかしながら、画像が高画質になるほど、前述の如く、表示装置８による画像表示の遅延はさらに大きくなる。

そこで、遠隔制御システム１００では、制御装置３は、マスタスレーブ制御に対する表示装置８による撮影画像の表示タイミングのズレを低減するように、マスタスレーブ制御を遅延させる。一例として、前述のマスタスレーブ制御のステップＳａ３において、遅延部６９が、加算部６３から力／速度換算部６４への合成力ｆｍ＋ｆｓの入力を遅延させる。このように、制御装置３は、操作力及び接触力が入力されてからロボット１及び操作装置２を動作させるまでの間に、遅延部６９のローパスフィルタのような遅れ要素を含んでいる。これにより、制御装置３がロボット１及び操作装置２の動作制御を遅延、即ち、接触力センサ１３からのセンサ信号を受け取ってからロボット１及び操作装置２を動作させるまでの時間を遅延させる。

このことは、マスタスレーブ制御の応答性が低下することを意味する。しかしながら、画像表示制御の応答性（即ち、撮像装置７１による画像撮影に対する表示装置８による画像表示の応答性）とマスタスレーブ制御の応答性とが一致又は近くなる。ユーザが表示装置８に表示される撮影画像を頼りに操作装置２を操作する場合であっても、ユーザに与える違和感を低減することができる。例えば、表示装置８に表示されている以上に対象物Ｗが研削されてしまうことを防止することができる。

特に、撮影画像が高画質になると、画像信号のエンコード、画像信号の通信、及び、画像信号のデコードに要する時間が長くなる。通信技術の発達によって通信時間の低減が図られた場合であっても、画像信号のエンコード及びデコードに要する時間は長いままである。それに加えて、撮影画像の高画質化によって、操作装置２を操作するユーザの撮影画像への依存度がより高くなる。そのため、ユーザは、マスタスレーブ制御に対する表示装置８による撮影画像の表示タイミングのズレをより感知しやすくなってしまう。それに対し、遠隔制御システム１００は、マスタスレーブ制御を遅延させることによって、マスタスレーブ制御の応答性の低下を許容しつつ、マスタスレーブ制御に対する表示装置８による撮影画像の表示タイミングのズレを低減している。その結果、ユーザが表示装置８の撮影画像を観ながら操作装置２を操作する際の違和感を低減することができる。

［遅延量の導出］
それに加えて、このようなマスタスレーブ制御と画像表示制御とを行っている間に、制御装置３は、遅延制御におけるマスタスレーブ制御の遅延量を求めている。

詳しくは、図６のフローチャートに従って説明すると、ステップＳａ１において、入力処理部４１は、接触力センサ１３のセンサ信号を通信部１９を介して制御装置３へ送信すると共に、画像処理装置７２へ入力する。画像処理装置７２では、前述のようにステップＳｂ２において、合成部７７が互いに対応するタイミングで取得された撮像装置７１の撮影画像と接触力センサ１３の検出結果とを関連付ける。具体的には、画像処理装置７２は、撮影画像と対応するタイミングで取得された接触力センサ１３のセンサ信号を撮影画像に付加する。より具体的には、合成部７７は、画像信号の各フレームの画像に各フレームと略同じタイミングで取得されたセンサ信号を画像として電子透かし技術によって合成する。

画像システム１２０においては、センサ信号が合成された画像信号は、エンコードされ（ステップＳｂ３）、無線通信され（ステップＳｂ４）、デコードされる（ステップＳｂ５）。その後、デコードされた画像信号は、表示制御装置８２からディスプレイ８１へ入力されるだけでなく、表示制御装置８２から制御装置３へも入力される。

マスタスレーブシステム１１０では、分離部６７が、図１１（ii）に示すようなデコードされた画像信号から、図１２に示すようにセンサ信号を分離する。この例では、電子透かし技術に基づいて、画像信号からセンサ信号が分離される。分離されたセンサ信号は、分離部６７からズレ検出部６８へ入力される。ズレ検出部６８には、入力処理部４１から制御装置３へ入力されたセンサ信号も、接触力取得部６２を介して入力されている。つまり、ズレ検出部６８には、接触力センサ１３のセンサ信号が、ロボット１、無線通信及び制御装置３という第１伝送路と、画像処理装置７２、無線通信、表示制御装置８２という第２伝送路との２つの伝送路を介して入力される。前述の如く、第２伝送路を経由するセンサ信号は、その途中でエンコード及びデコードの処理を経ている。

そして、ズレ検出部６８は、ステップＳａ５において、所定の検出条件が成立したか否かを判定する。この例では、検出条件は、ズレ検出部６８が分離部６７からセンサ信号を受け取ることである。

マスタスレーブ制御の制御周期は、画像信号のフレームレートに対応する周期に比べて短いので、ズレ検出部６８は、分離部６７からのセンサ信号（即ち、第２伝送路を経由しセンサ信号）に比べて、接触力取得部６２からのセンサ信号（即ち、第１伝送路を経由したセンサ信号）をより短い周期で受け取る。そのため、検出条件が成立していない場合、即ち、分離部６７からズレ検出部６８へセンサ信号が入力されていないときには、ズレ検出部６８は、接触力取得部６２から入力されるセンサ信号をメモリ３３に保存して、今回の制御周期での遅延量の導出を終了する。

検出条件が成立した場合、即ち、分離部６７からズレ検出部６８へセンサ信号が入力されたときには、ズレ検出部６８は、ステップＳａ６において、分離部６７からのセンサ信号をメモリ３３に保存された接触力取得部６２からのセンサ信号と比較して、接触力取得部６２からのセンサ信号に対する分離部６７からのセンサ信号のズレ時間を求める。

具体的には、図１２に示すように、ズレ検出部６８は、周期的に、具体的には撮影画像のフレームレートで、分離部６７からセンサ信号が入力される。メモリ３３には、図１１（ｉ）に示すようなセンサ信号が保存されている。例えば、ズレ検出部６８は、分離部６７からのセンサ信号の信号波形と一致する信号波形を、メモリ３３に保存された接触力取得部６２からのセンサ信号の中から探す。そして、ズレ検出部６８は、分離部６７からのセンサ信号と、接触力取得部６２からのセンサ信号のうちの信号波形が一致する部分との時間差をズレ時間として求める。ズレ検出部６８は、求められたズレ時間を記憶部３２に保存する。

ズレ検出部６８は、このようなズレ時間の導出を検出条件が成立するごとに繰り返す。その結果、記憶部３２には、ズレ時間が蓄積されていく。

ズレ検出部６８は、ステップＳａ７において、所定の更新条件が成立したか否かを判定する。例えば、更新条件は、ズレ時間が現在の遅延時間に対して所定の変動幅（以下、「変動閾値」という）を超えて変化した状態が所定期間（以下、「期間閾値」という）以上継続することである。要するに、更新条件は、ズレ時間が現在の遅延時間に対して大きく異なる状態が一定期間以上継続することである。

詳しくは、ズレ検出部６８は、ズレ時間を求めた際に、ズレ時間と現在の遅延時間とを比較し、時間差が変動閾値を超えているか否かを判定し、判定結果を記憶部３２に保存する。さらに、時間差が変動閾値を超えている場合には、ズレ検出部６８は、現在から期間閾値だけ遡った間の判定結果を記憶部３２から読み出し、時間差が変動閾値を超えている状態が期間閾値以上継続しているか否かを判定する。尚、期間閾値の間に時間差の正負が変わっている場合には、時間差が変動閾値を超えている状態が継続しているとは扱わない。

時間差が変動閾値を超えている状態が期間閾値以上継続していない場合には、ズレ検出部６８は、今回の制御周期での遅延量の導出を終了する。

時間差が変動閾値を超えている状態が期間閾値以上継続している場合には、ズレ検出部６８は、ステップＳａ８においてその期間閾値の間のズレ時間を平均し、その平均値で現在の遅延時間を更新する。この例では、遅延時間が、遅延制御におけるマスタスレーブ制御の遅延量に相当する。

ズレ検出部６８は、記憶部３２に記憶されている変換関数を用いて、更新後の遅延時間から時定数を求める。ズレ検出部６８は、遅延部６９の時定数を求められた時定数で更新する。

このとき、ズレ検出部６８は、遅延時間の変化幅に制限を設けている。つまり、ズレ検出部６８は、マスタスレーブ制御の応答性が急激に変化しないように、現在の遅延時間を新たな遅延時間まで複数の制御周期に亘って段階的に変化させる。

このように、遠隔制御システム１００は、マスタスレーブ制御及び画像表示制御を行っている間に、マスタスレーブ制御及び画像表示制御の信号を用いて、マスタスレーブ制御の遅延量を求めている。具体的には、制御装置３のズレ検出部６８は、マスタスレーブ制御のために制御装置３が接触力センサ１３から受信するセンサ信号と、画像表示制御のために撮像装置７１から表示装置８に伝送されて表示される画像信号とのズレ時間を求め、求められたズレ時間に基づいて遅延量を求めている。マスタスレーブ制御及び画像表示制御の実行中に、マスタスレーブ制御及び画像表示制御のために送受信され且つ処理される信号に基づいて遅延量が求められるので、実際の制御状況に則した遅延量を求めることができる。例えば、ロボット制御装置１４と制御装置３との間の通信環境、及び、画像処理装置７２と表示制御装置８２との間の通信環境は、変化し得る。これらの通信環境が変化した場合であっても、前述の方法で遅延量を求めることによって、通信環境の変化に対応して遅延量を変更することができる。

さらに、撮像装置７１によって撮影される画像によって、エンコード及びデコードに要する時間が変化し得る。例えば、色味が均一な画像と色や明るさが様々な画像とでは、エンコード及びデコードに要する時間が異なる。研削加工においては、対象物Ｗと研削装置１１ａとの接触部において火花が発生し得る。つまり、画像に含まれる火花の有無又は火花の量によって、エンコード及びデコードに要する時間が異なる。そのような場合であっても、前述の方法で遅延量を求めることによって、画像の状況に対応して遅延量を変更することができる。

また、接触力センサ１３及び撮像装置７１によって互いに対応するタイミングで取得されたセンサ信号と画像信号とを互いに関連付けておくことによって、制御装置３は、マスタスレーブ制御に用いられるセンサ信号と表示装置８に表示される画像信号とから互いに関連付けられたセンサ信号と画像信号とを判別して、それらのズレ時間を求めることができる。

具体的には、接触力センサ１３及び撮像装置７１によって互いに対応するタイミングで取得されたセンサ信号及び画像信号のうち画像信号に、互いの関連付けを示す関連情報としてセンサ信号が付加されている。制御装置３は、関連情報としてセンサ信号に基づいて、センサ信号と画像信号とのズレ時間を求める。つまり、制御装置３は、センサ信号と画像信号との両方を受け取ったときに、センサ信号と画像信号に付加されているセンサ信号とを対比することによって、元々はセンサ信号と対応するタイミングで取得された画像信号を判別することができ、両者のズレ時間を求めることができる。この例では、制御装置３は、分離部６７によって画像信号からセンサ信号を分離し、接触力取得部６２からのセンサ信号と画像信号から分離されたセンサ信号とのズレ時間をセンサ信号と画像信号とのズレ時間として求める。

このとき、関連情報としてセンサ信号が用いられることによって、センサ信号には別の情報を付加する必要がなく、画像信号だけにセンサ信号を付加すればよい。さらに、センサ信号及び画像信号以外の別の情報を準備する必要が無い。そのため、処理が簡略化される。

さらには、遠隔制御システム１００が複数設置されている場合には、無線通信においてコンタミネーションが発生する虞がある。そのような場合であっても、関連情報としてセンサ信号が用いられることによって、センサ信号と画像信号との組み合わせが適切か否か（即ち、コンタミネーションが発生しているか否か）を容易に判別することができる。例えば、関連情報として取得時刻を採用し、センサ信号と画像信号とのそれぞれに取得時間情報を付加する場合には、遠隔制御システム１００のそれぞれを識別するための識別情報をセンサ信号及び画像信号にさらに付加する必要がある。関連情報としてセンサ信号が用いられる場合には、センサ信号が遠隔制御システム１００の識別情報として機能する。そのため、遠隔制御システム１００のそれぞれを識別するための追加の識別情報が不要となる。

また、遠隔制御システム１００では、画像信号へのセンサ信号の付加は、画像信号のエンコード前に行われ、画像信号からのセンサ信号の分離は、画像信号のデコード後に行われる。そのため、分離部６７によって分離されたセンサ信号は、画像信号のエンコード、画像信号の無線通信、及び画像信号のデコードに要した時間だけ遅延している。そのため、制御装置３は、画像信号のエンコード、無線通信及びデコードの影響を適切に反映したズレ時間を求めることができる。

さらに、画像信号へのセンサ信号の付加は、電子透かし技術によって実現されている。そのため、表示装置８は、センサ信号が合成された画像信号をディスプレイ８１に表示しても、センサ信号が撮影画像のユーザへの提示の邪魔にならない。つまり、表示装置８において、画像信号からセンサ信号を分離する等の特段の処理が不要となる。

また、制御装置３は、ズレ時間が現在の遅延時間に対して所定の変動閾値を超えて変化した状態が所定の期間閾値以上継続する場合に、マスタスレーブ制御の遅延量、即ち、遅延時間を更新している。これにより、通常のマスタスレーブ制御及び画像表示制御では許容される、ズレ時間の小さな変動を無視して、マスタスレーブ制御の遅延量を一定に保ち、マスタスレーブ制御を安定させることができる。つまり、画像処理装置７２と表示制御装置８２との間の通信環境は、一定ではなく、多少の変動はあり得る。また、画像信号のエンコード及びデコードに要する時間は、撮影画像に応じて変動し得る。そのため、ズレ時間の変動量が小さい場合及びズレ時間の変動が一時的な場合には、制御装置３は、マスタスレーブ制御の遅延量を一定に保持することによって、マスタスレーブ制御の応答性を一定に保ち、ユーザに違和感を与えることを防止することができる。

さらに、遅延時間を更新する場合において、制御装置３は、遅延時間を段階的に変更することによって、ユーザに与える違和感を低減することができる。つまり、遅延時間は、マスタスレーブ制御の応答性に直結する。制御装置３は、遅延時間を段階的に変更することによって、マスタスレーブ制御の応答性が急に変化することを防止することができる。

以上のように、遠隔制御システム１００は、ユーザに操作される操作装置２（マスタ装置）と、操作装置２の動作に応じて対象物Ｗに作用を加えるロボット１（スレーブ装置）と、ロボット１に設けられ、ロボット１の動作状態を検出する接触力センサ１３（センサ）と、ロボット１及び対象物Ｗの少なくとも一方の画像を撮影する撮像装置７１と、撮像装置７１による撮影画像を表示して、操作装置２を操作するユーザに提供する表示装置８と、接触力センサ１３の検出結果に基づいてロボット１及び操作装置２の少なくとも一方の動作制御を実行する制御装置３とを備え、制御装置３は、動作制御に対する撮影画像の表示装置８による表示タイミングのズレを低減するように、動作制御を遅延させる。

換言すると、ユーザに操作される操作装置２と、操作装置２の動作に応じて対象物Ｗに作用を加えるロボット１と、ロボット１に設けられ、ロボット１の動作状態を検出する接触力センサ１３と、ロボット１及び対象物Ｗの少なくとも一方の画像を撮影する撮像装置７１と、撮像装置７１による撮影画像を表示して、操作装置２を操作するユーザに提供する表示装置８とを備えた遠隔制御システム１００の制御方法は、接触力センサ１３の検出結果に基づいてロボット１及び操作装置２の少なくとも一方の動作制御を実行することと、動作制御に対する撮影画像の表示装置８による表示タイミングのズレを低減するように、動作制御を遅延させることとを含む。

または、ユーザに操作される操作装置２と、操作装置２の動作に応じて対象物Ｗに作用を加えるロボット１と、ロボット１に設けられ、ロボット１の動作状態を検出する接触力センサ１３と、ロボット１及び対象物Ｗの少なくとも一方の画像を撮影する撮像装置７１と、撮像装置７１による撮影画像を表示して、操作装置２を操作するユーザに提供する表示装置８とを備えた遠隔制御システム１００を制御する機能をコンピュータに実現させるための遠隔制御プログラムは、接触力センサ１３の検出結果に基づいてロボット１及び操作装置２の少なくとも一方の動作制御を実行する機能と、動作制御に対する撮影画像の表示装置８による表示タイミングのズレを低減するように、動作制御を遅延させる機能とをコンピュータに実現させる。

これらの構成によれば、ユーザが操作装置２を操作することによってロボット１が動作して対象物Ｗに作用（例えば、研削）を加える。このとき、接触力センサ１３は、ロボット１の動作状態（例えば、ロボット１に作用する反力）を検出する。接触力センサ１３の検出結果に基づいてロボット１及び操作装置２の少なくとも一方の動作制御が実行される。これと並行して、撮像装置７１は、ロボット１及び対象物Ｗの少なくとも一方の画像を撮影し、表示装置８は、その撮影画像を表示して、撮影画像をユーザに提供する。ここで、撮影画像のデータ量は、接触力センサ１３の検出結果に比べると大きい。そのため、撮影画像が撮像装置７１によって取得されてから表示装置８に表示されるまでの処理及び通信に要する時間は、接触力センサ１３によって検出結果が取得されてから動作制御に用いられるまでの処理及び通信に要する時間に比べて長くなる。つまり、接触力センサ１３の検出結果に基づくロボット１及び操作装置２の少なくとも一方の動作制御に対して撮影画像の表示装置８による表示タイミングがズレる（具体的には、遅延する）傾向にある。それに対し、動作制御に対する撮影画像の表示装置８による表示タイミングのズレが低減するように、動作制御が遅延させられる。これにより、動作制御の応答性が低下するものの、表示装置８の撮影画像を観ながら操作装置２を操作するユーザに与える違和感を低減することができる。

また、制御装置３は、接触力センサ１３の検出結果をロボット１から受信すると共に撮影画像を表示装置８から受信し、動作制御を遅延させる遅延量を接触力センサ１３の検出結果と撮影画像とのズレ時間に基づいて求める。

この構成によれば、制御装置３は、接触力センサ１３の検出結果をロボット１から受信し、この検出結果に基づいて動作制御を実行する。一方、制御装置３は、表示装置８から撮影画像を受信しており、この撮影画像は、表示装置８において表示されるものである。つまり、制御装置３が受信する、接触力センサ１３の検出結果と撮影画像とのズレ時間は、動作制御と撮影画像の表示装置８による表示とのズレ時間に概ね合致する。そのため、制御装置３は、接触力センサ１３の検出結果と撮影画像とのズレ時間に基づいて動作制御の遅延量を求めることによって、動作制御と撮影画像の表示装置８による表示とのズレに対応する動作制御の遅延量を求めることができる。

さらに、接触力センサ１３及び撮像装置７１によって互いに対応するタイミングで取得されたの検出結果と撮影画像との少なくとも一方には、互いの関連付けを示す関連情報が付加されており、制御装置３は、関連情報に基づいて検出結果と撮影画像とを関連情報に基づいて判別して、ズレ時間を求める。

この構成によれば、制御装置３は、関連情報を参照することによって、検出結果と撮影画像の中から、互いに対応するタイミングで取得された検出結果及び撮影画像を容易に判別することができる。

さらに、遠隔制御システム１００は、撮像装置７１から撮影画像を受信し、撮影画像を処理し、処理後の撮影画像を表示装置８へ送信する画像処理装置７２をさらに備え、画像処理装置７２は、検出結果をロボット１から受信し、撮影画像と対応するタイミングで取得された検出結果を関連情報として撮影画像に付加し、検出結果が付加された撮影画像を表示装置８へ送信し、制御装置３は、検出結果が付加された撮影画像を表示装置８から受信し、撮影画像に付加された検出結果とロボット１から受信した検出結果との比較に基づいてズレ時間を求める。

この構成によれば、互いに対応するタイミングで取得された接触力センサ１３の検出結果と撮像装置７１の撮影画像とのうち撮影画像に、互いの関連付けを示す関連情報としての接触力センサ１３の検出結果が付加される。そのため、表示装置８に送信され、表示装置８から制御装置３が受信する撮影画像には、検出結果が付加されている。制御装置３は、ロボット１から検出結果を受信している。ロボット１か受信された検出結果とその検出結果が付加された撮影画像とのズレ時間が、すなわち、検出結果と撮影画像とのズレ時間である。そのため、制御装置３は、撮影画像に付加された検出結果とロボット１から受信された検出結果とを比較することによって、検出結果と撮影画像とのズレ時間を容易に求めることができる。

また、画像処理装置７２は、撮影画像と対応するタイミングで取得された検出結果を撮影画像に画像として合成することによって検出結果を撮影画像に付加し、検出結果が合成された撮影画像をエンコードして表示装置８へ送信し、制御装置３は、表示装置８によってデコードされた撮影画像から検出結果を取得する。

この構成によれば、制御装置３が表示装置８から受信する撮影画像に合成された、接触力センサ１３の検出結果は、撮影画像と共に、エンコード、画像処理装置７２と表示装置８との間の通信、及びデコードを経ている。つまり、制御装置３は、デコードされた撮影画像に付加された検出結果とロボット１から受信した検出結果との比較に基づいてズレ時間を求めることによって、これらの処理及び通信による遅延を反映したズレ時間を求めることができる。

制御装置３は、動作制御として、ユーザによる操作装置２の操作及び検出結果に応じて、ロボット１の動作を制御すると共にロボット１に作用する反力をユーザに提示するように操作装置２の動作を制御する。

この構成によれば、制御装置３は、動作制御には、ロボット１の動作の制御と操作装置２の動作の制御とが含まれる。つまり、動作制御に対する撮影画像の表示装置８による表示タイミングのズレが発生すると、ロボット１の動作の制御と撮影画像の表示装置８による表示タイミングとがズレると共に、操作装置２の動作の制御と撮影画像の表示装置８による表示タイミングとがズレる。例えば、ロボット１の動作の制御に対して撮影画像の表示装置８による表示タイミングが遅延すると、ユーザは、実際のロボット１の動作よりも遅れたロボット１の動作又は対象物Ｗの撮影画像を観ながら操作装置２の操作を行うことになる。また、操作装置２の動作の制御に対して撮影画像の表示装置８による表示タイミングが遅延すると、ユーザは、操作装置２から提示される反力を受けるときのロボット１の動作よりも遅れたロボット１の動作又は対象物Ｗの撮影画像を観ながら操作装置２からの反力を感知する。どちらの場合でも、ユーザは、違和感を覚えることになる。それに対して、制御装置３は、動作制御を遅延させるので、ロボット１の動作の制御も操作装置２の動作の制御も遅延することになる。その結果、ユーザが表示装置８の撮影画像を観ながら操作装置２を操作する際に、ロボット１の動作と撮影画像とのズレ、及び、操作装置２から感じる反力と撮影画像とのズレを低減することができる。

接触力センサ１３は、ロボット１の動作状態を検出するセンサの一例であり、さらには、力覚センサの一例である。

《その他の実施形態》
以上のように、本出願において開示する技術の例示として、前記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、前記実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、前記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

前述の遠隔制御システム１００の構成は、一例に過ぎず、これに限定されるものではない。例えば、マスタスレーブシステム１１０に関し、ロボット１が対象物Ｗに加える作用は、研削に限定されない。ロボット１が対象物Ｗに加える作用は、切削又は研磨等であってもよく、押圧又は把持等であってもよい。

また、ロボット１と制御装置３との間の通信は、無線通信に限定されず、有線通信であってもよい。同様に、撮像装置７１と表示装置８との間の通信は、無線通信に限定されず、有線通信であってもよい。

制御装置３が実行するロボット１及び操作装置２の動作制御は、バイラテラル制御に限定されない。例えば、制御装置３は、操作装置２の動作に応じたロボット１の動作制御と、ロボット１が対象物Ｗから受ける反力に応じた操作装置２の動作制御とを独立に行ってもよい。

あるいは、制御装置３は、操作装置２の動作に応じたロボット１の動作制御だけを行って、操作装置２を介したユーザへの反力提示を行わなくてもよい。つまり、制御装置３は、ユーザによる操作装置２の操作及び接触力センサ１３のセンサ信号に基づいてロボット１の動作制御だけを行ってもよい。

また、ロボット１は、産業用ロボットに限定されない。例えば、ロボット１は、医療用ロボットであってもよい。さらには、スレーブ装置は、ロボットに限定されない。例えば、スレーブ装置は、建設機械等の機械であってもよい。

スレーブ装置の動作状態を検出するセンサは、接触力センサ１３に限定されず、スレーブ装置の動作状態を検出できる限り、任意のセンサを採用し得る。例えば、スレーブ装置がロボット１の場合、スレーブ装置の動作状態を検出するセンサは、サーボモータ１５の電流を検出する電流センサ又はサーボモータ１５のトルクを検出するトルクセンサ等であってもよい。

さらに、撮影画像に合成されるセンサ信号は、Ｚ軸方向への力のセンサ信号に限定されない。撮影画像に合成されるセンサ信号は、Ｚ軸方向以外の他の方向への力のセンサ信号であってもよく、Ｚ軸方向に限定されない複数の方向への力のセンサ信号が含まれていてもよい。例えば、６軸の力のセンサ信号のうち撮影画像に合成されるセンサ信号を、ステップＳａ０等においてユーザが選択してもよい。あるいは、ロボット制御装置１４又は画像処理装置７２が６軸の力のセンサ信号のうち撮影画像に合成されるセンサ信号を選択してもよい。例えば、ロボット制御装置１４又は画像処理装置７２は、接触力センサ１３の６軸の力のセンサ信号のうち変動が大きいセンサ信号を選択してもよい。

撮影画像へのセンサ信号の合成は、知覚困難型の電子透かし技術によるものに限定されない。例えば、センサ信号は、視認可能な状態で撮影画像に合成されてもよい。センサ信号の視認可能な状態での合成は、知覚可能型の電子透かし技術によって実現されてもよく、それ以外の方法で実現されてもよい。

前述の例では、画像信号の各フレームに付加されたセンサ信号は、複数の数値データを含んでおり、他のフレームに付加されたセンサ信号と判別可能な信号波形を形成している。しかし、センサ信号のサンプリング周期と画像信号のフレームレートによっては、画像信号の各フレームに付加されたセンサ信号は、少ない数値データしか有さず、他のフレームに付加されたセンサ信号と判別可能な信号波形を形成できない場合もあり得る。そのような場合には、ズレ検出部６８は、ズレ時間の導出対象となるフレームに付加されたセンサ信号に直近の１又は複数のフレームに付加されたセンサ信号を合体させることによって、判別可能な信号波形を形成した上で、合体されたセンサ信号と接触力取得部６２からのセンサ信号と比較してもよい。

互いに対応するタイミングで取得されたセンサの検出結果と撮像装置の撮影画像との互いの関連付けを示す関連情報は、センサの検出結果（前述の例では、接触力センサ１３のセンサ信号）に限定されいない。例えば、関連情報は、時刻情報であってもよい。つまり、センサの検出結果にその検出結果が取得された時刻情報が付加され、撮像装置の撮影画像にその撮影画像が取得された時刻情報が付加されてもよい。その場合、画像信号へのセンサの検出結果の付加が不要となる。例えば、ロボット制御装置１４が接触力センサ１３のセンサ信号にそのセンサ信号が取得された時刻情報を付加し、画像処理装置７２が撮像装置７１の画像信号にその画像信号が取得された時刻情報を付加してもよい。ロボット制御装置１４から画像処理装置７２へのセンサ信号の入力が不要となる。ズレ検出部６８は、センサ信号に付加された時刻信号と画像信号に付加された時刻信号とを照らし合わせることによって、互いにタイミングで取得されたセンサ信号と画像信号とを判別して、両者のズレ時間を求めることができる。画像信号への時刻情報の付加は、時刻情報をデータとして付加してもよいし、時刻情報を画像として撮影画像に合成してもよい。尚、関連情報は、時刻情報以外の、取得タイミングを示す識別情報であってもよい。

遅延時間の更新条件は、ズレ時間が現在の遅延時間に対して所定の変動幅を超えて変化した状態が所定期間以上継続することに限定されない。例えば、更新条件は、ズレ時間が現在の遅延時間に対して所定の変動幅を超えて変化することであってもよい。あるいは、更新条件は、ズレ時間の変動とは無関係に、所定の周期の到来であってもよい。つまり、所定の周期ごとに遅延時間が更新されてもよい。

ズレ時間が現在の遅延時間に対して所定の変動幅を超えて変化した状態が所定期間以上継続することを条件に遅延時間を更新する際には、新たな遅延時間は、所定期間の間のズレ時間を平均した平均値でなくてもよい。例えば、新たな遅延時間は、最新のズレ時間、又は、所定期間の間に最も頻度が高いズレ時間であってもよい。

さらに、遅延時間を更新する際には、現在の遅延時間を新たな遅延時間まで段階的ではなく、一度に更新してもよい。

また、遅延時間の更新は、制御装置３が自動で行うのではなく、更新条件が満たされたときに、新たな遅延時間をユーザに提示して、ユーザからの操作によって遅延時間を更新してもよい。

前述のブロック図は一例であり、複数のブロックを１つのブロックとして実現したり、１つのブロックを複数のブロックに分割したり、一部の機能を別のブロックに移したりしてもよい。

本開示の技術は、前記制御方法を実行するためのプログラムであってもよく、前記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、前記プログラムは、インターネット等の伝送媒体を介して流通させることができるものであってもよい。

本実施形態で開示された構成の機能は、電気回路又は処理回路を用いて実行されてもよい。プロセッサは、トランジスタ及びその他の回路を含む処理回路等である。本開示において、ユニット、コントローラ又は手段は、記載した機能を実行するためのハードウェア又はプログラムされたものである。ここで、ハードウェアは、本実施形態で開示された機能を実行するように構成若しくはプログラムされた、本実施形態で開示されたもの又は公知のハードウェアである。ハードウェアが、プロセッサ又はコントローラの場合、回路、手段又はユニットは、ハードウェアとソフトウェアの組み合わせであり、ソフトウェアは、ハードウェア及び／又はプロセッサを構成するために用いられる。

１００ 遠隔制御システム
１ ロボット（スレーブ装置）
１３ 接触力センサ（センサ）
２ 操作装置（マスタ装置）
３ 制御装置
７１ 撮像装置
７２ 画像処理装置
８ 表示装置
Ｗ 対象物

Claims (10)

1. ユーザに操作されるマスタ装置と、
   前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、
   前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、
   前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、
   前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置と、
   前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行する制御装置とを備え、
   前記制御装置は、前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させる遠隔制御システム。
2. 請求項１に記載の遠隔制御システムにおいて、
   前記制御装置は、前記検出結果を前記スレーブ装置から受信すると共に前記撮影画像を前記表示装置から受信し、前記動作制御を遅延させる遅延量を前記検出結果と前記撮影画像とのズレ時間に基づいて求める遠隔制御システム。
3. 請求項２に記載の遠隔制御システムにおいて、
   前記制御装置は、前記ズレ時間に基づいて求められた新たな遅延量で前記遅延量を更新する場合に、前記遅延量を前記新たな遅延量まで段階的に更新していく遠隔制御システム。
4. 請求項２に記載の遠隔制御システムにおいて、
   前記センサ及び前記撮像装置によって互いに対応するタイミングで取得された検出結果と前記撮影画像との少なくとも一方には、互いの関連付けを示す関連情報が付加されており、
   前記制御装置は、受信した前記検出結果及び前記撮影画像の中から互いに対応するタイミングで取得された前記検出結果と前記撮影画像とを前記関連情報に基づいて判別して、前記ズレ時間を求める遠隔制御システム。
5. 請求項４に記載の遠隔制御システムにおいて、
   前記撮像装置から前記撮影画像を受信し、前記撮影画像を処理し、処理後の前記撮影画像を前記表示装置へ送信する画像処理装置をさらに備え、
   前記画像処理装置は、前記検出結果を前記スレーブ装置から受信し、前記撮影画像と対応するタイミングで取得された前記検出結果を前記関連情報として前記撮影画像に付加し、前記検出結果が付加された前記撮影画像を前記表示装置へ送信し、
   前記制御装置は、前記検出結果が付加された前記撮影画像を前記表示装置から受信し、前記撮影画像に付加された前記検出結果と前記スレーブ装置から受信した前記検出結果との比較に基づいて前記ズレ時間を求める遠隔制御システム。
6. 請求項５に記載の遠隔制御システムにおいて、
   前記画像処理装置は、前記撮影画像と対応するタイミングで取得された前記検出結果を前記撮影画像に画像として合成することによって前記検出結果を前記撮影画像に付加し、前記検出結果が合成された前記撮影画像をエンコードして前記表示装置へ送信し、
   前記制御装置は、前記表示装置によってデコードされた前記撮影画像から前記検出結果を取得する遠隔制御システム。
7. 請求項１乃至６の何れか１項に記載の遠隔制御システムにおいて、
   前記制御装置は、前記動作制御として、ユーザによる前記マスタ装置の操作及び前記検出結果に応じて、前記スレーブ装置の動作を制御すると共に前記スレーブ装置に作用する反力をユーザに提示するように前記マスタ装置の動作を制御する遠隔制御システム。
8. 請求項７に記載の遠隔制御システムにおいて、
   前記センサは、力覚センサである遠隔制御システム。
9. ユーザに操作されるマスタ装置と、
   前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、
   前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、
   前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、
   前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置とを備えた遠隔制御システムの制御方法であって、
   前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行することと、
   前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させることとを含む、遠隔制御システムの制御方法。
10. ユーザに操作されるマスタ装置と、
    前記マスタ装置の動作に応じて対象物に作用を加えるスレーブ装置と、
    前記スレーブ装置に設けられ、前記スレーブ装置の動作状態を検出するセンサと、
    前記スレーブ装置及び対象物の少なくとも一方の画像を撮影する撮像装置と、
    前記撮像装置による撮影画像を表示して、前記マスタ装置を操作するユーザに提供する表示装置とを備えた遠隔制御システムを制御する機能をコンピュータに実現させるための遠隔制御プログラムであって、
    前記センサの検出結果に基づいて前記マスタ装置及び前記スレーブ装置の少なくとも一方の動作制御を実行する機能と、
    前記動作制御に対する前記撮影画像の前記表示装置による表示タイミングのズレを低減するように、前記動作制御を遅延させる機能とをコンピュータに実現させるための遠隔制御プログラム。
    
    

Images