JP2020161934A

JP2020161934A - 遠隔操作システム

Info

Publication number: JP2020161934A
Application number: JP2019058105A
Authority: JP
Inventors: 真輝大谷; Masaki Otani; 佐々木　均; Hitoshi Sasaki; 均佐々木; 誠司佐伯; Seiji Saeki; 山▲崎▼　洋一郎; Yoichiro Yamazaki; 洋一郎山▲崎▼
Original assignee: Kobelco Construction Machinery Co Ltd
Current assignee: Kobelco Construction Machinery Co Ltd
Priority date: 2019-03-26
Filing date: 2019-03-26
Publication date: 2020-10-01
Anticipated expiration: 2039-03-26
Also published as: JP7287045B2; EP3923594A4; US20220220706A1; EP3923594A1; WO2020194883A1; CN113597772A; EP3923594B1

Abstract

【課題】一のオペレータが他のオペレータによる作業機械の遠隔操作態様を把握する観点から、適当な情報を当該一のオペレータに対して提供しうるシステムを提供する。【解決手段】第１遠隔操作装置１０において、受動態様検知器１１２により第１作動機構１１１の受動態様が検知され、当該受動態様に応じた操作態様データが送信される。第２遠隔操作装置２０において、操作態様データに応じた第１操作機構１１１の受動態様にしたがってアクチュエータ２１２の動作が制御され、これにより第２操作機構２１１が能動的に動作する。【選択図】図１

Description

本発明は、作業機械等を遠隔操作するためのシステムに関する。

作業機械を遠隔操作する技術が提案されている（例えば、特許文献１参照）。

特開２０１６−０７６８０１号公報

しかし、作業機械の遠隔操作のスキルに劣る一のオペレータが、そのスキルを向上させる観点から、スキルに優れた他のオペレータによる作業機械の遠隔操作態様を把握することが好ましい。

そこで、本発明は、一のオペレータが他のオペレータによる作業機械の遠隔操作態様を把握する観点から、適当な情報を当該一のオペレータに対して提供しうるシステムを提供することを目的とする。

本発明の遠隔操作システムは、作動機構および当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械と、前記作業機械を遠隔操作するための操作機構および前記作業機械の前記撮像装置により取得された撮像画像データに応じた環境画像を表示する画像表示装置を有している第１遠隔操作装置および第２遠隔装置と、を備えている遠隔操作システムであって、前記第１遠隔操作装置が、前記操作機構の受動態様を検知する受動態様検知器と、前記受動態様検知器により検知された当該操作機構の受動態様に応じた操作態様データを送信する第１クライアント制御装置と、を備え、前記第２遠隔操作装置が、前記操作機構を能動的に動作させるためのアクチュエータと、前記操作態様データを受信し、当該操作態様データに応じた前記第１遠隔操作装置における前記操作機構の受動態様にしたがって、前記アクチュエータの動作を制御する第２クライアント制御装置と、を備えていることを特徴とする。

当該構成の遠隔操作システムによれば、第１遠隔操作装置を通じて作業機械を操作する一のオペレータによる作業機械の遠隔操作態様、すなわち操作機構の操作態様を、第２遠隔操作装置を通じて作業機械を操作する他のオペレータに触覚を通じて把握させる観点から適当な情報として、第２遠隔操作装置における操作機構の能動的な動作態様が当該他のオペレータに対して提供される。

本発明の遠隔操作システムにおいて、前記第１遠隔操作装置が、オペレータによる前記操作機構の操作態様の様子を撮像する内側撮像装置をさらに備え、前記第１クライアント制御装置が、前記内側撮像装置により取得された撮像画像データを送信し、前記第２クライアント制御装置が、前記撮像画像データを受信し、当該撮像画像データに応じて前記オペレータによる前記操作機構の操作態様を表わす操作態様画像を前記画像出力装置に表示させることが好ましい。

当該構成の遠隔操作システムによれば、第１遠隔操作装置を通じて作業機械を操作する一のオペレータによる作業機械の遠隔操作態様、すなわち操作機構の操作態様を、第２遠隔操作装置を通じて作業機械を操作する他のオペレータに視覚を通じて把握させる観点から適当な情報として、当該一のオペレータによる操作機構の操作態様を表わす画像が当該他のオペレータに対して提供される。

本発明の遠隔操作システムにおいて、前記第２クライアント制御装置が、前記操作態様データに応じた、前記第１遠隔操作装置における前記操作機構の受動態様として当該操作機構の操作量を表わす操作態様画像を前記画像出力装置に表示させることが好ましい。

当該構成の遠隔操作システムによれば、第１遠隔操作装置を通じて作業機械を操作する一のオペレータによる作業機械の遠隔操作態様、すなわち操作機構の操作態様を、第２遠隔操作装置を通じて作業機械を操作する他のオペレータに視覚を通じて把握させる観点から適当な情報として、当該一のオペレータによる操作機構の操作態様のうち操作量を表わす画像が当該他のオペレータに対して提供される。

本発明の遠隔操作サーバは、作動機構および当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械を遠隔操作するための操作機構、および、前記作業機械の前記撮像装置により取得された撮像画像データに応じた環境画像を表示する画像表示装置を有している第１遠隔操作装置および第２遠隔装置のそれぞれとの相互通信機能を有する遠隔操作サーバであって、前記第１遠隔操作装置において検知された前記操作機構の受動態様に応じた操作態様データを当該第１遠隔操作装置から受信する第１サーバ制御要素と、を備え、前記第２遠隔操作装置に対して前記操作態様データを送信することにより、前記第２遠隔祖操作装置において、当該操作態様データに応じた前記操作機構の受動態様にしたがって、前記操作機構を能動的に動作させるためのアクチュエータの動作を制御させる第２サーバ制御要素と、を備えていることを特徴とする。

当該構成の遠隔操作サーバによれば、第１遠隔操作装置を通じて作業機械を操作する一のオペレータによる作業機械の遠隔操作態様、すなわち操作機構の操作態様を、第２遠隔操作装置を通じて作業機械を操作する他のオペレータに触覚を通じて把握させる観点から適当な情報として、第２遠隔操作装置における操作機構の能動的な動作態様が当該他のオペレータに対して提供される。

本発明の一実施形態としての遠隔操作システムの構成に関する説明図。作業機械の構成に関する説明図。第１遠隔操作装置の構成に関する説明図。本発明の一実施形態としての遠隔操作システムの機能に関する説明図。第１画像出力装置における画像出力態様に関する説明図。第２画像出力装置における画像出力態様に関する説明図。操作態様画像の第１例に関する説明図。操作態様画像の第２例に関する説明図。本発明の他の実施形態としての遠隔操作システムに関する説明図。

（構成）
図１に示されている本発明の一実施形態としての遠隔操作システムは、第１遠隔操作装置１０と、第２遠隔操作装置２０と、作業機械４０と、を備えている。共通の作業機械４０の遠隔操作主体は、第１遠隔操作装置１０および第２遠隔操作装置２０の間で切り替え可能である。

（作業機械の構成）
作業機械４０は、作業機械制御装置４００と、撮像装置４０１（外側撮像装置）と、無線通信機器４０２と、作動機構４４０と、を備えている。作業機械制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２２が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４０が設けられている。

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

撮像装置４０１は、例えばキャブ４２２の内部に設置され、キャブ４２２のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

第１遠隔操作装置１０を構成する操作レバー（後述）に対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ４２２に設けられている。

（第１遠隔操作装置の構成）
第１遠隔装置１０は、第１クライアント制御装置１００と、第１入力インターフェース１１０と、第１出力インターフェース１２０と、を備えている。第１クライアント制御装置１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第１入力インターフェース１１０は、第１操作機構１１１と、受動態様検知器１１２と、を備えている。第１出力インターフェース１２０は、第１画像出力装置１２１と、第１無線通信機器１２２と、を備えている。

第１操作機構１１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ４４６を動かすために操作される。

第１操作機構１１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータが着座するためのシート１１００の周囲に配置されている。シート１１００は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。

シート１１００の前方に左右のクローラに応じた左右一対の走行レバー１１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシート１１００の右側フレームの前方に設けられている右側操作レバー１１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図３に示されているシート１１００の左側フレームの前方に設けられている左側操作レバー１１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

第１画像出力装置１２１は、例えば図３に示されているように、シート１１００の右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置１２１１、前方画像出力装置１２１２および左斜め前方画像出力装置１２１３により構成されている。当該画像出力装置１２１１〜１２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

受動態様検知器１１２は、例えば、一対の走行レバー１１１０、右側操作レバー１１１１および左側操作レバー１１１２のそれぞれを撮像範囲とするようにキャブ４２２の内部に設置された一または複数の撮像装置１１２１（内側撮像装置）により構成されている。

操作レバーを操作量０に対応する元の位置および姿勢に復元させるように作用するばねまたは弾性部材により構成される付勢機構の変形量または変位量に応じた信号を出力するセンサと、当該センサの出力信号に基づいて上部旋回体４２０を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことのほか、ブーム、アームおよびバケット等が操作されたことを推定する演算処理装置と、により受動態様検知器１１２が構成されていてもよい。

実機側操作レバーの操作量に応じたパイロット圧に応じた信号を出力するパイロット圧センサと、当該パイロット圧センサの出力信号に基づいて上部旋回体４２０を上方から見て反時計回りにある速度で旋回させるために旋回レバーが操作されたことのほか、ブーム、アームおよびバケット等が操作されたことを推定する演算処理装置と、により受動態様検知器１１２が構成されていてもよい。

（第２遠隔操作装置の構成）第２遠隔操作装置２０は、第２クライアント制御装置２００と、第２入力インターフェース２１０と、第２出力インターフェース２２０と、を備えている。第２クライアント制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第２入力インターフェース２１０は、第２操作機構２１１と、アクチュエータ２１２と、を備えている。第２出力インターフェース２２０は、第２画像出力装置２２１と、第２無線通信機器２２２と、を備えている。

アクチュエータ２１２は、第２操作機構２１１を能動的に駆動するためのアクチュエータであり、電動式、油圧式または気圧式のアクチュエータにより構成されている。第２遠隔操作装置２０のその他の構成は、受動態様検知器１１２が省略されていること、および、後述する第２クライアント制御装置２００の機能のほかは第１遠隔操作装置１０の構成とほぼ同様であるため、説明を省略する（図３参照）。

（機能）
第１遠隔操作装置１０において、第１オペレータにより所定の操作が行われる（図４／ＳＴＥＰ１０２）。所定の操作は、例えば、第１入力インターフェース１１０または第１操作機構１１１を構成するボタンまたは操作レバーの操作である。これに応じて、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、第１遠隔操作装置１０から作業機械４０に対して操作開始指令が送信される（図４／ＳＴＥＰ１０４）。

同様に、第２遠隔操作装置２０において、第２オペレータにより所定の操作が行われる（図４／ＳＴＥＰ２０２）。所定の操作は、例えば、第２入力インターフェース２１０または第２操作機構２１１を構成するボタンまたは操作レバーの操作である。これに応じて、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて、第２遠隔操作装置２０から作業機械４０に対して操作開始指令が送信される（図４／ＳＴＥＰ２０４）。

作業機械４０において、作業機械制御装置４００により無線通信機器４０２を通じて操作開始指令が受信される（図４／ＳＴＥＰ４０２）。これに応じて、作業機械制御装置４００が撮像装置４０１に指令を出力し、当該指令に応じて撮像装置４０１により撮像画像データが取得される（図４／ＳＴＥＰ４０４）。作業機械制御装置４００により、無線通信機器４０２を通じて、当該撮像画像を表わす撮像画像データが第１遠隔操作装置１０および第２遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４０６）。

第１遠隔操作装置１０において、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて撮像画像データが受信される（図４／ＳＴＥＰ１０６）。第１クライアント制御装置１００により、撮像画像データに応じた環境画像（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像）が第１画像出力装置１２１に表示される（図４／ＳＴＥＰ１０８）。同様に、第２遠隔操作装置２０において、第２クライアント制御装置２００により、第２無線通信機器１２２を通じて撮像画像データが受信される（図４／ＳＴＥＰ２０６）。第２クライアント制御装置２００により、撮像画像データに応じた環境画像が第２画像出力装置２２１に表示される（図４／ＳＴＥＰ２０８）。これにより、例えば、図５Ａに示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が第１画像出力装置１２１および第２画像出力装置２２１のそれぞれに表示される。

第１遠隔操作装置１０において、第１オペレータにより第１操作機構１１１が操作され（図４／ＳＴＥＰ１１０）、これに応じて、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該操作態様に応じた操作指令が作業機械４０に対して送信される（図４／ＳＴＥＰ１１２）。

作業機械４０において、作業機械制御装置４００により無線通信機器４０２を通じて操作指令が受信される（図４／ＳＴＥＰ４０８）。これに応じて、作業機械制御装置４００により、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４１０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

第１遠隔操作装置１０において、受動態様検知器１１２により第１オペレータの操作による第１操作機構１１１の受動態様が検知される（図４／ＳＴＥＰ１１４）。第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該受動態様検知結果に応じた操作態様データが第２遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１６）。

第２遠隔操作装置２０において、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて操作態様データが受信される（図４／ＳＴＥＰ２１０）。第２クライアント制御装置２００により、当該操作態様データにしたがってアクチュエータ２１２の動作が制御され、第２操作機構２１１が能動的に駆動される（図４／ＳＴＥＰ２１２）。これにより、第１遠隔操作装置１０における第１オペレータによる第１操作機構１１１の操作態様または受動態様が、第２遠隔操作装置２０において第２操作機構２１１の能動態様として再現される。

さらに、第２クライアント制御装置２００により、操作態様データに応じた操作態様画像が第２画像出力装置２２１に表示される（図４／ＳＴＥＰ２１４）。これにより、例えば、図５Ｂに示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像の上に、操作態様画像Ｓが重畳されて第２画像出力装置２２１に表示される。

環境画像から外れた位置に操作態様画像が表示されてもよい。環境画像画像が前方画像出力装置１２１２に表示され、操作態様画像が右斜め前方画像出力装置１２１１または左斜め前方画像出力装置１２１３に表示されるなど（図３参照）、環境画像および操作態様画像のそれぞれが別個の画像出力装置に表示されてもよい。

例えば、図６Ａに示されているように、右側操作レバー１１１１およびこれを動かす第１オペレータの右手ＲＨを上方から見た画像、ならびに、左側操作レバー１１１２およびこれを動かす第１オペレータの左手ＬＨを上方から見た画像が操作態様画像に含まれている。当該画像は、受動態様検知器１１２を構成する撮像装置により取得された撮像画像の一部が切り出されて生成されてもよく、撮像画像または受動態様検知結果に基づいて生成された模擬的な画像であってもよい。また、右側操作レバー１１１１の基準状態から前後への傾動角度θ_x1および左右への傾動角度θ_y1、ならびに、左側操作レバー１１１２の基準状態から前後への傾動角度θ_x2および左右への傾動角度θ_y2のそれぞれの数値を表わす操作態様画像が操作態様画像に含まれている。操作態様画像において操作量の表現が省略されてもよい。

図６Ｂに示されているように、左側操作レバー１１１２を左および後のそれぞれから見た画像が操作態様画像に含まれている。当該画像は、受動態様検知器１１２を構成する撮像装置により取得された撮像画像データに応じた撮像画像の一部が切り出されて生成されてもよく、撮像画像または受動態様検知結果に基づいて生成された模擬的な画像であってもよい。また、左側操作レバー１１１２の基準状態から前後への傾動角度θ_x2および左右への傾動角度θ_y2のそれぞれの数値を表わす操作態様画像が操作態様画像に含まれている。同様に、右側操作レバー１１１１を右および後のそれぞれから見た画像が操作態様画像に含まれていてもよい。操作態様画像において操作量の表現が省略されてもよい。

（効果）
当該構成の遠隔操作システムによれば、第１遠隔操作装置１０を通じて作業機械４０を操作する第１オペレータによる作業機械４０の遠隔操作態様、すなわち第１操作機構１１１の操作態様を、第２遠隔操作装置２０を通じて作業機械４０を操作する第２オペレータに触覚を通じて把握させる観点から適当な情報として、第２遠隔操作装置２０における第２操作機構２１１の能動的な動作態様が当該第２オペレータに対して提供される（図４／ＳＴＥＰ２１２参照）。第１オペレータが第１操作機構１１１を構成する操作レバーを左右の手で握るのと同様に、第２オペレータが第２操作機構２１１を構成する操作レバーを左右の手で握ることにより、第２オペレータはその手を通じて操作レバーの動きを把握し、第１オペレータによる操作レバーの動かし方または操作態様を認識することができる。

さらに、第１オペレータによる第１操作機構１１１の操作態様を、第２オペレータに視覚を通じて把握させる観点から適当な情報として、当該第１オペレータによる第１操作機構１１１の操作態様および操作量を表わす操作態様画像が当該第２オペレータに対して提供される（図４／ＳＴＥＰ２１４および図６Ａ〜図６Ｂ参照）。第２オペレータは、第２画像出力装置２２１に表示された操作態様画像の視認を通じて、第１オペレータによる操作レバーの動かし方または操作態様を認識することができる。

（本発明の他の実施形態）
前記実施形態では、第１遠隔操作装置１０、第２遠隔操作装置２０および作業機械４０が無線通信方式にしたがって直接的に相互通信したが、他の実施形態として、図７に示されている遠隔操作サーバ３０を介して第１遠隔操作装置１０、第２遠隔操作装置２０および作業機械４０が間接的に相互通信してもよい。

遠隔操作サーバ３０は、第１サーバ演算処理要素３１と、第２サーバ演算処理要素３２と、を備えている。第１サーバ演算処理要素３１は、第１遠隔操作装置１０において検知された第１操作機構１１１の受動態様に応じた操作態様データを、第１遠隔操作装置１０から受信する。第２サーバ演算処理要素３２は、操作態様データを第２遠隔操作装置２０に対して送信することにより、第２画像出力装置２２１に操作態様画像を表示させる（図６Ａ〜図６Ｂ参照）。

１０‥第１遠隔操作装置、２０‥第２遠隔操作装置、３０‥遠隔操作サーバ、３１‥第１サーバ演算処理要素、３２‥第２サーバ演算処理要素、４０‥作業機械、１００‥第１クライアント制御装置、１１０‥第１入力インターフェース、１１１‥第１操作機構、１１２‥受動態様検知器、１２０‥第１出力インターフェース、１２１‥第１画像出力装置、１２２‥第１無線通信機器、２００‥第２クライアント制御装置、２１０‥第２入力インターフェース、２１１‥第２操作機構、２１２‥アクチュエータ、２２０‥第２出力インターフェース、２２１‥第２画像出力装置、２２２‥第２無線通信機器、４０１‥撮像装置（外側撮像装置）、４０２‥無線通信機器、４４０‥作業アタッチメント（作動機構）、１１２１‥撮像装置（内側撮像装置）。

Claims

作動機構および当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械と、前記作業機械を遠隔操作するための操作機構および前記作業機械の前記撮像装置により取得された撮像画像データに応じた環境画像を表示する画像表示装置を有している第１遠隔操作装置および第２遠隔装置と、を備えている遠隔操作システムであって、
前記第１遠隔操作装置が、前記操作機構の受動態様を検知する受動態様検知器と、前記受動態様検知器により検知された当該操作機構の受動態様に応じた操作態様データを送信する第１クライアント制御装置と、を備え、
前記第２遠隔操作装置が、前記操作機構を能動的に動作させるためのアクチュエータと、前記操作態様データを受信し、当該操作態様データに応じた前記第１遠隔操作装置における前記操作機構の受動態様にしたがって、前記アクチュエータの動作を制御する第２クライアント制御装置と、を備えていることを特徴とする遠隔操作システム。
請求項１記載の遠隔操作システムにおいて、
前記第１遠隔操作装置が、オペレータによる前記操作機構の操作態様の様子を撮像する内側撮像装置をさらに備え、前記第１クライアント制御装置が、前記内側撮像装置により取得された撮像画像データを送信し、
前記第２クライアント制御装置が、前記撮像画像データを受信し、当該撮像画像データに応じて前記オペレータによる前記操作機構の操作態様を表わす操作態様画像を前記画像出力装置に表示させることを特徴とする遠隔操作システム。
請求項１または２記載の遠隔操作システムにおいて、
前記第２クライアント制御装置が、前記操作態様データに応じた、前記第１遠隔操作装置における前記操作機構の受動態様として当該操作機構の操作量を表わす操作態様画像を前記画像出力装置に表示させることを特徴とする遠隔操作システム。
作動機構および当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械を遠隔操作するための操作機構、および、前記作業機械の前記撮像装置により取得された撮像画像データに応じた環境画像を表示する画像表示装置を有している第１遠隔操作装置および第２遠隔装置のそれぞれとの相互通信機能を有する遠隔操作サーバであって、
前記第１遠隔操作装置において検知された前記操作機構の受動態様に応じた操作態様データを当該第１遠隔操作装置から受信する第１サーバ制御要素と、を備え、
前記第２遠隔操作装置に対して前記操作態様データを送信することにより、前記第２遠隔祖操作装置において、当該操作態様データに応じた前記操作機構の受動態様にしたがって、前記操作機構を能動的に動作させるためのアクチュエータの動作を制御させる第２サーバ制御要素と、を備えていることを特徴とする遠隔操作サーバ。