JP2020161996A - 遠隔操作システムおよび遠隔操作サーバ - Google Patents

Abstract

【課題】作業機械の遠隔操作主体の切り替えに際して、当該作業機械の動作状態の不安定を回避しうるシステムを提供する。【解決手段】第１遠隔操作装置１０を通じて作業機械４０が遠隔操作されている際に、当該作業機械４０または第１オペレータのうち一方または両方の状態が指定状態になった場合、当該指定状態に応じた第１通知が遠隔操作サーバ３０に送信される。遠隔操作サーバ３０において、当該第１通知の内容に鑑みて適当な第２遠隔操作装置２０が、当該作業機械４０の遠隔操作主体として選定される。【選択図】図１

Description

本発明は、作業機械等を遠隔操作するためのシステムに関する。

作業機械を遠隔操作する技術が提案されている（例えば、特許文献１参照）。

特開２０１６−０７６８０１号公報

しかし、作業機械の遠隔操作主体が、一の遠隔操作装置を操作する一のオペレータから他の遠隔操作装置を操作する他のオペレータに切り替えられる場合、当該一のオペレータによる遠隔操作態様に応じた作業機械の動作状態に鑑みて、当該他のオペレータによる遠隔操作態様が不適当になり、ひいては作業機械の動作状態が不安定になる可能性がある。

そこで、本発明は、作業機械の遠隔操作主体の切り替えに際して、当該作業機械の動作状態の不安定を回避しうるシステムを提供することを目的とする。

本発明の遠隔操作システムは、作動機構および当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有している作業機械と、前記作業機械を遠隔操作するための操作機構および前記作業機械の前記撮像装置により撮像された撮像画像を表示する画像出力装置を有している複数の遠隔操作装置と、前記複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバと、を備えている。

本発明の遠隔操作システムは、前記複数の遠隔操作装置のうち第１遠隔操作装置が、前記作業機械およびオペレータのうち少なくとも一方の状態が指定状態であることを検知する状態検知器と、前記状態検知器により前記作業機械および前記オペレータのうち少なくとも一方の状態が前記指定状態であることが検知された場合、当該指定状態に応じた第１通知を送信する第１クライアント制御装置と、を備え、前記遠隔操作サーバが、前記第１通知を受信し、当該第１通知に基づいて前記複数の遠隔操作装置のうち前記第１遠隔操作装置とは異なる第２遠隔操作装置を選定する第１サーバ演算処理要素と、前記第２遠隔操作装置または前記第２遠隔操作装置が有する第２クライアント制御装置に宛てて前記第１通知に応じた第２通知を送信し、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更するための処理を実行する第２サーバ演算処理要素と、を備えていることを特徴とする。

本発明の遠隔操作システムによれば、第１遠隔操作装置を通じて作業機械が遠隔操作されている際に、当該作業機械またはそのオペレータのうち一方または両方の状態が指定状態になった場合、当該指定状態に応じた第１通知に鑑みて適当な第２遠隔操作装置が、当該作業機械の遠隔操作主体として選定されうる。よって、作業機械の遠隔操作主体の切り替えに際して、当該作業機械の動作状態の不安定を回避しうる。

本発明の遠隔操作システムにおいて、前記作業機械は、当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有し、前記複数の遠隔操作装置のそれぞれが、前記撮像装置により撮像された前記作業機械の環境を表わす環境画像を表示する画像出力装置を有し、前記第２クライアント制御装置が、前記第２通知を受信し、前記第２通知に応じた通知情報を前記画像出力装置に出力させることが好ましい。

当該構成の遠隔操作システムによれば、前記第２通知に応じた通知情報が第２遠隔操作装置を構成する画像出力装置に表示されるので、第２遠隔操作装置のオペレータに対して作業機械の遠隔操作主体の切り替えに際して必要な情報を提供することができる。

本発明の遠隔操作システムにおいて、前記画像出力装置が、前記第２遠隔操作装置との連携機能を有する端末装置の構成要素であることが好ましい。

当該構成の遠隔操作システムによれば、第２遠隔操作装置のオペレータが、第２遠隔操作装置から離れていても、当該第２遠隔装置との連携機能を有する端末装置を通じて第２通知を受信し確認することができる。

本発明の遠隔操作システムにおいて、前記第２クライアント制御装置が、前記第２通知を受信したことに応じて、前記遠隔操作サーバに対して、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更することの承諾の有無を表わす通知を第３通知として送信し、前記第２サーバ演算処理要素が、前記第３通知が、前記承諾が無いことを表わす通知である場合、前記作業機械の遠隔操作権限を前記第２遠隔操作装置に変更しないことが好ましい。

当該構成の遠隔操作システムによれば、第２遠隔操作装置のオペレータが遠隔操作サーバに対して、作業機械の遠隔操作権限を当該第２遠隔操作装置への変更可否を表わす通知としての第３通知を送信することができる。

本発明の遠隔操作システムにおいて、前記第３通知は、前記第２遠隔操作装置との連携機能を有する端末装置により送信可能であることが好ましい。

当該構成の遠隔操作システムによれば、第２遠隔操作装置のオペレータが、第２遠隔操作装置から離れている場所においても、当該第２遠隔操作装置との連携機能を有する端末装置を通じて、遠隔操作サーバに対して、作業機械の遠隔操作権限を当該第２遠隔操作装置への変更可否を表わす通知を送信することが可能となる。

本発明の遠隔操作システムにおいて、前記第１サーバ演算処理要素が、複数の前記第２遠隔操作装置から送信される前記第３通知に基づき、前記作業機械の遠隔操作権限の前記第１遠隔操作装置からの変更先の候補として前記第２遠隔操作装置の候補を選出することが好ましい。

当該構成の遠隔操作システムによれば、複数の第２遠隔操作装置のそれぞれから送信される複数の第３通知に基づき、作業機械の遠隔操作権限の変更先としての一の第２遠隔操作装置が選出されうる。

本発明の遠隔操作システムにおいて、前記第１サーバ演算処理要素が、前記候補の中から一の前記第２遠隔操作装置を選定し、第２クライアント制御装置が、前記複数の第２遠隔操作装置のそれぞれに対して前記遠隔操作サーバから前記遠隔操作権限の変更の有無を表わす通知を第６通知として通知し、前記第２クライアント制御装置が、前記第６通知が前記遠隔操作権限の変更があった旨の通知である場合、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から取得することが好ましい。

当該構成の遠隔操作システムによれば、作業機械の遠隔操作権限の変更先である第２遠隔操作装置が決定された場合、当該変更先の候補であった複数の第２遠隔操作装置のそれぞれに対して遠隔操作権限の変更可否を表わす通知としての第６通知を送信することができる。

また、本発明の遠隔操作サーバは、作業機械を遠隔操作するための複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバであって、前記複数の遠隔操作装置のうち第１遠隔操作装置により、前記作業機械およびオペレータのうち少なくとも一方の状態が指定状態であることが検知されたことに応じて、前記第１遠隔操作装置から送信される、当該指定状態に応じた第１通知を受信し、当該第１通知に基づいて前記複数の遠隔操作装置のうち前記第１遠隔操作装置とは異なる第２遠隔操作装置を選定する第１サーバ演算処理要素と、前記第２遠隔操作装置に宛てて前記第１通知に応じた第２通知を送信し、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更するための処理を実行する第２サーバ演算処理要素と、を備えていることを特徴とする。

本発明の一実施形態としての遠隔操作システムの構成に関する説明図。 作業機械の構成に関する説明図。 第１遠隔操作装置の構成に関する説明図。 本発明の一実施形態としての遠隔操作システムの第１機能に関する説明図。 本発明の一実施形態としての遠隔操作システムの第２機能に関する説明図。 環境画像に関する説明図。

（構成）
図１に示されている本発明の一実施形態としての遠隔操作システムは、第１遠隔操作装置１０と、第２遠隔操作装置２０と、遠隔操作サーバ３０と、作業機械４０と、を備えている。共通の作業機械４０の遠隔操作主体は、遠隔操作サーバ３０により第１遠隔操作装置１０および第２遠隔操作装置２０の間で切り替え可能である。

（作業機械の構成）
作業機械４０は、作業機械制御装置４００と、撮像装置４０１と、無線通信機器４０２と、作動機構４４０と、を備えている。作業機械制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２２が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

撮像装置４０１は、例えばキャブ４２２の内部に設置され、キャブ４２２のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

第１遠隔操作装置１０を構成する操作レバー（後述）に対応する実機側操作レバーと、遠隔操作室から各操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットと、がキャブ４２２に設けられている。

（第１遠隔操作装置の構成）
第１遠隔操作装置１０は、第１クライアント制御装置１００と、第１入力インターフェース１１０と、第１出力インターフェース１２０と、を備えている。第１クライアント制御装置１００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第１入力インターフェース１１０は、第１操作機構１１１と、状態検知器１１２と、を備えている。第１出力インターフェース１２０は、第１画像出力装置１２１と、第１無線通信機器１２２と、を備えている。

第１遠隔操作装置１０の少なくとも一部の構成要素（例えば、第１操作機構１１１を除く構成要素）が、スマートホンまたはタブレット端末など、オペレータにより携帯可能な端末２５により構成されていてもよい。この場合、端末２５の置き場を第１遠隔操作装置１０に設けてもよい。

第１操作機構１１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、ブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）はアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）はバケットシリンダ４４６を動かすために操作される。

第１操作機構１１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータが着座するためのシート１１００の周囲に配置されている。シート１１００は、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態でもよい。

シート１１００の前方に左右のクローラに応じた左右一対の走行レバー１１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシート１１００の右側フレームの前方に設けられている右側操作レバー１１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図３に示されているシート１１００の左側フレームの前方に設けられている左側操作レバー１１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

第１画像出力装置１２１は、例えば図３に示されているように、シート１１００の右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置１２１１、前方画像出力装置１２１２および左斜め前方画像出力装置１２１３により構成されている。当該画像出力装置１２１１〜１２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

状態検知器１１２は、作業機械４０および第1遠隔操作装置１０の第１オペレータのうち一方または両方の状態が指定状態であることを検知する。例えば、入力インターフェース１１を構成するヘルプボタンが押されたことが指定状態として検知される。第１オペレータは、第１画像出力装置１２１に表示されている環境画像または作業機械４０の動作状態を表わす画像を通じて、作業機械４０の遠隔操作に不安を覚えた等の場合にヘルプボタンを押すことができる。

当該ヘルプボタンは、第1遠隔操作装置１０に設けられた押し下げ可能な物理ボタンで
押下を検出するものでもよいし、端末装置２５のようなタッチパネル上に仮想ボタンを表示し仮想ボタン位置の押下を検出するものでもよい。

上記ヘルプボタンのみならず、当該操作に対する第１オペレータのスキル不足や、第１オペレータの疲労による作業効率の低下、体調不良等、に関連する情報から指定状態を検知してもよい。

第１オペレータの視線の動きの態様、発声態様、指、手、腕または肩などの所定身体部位の動作態様、脳波、発汗量、心拍数および血圧などの生理情報のうち少なくとも１つが検知され、当該検知結果に基づいて所定のアルゴリズムにしたがって推定される当該第１オペレータの心理状態または生理状態が指定心理状態または指定生理状態であることが指定状態として検知されてもよい。

この場合、例えば、掘削動作等の所定の操作に対して第１オペレータの操作が逸脱していることを検出することで動作態様に基づいて指定状態を検知することができる。具体的に、第１オペレータの視線の動きを検出する視線検出センサで検出される視線方向が所定の操作で想定される視線方向で想定される視線方向から逸脱しているかを検出したり、操作レバーや操作ペダルの操作が所定の操作で想定される操作と逸脱しているかを検出したりすることができ、逸脱の有無や頻度によって指定状態を検知することができる。

動作態様は第１オペレータの発声態様により検知してもよい。例えば、作業機械４０が周囲作業者に向けて第１オペレータの音声を送るスピーカを搭載する場合には当該周囲作業者に対する声掛けを適切なタイミングで行わなかったり、現場監督者等の要通信者に対して適切なタイミングで連絡をしていなかったりする状況を検知することができ、発声態様の適切性により指定状態を検知することができる。

また、脳波、発汗量、心拍数および血圧等の値が正常値から逸脱していることからも指定状態を検知することができる。

作業機械４０に設けられたセンサにより検知され、第１無線通信機器１２２を通じて受信された作業機械４０の動作状態が指定動作状態であることが指定状態として検知されてもよい。例えば、作業機械４０に設けられている傾斜センサにより検知された下部走行体４１０または上部旋回体４２０の水平面に対する傾斜角度または傾斜角速度が閾値以上になったことが指定状態として検知されてもよい。

この場合、例えば、遠隔操作の操作スキルに乏しいオペレータによる操作では当該傾斜角度や傾斜角速度が閾値以上になる頻度が高くなりがちであり、この状態を検出することで指定状態を検知することができる。

施工計画に鑑みて、第１オペレータにより遠隔操作されている作業機械４０により作業状況が乖離していることが指定状態として検知されてもよい。例えば、第１クライアント制御要素１００を構成する記憶装置に記憶保持されている施工計画によれば、あるエリアにおいて所定の作業を実施している時間帯であるにもかかわらず、ＧＰＳ等により構成される測位装置および撮像装置４０１により、作業機械４０が当該エリアとは異なるエリアにおいて所定の作業をしている状態、または、作業機械４０が当該エリアにいるものの所定の作業（例えば、所定領域の掘削を終えた後の仕上げ作業）とは異なる他の作業（例えば、仕上げ作業前の掘削作業）を実施している状態が指定状態として検知されてもよい。

（第２遠隔操作装置の構成） 第２遠隔操作装置２０は、第２クライアント制御装置２００と、第２入力インターフェース２１０と、第２出力インターフェース２２０と、を備えている。第２クライアント制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。第２入力インターフェース２１０は、第２操作機構２１１を備えている。第２出力インターフェース２２０は、第２画像出力装置２２１と、第２無線通信機器２２２と、を備えている。

第２遠隔操作装置２０の詳細な構成は、状態検知器１１２が省略されていること、および、後述する第２クライアント制御装置２００の機能のほかは第１遠隔操作装置１０の構成とほぼ同様であるため、説明を省略する（図３参照）。

（遠隔操作サーバの構成） 遠隔操作サーバ３０は、第１サーバ演算処理要素３１と、第２サーバ演算処理要素３２と、を備えている。第１サーバ演算処理要素３１は、第１通知を受信し、当該第１通知に基づいて複数の遠隔操作装置のうち第１遠隔操作装置１０とは異なる第２遠隔操作装置２０を選定する。第２サーバ演算処理要素３２は、第２遠隔操作装置２０に宛てて第１通知に応じた第２通知を送信し、作業機械４０の遠隔操作権限を第１遠隔操作装置１０から第２遠隔操作装置２０に変更するための処理を実行する。

（機能）
第１遠隔操作装置１０において、第１オペレータにより所定の操作が行われる（図４／ＳＴＥＰ１０２）。所定の操作は、例えば、第１入力インターフェース１１または第１操作機構１１１を構成するボタンまたは操作レバーの操作である。これに応じて、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、第１遠隔操作装置１０から遠隔操作サーバ３０を経由して作業機械４０に対して操作開始指令が送信される（図４／ＳＴＥＰ１０４）。

作業機械４０において、作業機械制御装置４００により無線通信機器４０２を通じて遠隔操作サーバ３０から操作開始指令が受信される（図４／ＳＴＥＰ４０２）。これに応じて、作業機械制御装置４００が撮像装置４０１に指令を出力し、当該指令に応じて撮像装置４０１により撮像画像が取得される（図４／ＳＴＥＰ４０４）。作業機械制御装置４００により、無線通信機器４０２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作サーバ３０を経由して第１遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４０６）。

第１遠隔操作装置１０において、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて遠隔操作サーバ３０から撮像画像データが受信される（図４／ＳＴＥＰ１０６）。第１クライアント制御装置１００により、撮像画像データに応じた環境画像（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像）が第１画像出力装置１１１に表示される（図４／ＳＴＥＰ１０８）。これにより、例えば、図６に示されているように、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が第１画像出力装置１２１に表示される。

第１遠隔操作装置１０において、第１オペレータにより第１操作機構１１１が操作され（図４／ＳＴＥＰ１１０）、これに応じて、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該操作態様に応じた操作指令が遠隔操作サーバ３０を経由して作業機械４０に対して送信される（図４／ＳＴＥＰ１１２）。

作業機械４０において、作業機械制御装置４００により無線通信機器４０２を通じて遠隔操作サーバ３０から操作指令が受信される（図４／ＳＴＥＰ４０８）。これに応じて、作業機械制御装置４００により、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４１０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

第１遠隔操作装置１０において、状態検知器１１２により第１オペレータおよび／または作業機械４０の指定状態が検知されたか否かが判定される（図５／ＳＴＥＰ１１４）。当該判定結果が否定的である場合（図５／ＳＴＥＰ１１４‥ＹＥＳ）、撮像画像データの受信および環境画像の出力、ならびに、第１操作機構１１１の操作およびこれに応じた操作指令の送信が繰り返される（図４／ＳＴＥＰ１０６、１０８、１１０および１１２参照）。

その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ１１４‥ＹＥＳ）、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該状態検知結果に応じた第１通知が遠隔操作サーバ３０に対して送信される（図５／ＳＴＥＰ１１６）。「第１通知」には、指定状態を検知した直前における作業機械４０の環境を表わす環境画像および必要に応じて音声情報、施工計画、作業機械４０の動作状態および種類など、作業機械４０の遠隔操作に際して必要な情報が含まれている。

遠隔操作サーバ３０において、第１サーバ演算処理要素３１により、無線通信機器を通じて第１通知が受信される（図５／ＳＴＥＰ３０２）。

第１サーバ演算処理要素３１により、当該第１通知に基づいて複数の遠隔操作装置のうち第１遠隔操作装置１０とは異なる第２遠隔操作装置２０が選定される（図５／ＳＴＥＰ３０４）。例えば、各オペレータについて、遠隔操作中であるか否か、遠隔操作中である場合には遠隔操作終了までの期間、遠隔操作の経験回数、遠隔操作を途中で他のオペレータから引き継いだ回数、遠隔操作を途中で他のオペレータに引き継がせた回数、遠隔操作引継ぎの際の作業機械の状態、および、遠隔操作の内容（遠隔操作された作業機械の所在地および作業内容など）などがデータベースに登録されている。

そして、例えば、当該データベースの検索により、他の作業機械を遠隔操作中ではないオペレータであって、指定状態との近似度が高い状態の作業機械を遠隔操作した経験回数が多いオペレータであるほど、当該オペレータが操作する遠隔操作装置が第２遠隔操作装置２０として優先的に選定される。付加的または代替的に、他の作業機械を遠隔操作中ではないオペレータであって、当該状態の作業機械の遠隔操作の引継ぎ回数が多いオペレータであるほど、当該オペレータが操作する遠隔操作装置が第２遠隔操作装置２０として優先的に選定されてもよい。第２オペレータとしての選定に際してはこれらの指標がスコアとして数値化され、当該スコアが基準値以上である一または複数のオペレータの遠隔操作装置が第２遠隔操作装置２０として選定される。

上記に加えて、複数の第２オペレータの作業内容（掘削・積込や平地整地、平地整形、のり面整地およびのり面成型）に応じた技能レベルあらかじめ登録しておき、引継ぎの操作に要求される操作の技能レベルが高いオペレータを上位に選定するようにしてもよい。 第２サーバ演算処理要素３２により、無線通信機器を通じて、当該選定された一または複数の第２遠隔操作装置２０に宛てて第１通知に応じた第２通知が送信される（図５／ＳＴＥＰ３０６）。「第２通知」には、第１通知と同様に、指定状態を検知した直前における作業機械４０の環境を表わす環境画像および必要に応じて音声情報、施工計画、作業機械４０の動作状態および種類など、作業機械４０の遠隔操作に際して必要な情報のほか、当該遠隔操作の引継ぎを依頼する旨のメッセージが含まれていてもよい。

第２遠隔操作装置２０において、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて第２通知が受信される（図５／ＳＴＥＰ２０２）。第２クライアント制御装置２００により、当該第２通知に応じた第２通知情報が第２画像出力装置２１１に表示される（図５／ＳＴＥＰ２０４）。例えば、作業機械４０の環境画像（図６参照）および作業機械４０の上部旋回体４２０の水平面に対する傾斜角度などの動作状況を表わす画像が第２通知情報として第２画像出力装置２１１に表示される。

第２クライアント制御装置２００により、第２入力インターフェース２１０の操作を通じて第２オペレータにより遠隔操作の引継ぎの承諾の有無（あるいは承諾および拒否の別）が判定される（図５／ＳＴＥＰ２０６）。当該判定結果が否定的である場合（図５／ＳＴＥＰ２０６‥ＮＯ）、第２クライアント制御装置２００における処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２０６‥ＹＥＳ）、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて第３通知が遠隔操作サーバ３０に宛てて送信される（図５／ＳＴＥＰ２０８）。「第３通知」には、第２オペレータが作業機械４０の遠隔操作の引継ぎを承諾した旨のほか、第２クライアント制御装置２０を識別するための識別子が含まれている。

第２サーバ演算処理要素３２により、無線通信機器を通じて第３通知が受信される（図５／ＳＴＥＰ３０６）。第２サーバ演算処理要素３２により、無線通信機器を通じて、第１遠隔操作装置１０に宛てて第３通知に応じた第４通知が送信される（図５／ＳＴＥＰ３０８）。「第４通知」には、遠隔操作の引継ぎを承諾した第２オペレータまたはその第２遠隔操作装置２０のほか、第２オペレータが遠隔操作した作業装置の所在地および作業内容などが含まれている。

第１遠隔操作装置１０において、第１クライアント制御装置１００により、第１無線通信機器１２２を通じて第４通知が受信される（図５／ＳＴＥＰ１１８）。第１クライアント制御装置１００により、当該第４通知に応じた第４通知情報が第１画像出力装置１１１に表示される（図５／ＳＴＥＰ１２０）。例えば、作業機械４０の遠隔操作を承諾した第２オペレータ（操作主体候補）の一覧が、その遠隔操作経験の内容などの属性と共に第４通知情報として第２画像出力装置２１１に表示される。

第１クライアント制御装置１００により、第１入力インターフェース２１０を通じて第１オペレータにより指定された操作主体候補としての第２オペレータが認識される（図５／ＳＴＥＰ１２２）。第１クライアント制御装置１００により、第１無線通信機器１２２を通じて、当該センＴＡＣ結果に応じた第５通知が遠隔操作サーバ３０に宛てて送信される（図５／ＳＴＥＰ１２４）。「第５通知」には、第１オペレータにより指定された第２オペレータを識別するための識別子が含まれている。

遠隔操作サーバ３０において、第２サーバ演算処理要素３２により、無線通信機器を通じて第５通知が受信される（図５／ＳＴＥＰ３１２）。

第２サーバ演算処理要素３２により、無線通信機器を通じて、第１オペレータにより指定された第２オペレータの第２遠隔操作装置２０に対して第６通知が送信される（図５／ＳＴＥＰ３１６）。「第６通知」には操作の引継ぎをするか否かの情報が含まれる。第２遠隔操作装置２０において、第２クライアント制御装置２００により、第２無線通信機器２２２を通じて第６通知が受信される（図５／ＳＴＥＰ２１０）。「第６通知」の判定結果が否定的である場合（図５／ＳＴＥＰ２１２‥ＮＯ）、第２クライアント制御装置２００における処理が終了する。「第６通知」の判定結果が肯定的である場合、第２遠隔操作装置２０から操作指令の作業機械４０への送信が許容される。第２遠隔操作装置２０は、新たな第１遠隔操作装置１０として、作業機械４０の遠隔操作が可能になる（図４参照）。

これに応じて、第２サーバ演算処理要素３２により、作業機械４０の遠隔操作権限を第１遠隔操作装置１０から第２遠隔操作装置２０に変更するための処理が実行される（図５／ＳＴＥＰ３１６）。例えば、第１遠隔操作装置１０による操作指令の作業機械４０への送信が禁止される（図５／ＳＴＥＰ１２６）。当該第１遠隔操作装置１０は、新たに第２遠隔操作装置２０に対して業機械の遠隔操作の引継ぎが可能な状態になる。そして第２遠隔操作装置２０が作業機械４０の操作権限を取得する（図５／ＳＴＥＰ２１４）。

作業機械４０の第２遠隔操作装置２０による引継ぎ操作が完了する（図５／ＳＴＥＰ２１６）と、作業機械４０の遠隔操作権限を復元する処理が実行される（図５／ＳＴＥＰ３１８）。例えば、第１遠隔操作装置１０から操作指令の作業機械４０への送信が回復される（図５／ＳＴＥＰ１２８）。そして第２遠隔操作装置２０による操作指令の作業機械４０への送信が禁止される（図５／ＳＴＥＰ２１８）。

（効果）
当該構成の遠隔操作システムによれば、第１遠隔操作装置１０を通じて作業機械４０が遠隔操作されている際に、当該作業機械４０または第１オペレータのうち一方または両方の状態が指定状態になった場合、当該指定状態に応じた第１通知に鑑みて適当な第２遠隔操作装置２０が、当該作業機械４０の遠隔操作主体として選定されうる（図５参照）。よって、作業機械４０の遠隔操作主体の切り替えに際して、当該作業機械４０の動作状態の不安定を回避しうる。

（本発明の他の実施形態）
前記実施形態では、第１オペレータおよび第２オペレータのそれぞれによる作業機械４０の遠隔操作の引継ぎの承認を要件として作業機械４０の遠隔操作主体が切り替えられたが（図５／ＳＴＥＰ２０６、ＳＴＥＰ１２２およびＳＴＥＰ３１４参照）、他の実施形態として、第１オペレータおよび第２オペレータのうち一方または両方による当該承認がなくても作業機械４０の遠隔操作主体が切り替えられてもよい。

第２遠隔操作装置２０に付随して、第２遠隔操作装置２０の外部に第２遠隔操作装置２０と連携して第２入力インターフェース２１０および第２出力インターフェース２２０の機能を有する端末（ＰＣ、スマートフォン、タブレット等）を備え、当該端末に第２通知、第３通知、第６通知等の情報の送受信機能と、第２入力インターフェース２１０と、第２出力インターフェース機能を担わせるようにしてもよい。

この場合、例えば、第２遠隔操作装置２０を設置している場所から離れている場所においても第２オペレータが遠隔サーバ３０からの情報を受信し操作引継ぎ操作を行うことが出来る。具体的に、遠隔サーバ３０から送信される第２通知および第６通知はメールやＳＮＳ等で受信することができ、第２オペレータは通知情報から作業機械４０の遠隔操作に際して必要な情報を確認することで操作引継ぎ操作の承諾を判断し、遠隔サーバ３０に対して承諾の有無を通知することができる。また、第６通知（操作引継ぎをするか否かの情報）を得るまでの処理を第２遠隔操作装置２０から離れた場所で行うことができる。操作の引継ぎを行うことが確定したことを確認してから第２遠隔操作装置２０に向かうことができる。

前記実施形態の「第２通知」には、指定状態を検知した直前における作業機械４０の遠隔操作に際して必要な情報を含む構成であるが、「第２通知」には指定状態を検知したことのみ又は最低限の情報のみを情報として含め、指定状態を検知した直前における作業機械４０の遠隔操作に際して必要な情報は別途第２遠隔操作装置２０に送信するようにしてもよい。

この場合、例えば、第２遠隔操作装置２０を操作する第２オペレータには、指定状態を検知した第１遠隔操作装置１０があることのみが通知される。次いで第２オペレータが操作引継ぎを検討するに際して遠隔サーバ３０より指定状態を検知した直前における作業機械４０の遠隔操作に際して必要な情報を取得するように構成する。

このような構成であれば、引継ぎ操作を行うことのできる余裕のある第２オペレータに対してより詳細な情報を提供することができる。

前記実施形態において第２オペレータの候補者が多数でない場合や、スコアが基準値以上である候補者を絞り込み第１オペレータと第２オペレータとがメールや、チャット、電話等により直接話し合って引継ぎ操作を行う第２オペレータを選出してもよい。このような場合、作業機械４０の遠隔操作を承諾した第２オペレータ（操作主体候補）の一覧情報である第４通知を、作業機械４０の遠隔操作を承諾した各第２オペレータに送信するようにしてもよい。

１０‥第１遠隔操作装置、２０‥第２遠隔操作装置、２１‥第２入力インターフェース、２２‥第２出力インターフェース、２５‥端末装置、３０‥遠隔操作サーバ、３１‥第１サーバ演算処理要素、３２‥第２サーバ演算処理要素、４０‥作業機械、１００‥第１クライアント制御装置、１１０‥第１入力インターフェース、１１１‥第１操作機構、１１２‥状態検知器、１２０‥第１出力インターフェース、１２１‥第１画像出力装置、１２２‥第１無線通信機器、２００‥第２クライアント制御装置、２１０‥第２入力インターフェース、２１１‥第２操作機構、２２０‥第２出力インターフェース、２２１‥第２画像出力装置、２２２‥第２無線通信機器、４０１‥撮像装置、４０２‥無線通信機器、４４０‥作業アタッチメント（作動機構）。

Claims (8)

1. 作動機構を有している作業機械と、前記作業機械を遠隔操作するための操作機構を有している複数の遠隔操作装置と、前記複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバと、を備えている遠隔操作システムであって、
   前記複数の遠隔操作装置のうち第１遠隔操作装置が、前記作業機械およびオペレータのうち少なくとも一方の状態が指定状態であることを検知する状態検知器と、前記状態検知器により前記作業機械および前記オペレータのうち少なくとも一方の状態が前記指定状態であることが検知された場合、当該指定状態に応じた第１通知を送信する第１クライアント制御装置と、を備え、
   前記遠隔操作サーバが、前記第１通知を受信し、当該第１通知に基づいて前記複数の遠隔操作装置のうち前記第１遠隔操作装置とは異なる第２遠隔操作装置を選定する第１サーバ演算処理要素と、前記第２遠隔操作装置または前記第２遠隔操作装置が有する第２クライアント制御装置に宛てて前記第１通知に応じた第２通知を送信し、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更するための処理を実行する第２サーバ演算処理要素と、を備えていることを特徴とする遠隔操作システム。
2. 請求項１記載の遠隔操作システムにおいて、
   前記作業機械は、当該作動機構の少なくとも一部を含む環境を撮像する撮像装置を有し、
   前記複数の遠隔操作装置のそれぞれが、前記撮像装置により撮像された前記作業機械の環境を表わす環境画像を表示する画像出力装置を有し、
   前記第２クライアント制御装置が、前記第２通知を受信し、前記第２通知に応じた通知情報を前記画像出力装置に出力させることを特徴とする遠隔操作システム。
3. 請求項１または２に記載の遠隔操作システムにおいて、
   前記画像出力装置が、前記第２遠隔操作装置との連携機能を有する端末装置の構成要素であることを特徴とする遠隔操作システム。
4. 請求項１〜３のうちいずれか１項に記載の遠隔操作システムにおいて、
   前記第２クライアント制御装置が、前記第２通知を受信したことに応じて、前記遠隔操作サーバに対して、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更することの承諾の有無を表わす通知を第３通知として送信し、
   前記第２サーバ演算処理要素が、前記第３通知が、前記承諾が無いことを表わす通知である場合、前記作業機械の遠隔操作権限を前記第２遠隔操作装置に変更しないことを特徴とする遠隔操作システム。
5. 請求項４に記載の遠隔操作システムにおいて、
   前記第３通知は、前記第２遠隔操作装置との連携機能を有する端末装置により送信可能であることを特徴とする遠隔操作システム。
6. 請求項４または５に記載の遠隔操作システムにおいて、
   前記第１サーバ演算処理要素が、複数の前記第２遠隔操作装置から送信される前記第３通知に基づき、前記作業機械の遠隔操作権限の前記第１遠隔操作装置からの変更先の候補として前記第２遠隔操作装置の候補を選出することを特徴とする遠隔操作システム。
7. 請求項６記載の遠隔操作システムにおいて、
   前記第１サーバ演算処理要素が、前記候補の中から一の前記第２遠隔操作装置を選定し、
   第２クライアント制御装置が、前記複数の第２遠隔操作装置のそれぞれに対して前記遠隔操作サーバから前記遠隔操作権限の変更の有無を表わす通知を第６通知として通知し、
   前記第２クライアント制御装置が、前記第６通知が前記遠隔操作権限の変更があった旨の通知である場合、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から取得することを特徴とする遠隔操作システム。
8. 作業機械を遠隔操作するための複数の遠隔操作装置のそれぞれと相互通信機能を有する遠隔操作サーバであって、
   前記複数の遠隔操作装置のうち第１遠隔操作装置により、前記作業機械およびオペレータのうち少なくとも一方の状態が指定状態であることが検知されたことに応じて、前記第１遠隔操作装置から送信される、当該指定状態に応じた第１通知を受信し、当該第１通知に基づいて前記複数の遠隔操作装置のうち前記第１遠隔操作装置とは異なる第２遠隔操作装置を選定する第１サーバ演算処理要素と、
   前記第２遠隔操作装置に宛てて前記第１通知に応じた第２通知を送信し、前記作業機械の遠隔操作権限を前記第１遠隔操作装置から前記第２遠隔操作装置に変更するための処理を実行する第２サーバ演算処理要素と、を備えていることを特徴とする遠隔操作サーバ。
   

Images