JP2021147978A - 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

Abstract

【課題】異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる技術を提供する。【解決手段】一のオペレータにより第１遠隔操作装置としての一の遠隔操作装置２０を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置としての他の遠隔操作装置２０を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在する場合、当該作業機械４０のエンジン４６０の動作が停止されずに継続される。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械４０のエンジン４６０を再起動させて暖機運転をさせることなく、直ちに当該作業機械４０を遠隔操作することができる。【選択図】図１

Description

本発明は、オペレータによる遠隔操作装置を通じた複数の作業機械のそれぞれの遠隔操作を支援するための技術に関する。

建設機械等の作業機械に搭載されているカメラ（実機撮像装置）を通じて取得された撮像画像を、遠隔操作装置を構成するモニタに表示させることにより、当該遠隔操作装置を通じて作業機械の遠隔操作を支援する技術が提案されている（例えば、特許文献１参照）。遠隔操作装置を通じた作業機械の遠隔操作が終了した際、当該作業機械のエンジン（原動機）の動作が停止される。

特開２０１９−１７６４０１号公報

しかし、一のオペレータによる一の遠隔操作装置を通じた作業機械の遠隔操作が終了した後、短時間で他のオペレータが他の遠隔操作装置を通じて同じ作業機械の遠隔操作を試みる場合、当該作業機械のエンジンの再起動が必要になり、その分だけ作業機械による作業の円滑性が損なわれる可能性がある。

そこで、本発明は、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる技術を提供することを目的とする。

本発明の遠隔操作支援サーバは、オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、第１遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記第１遠隔操作装置による前記作業機械の遠隔操作が終了することを認識した場合、前記第１遠隔操作装置とは異なる第２遠隔操作装置との通信に基づき、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認し、前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性がないことが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信したことに応じて前記作業機械のエンジンの動作を停止させる一方、前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性があることが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後も前記作業機械のエンジンの動作を継続させる第２支援処理要素と、を備えている。

本発明の遠隔操作支援システムは、本発明の遠隔操作支援サーバと、前記第１遠隔操作装置および前記第２遠隔操作装置と、により構成されている。

当該構成の遠隔操作支援システムおよびこれを構成する遠隔操作支援サーバ（以下「遠隔操作支援サーバ等」という。）によれば、一のオペレータにより第１遠隔操作装置を通じた作業機械の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作する可能性がある他のオペレータが存在しない場合、当該作業機械のエンジンの動作が停止される。「遠隔操作可能性がある」とは、第２遠隔操作装置のオペレータが作業機械に対して遠隔操作の予定を入れていること、および／または、遠隔操作の意思を表わすことを包含する概念である。

その一方、一のオペレータにより第１遠隔操作装置を通じた作業機械の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作する可能性がある他のオペレータが存在する場合、当該作業機械のエンジンの動作が停止されずに継続される。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械のエンジンを再起動させて暖機運転をさせることなく、直ちに当該作業機械を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる。

本発明の作業支援サーバ等において、前記第１支援処理要素が、撮像装置を通じて取得された前記作業機械の動作状態および周辺環境を表わす撮像画像データを取得し、前記第２遠隔操作装置との通信に基づき、前記撮像画像データに応じた作業環境画像を前記第２遠隔操作装置の出力インターフェースに出力させたうえで、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認することが好ましい。

当該構成の作業支援サーバ等によれば、一のオペレータにより第１遠隔操作装置を通じて遠隔操作されている作業機械の動作状態および周辺環境を他のオペレータに認識させ、当該他のオペレータに第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作するか否かを意思決定させることができる。他のオペレータは作業機械の動作状況および周辺環境を認識したうえで、当該作業機械の遠隔操作を引き継ぐことができるため、違和感なく直ちに当該作業機械を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる。

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無に加えて、当該遠隔操作可能性がある場合の遠隔操作開始予定時刻を確認し、前記第２支援処理要素が、前記第１支援処理要素により、前記オペレータによる前記作業機械の遠隔操作可能性があることおよび遠隔操作開始予定時刻が確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後、当該遠隔操作開始予定時刻までの時間間隔が指定時間間隔以下であることを要件として前記作業機械のエンジンの動作を継続させることが好ましい。

当該構成の作業支援サーバ等によれば、一のオペレータにより第１遠隔操作装置を通じた作業機械の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作する可能性がある他のオペレータが存在するものの、当該他のオペレータによる遠隔操作開始予定時刻までの時間間隔が指定時間間隔を超える程度に長い場合、当該作業機械のエンジンの動作が停止される。このため、遠隔操作がされないまま作業機械のエンジンが過度に長期間にわたって動作している事態が回避されうる。

その一方、一のオペレータにより第１遠隔操作装置を通じた作業機械の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作する可能性がある他のオペレータが存在し、かつ、当該他のオペレータによる遠隔操作開始予定時刻までの時間間隔が指定時間間隔を超えない程度に短い場合、当該作業機械のエンジンの動作が停止されずに継続される。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械のエンジンを再起動させて暖機運転をさせることなく、直ちに当該作業機械を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる。

本発明の作業支援サーバ等において、前記第２支援処理要素が、前記作業機械の環境温度が低いほど、連続的または段階的に長くなるように定まる前記指定時間間隔にしたがって、前記作業機械のエンジンの動作を継続または停止させることが好ましい。

当該構成の作業支援サーバ等によれば、一のオペレータにより第１遠隔操作装置を通じた作業機械の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械を続けて遠隔操作する可能性がある他のオペレータによる遠隔操作開始予定時刻までの時間間隔が比較的長い場合であっても、当該作業機械の環境温度が低いほど長時間にわたりエンジンの動作が継続される。このため、比較的早期に作業機械のエンジンの動作が停止されてしまったため、エンジンの再起動後に比較的長時間にわたって暖機運転をする必要性を低減させ、早期に作業機械の遠隔操作の開始を可能とすることができる。よって、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械が遠隔操作される際、当該作業機械の作業の円滑化を図ることができる。

本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの第１機能に関する説明図。 遠隔操作支援システムの第２機能に関する説明図。 作業環境画像に関する説明図。

（遠隔操作支援システムの構成）
図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０（クライアント）と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０、作業機械４０およびクライアント６０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔操作装置２０は、「第１遠隔操作装置」および「第２遠隔操作装置」のうち少なくとも一方として機能する。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。遠隔操作装置２０は、スマートフォンまたはタブレット端末など、携帯情報端末により構成されていてもよい。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

シートＳｔの左側フレームの前方において左側操作レバー２１１２の下方に設けられている遮断レバー１１１３は、上げられた場合に各操作レバー２１１０、２１１１、２１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた場合に当該ロックを解除するための操作レバーとして機能する。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０〜２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、エンジン４６０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体２２０の前方中央部には作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

エンジン４６０は、作業機械４０の駆動源であり、メインポンプおよびパイロットポンプを駆動しうる。エンジン４６０が稼働している状態では、メインポンプから複数の方向制御弁に対して作動油が供給され、かつ、パイロットポンプから一次圧油が実機操作機構４１１に供給される。実機操作機構４１１の遠隔操作指令に応じた動きに応じて二次圧油が方向制御弁に対して供給され、当該方向制御弁の動作に応じた油圧シリンダに対して作動油が供給されることにより、旋回機構４３０および作業機構４４０が動作する。なお、これ以降では、エンジン４６０が稼働している状態をＯＮ、エンジン４６０が停止している状態をＯＦＦと呼ぶ。

（第１機能）
前記構成の遠隔操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

第１遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２１１）。「第１指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップまたはスワイプなどの操作である。

当該判定結果が否定的である場合（図４／ＳＴＥＰ２１１‥ＮＯ）、第１指定操作の有無の判定処理（図４／ＳＴＥＰ２１１）が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１１‥ＹＥＳ）、第１遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ２１２）。「第２指定操作」は、例えば、第１指定操作により指定された作業機械４０の遠隔操作の開始予定時刻（第１開始予定時刻）および終了予定時刻（第１終了予定時刻）を含むスケジュールを設定するための遠隔入力インターフェース２１０におけるキータッチ、タップまたはスワイプなどの操作である。このスケジュールは予めデータベース１０２に登録されていてもよい。スケジュールは、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置により設定されてもよい。

当該判定結果が否定的である場合（図４／ＳＴＥＰ２１２‥ＮＯ）、第１指定操作の有無の判定（図４／ＳＴＥＰ２１１）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して指定操作情報が送信される（図４／ＳＴＥＰ２１３）。指定操作情報には、遠隔操作装置２０を識別するための遠隔識別子と、第１指定操作により指定された作業機械４０を識別するための実機識別子と、第２指定操作により設定された遠隔操作の第１開始予定時刻および第１終了予定時刻を含むスケジュールと、が含まれている。

遠隔操作支援サーバ１０において、指定操作情報が受信された場合（図４／Ｃ１１０）、当該指定操作情報がデータベース１０２に登録される（図４／ＳＴＥＰ１１０）。

遠隔操作装置２０において、指定トリガに応じて、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して、遠隔操作の準備ができた旨の準備完了通知が送信される（図４／ＳＴＥＰ２１４）。指定トリガとしては、オペレータが遠隔入力インターフェース２１０を構成する準備完了ボタンを押すこと、または、オペレータがシートＳｔに着席したことなどが検知される。ただし、第１開始予定時刻よりも所定時間（例えば１０分前など）以上前の時刻に指定トリガがあった場合、準備完了通知は送信されなくてもよい。準備完了通知には、遠隔識別子が含まれている。

遠隔操作支援サーバ１０において、準備完了通知が受信された場合、第１支援処理要素１２１により、当該準備完了通知に含まれている遠隔識別子に関連付けられてデータベース１０２に記憶保持または登録されている実機識別子により識別される作業機械４０に対して、当該準備完了通知が送信される（図４／Ｃ１１１）。

作業機械４０において、実機無線通信機器４２２を通じて準備完了通知が受信された場合（図４／Ｃ４１０）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮからＯＦＦに切り替えられる（図４／ＳＴＥＰ４１０）。これにより、例えば、パイロットポンプから供給される一次圧油が、遠隔操作指令に応じて（実機操作機構４１１の操作態様がアクチュエータにより調節されることにより）二次圧油として方向制御弁に供給されうるので、旋回機構４３０および作業機構４４０を含めて作業機械４０が動作可能な状態になる。

さらに、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１１）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ４１２）。

遠隔操作支援サーバ１０において、撮像画像データが受信された場合（図４／Ｃ１１１）、第２支援処理要素１２２により撮像画像に応じた作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。作業環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて作業環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、作業環境画像データに応じた作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１５）。

これにより、例えば、図６に示されているように、作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる作業環境画像が画像出力装置２２１に出力される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１７）。第１開始予定時刻になるまで操作態様が認識されないようにしてもよく、または、操作態様が認識されたとしても遠隔操作指令が遠隔操作支援サーバ１０に対して送信されないようにしてもよい。

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第２支援処理要素１２２により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１１３）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて遠隔操作指令が受信された場合（図４／Ｃ４１２）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。これにより、作業機械４０の遠隔操作が開始される。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第３指定操作の有無が判定される（図４／ＳＴＥＰ２１８）。「第２指定操作」は、例えば、ＩＧＮスイッチをＯＮからＯＦＦに切り替えるなど、作業機械４０のエンジン４６０の動作を停止させるための遠隔入力インターフェース２１０におけるタップなどの操作である。

当該判定結果が否定的である場合（図５／ＳＴＥＰ２１８‥ＮＯ）、遠隔無線通信機器２２２を通じた作業環境画像データの受信（図４／Ｃ２１０参照）および当該作業環境画像データに応じた作業環境画像の画像出力装置２２１における出力（図４／ＳＴＥＰ２１２参照）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２１８‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して遠隔操作停止通知（または遠隔操作停止指令）が送信される（図４／ＳＴＥＰ２１９）。遠隔操作停止通知には、作業機械４０を識別するための実機識別子が含まれている。

第３指定操作が、作業機械４０のエンジン４６０の動作を指定時間後に停止させるための操作であり、遠隔操作停止通知が、作業機械４０のエンジン４６０の動作を指定時間後に停止させるための指令であってもよい。この場合、第３指定操作があってから指定時間にわたり、第１遠隔操作装置による作業機械４０の遠隔操作が継続可能になる（図４／ＳＴＥＰ２１６→ＳＴＥＰ２１７→‥→ＳＴＥＰ４１４参照）。

遠隔操作支援サーバ１０において、遠隔操作停止通知が受信された場合（図４／Ｃ１１４）、図５を用いて後述する処理が実行される。遠隔操作支援サーバ１０において、遠隔操作停止通知が受信されなかった場合、撮像画像データの受信（図４／Ｃ１１２参照）および作業環境画像データの送信（図４／ＳＴＥＰ１１２参照）以降の処理が繰り返される。

（第２機能）
前記構成の遠隔操作支援システムの第２機能について図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

第２遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図５／ＳＴＥＰ２２１）。

当該判定結果が否定的である場合（図５／ＳＴＥＰ２２１‥ＮＯ）、第１指定操作の有無の判定（図５／ＳＴＥＰ２２１）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２１‥ＹＥＳ）、第２遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２２２）。「第２指定操作」は、例えば、第１指定操作により指定された作業機械４０の遠隔操作の開始予定時刻（第２開始予定時刻）および終了予定時刻（第２終了予定時刻）を含むスケジュールを設定するための遠隔入力インターフェース２１０におけるキータッチ、タップまたはスワイプなどの操作である。

当該判定結果が否定的である場合（図５／ＳＴＥＰ２２２‥ＮＯ）、第１指定操作の有無の判定（図５／ＳＴＥＰ２２１）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して指定操作情報が送信される（図５／ＳＴＥＰ２２３）。指定操作情報には、遠隔操作装置２０を識別するための遠隔識別子と、第１指定操作により指定された作業機械４０を識別するための実機識別子と、第２指定操作により設定された遠隔操作の第２開始予定時刻および第２終了予定時刻を含むスケジュールと、が含まれている。

遠隔操作支援サーバ１０において、指定操作情報が受信された場合（図５／Ｃ１２０）、当該指定操作情報がデータベース１０２に登録される（図５／ＳＴＥＰ１２０）。

遠隔操作支援サーバ１０において、第１支援処理要素１２１により第２遠隔操作装置としての遠隔操作装置２０のオペレータが選定される（図５／ＳＴＥＰ１２１）。例えば、データベース１０２への問い合わせにより、作業機械４０の遠隔操作のスケジュールを参照し、第１遠隔操作装置の次に作業機械４０を遠隔操作するオペレータまたは遠隔操作装置が選定される。第１遠隔操作装置の次に作業機械４０を遠隔操作するオペレータが、第２遠隔操作装置を操作するオペレータである場合には、当該空き情報が送信される（図５／ＳＴＥＰ１２２）。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて当該空き情報が受信された場合（図５／Ｃ２２１）、遠隔制御装置２００により、遠隔操作の意思の有無を確認するための画面が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２４）。例えば、作業機械４０の遠隔操作を開始することを確認する画面が画像出力装置２２１に出力される。過去一定期間にわたる作業環境画像データに応じた作業環境画像（動画）が併せて画像出力装置２２１に出力されてもよい。

遠隔制御装置２００により、遠隔入力インターフェース２１０を通じた意思表示操作の有無が判定される（図５／ＳＴＥＰ２２５）。例えば、画像出力装置２２１に出力された意思確認画面を構成するボタンのうち一方のタップなどによる選択操作が意思表示操作に該当する。例えば、指定期間内に意思表示操作の有が判定される場合に当該判定結果が肯定的であると判定される。判定結果が肯定的である場合に、遠隔制御装置２００により、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して肯定的な意思確認結果が送信される（図５／ＳＴＥＰ２２６）。その一方、指定期間にわたって連続的に意思表示操作の無が判定される場合には、判定結果が否定的となる。当該判定結果が否定的である場合に、遠隔制御装置２００により、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して否定的な意思確認結果が送信される（図５／ＳＴＥＰ２２６）。指定期間は、例えば、作業機械４０のエンジン４６０を第１終了予定時刻にＯＦＦとし、第２開始予定時刻に再びＯＮとする場合の燃料消費量が、作業機械４０のエンジン４６０を当該第１終了予定時刻から当該第２開始予定時刻までＯＮのまま継続する場合の燃料消費量を上回る時間として設定される。

遠隔操作支援サーバ１０において、意思確認結果が受信された場合（図５／Ｃ１２２）、第２支援処理要素１２２により、当該意思確認結果が肯定的であるか又は否定的であるかが判定される（図５／ＳＴＥＰ２１２３）。当該意思確認結果が否定的である場合（図５／ＳＴＥＰ１２３‥ＮＯ）、第２支援処理要素１２２により、エンジン動作停止指令が作業機械４０に対して送信される（図５／ＳＴＥＰ１２８）。作業機械４０において、実機無線通信機器４２２を通じてエンジン動作停止指令が受信された場合（図５／Ｃ４２２）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮからＯＦＦに切り替えられる（図５／ＳＴＥＰ４２２）。これにより、パイロットポンプから一次圧油が実機操作機構４１１に対して供給されなくなり、遠隔操作指令に応じて実機操作機構４１１が動かされたとしても旋回機構４３０および作業機構４４０が動作不可能な状態になる。

その一方、当該意思確認結果が肯定的である場合（図５／ＳＴＥＰ１２３‥ＹＥＳ）、第２支援処理要素１２２により、エンジン動作継続指令が作業機械４０に対して送信される（図５／ＳＴＥＰ１２４）。作業機械４０において、実機無線通信機器４２２を通じてエンジン動作継続指令が受信された場合（図５／Ｃ４２１）、実機制御装置４００により、当該作業機械４０のエンジン４６０がＯＮに維持される（図５／ＳＴＥＰ４２１）。これにより、パイロットポンプから一次圧油が実機操作機構４１１に対して供給される状態が継続される。

さらに、この場合、第２支援処理要素１２２により、遠隔操作可能通知が第２遠隔操作装置としての遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１２６）。第２遠隔操作装置において、遠隔制御装置２００により遠隔無線通信機器２２２を通じて遠隔操作可能通知が受信された場合（図５／Ｃ２２２）、当該通知が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２７）。これにより、図４に示されているフローチャートにしたがって、第２遠隔操作装置としての遠隔操作装置２０により作業機械４０が遠隔操作されうる（図４／ＳＴＥＰ４１１→ＳＴＥＰ４１２→Ｃ１１２→ＳＴＥＰ１１２→Ｃ２１０→ＳＴＥＰ２１５→ＳＴＥＰ２１６→ＳＴＥＰ２１７→Ｃ１１３→Ｃ４１２→ＳＴＥＰ４１４）。ただし、エンジン４６０がＯＦＦからＯＮに切り替えられる必要はない（図４／ＳＴＥＰ４１０参照）。

（効果）
当該構成の遠隔操作支援システムおよびこれを構成する遠隔操作支援サーバ１０によれば、一のオペレータにより第１遠隔操作装置としての一の遠隔操作装置２０を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置としての他の遠隔操作装置２０を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在しない場合、当該作業機械４０のエンジン４６０の動作が停止される（図５／ＳＴＥＰ２２５‥ＮＯ→ＥＮＤ、Ｃ１２２→ＳＴＥＰ１２８→Ｃ４２２→ＳＴＥＰ４２２参照）。

その一方、一のオペレータにより第１遠隔操作装置としての一の遠隔操作装置２０を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置としての他の遠隔操作装置２０を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在する場合、当該作業機械４０のエンジン４６０の動作が停止されずに継続される（図５／ＳＴＥＰ２２５‥ＹＥＳ→ＳＴＥＰ２２６→Ｃ１２２→ＳＴＥＰ１２４→Ｃ４２１→ＳＴＥＰ４２１参照）。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械４０のエンジン４６０を再起動させて暖機運転をさせることなく、直ちに当該作業機械４０を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置２０を通じて同一の作業機械４０が遠隔操作される際、当該作業機械４０の作業の円滑化を図ることができる。

（本発明の他の実施形態）
第１支援処理要素１２１が、第２遠隔操作装置のオペレータによる作業機械４０の遠隔操作開始予定時刻をさらに確認し、第２支援処理要素１２２が、第１遠隔操作装置から作業機械４０の遠隔操作停止通知（遠隔操作停止指令）を受信した後（図４／Ｃ１１４参照）、当該遠隔操作開始予定時刻までの時間間隔が指定時間間隔以下であることを要件として作業機械４０のエンジン４６０の動作を継続させてもよい（図５／ＳＴＥＰ１２４参照）。

当該構成の作業支援サーバ４０によれば、一のオペレータにより第１遠隔操作装置を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在するものの、当該他のオペレータによる遠隔操作の開始予定時刻（第２開始予定時刻）までの時間間隔が指定時間を超える程度に長い場合、当該作業機械４０のエンジン４６０の動作が停止される。このため、遠隔操作がされないまま作業機械４０のエンジンが過度に長期間にわたって動作している事態が回避されうる。

その一方、一のオペレータにより第１遠隔操作装置を通じた作業機械４０の遠隔操作が停止される際、第２遠隔操作装置を通じて同じ作業機械４０を続けて遠隔操作する可能性がある他のオペレータが存在し、かつ、当該他のオペレータによる遠隔操作開始予定時刻までの時間間隔が指定時間間隔を超えない程度に短い場合、当該作業機械４０のエンジン４６０の動作が停止されずに継続される。このため、当該他のオペレータは第２遠隔操作装置を通じて、それまで第１遠隔操作装置の操作対象であった作業機械４０のエンジン４６０を再起動させて暖機運転をさせることなく、直ちに当該作業機械４０を遠隔操作することができる。よって、異なるオペレータによりまたは異なる遠隔操作装置を通じて同一の作業機械４０が遠隔操作される際、当該作業機械４０の作業の円滑化を図ることができる。

第２支援処理要素１２２が、作業機械４０の環境温度が低いほど、連続的または段階的に長くなるように定まる指定時間間隔にしたがって、作業機械４０のエンジンの動作を継続または停止させてもよい。

前記実施形態では、選定されたオペレータの遠隔操作装置２０に対して空き情報が送信されるが（図５／ＳＴＥＰ１２２参照）、第１遠隔操作装置の次に作業機械４０を遠隔操作するオペレータまたは遠隔操作装置による遠隔操作の開始予定時刻（第２開始予定時刻）が、第１遠隔操作装置による作業機械４０の遠隔操作の終了予定時刻（第１終了予定時刻）から指定時間以上ある場合には、当該空き情報を送信しないようにしてもよい。例えば、指定時間は、作業機械４０のエンジンを当該第１終了予定時刻にＯＦＦとし、当該第２開始予定時刻に再びＯＮとする場合の燃料消費量が、作業機械４０のエンジンを当該第１終了予定時刻から当該第２開始予定時刻までＯＮのまま継続する場合の燃料消費量を上回る時間である。

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置（第１遠隔操作装置、第２遠隔操作装置）、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２１２‥オペレータ状態センサ、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１‥実機入力インターフェース、４２‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構（作業機構）、４４５‥バケット（作業部）、４６０‥エンジン。

Claims (6)

1. オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
   第１遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記第１遠隔操作装置による前記作業機械の遠隔操作が終了することを認識した場合、前記第１遠隔操作装置とは異なる第２遠隔操作装置との通信に基づき、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認する第１支援処理要素と、
   前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性がないことが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信したことに応じて前記作業機械のエンジンの動作を停止させる一方、前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性があることが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後も前記作業機械のエンジンの動作を継続させる第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
2. 請求項１記載の作業支援サーバにおいて、
   前記第１支援処理要素が、撮像装置を通じて取得された前記作業機械の動作状態および周辺環境を表わす撮像画像データを取得し、前記第２遠隔操作装置との通信に基づき、前記撮像画像データに応じた作業環境画像を前記第２遠隔操作装置の出力インターフェースに出力させたうえで、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認することを特徴とする作業支援サーバ。
3. 請求項１または２記載の作業支援サーバにおいて、
   前記第１支援処理要素が、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無に加えて、当該遠隔操作可能性がある場合の遠隔操作開始予定時刻を認識し、
   前記第２支援処理要素が、前記第１支援処理要素により、前記オペレータによる前記作業機械の遠隔操作可能性があることおよび遠隔操作開始予定時刻が確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後、当該遠隔操作開始予定時刻までの時間間隔が指定時間間隔以下であることを要件として前記作業機械のエンジンの動作を継続させることを特徴とする作業支援サーバ。
4. 請求項３記載の作業支援サーバにおいて、
   前記第２支援処理要素が、前記作業機械の環境温度が低いほど、連続的または段階的に長くなるように定まる前記指定時間間隔にしたがって、前記作業機械のエンジンの動作を継続または停止させることを特徴とする作業支援サーバ。
5. 請求項１〜４のうちいずれか１項に記載の作業支援サーバと、前記第１遠隔操作装置および前記第２遠隔操作装置と、により構成されていることを特徴とする作業支援システム。
6. オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援方法であって、
   第１遠隔操作装置および前記作業機械のうち少なくとも一方との通信に基づき、前記第１遠隔操作装置による前記作業機械の遠隔操作が終了することを認識した場合、前記第１遠隔操作装置とは異なる第２遠隔操作装置との通信に基づき、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性の有無を確認する第１支援処理と、
   前記第１支援処理の実行により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性がないことが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信したことに応じて前記作業機械のエンジンの動作を停止させる一方、前記第１支援処理要素により、前記第２遠隔操作装置のオペレータによる前記作業機械の遠隔操作可能性があることが確認された場合、前記第１遠隔操作装置から前記前記作業機械の遠隔操作停止指令を受信した後も前記作業機械のエンジンの動作を継続させる第２支援処理と、を含んでいることを特徴とする遠隔操作支援サーバ。

Images