JP2021150931A - 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

Abstract

【課題】遠隔操作装置を通じた遠隔操作対象が一の作業機械から他の作業機械に切り替えられる際、当該遠隔操作対象の環境変化に対するオペレータの対応の容易化を図ることができる技術を提供する。【解決手段】遠隔操作装置４０の現在の遠隔操作対象である第１作業機械の実機撮像装置４１２を通じて取得された第１撮像画像データに基づく第１作業環境画像が遠隔出力インターフェース２２０に出力される。これに加えて、遠隔操作装置２０の次の遠隔操作対象である第２作業機械の実機撮像装置を通じて取得された第２撮像画像データに基づく第２作業環境画像が、遠隔出力インターフェース２２０に出力される。【選択図】図８

Description

本発明は、オペレータによる遠隔操作装置を通じた複数の作業機械のそれぞれの遠隔操作を支援するための遠隔操作支援サーバに関する。

建設機械等の作業機械に搭載されているカメラ（実機撮像装置）を通じて取得された撮像画像を、遠隔操作装置を構成するモニタに表示させることにより、当該遠隔操作装置を通じて作業機械の遠隔操作を支援する技術が提案されている（例えば、特許文献１参照）。

特開２０１９−１７６４０１号公報

しかし、遠隔操作装置を通じた遠隔操作対象が一の作業機械から他の作業機械に切り替えられる際、当該一の作業機械の環境から当該他の作業機械の環境への変化に対応することがオペレータにとって困難になる場合がある。

そこで、本発明は、遠隔操作装置を通じた遠隔操作対象が一の作業機械から他の作業機械に切り替えられる際、当該遠隔操作対象の環境変化に対するオペレータの対応の容易化を図ることができる技術を提供することを目的とする。

本発明の遠隔操作支援サーバは、オペレータによる遠隔操作装置を通じた複数の作業機械のそれぞれの遠隔操作を支援するための遠隔操作支援サーバであって、前記遠隔操作装置の現在の遠隔操作対象である第１作業機械を認識し、前記第１作業機械に搭載されているまたは前記第１作業機械の周囲に存在する実機撮像装置を通じて取得された、前記第１作業機械の周辺環境を表わす第１撮像画像データを前記第１作業機械との通信に基づいて取得し、前記遠隔操作装置との通信に基づき、前記第１撮像画像データに応じた第１作業環境画像を前記遠隔操作装置の出力インターフェースに出力させる第１支援処理要素と、前記遠隔操作装置の前記第１作業機械の次の遠隔操作対象である第２作業機械を認識し、前記第２作業機械に搭載されているまたは前記第２作業機械の周囲に存在する実機撮像装置を通じて取得された、前記第２作業機械の周辺環境を表わす第２撮像画像データを前記第２作業機械との通信に基づいて取得し、前記遠隔操作装置との通信に基づき、前記第２撮像画像データに応じた第２作業環境画像を前記第１作業環境画像とともに前記遠隔操作装置の出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする。

当該構成の遠隔操作支援サーバによれば、遠隔操作装置の現在の遠隔操作対象である第１作業機械に搭載されているまたは第１作業機械の周囲に存在する実機撮像装置を通じて取得された第１撮像画像データに基づく第１作業環境画像が遠隔操作装置の出力インターフェースに出力される。これに加えて、遠隔操作装置の次の遠隔操作対象である第２作業機械に搭載されているまたは第２作業機械の周囲に存在する実機撮像装置を通じて取得された第２撮像画像データに基づく第２作業環境画像が遠隔操作装置の出力インターフェースに出力される。

このため、遠隔操作装置を通じて第１作業機械を遠隔操作している状態のオペレータに、次の遠隔操作対象である第２作業機械の周辺環境をあらかじめ認識させることができる。これにより、遠隔操作装置を通じた遠隔操作対象が一の作業機械から他の作業機械に切り替えられる際、当該遠隔操作対象の環境変化に対するオペレータの対応の容易化を図ることができる。

本発明の遠隔操作支援サーバにおいて、前記第２支援処理要素が、現在時刻から前記遠隔操作装置により前記第２作業機械が遠隔操作される第２遠隔操作期間の開始予定時刻までの第１時間間隔が第１指定期間以下であることを要件として、前記第２作業環境画像を前記第１作業環境画像とともに前記遠隔操作装置の出力インターフェースに出力させることが好ましい。

本発明の遠隔操作支援サーバにおいて、前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記第１時間間隔が前記第１指定期間以下である旨の第１通知情報を前記遠隔操作装置の出力インターフェースに出力させることが好ましい。

当該構成の遠隔操作支援サーバによれば、例えば、過度に長時間にわたり第２作業環境画像が第１作業環境画像とともに出力インターフェースに出力されることが回避される。このため、オペレータの第１作業環境画像に対する注意が第２作業環境画像により削がれる事態を回避しながら、遠隔操作対象の環境変化に対するオペレータの対応の容易化を図ることができる。

本発明の遠隔操作支援サーバにおいて、前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記第２作業環境画像を前記第１作業環境画像とともに前記第１遠隔操作期間の終了後も前記遠隔操作装置の出力インターフェースに出力させることが好ましい。

当該構成の遠隔操作支援サーバによれば、第１指定操作のタイミングが遅くなった場合でも、第１作業環境画像に加えて第２作業環境画像が出力インターフェースに出力される期間が第１遠隔操作期間の終了後も確保されるため、遠隔操作装置を通じた遠隔操作対象が一の作業機械から他の作業機械に切り替えられる際、当該遠隔操作対象の環境変化に対するオペレータの対応の容易化を図ることができる。

本発明の遠隔操作支援サーバにおいて、前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記第２遠隔操作期間の開始予定時刻が近づくにつれ、前記遠隔装置の出力インターフェースにおいて前記第２作業環境画像が前記第１作業環境画像よりも相対的に大きくなるように、前記第１作業環境画像および前記第２作業環境画像を前記遠隔操作装置の出力インターフェースに出力させることが好ましい。

当該構成の遠隔操作支援サーバによれば、第１作業環境画像の出力期間の終了予定時刻が近づくにつれ、遠隔操作装置の出力インターフェースにおいて第２作業環境画像が第１作業環境画像よりも連続的または段階的に相対的に大きくなるように、当該２つの作業環境画像が当該遠隔出力インターフェースに出力される。このため、遠隔操作装置を通じた遠隔操作対象が一の作業機械から他の作業機械に切り替えられる際、オペレータの注意を当該一の作業機械から当該他の作業機械に徐々に遷移させ、その結果として遠隔操作対象の切り替えの円滑を図ることができる。

本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの第１機能に関する説明図。 第１実施形態の遠隔操作支援システムの第２機能に関する説明図。 第１および第２作業環境画像の出力態様の第１例示図。 第１および第２作業環境画像の出力態様の第２例示図。 第１および第２作業環境画像の出力態様の第２例示図。 第１作業環境画像の出力態様に関する説明図。 第２作業環境画像の出力態様に関する説明図。 第１および第２作業環境画像の出力態様に関する説明図。 第１および第２作業環境画像の時間変化態様に関する説明図。

（操作支援システムの構成）
図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０（クライアント）と、により構成されている。操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

（操作支援サーバの構成）
操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔操作装置２０は、「第１クライアント」および「第２クライアント」のうち少なくとも一方として機能する。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０〜２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体２２０の前方中央部には作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機撮像装置４１２は、作業機械４０の周囲に配置されていてもよい。実機撮像装置４１２は、無人車両または無人飛行機など、作業機械４０の周囲において移動可能な移動体に搭載されていてもよい。

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

作動機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（第１機能）
前記構成の操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

第１遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２１１）。「第１指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップまたはスワイプなどの操作である。

当該判定結果が否定的である場合（図４／ＳＴＥＰ２１１‥ＮＯ）、第１指定操作の有無の判定処理（図４／ＳＴＥＰ２１１）が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１１‥ＹＥＳ）、第１遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図４／ＳＴＥＰ２１２）。「第２指定操作」は、例えば、第１指定操作により指定された作業機械４０の遠隔操作の開始予定時刻および／または終了予定時刻を含むスケジュールを設定するための遠隔入力インターフェース２１０におけるキータッチ、タップまたはスワイプなどの操作である。このスケジュールは予めデータベース１０２に登録されていてもよい。スケジュールは、スマートフォン、タブレット端末またはパーソナルコンピュータなどの端末装置により設定されてもよい。

当該判定結果が否定的である場合（図４／ＳＴＥＰ２１２‥ＮＯ）、第１指定操作の有無の判定（図４／ＳＴＥＰ２１１）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して指定操作情報が送信される（図４／ＳＴＥＰ２１３）。指定操作情報には、遠隔操作装置２０を識別するための遠隔識別子と、第１指定操作により指定された作業機械４０を識別するための実機識別子と、第２指定操作により設定された遠隔操作の開始予定時刻および終了予定時刻を含むスケジュールと、が含まれている。

第１指定操作及び前記第２指定操作により１台の作業機械４０のみならず、複数台の作業機械４０が指定可能である。本実施形態では、第１指定操作により第１作業機械と第２作業機械の２台の作業機械４０が指定され、第２指定操作により第１作業機械の終了予定時刻（第１終了予定時刻ｔ₁₂）と第２作業機械の開始予定時刻（第２開始予定時刻ｔ₂₁）が設定される場合について述べる。

遠隔操作支援サーバ１０において、指定操作情報が受信された場合（図４／Ｃ１１０）、当該指定操作情報がデータベース１０２に登録される（図４／ＳＴＥＰ１１０）。

遠隔操作装置２０において、指定トリガに応じて、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して、遠隔操作の準備ができた旨の準備完了通知が送信される（図４／ＳＴＥＰ２１４）。指定トリガとしては、オペレータが遠隔入力インターフェース２１０を構成する準備完了ボタンを押すこと、または、オペレータがシートＳｔに着席したことなどが検知される。ただし、第２開始予定時刻ｔ₂₁よりも所定時間（例えば１０分前など）以上前の時刻に指定トリガがあった場合、準備完了通知は送信されなくてもよい。準備完了通知には、遠隔識別子が含まれている。

遠隔操作支援サーバ１０において、準備完了通知が受信された場合、第１支援処理要素１２１により、当該準備完了通知に含まれている遠隔識別子に関連付けられてデータベース１０２に記憶保持または登録されている実機識別子により識別される作業機械４０に対して、第１環境確認要求が送信される（図４／Ｃ１１１）。

第１作業機械としての作業機械４０において、実機無線通信機器４２２を通じて第１環境確認要求が受信された場合（図４／Ｃ４１０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を第１撮像画像として取得する（図４／ＳＴＥＰ４１０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該第１撮像画像を表わす第１撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１２）。

操作支援サーバ１０において、第１撮像画像データが受信された場合（図４／Ｃ１１２）、第１支援処理要素１２１により第１作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。第１作業環境画像データは、第１撮像画像データそのもののほか、第１撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第１作業環境画像データが受信された場合（図４／Ｃ２１０）、遠隔制御装置２００により、第１作業環境画像データに応じた第１作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１５）。

これにより、図６Ａおよび図６Ｂのそれぞれに示されているように、第１遠隔操作期間の開始予定時刻ｔ₁₁から終了予定時刻ｔ₁₂まで継続的に第１作業環境画像が画像出力装置２２１に出力される。例えば図７Ａに示されているように、第１作業機械としての作業機械４０の作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる第１作業環境画像ｉｍｇ１が画像出力装置２２１に出力される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１７）。第１開始予定時刻になるまで操作態様が認識されないようにしてもよく、または、操作態様が認識されたとしても遠隔操作指令が遠隔操作支援サーバ１０に対して送信されないようにしてもよい。

操作支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により当該遠隔操作指令が第１作業機械としての作業機械４０に対して送信される（図４／Ｃ１１４）。

第１作業機械としての作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１２）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。これにより、例えば図７Ａに示されているように、バケット４４５により作業機械４０の前方のエリアＯ１にある土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から他の場所に土を落とす作業が実行される。

（第２機能）
前記構成の操作支援システムの第２機能について図５に示されているフローチャートを用いて説明する。当該フローチャートにおいても「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

遠隔操作支援サーバ１０において、第２支援処理要素１２２により、現在時刻ｔが第２遠隔操作期間の開始予定時刻ｔ₂₁から第１指定期間τ₁だけ前の時刻以降の時刻であるか否かが判定される（図５／ＳＴＥＰ１２０）。すなわち、現在時刻ｔから第２遠隔操作期間の開始予定時刻ｔ₂₁までの時間間隔である第１時間間隔が第１指定期間τ₁以下であるか否かが判定される。「第２遠隔操作期間」は、遠隔操作装置２０により第２作業機械が遠隔操作される期間または予定期間である。

当該判定結果が否定的である場合（図５／ＳＴＥＰ１２０‥ＮＯ）、当該判定処理が繰り返される（図５／ＳＴＥＰ１２０）。

その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２０‥ＹＥＳ）、第２支援処理要素１２２により第２環境確認要求が第２実機識別子により識別される第２作業機械としての作業機械４０に対して送信される（図５／ＳＴＥＰ１２１）。

第２作業機械としての作業機械４０において、実機無線通信機器４２２を通じて第２環境確認要求が受信された場合（図５／Ｃ４２０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を第２撮像画像として取得する（図５／ＳＴＥＰ４２０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該第２撮像画像を表わす第２撮像画像データが遠隔操作装置１０に対して送信される（図５／ＳＴＥＰ４２２）。

操作支援サーバ１０において、第２撮像画像データが受信された場合（図５／Ｃ１２２）、第２支援処理要素１２２により第１通知情報および第２作業環境画像データが遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１２２）。「第２作業環境画像データ」は、第２撮像画像データそのもののほか、第２撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。「第１通知情報」は、現在時刻ｔから第２遠隔操作期間の開始予定時刻ｔ₂₁までの時間間隔が第１指定期間τ₁以下であり第２作業機械での操作開始が迫っている旨の通知であり、時刻ｔ＝ｔ₂₁−τ₁において当該第１通知情報が送信される。第１遠隔操作期間において第２作業機械が別のオペレータにより操作されている場合に当該別のオペレータの作業が予定よりも早く終わる場合、第２遠隔操作期間の開始予定時刻ｔ₂₁よりも前の時刻において「第１通知情報」が通知されてもよい。第１遠隔操作期間において第２作業機械が別のオペレータにより操作されている場合に当該別のオペレータの作業が遅れ、オペレータによる開始予定時刻ｔ₂₁よりも遅延する場合には、時刻ｔ＝ｔ₂₁−τ₁において当該第1通知情報が送信される。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第1通知情報および第２作業環境画像データが受信された場合（図５／Ｃ２２２）、遠隔制御装置２００により、第1通知情報が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２０）。また、この場合、遠隔制御装置２００により、第２作業環境画像データに応じた第２作業環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２２１）。

これにより、図６Ａに示されているように、時刻ｔ＝ｔ₂₁−τ₁から第１遠隔操作期間の終了予定時刻ｔ₁₂まで継続的に第２作業環境画像が画像出力装置２２１に出力される。すなわち、図６Ａに示されているように、時刻ｔ＝ｔ₂₁−τ₁から第１遠隔操作期間の終了予定時刻ｔ₁₂まで継続的に第１作業環境画像に加えて第２作業環境画像が画像出力装置２２１に出力される。例えば、図７Ｂに示されているように、第２作業機械としての作業機械４０の作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる第２作業環境画像ｉｍｇ２が画像出力装置２２１に出力される。

また、第１遠隔操作期間の終了予定時刻ｔ₁₂から第２遠隔操作期間の開始予定時刻ｔ₂₁までの時間間隔が第１指定期間τ₁よりも若干短い場合、図６Ｂに示されているように、時刻ｔ＝ｔ₂₁−τ₁から継続的に第２作業環境画像ｉｍｇ２が画像出力装置２２１に出力される。この場合、図６Ｂに示されているように、第１作業環境画像ｉｍｇ１および第２作業環境画像ｉｍｇ２がともに画像出力装置２２１に出力されうる期間は、第１指定期間τ₁よりも短くなる。

第２作業環境画像の画像出力装置２２１の出力の有無が任意に制御されてもよい。例えば、画像出力装置２２１の端部に第２作業環境画像のウィジェットが表示され、オペレータが遠隔入力インターフェース２１０を構成するボタンでウィジェットを展開すると当該第２作業環境画像が画像出力装置２２１に出力されてもよい。また、第２作業環境画像が表示された後、オペレータが遠隔入力インターフェース２１０を構成するボタンで第２作業環境画像を出力させないように操作してもよい。いずれにしろ、第１作業機械で操作しながら第２作業機械の様子を確認することができる。

なお、図６Ｃに示されているように、第１遠隔操作期間の終了予定時刻ｔ₁₂から第２遠隔操作期間の終了予定時刻ｔ₂₁までの時間間隔が第１指定期間τ₁以上である場合、第１環境画像ｉｍｇ１および第２環境画像ｉｍｇ２が画像出力装置２２１に同時に表示されることはない。

第１作業環境画像ｉｍｇ１（図７Ａ参照）および第２作業環境画像ｉｍｇ２（図７Ｂ参照）が、画像出力装置２２１（例えば、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち２つの画像出力装置）に別個にまたは相互に離間して出力されてもよい。図８に示されているように、第１作業環境画像ｉｍｇ１（図７Ａ参照）および第２作業環境画像ｉｍｇ２（図７Ｂ参照）が、画像出力装置２２１（例えば、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち一の画像出力装置）に重畳されて出力されてもよい。この際、第２作業環境画像ｉｍｇ２のサイズおよび配置態様は、第１作業環境画像ｉｍｇ１に映り込んでいる作業機構４４０と重ならないように表示されてもよい。

第２支援処理要素１２２により、遠隔操作装置２０との通信に基づき、第１作業環境画像の出力期間の終了予定時刻（例えば、図６Ａおよび図６Ｂ／時刻ｔ₁₂参照）が近づくにつれ、遠隔出力インターフェース２２０を構成する画像出力装置２２１において第２作業環境画像が第１作業環境画像よりも相対的に大きくなるように、第１作業環境画像および第２作業環境画像が画像出力装置２２１に出力されてもよい。例えば、図９に示されているように、時刻ｔがｔ_i-1→ｔ_i→ｔ_i+1と変化していく過程で、第１作業環境画像ｉｍｇ１に重畳している第２作業環境画像ｉｍｇ２のサイズが徐々に大きくなるように制御されてもよい。

第１遠隔操作装置としての遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第３指定操作の有無が判定される（図５／ＳＴＥＰ２２２）。「第３指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を第１作業機械から第２作業機械に切り替えるための遠隔入力インターフェース２１０におけるタップまたはスワイプなどの操作である。

当該判定結果が否定的である場合（図５／ＳＴＥＰ２２２‥ＮＯ）、一連の処理が終了る。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２２‥ＹＥＳ）、遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図５／ＳＴＥＰ２２３）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が操作支援サーバ１０に対して送信される（図５／ＳＴＥＰ２２４）。

図６Ａおよび図６Ｂのそれぞれに示されているように、第２遠隔操作期間の開始予定時刻ｔ₂₁以降、遠隔操作装置２０の画像出力装置２２１に第２作業環境画像が継続的に出力される。「第２遠隔操作期間」は、遠隔操作装置２０により第２作業機械が遠隔操作される期間または予定期間である。遠隔操作装置２０における遠隔操作機構２１１の操作態様に応じて第２作業機械としての作業機械４０の作業機構４４０等の動作が制御される。

操作支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により当該遠隔操作指令が第２作業機械としての作業機械４０に対して送信される（図５／Ｃ１２４）。

第２作業機械としての作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図５／Ｃ４２２）、作業機構４４０等の動作が制御される（図５／ＳＴＥＰ４２４）。これにより、例えば図７Ｂに示されているように、バケット４４５により作業機械４０の前方のエリアＯ２にある盛り土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から他の場所に土を落とす作業が実行される。

（効果）
当該構成の遠隔操作支援システムまたはこれを構成する遠隔操作支援サーバ１０によれば、遠隔操作装置４０の現在の遠隔操作対象である第１作業機械としての作業機械４０に搭載されている（またはその周囲にある）実機撮像装置４１２を通じて取得された第１撮像画像データに基づく第１作業環境画像が遠隔出力インターフェース２２０を構成する画像出力装置２２１に出力される（図４／ＳＴＥＰ４１０→ＳＴＥＰ４１２→Ｃ１１２→ＳＴＥＰ１１２→Ｃ２１０→ＳＴＥＰ２１５、図７Ａ参照）。

これに加えて、遠隔操作装置２０の次の遠隔操作対象である第２作業機械としての作業機械４０に搭載されている（またはその周囲にある）実機撮像装置を通じて取得された第２撮像画像データに基づく第２作業環境画像が、遠隔出力インターフェース２２０を構成する画像出力装置２２１に出力される（図５／ＳＴＥＰ４２０→ＳＴＥＰ４２２→Ｃ１２２→ＳＴＥＰ１２２→Ｃ２２２→‥→ＳＴＥＰ２２１、図７Ｂおよび図８参照）。

現在時刻ｔから第２遠隔操作期間の開始予定時刻ｔ₂₁までの時間間隔が第１指定期間τ₁以下であることを要件として、第２作業環境画像が第１作業環境画像とともに遠隔操作装置２０の遠隔出力インターフェース２２０を構成する画像出力装置２２１に出力される（図５／ＳＴＥＰ１２０‥ＹＥＳ→‥→ＳＴＥＰ２２４、図６Ａおよび図６Ｂ参照）。

このため、遠隔操作装置２０を通じて第１作業機械を遠隔操作している状態のオペレータに、次の遠隔操作対象である第２作業機械の周辺環境をあらかじめ認識させることができる（図６Ａ／時刻ｔ₁₀〜時刻ｔ₁₂の期間、図６Ｂ／時刻ｔ₁₂−τ₁〜時刻ｔ₁₂の期間、図７Ｂおよび図８参照）。これにより、遠隔操作装置２０を通じた遠隔操作対象が一の作業機械４０から他の作業機械４０に切り替えられる際、当該遠隔操作対象の環境変化に対するオペレータの対応の容易化を図ることができる。

例えば、過度に長時間にわたり第２作業環境画像が第１作業環境画像とともに遠隔出力インターフェース２２０に出力されることが回避される。このため、オペレータの第１作業環境画像に対する注意が第２作業環境画像により削がれる事態を回避しながら、遠隔操作対象の環境変化に対するオペレータの対応の容易化を図ることができる。

（本発明の他の実施形態）
第１通知情報が第２遠隔操作期間の開始予定時刻ｔ₂₁よりも前の時刻に通知された場合（図５／Ｃ２２２参照）、時刻ｔ＝ｔ₂₁−τ₁よりも前の時刻で「第１通知情報」および「第２作業環境画像データ」が受信されてもよい。「第１通知情報」のみが画像出力装置２２１に出力され（図５／ＳＴＥＰ２２０参照）、時刻ｔ＝ｔ₂₁−τ₁になったらこれまで出力されていた第１作業環境画像に加えて第２作業環境画像が画像出力装置２２１に出力されてもよい（図５／ＳＴＥＰ２２１参照）。「第１通知情報」のみが画像出力装置２２１に出力され、時刻ｔ＝ｔ₂₁−τ₁になるまでの期間にオペレータが遠隔入力インターフェース２１０を構成するボタンを操作すると第２作業環境画像が画像出力装置２２１に出力されてもよい。また、第２作業環境画像が画像出力装置２２１に出力された後、第２作業環境画像を出力させないようにオペレータが遠隔入力インターフェース２１０を構成するボタンを操作してもよい。

第２遠隔操作装置としての遠隔操作装置２０において別のオペレータにより第２作業機械が遠隔奏されている状況で、当該別のオペレータの作業が遅れてオペレータによる開始予定時刻ｔ₂₁よりも遅延することが見込まれる場合、時刻ｔ＝ｔ₂₁−τ₁において「第１通知情報」および「第２作業環境画像データ」が受信されてもよい。「第１通知情報」のみが画像出力装置２２１に出力され（図５／ＳＴＥＰ２２０参照）、操作不可または遅延の旨が画像出力装置２２１に出力されてもよい（図５／ＳＴＥＰ２２１参照）。他のオペレータの作業が終了すると、これまで出力されていた第１作業環境画像に加えて第２作業環境画像が画像出力装置２２１に出力されてもよい。「第１通知情報」のみが画像出力装置２２１に出力されている状態で、オペレータが遠隔入力インターフェース２１０を構成するボタンを操作すると第２作業環境画像が画像出力装置２２１に出力されてもよい。また、第２作業環境画像が画像出力装置２２１に出力された後、第２作業環境画像を出力させないようにオペレータが遠隔入力インターフェース２１０を構成するボタンを操作してもよい。

１０‥操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構（作動機構）、４４５‥バケット（作業部）。

Claims (7)

1. オペレータによる遠隔操作装置を通じた複数の作業機械のそれぞれの遠隔操作を支援するための遠隔操作支援サーバであって、
   前記遠隔操作装置の現在の遠隔操作対象である第１作業機械を認識し、前記第１作業機械に搭載されているまたは前記第１作業機械の周囲に存在する実機撮像装置を通じて取得された、前記第１作業機械の周辺環境を表わす第１撮像画像データを前記第１作業機械との通信に基づいて取得し、前記遠隔操作装置との通信に基づき、前記第１撮像画像データに応じた第１作業環境画像を前記遠隔操作装置の出力インターフェースに出力させる第１支援処理要素と、
   前記遠隔操作装置の前記第１作業機械の次の遠隔操作対象である第２作業機械を認識し、前記第２作業機械に搭載されているまたは前記第２作業機械の周囲に存在する実機撮像装置を通じて取得された、前記第２作業機械の周辺環境を表わす第２撮像画像データを前記第２作業機械との通信に基づいて取得し、前記遠隔操作装置との通信に基づき、前記第２撮像画像データに応じた第２作業環境画像を前記第１作業環境画像とともに前記遠隔操作装置の出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
2. 請求項１記載の遠隔操作支援サーバにおいて、
   前記第２支援処理要素が、現在時刻から前記遠隔操作装置により前記第２作業機械が遠隔操作される第２遠隔操作期間の開始予定時刻までの第１時間間隔が第１指定期間以下であることを要件として、前記第２作業環境画像を前記第１作業環境画像とともに前記遠隔操作装置の出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。
3. 請求項２記載の遠隔操作支援サーバにおいて、
   前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記第１時間間隔が前記第１指定期間以下である旨の第１通知情報を前記遠隔操作装置の出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。
4. 請求項３記載の遠隔操作支援サーバにおいて、
   前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記第２作業環境画像を前記第１作業環境画像とともに前記第１遠隔操作期間の終了後も前記遠隔操作装置の出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。
5. 請求項１〜４のうちいずれか１項に記載の遠隔操作支援サーバにおいて、
   前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記第２遠隔操作期間の開始予定時刻が近づくにつれ、前記遠隔装置の出力インターフェースにおいて前記第２作業環境画像が前記第１作業環境画像よりも相対的に大きくなるように、前記第１作業環境画像および前記第２作業環境画像を前記遠隔操作装置の出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。
6. 請求項１〜５のうちいずれか１項に記載の遠隔操作支援サーバと、クライアントと、により構成されていることを特徴とする遠隔操作支援システム。
7. オペレータによる遠隔操作装置を通じた複数の作業機械のそれぞれの遠隔操作を支援するための遠隔操作支援方法であって、
   前記遠隔操作装置の現在の遠隔操作対象である第１作業機械を認識し、前記第１作業機械に搭載されているまたは前記第１作業機械の周囲に存在する実機撮像装置を通じて取得された、前記第１作業機械の周辺環境を表わす第１撮像画像データを前記第１作業機械との通信に基づいて取得し、前記遠隔操作装置との通信に基づき、前記第１撮像画像データに応じた第１作業環境画像を前記遠隔操作装置の出力インターフェースに出力させる第１支援処理と、
   前記遠隔操作装置の前記第１作業機械の次の遠隔操作対象である第２作業機械を認識し、前記第２作業機械に搭載されているまたは前記第２作業機械の周囲に存在する実機撮像装置を通じて取得された、前記第２作業機械の周辺環境を表わす第２撮像画像データを前記第２作業機械との通信に基づいて取得し、前記遠隔操作装置との通信に基づき、前記第２撮像画像データに応じた第２作業環境画像を前記第１作業環境画像とともに前記遠隔操作装置の出力インターフェースに出力させる第２支援処理と、を実行することを特徴とする遠隔操作支援方法。

Images