JP2021179826A - 遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

Abstract

【課題】地域に関する降雨量および気温等の様々な気象条件が、作業機械の移動および作業に及ぼす影響に関する情報を当該作業機械のオペレータに対して提供することができるサーバ等を提供する。【解決手段】遠隔操作支援システムにおいて、遠隔操作支援サーバは、作業機械が存在する指定エリアにおける過去の第１指定期間にわたる気象条件（実測値または解析値）および将来の第２指定期間にわたる気象条件（予測値）を表わす第１作業参考情報Ｉｍｇ（ｉｎｆｏ１）を遠隔操作装置２０の出力インターフェース２２０に出力する。【効果】過去の第１指定期間および将来の第２指定期間にわたる気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらしたかまたはもたらすか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を作業機械のオペレータに推定または予測させることができる。【選択図】図１

Description

本発明は、オペレータによる遠隔操作装置を通じた複数の作業機械のそれぞれの遠隔操作を支援するための技術に関する。

作業機から所定の稼働情報を受信する遠隔サーバにおいて、作物の育成に関与する情報（具体的には作業機の作業領域を含む地図情報や作物の生育に関する標準的な生育管理モデル）と連動して気象条件を表示する技術が提案されている（例えば、特許文献１参照）。遠隔サーバは、作業機の位置を示す位置情報に基づいて作業機の作業領域を含む地図情報を抽出し、別途読み込む気象条件から作業領域を含む地域に対応する気象条件を抽出し、地図情報の地域と地図情報の地域に対応する気象条件とを並べて所定の表示領域に収めた状態で表示させる。

特開２０１６−０７５５９９号公報

しかし、地域に関する降雨量および気温等の気象条件が、作業機械の移動および作業に及ぼす影響に関する情報を当該作業機械のオペレータに対して提供する観点に欠けている。

そこで、本発明は、地域に関する降雨量および気温等の様々な気象条件が、作業機械の移動および作業に及ぼす影響に関する情報を当該作業機械のオペレータに対して提供することができるサーバ等を提供することを目的とする。

本発明の遠隔操作支援サーバは、
オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける過去の第１指定期間にわたる気象条件を認識する第１支援処理要素と、
前記第１支援処理要素により認識された前記指定エリアにおける過去の第１指定期間にわたる気象条件を表わす第１作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第１作業参考情報を出力させる第２支援処理要素と、を備えている。

本発明の遠隔操作支援システムは、本発明の遠隔操作支援サーバと、前記遠隔操作装置と、により構成されている。

当該構成の遠隔操作支援サーバまたは遠隔操作システム（以下「遠隔操作支援サーバ等」という。）によれば、作業機械が存在する指定エリア（または指定地点）における過去の第１指定期間にわたる気象条件を表わす第１作業参考情報が遠隔操作装置の出力インターフェースに出力される。よって、当該過去の第１指定期間にわたる気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらしたか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに推定させることができる。

本発明の遠隔操作支援サーバ等において、
前記第１支援処理要素が、気象情報データベースへの照会により、前記指定エリアにおける過去の第１指定期間にわたる気象条件に加えて、将来の第２指定期間にわたる予測気象条件を認識し、
前記第２支援処理要素が、前記第１支援処理要素により認識された前記指定エリアにおける過去の第１指定期間にわたる気象条件に加えて、将来の第２指定期間にわたる予測気象条件を表わす前記第１作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第１作業参考情報を出力させることが好ましい。

当該構成の遠隔操作支援サーバ等によれば、作業機械が存在する指定エリアにおける過去の第１指定期間および将来の第２指定期間にわたる気象条件を表わす第１作業参考情報が遠隔操作装置の出力インターフェースに出力される。よって、当該過去の第１指定期間にわたる気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらしたか、当該将来の第２指定期間にわたる気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらすか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の将来における当該変化後の性質に関する情報を当該作業機械のオペレータに推定または予測させることができる。

本発明の遠隔操作支援サーバ等において、
前記第１支援処理要素が、撮像装置を通じて取得された前記作業機械および当該作業機械の周辺環境の様子を表わす撮像画像を取得し、前記撮像画像データに応じた作業環境画像を、前記遠隔操作装置との通信に基づいて前記出力インターフェースに出力させ、
前記出力インターフェースに出力されている作業環境画像に含まれているエリアを前記指定エリアとして、前記第１作業参考情報を生成し、前記作業環境画像とともに前記出力インターフェースに前記第１作業参考情報を出力させることが好ましい。

当該構成の遠隔操作支援サーバ等によれば、作業環境画像に映り込んでいる作業機械およびこれを含むエリアとしての指定エリアにおける降雨量および気温等の気象条件が当該指定エリアの地盤の本来的な性質にどのような変化をもたらしたか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに推定させることができる。

本発明の遠隔操作支援サーバ等において、
前記第２支援処理要素が、前記作業環境画像における地面の色または輝度の視認性を損なうことなく、前記第１作業参考情報を前記作業環境画像とともに前記出力インターフェースに出力させることが好ましい。

当該構成の遠隔操作支援サーバ等によれば、作業環境画像そのものから、指定エリアにおける地面の色または輝度に基づいて当該指定エリアにおける地盤の性質をオペレータに認識または推定させることができ、第１作業参考情報との対比により当該推定の適否をオペレータに判断させることができる。

本発明の遠隔操作支援サーバ等において、
前記第１支援処理要素が、地盤情報データベースへの照会により、前記指定エリアにおける地盤の本来的な性質を認識し、
前記第２支援処理要素が、前記第１支援処理要素により認識された前記指定エリアにおける地盤の本来的な性質が、前記第１支援処理要素により認識された前記指定エリアにおける前記気象条件に応じてどのように変化しているかについて推定し、前記指定エリアにおける地盤の当該変化後の性質を表わす第２作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第２作業参考情報を出力させることが好ましい。

当該構成の遠隔操作支援サーバ等によれば、作業機械が存在する指定エリアにおける地盤の本来的な性質が、当該指定エリアの過去の第１指定期間（および将来の第２指定期間）にわたる気象条件に応じてどのように変化しているかが推定または予測され、当該推定結果を表わす第２作業参考情報が遠隔操作装置の出力インターフェースに出力される。よって、指定エリアに関する降雨量および気温等の気象条件が、当該指定エリアの地盤の本来的な性質にどのような変化をもたらしたか、（さらには、当該将来の第２指定期間にわたる気象条件が各地点における地盤の本来的な性質にどのような変化をもたらすか、）ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに認識させることができる。

本発明の遠隔操作支援サーバ等において、
前記第２支援処理要素が、前記指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の安定な移動の観点から定まる第１閾値以上であるか否かを表わす前記第２作業参考情報を生成することが好ましい。

当該構成の遠隔操作支援サーバ等によれば、指定エリアにおける降雨量および気温等の気象条件に応じた地盤の硬さが、作業機械の安定な移動の観点から十分であるか否かを当該作業機械のオペレータに認識することができる。

本発明の遠隔操作支援サーバ等において、
前記第２支援処理要素が、前記指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の作業の容易の観点から定まる第２閾値以下であるか否かを表わす前記第２作業参考情報を生成することが好ましい。

当該構成の遠隔操作支援サーバ等によれば、指定エリアにおける降雨量および気温等の気象条件に応じた地盤の柔らかさが、作業機械の作業の容易の観点から十分であるか否かを当該作業機械のオペレータに認識することができる。

本発明の遠隔操作支援サーバ等において、
前記第１支援処理要素が、撮像装置を通じて取得された前記作業機械および当該作業機械の周辺環境の様子を表わす撮像画像を取得し、前記撮像画像データに応じた作業環境画像を、前記遠隔操作装置との通信に基づいて前記出力インターフェースに出力させ、
前記出力インターフェースに出力されている作業環境画像に含まれているエリアを前記指定エリアとして、前記第２作業参考情報を生成し、前記作業環境画像とともに前記出力インターフェースに前記第２作業参考情報を出力させることが好ましい。

当該構成の遠隔操作支援サーバ等によれば、作業環境画像に映り込んでいる作業機械およびこれを含むエリアとしての指定エリアにおける降雨量および気温等の気象条件が当該指定エリアの地盤の本来的な性質にどのような変化をもたらしたか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに認識させることができる。

本発明の遠隔操作支援サーバ等において、
前記第２支援処理要素が、前記作業環境画像における地面の色または輝度の視認性を損なうことなく、前記第２作業参考情報を前記作業環境画像とともに前記出力インターフェースに出力させることが好ましい。

当該構成の遠隔操作支援サーバ等によれば、作業環境画像そのものから、指定エリアにおける地面の色または輝度に基づいて当該指定エリアにおける地盤の性質をオペレータに認識または推定させることができ、第２作業参考情報との対比により当該推定の適否をオペレータに判断させることができる。

本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの第１機能に関する説明図。 遠隔操作支援システムの第２機能に関する説明図。 環境画像の表示態様に関する説明図。 第１作業参考情報に関する説明図。 第２作業参考情報に関する説明図。 環境画像および第１作業参考情報の表示態様に関する説明図。 第２作業参考情報の表示態様に関する説明図。 作業参考情報の他の表示態様に関する説明図。

（遠隔操作支援システムの構成）
図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０、気象情報データベース１１および地盤情報データベース１２は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０〜２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体２２０の前方中央部には作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、測位装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。測位装置４１４は、ＧＰＳおよび必要に応じてジャイロセンサ等により構成されている。

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

図３に示されているように、作動機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（第１機能）
前記構成の遠隔操作支援システムの第１機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。これは、図５のフローチャートにおいても同様である。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２１０）。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１２）。

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４１０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１２）。

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像に応じた環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な環境画像を表わす画像データである。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。

これにより、例えば、図６に示されているように、作業機構４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる環境画像Ｉｍｇ（Ｃ）が画像出力装置２２１に出力される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２１６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１８）。

遠隔操作支援サーバ１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４１）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４１４）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

（第２機能）
前記構成の遠隔操作支援システムのさらなる機能について図５に示されているフローチャートを用いて説明する。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図５／ＳＴＥＰ２２０）。「第１指定操作」は、例えば、複数の作業機械４０のそれぞれの存在位置を示すマップにおいて、一つの作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。「第１指定操作」は、「指定操作」と同一の操作として判定されてもよいし、別の操作として判定されてもよい。当該判定結果が否定的である場合（図５／ＳＴＥＰ２２０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して第１作業参考情報要求が送信される（図５／ＳＴＥＰ２２２）。当該要求には、遠隔操作装置２０との通信が確立している作業機械４０または遠隔入力インターフェース２１０を通じて指定された作業機械４０を識別するための作業機械識別子が含まれている。

遠隔操作支援サーバ１０において、第１作業参考情報要求が受信された場合（図５／Ｃ１３）、第１支援処理要素１２１により当該要求に含まれている作業機械識別子により識別される作業機械４０に対して位置情報要求が送信される（図５／ＳＴＥＰ１２０）。

作業機械４０において、実機無線通信機器４２２を通じて位置情報要求が受信された場合（図５／Ｃ４２）、実機制御装置４００が測位装置４１４を通じて、当該作業機械４０の位置情報（緯度および経度により特定される。）が認識される（図５／ＳＴＥＰ４２０）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該位置情報またはこれを表わす位置データが遠隔操作装置１０に対して送信される（図５／ＳＴＥＰ４２２）。

なお、位置情報要求の受信（図５／Ｃ４２）に関わらず、当該位置情報またはこれを表わす位置データが遠隔操作支援サーバ１０に対して定期的に送信されてもい。

遠隔操作支援サーバ１０において、第１支援処理要素１２１により位置情報が認識された場合（図５／Ｃ１４）、第１支援処理要素１２１により当該作業機械４０が存在する指定エリアが認識される（図５／ＳＴＥＰ１２１）。位置情報に加えて撮像画像データ（図４／ＳＴＥＰ４１２→Ｃ１１参照）に基づき、撮像範囲が画像座標系から世界座標系に座標変換されることにより、当該位置を基準として拡がる世界座標系におけるエリアが指定エリアとして認識されてもよい。

第１支援処理要素１２１により、気象情報データベース１１への照会により、過去の第１指定期間にわたる気象条件および将来の第２指定期間（第１指定期間と長さが同じであっても異なっていてもよい。）にわたる当該指定エリアにおける気象条件が認識される（図５／ＳＴＥＰ１２２）。気象条件には、天候、単位時間（例えば１時間）当たりの日照時間、気温、湿度、降水量、風速、風向きおよび／または気圧などが含まれている。

第１支援処理要素１２１により認識された指定エリアにおける気象条件に基づき、第２支援処理要素１２２により、第１作業参考情報が生成され、かつ、遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１２４）。例えば、図７に示されているように、指定エリアＡの少なくとも一部を包含し、かつ、作業機械４０の現在位置Ｐを示すマップＭ１１に加えて、当該現在位置Ｐの住所ＭＡｄ、指定エリアＡにおける現在時刻の天候を示すアイコンＭ１２、指定エリアＡにおける現在時刻の気象条件Ｍ１３（例えば、気温、湿度および風速）、第１指定期間および第２指定期間にわたる気象条件（例えば、気温、天候および降水量）の変遷を表わすダイヤグラムＭ１２０、Ｍ１２２およびＭ１２４が含まれている。指定エリアＡの形状は、例えば、作業機械４０の現在位置Ｐを中心として拡がる所定径の円形状のほか、矩形状または多角形状など様々な形状であってもよい。作業機械Ｐが作業を実施する作業エリア（あらかじめデータベース１０２に登録されている。）が指定エリアＡとして認識されてもよい。

遠隔操作装置２０において、遠隔制御装置２００により第１作業参考情報が受信され（図５／Ｃ２２）、遠隔出力インターフェース２２０を構成する画像出力装置２２１に当該第１作業参考情報が出力される（図５／ＳＴＥＰ２２２）。これにより、図７に示されているような第１作業参考情報（またはこれを示す画像）Ｉｍｇ（Ｉｎｆｏ１）が画像出力装置２２１に出力される。第１作業参考情報Ｉｍｇ（Ｉｎｆｏ１）には、前記のようにマップＭ１１、指定エリアＡにおける第１指定期間および第２指定期間にわたる気象条件（例えば、気温、天候および降水量）の変遷を表わすダイヤグラムＭ１２０、Ｍ１２２およびＭ１２４等が含まれている。

第１作業参考情報に重複出力指令が含まれているまたは付属している場合、遠隔制御装置２００により、図９に示されているように、遠隔出力インターフェース２２０を構成する画像出力装置２２１に当該第１作業参考情報Ｉｍｇ（ｉｎｆｏ１）が環境画像Ｉｍｇ（Ｃ）に重畳されて出力されてもよい。第１作業参考情報Ｉｍｇ（ｉｎｆｏ１）が出力されることにより、作業環境画像Ｉｍｇ（Ｃ）における地面の色または輝度の視認性が損なわれることはない。これにより、作業環境画像Ｉｍｇ（Ｃ）そのものから、指定エリアにおける地面の色または輝度に基づいて当該指定エリアにおける地盤の性質をオペレータに認識または推定させることができ、第１作業参考情報との対比により当該推定の適否をオペレータに判断させることができる。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２２４）。「第２指定操作」は、例えば、複数の作業機械４０のそれぞれの存在位置を示すマップにおいて、一の作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図５／ＳＴＥＰ２２４‥ＮＯ）、第１指定操作の有無の判定（図５／ＳＴＥＰ２２０）以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２２４‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して第２作業参考情報要求が送信される（図５／ＳＴＥＰ２２６）。当該要求には、遠隔操作装置２０との通信が確立している作業機械４０または遠隔入力インターフェース２１０を通じて指定された作業機械４０を識別するための作業機械識別子が含まれている。

遠隔操作支援サーバ１０において、第２作業参考情報要求が受信された場合（図５／Ｃ１５）、第１支援処理要素１２１により当該要求に含まれている作業機械識別子により識別される作業機械４０が存在する指定エリアに基づき、地盤情報データベース１１への照会により、指定エリアにおける本来的な地盤情報が認識される（図５／ＳＴＥＰ１２６）。この際、指定エリアが未指定である場合、前記のように当該要求に含まれている作業機械識別子に基づき、指定エリアが指定されてもよい（図５／ＳＴＥＰ１２０→‥→ＳＴＥＰ１２１参照）。地盤情報には、地盤の含水率、Ｎ値および／または地質が勘案された換算Ｎ値などが含まれている。

第１支援処理要素１２１は、地盤情報データベース１１への照会により、過去の第１指定期間にわたる地盤情報および将来の第２指定期間（第１指定期間と長さが同じであっても異なっていてもよい。）にわたる当該指定エリアにおける地盤情報が認識される（図５／ＳＴＥＰ１２７）。

第２支援処理要素１２２を構成する記憶装置には、例えば、気象条件の時間変化態様および地盤情報の変化態様の相関関係が、機械学習により学習された結果としてのモデルが記憶保持されている。そして、当該モデルに対して、第１支援処理要素１２１により認識された指定エリアにおける気象条件の時間変化態様が入力されることにより、当該モデルの出力が地盤情報の変化態様の推定結果または予測結果として認識される。当該モデルは、例えば、土壌雨量指数を演算するためのタンクモデルを用い、さらに各指定エリアにおける地質特性の学習を反映させたモデルを用いることができる。

第１支援処理要素１２１により認識された指定エリアにおける気象条件および地盤情報に基づき、第２支援処理要素１２２により、第２作業参考情報が生成され、かつ、遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１２８）。例えば、図８に示されているように、指定エリアＡの少なくとも一部を包含し、かつ、作業機械４０の現在位置Ｐを示すマップＭ２１に加えて、当該現在位置Ｐの住所ＭＡｄ、指定エリアＡにおける現在時刻の含水率を示すアイコンＭ２２、指定エリアＡにおける現在時刻の地盤情報Ｍ２３（例えば、含水率およびＮ値）、第１指定期間および第２指定期間にわたる地盤情報（例えば、含水率）の変遷を表わすダイヤグラムＭ２２０、ならびに気象条件の変遷を表わすＭ２２２およびＭ２２４が含まれている。

遠隔操作装置２０において、遠隔制御装置２００により第２作業参考情報が受信され（図５／Ｃ２４）、遠隔出力インターフェース２２０を構成する画像出力装置２２１に当該第１作業参考情報が出力される（図５／ＳＴＥＰ２２８）。これにより、図８に示されているような第２作業参考情報（またはこれを示す画像）Ｉｍｇ（Ｉｎｆｏ２）が画像出力装置２２１に出力される。第２作業参考情報Ｉｍｇ（Ｉｎｆｏ２）には、前記のようにマップＭ１１、指定エリアＡにおける第１指定期間および第２指定期間にわたる地盤情報（例えば、含水率）の変遷を表わすダイヤグラムＭ２２０等が含まれている。

第２作業参考情報に重複出力指令が含まれているまたは付属している場合、遠隔制御装置２００により、遠隔出力インターフェース２２０を構成する画像出力装置２２１に当該第２作業参考情報Ｉｍｇ（ｉｎｆｏ２）が環境画像Ｉｍｇ（Ｃ）に重畳されて出力されてもよい（図９参照）。第２作業参考情報Ｉｍｇ（ｉｎｆｏ２）が出力されることにより、作業環境画像Ｉｍｇ（Ｃ）における地面の色または輝度の視認性が損なわれることはない。これにより、作業環境画像Ｉｍｇ（Ｃ）そのものから、指定エリアにおける地面の色または輝度に基づいて当該指定エリアにおける地盤の性質をオペレータに認識または推定させることができ、第２作業参考情報との対比により当該推定の適否をオペレータに判断させることができる。

（効果）
当該構成の遠隔操作支援システム、ならびに、これを構成する遠隔操作支援サーバ１０および遠隔操作装置２０によれば、作業機械４０が存在する指定エリアＡにおける過去の第１指定期間にわたる気象条件（実測値又は解析値）および将来の第２指定期間にわたる気象条件（予測値）を表わす第１作業参考情報Ｉｍｇ（ｉｎｆｏ１）が遠隔操作装置２０の出力インターフェース２２０に出力される（図５／ＳＴＥＰ１２０→Ｃ４２→ＳＴＥＰ４２０→ＳＴＥＰ４２２→Ｃ１４→ＳＴＥＰ１２１→ＳＴＥＰ１２２→ＳＴＥＰ１２４→Ｃ２２→ＳＴＥＰ２２２、図７参照）。よって、当該過去の第１指定期間および将来の第２指定期間にわたる気象条件が指定エリアにおける地盤の本来的な性質にどのような変化をもたらしたかまたはもたらすか、ひいては、作業機械４０の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械４０のオペレータに推定または予測させることができる。

また、作業機械４０が存在する指定エリアにおける地盤の本来的な性質が、当該指定エリアの過去の第１指定期間および将来の第２指定期間にわたる気象条件に応じてどのように変化しているかが推定または予測され、当該推定結果を表わす第２作業参考情報Ｉｍｇ（ｉｎｆｏ２）が遠隔操作装置２０の出力インターフェース２２０に出力される（図５／ＳＴＥＰ１２６→ＳＴＥＰ１２７→ＳＴＥＰ１２８→Ｃ２４→ＳＴＥＰ２２８、図８参照）。よって、指定エリアに関する降雨量および気温等の気象条件が、当該指定エリアの地盤の本来的な性質にどのような変化をもたらしたか、さらには、当該将来の第２指定期間にわたる気象条件が各地点における地盤の本来的な性質にどのような変化をもたらすか、ひいては、作業機械４０の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械４０のオペレータに認識させることができる。

（本発明の他の実施形態）
第２支援処理要素１２２が、指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、作業機械４０の安定な移動の観点から定まる第１閾値以上であるか否かを表わす第２作業参考情報を生成してもよい。例えば、図１０に示されているように、指定エリアにおける地盤の含水率の時間変化態様を示す曲線（実線参照）とともに第１閾値を示す線分（破線参照）が含まれているダイヤグラムが第２作業参考情報として生成されてもよい。また、作業機械４０による作業開始予定時刻より後で（または前後で）含水率が第１閾値を超える時間帯において作業機械４０の移動が不安定になる旨の通知、および／または、当該時間帯の終了時刻から作業開始を推奨する旨の通知が第２作業参考情報に含まれていてもよい。

同様に、第２支援処理要素１２２が、指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、作業機械４０の作業の容易の観点から定まる第２閾値以下であるか否かを表わす第２作業参考情報を生成してもよい。

第２支援処理要素１２２が、作業機械４０が存在する指定エリアにおける地盤の硬さまたは含水量を表わす指標値を作業機械４０が存在する位置を中心とした地図情報に重畳させた第２作業参考情報を生成してもよい。例えば、図１１に示されているように、作業機械４０の現在位置Ｐを示すマップＭ３１の地図情報に、地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、第１指定期間から第２指定期間にわたって第１閾値以上であるエリアＭ３１０、第１指定機関では第１閾値以上であるが第２指定期間にわたると第１閾値未満となるエリアＭ３１１、第１指定期間から第２指定期間にわたって第１閾値未満であるエリアＭ３１２、および森林などの作業機械４０が移動できないエリアＭ３１３が第２作業参考情報として生成されてもよい。各エリア３１１〜３１３は、例えば、異なる色により表現される。また、マップＭ３１は第１指定期間から第２指定期間にわたる間の所定の時刻における第２作業参考情報を生成してもよい。

当該構成の作業支援サーバによれば、作業環境画像に映り込んでいる作業機械およびこれを含むエリアの各地点に関する降雨量および気温等の気象条件が地盤の本来意的な性質にどのような変化をもたらしたか、ひいては、作業機械の移動または作業に対して影響を及ぼす地盤の当該変化後の性質に関する情報を当該作業機械のオペレータに対して提供することができる。

１０‥遠隔操作支援サーバ、１１‥気象情報データベース、１２‥地盤情報データベース、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構（作動機構）、４４５‥バケット（作業部）。

Claims (11)

1. オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
   気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける過去の第１指定期間にわたる気象条件を認識する第１支援処理要素と、
   前記第１支援処理要素により認識された前記指定エリアにおける過去の第１指定期間にわたる気象条件を表わす第１作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第１作業参考情報を出力させる第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
2. 請求項１記載の遠隔操作支援サーバにおいて、
   前記第１支援処理要素が、気象情報データベースへの照会により、前記指定エリアにおける過去の第１指定期間にわたる気象条件に加えて、将来の第２指定期間にわたる予測気象条件を認識し、
   前記第２支援処理要素が、前記第１支援処理要素により認識された前記指定エリアにおける過去の第１指定期間にわたる気象条件に加えて、将来の第２指定期間にわたる予測気象条件を表わす前記第１作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第１作業参考情報を出力させることを特徴とする遠隔操作支援サーバ。
3. 請求項１または２に記載の遠隔操作支援サーバにおいて、
   前記第１支援処理要素が、撮像装置を通じて取得された前記作業機械および当該作業機械の周辺環境の様子を表わす撮像画像を取得し、前記撮像画像データに応じた作業環境画像を、前記遠隔操作装置との通信に基づいて前記出力インターフェースに出力させ、
   前記出力インターフェースに出力されている作業環境画像に含まれているエリアを前記指定エリアとして、前記第１作業参考情報を生成し、前記作業環境画像とともに前記出力インターフェースに前記第１作業参考情報を出力させることを特徴とする遠隔操作支援サーバ。
4. 請求項３記載の遠隔操作支援サーバにおいて、
   前記作業環境画像における地面の色または輝度の視認性を損なうことなく、前記第１作業参考情報を前記作業環境画像とともに前記出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。
5. 請求項１〜４のうちいずれか１項に記載の遠隔操作支援サーバにおいて、
   前記第１支援処理要素が、地盤情報データベースへの照会により、前記指定エリアにおける地盤の本来的な性質を認識し、
   前記第２支援処理要素が、前記第１支援処理要素により認識された前記指定エリアにおける地盤の本来的な性質が、前記第１支援処理要素により認識された前記指定エリアにおける前記気象条件に応じてどのように変化しているかについて推定し、前記指定エリアにおける地盤の当該変化後の性質を表わす第２作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第２作業参考情報を出力させることを特徴とする遠隔操作支援サーバ。
6. 請求項５記載の遠隔操作支援サーバにおいて、
   前記第２支援処理要素が、前記指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の安定な移動の観点から定まる第１閾値以上であるか否かを表わす前記第２作業参考情報を生成することを特徴とする遠隔操作支援サーバ。
7. 請求項５または６記載の遠隔操作支援サーバにおいて、
   前記第２支援処理要素が、前記指定エリアにおける地盤の性質として、地盤の硬さまたは含水量を表わす指標値が、前記作業機械の作業の容易の観点から定まる第２閾値以下であるか否かを表わす前記第２作業参考情報を生成することを特徴とする遠隔操作支援サーバ。
8. 請求項５〜７のうちいずれか１項に記載の遠隔操作支援サーバにおいて、
   前記第１支援処理要素が、撮像装置を通じて取得された前記作業機械および当該作業機械の周辺環境の様子を表わす撮像画像を取得し、前記撮像画像データに応じた作業環境画像を、前記遠隔操作装置との通信に基づいて前記出力インターフェースに出力させ、
   前記出力インターフェースに出力されている作業環境画像に含まれているエリアを前記指定エリアとして、前記第２作業参考情報を生成し、前記作業環境画像とともに前記出力インターフェースに前記第２作業参考情報を出力させることを特徴とする遠隔操作支援サーバ。
9. 請求項８記載の遠隔操作支援サーバにおいて、
   前記作業環境画像における地面の色または輝度の視認性を損なうことなく、前記第２作業参考情報を前記作業環境画像とともに前記出力インターフェースに出力させることを特徴とする遠隔操作支援サーバ。
10. 請求項１〜９のうちいずれか１項に記載の遠隔操作支援サーバと、前記遠隔操作装置と、により構成されている遠隔操作支援システム。
11. オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援方法であって、
    気象情報データベースへの照会により、前記作業機械が存在する指定エリアにおける過去の第１指定期間にわたる気象条件を認識する第１支援処理工程と、
    前記第１支援処理工程において認識された前記指定エリアにおける過去の第１指定期間にわたる気象条件を表わす第１作業参考情報を生成して、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに前記第１作業参考情報を出力させる第２支援処理工程と、を含んでいることを特徴とする遠隔操作支援方法。

Images