JP2021099017A - 遠隔操作装置および遠隔操作システム - Google Patents

Abstract

【課題】実空間における作業部の位置に対する、画像における線画等の当該作業部の標識画像の位置の乖離の低減または解消を図りうる遠隔操作装置および遠隔操作システムを提供する。【解決手段】遠隔操作装置２０において標識画像Ｉｍｇ２が生成されたうえで、作業環境画像Ｉｍｇ１に重畳されて画像出力装置２２１に出力される。撮像画像データの伝送遅れにより、遠隔操作装置２０と作業機械４０との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構２１１の操作態様に応じて推定された作業部の位置姿勢座標値から乖離する場合がある。この場合、バケット４４５を表わす画像領域からずれた位置に、本来的に存在すると推定される位置に当該バケット４４５を模した半透明の標識画像Ｉｍｇ２（τ２）が作業環境画像Ｉｍｇ（τ２）に重畳されて画像出力装置２２１に出力される。【選択図】図７

Description

本発明は、作業機械を遠隔操作するための装置に関する。

作業部を備えた作業機械を操作席に設けたコントローラにより無線で遠隔操作する遠隔操作システムにおいて、モニタの表示に画像遅れが生じたことによる作業効率の低下を回避するための技術が提案されている（例えば、特許文献１参照）。具体的には、作業機械に設けられたカメラの撮影映像の作業部に対応した位置に当該作業部の線画が作成され、当該線画が無線で伝送されてカメラの撮影映像に重ねられてモニタに表示される。このため、伝送によるタイムラグが小さい線画が用いられて、実際の位置に近い位置に作業部が表示される。これにより、操作者は、モニタの表示に画像遅れが生じても、モニタに表示された線画に基づいてモニタの画像遅れを補完しながら作業部の操作を行うことができる。

特許第５９１９０２２号公報

しかし、線画を作成するための手段が作業機械に搭載されているため、線画の伝送に障害が生じた場合、カメラの撮影映像に重ねられる線画が一時的に消失し、あるいは、作業部の実際の位置に対する線画の位置の乖離が大きくなる可能性がある。

そこで、本発明は、実空間における作業部の位置に対する、画像における線画等の当該作業部の標識画像の位置の乖離の低減または解消を図りうる遠隔操作装置および遠隔操作システムを提供することを目的とする。

本発明の遠隔操作装置は、
作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
遠隔画像出力装置と、
遠隔操作機構と、
オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第１出力制御要素と、
前記遠隔制御要素により認識された第１時点における前記遠隔操作機構の操作態様に基づいて当該第１時点よりも後の第２時点における前記作業部の空間占有態様を推定し、当該推定された前記第２時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第１時点から前記第２時点までの期間に含まれる第３時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第２出力制御要素と、を備えている。

本発明の遠隔操作システムは、本発明の遠隔操作装置と、前記作業機械と、により構成されている。

本発明の一実施形態としての遠隔操作システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作システムの機能に関する説明図。 作業部の位置姿勢の推定方法の第１実施例に関する説明図。 作業部の位置姿勢の推定方法の第２実施例に関する説明図。 作業環境画像に関する説明図。 標識画像の第１出力形態に関する説明図。 標識画像の第２出力形態に関する説明図。

（遠隔操作システムの構成）
図１に示されている本発明の一実施形態としての遠隔操作システムは、遠隔操作装置２０と、遠隔操作装置２０による遠隔操作対象である作業機械４０と、により構成されている。遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作装置２０および作業機械４０の相互通信にサーバ１０が介在していてもよく、当該サーバ１０が遠隔操作システムの一部を構成していてもよい。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、遠隔制御装置２４と、を備えている。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。遠隔制御装置２４は、遠隔制御要素２４０と、第１出力制御要素２４１と、第２出力制御要素２４２と、を備えている。各要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔制御要素２４０は、オペレータによる遠隔操作機構２１１の操作態様を認識し、当該操作態様に応じた指令信号を遠隔無線通信機器２２２に実機無線通信機器４２２に対して送信させる。第１出力制御要素２４１は、作業機械４０に搭載されている実機撮像装置４１２を通じて取得され、実機無線通信機器４２２から送信され、遠隔無線通信機器２２２により受信された作業アタッチメント４４（＝作業機構）のバケット４４５（＝作業部）を含む作業環境画像Ｉｍｇ１を画像出力装置２２１に出力させる。第２出力制御要素２４２は、遠隔制御要素２４０により認識された第１時点ｔ＝ｔ１における遠隔操作機構２１１の操作態様に基づいて第１時点よりも後の第２時点ｔ＝ｔ２におけるバケット４４５の空間占有態様を推定する。第２出力制御要素２４２は、バケット４４５の推定空間占有態様を作業部（バケット４４５）の視認性を損なわずに表わす標識画像Ｉｍｇ２（ｔ２）を、第３時点ｔ＝ｔ３において作業環境画像Ｉｍｇ１（ｔ３）に重畳して画像出力装置２２１に出力させる。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。遠隔操作機構２１１は、作業機械４０に搭載されている実機操作機構４１１と同様の構成であるが、操作指令が入力されるタッチパネル方式またはボタン方式の操作機構など、実機操作機構４１１とは異なる構成の操作機構であってもよい。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータが着座できる任意の形態でもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１〜２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作業アタッチメント４４と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１と、下部走行体４１に旋回機構４３を介して旋回可能に搭載されている上部旋回体４２と、を備えている。旋回機構４３は作業機構の１つに該当する。上部旋回体４２の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体２２０の前方中央部には作業アタッチメント４４が設けられている。

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、状態センサ群４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。なお、実機操作レバーが動かされるのではなく、油圧回路を構成するバルブの開度等が制御されることにより、作業機械４０の動作態様が制御されてもよい。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作業アタッチメント４４の少なくとも一部を含む環境を撮像する。状態センサ群４１４は、下部走行体４１に対する上部旋回体４２の相対姿勢角度、上部旋回体４２に対するブーム４４１の相対姿勢角度、ブーム４４１に対するアーム４４３の相対姿勢角度、および、アーム４４３に対するバケット４４５の相対姿勢角度など、作業機構の動作態様または動作状態を表わす信号を出力する各種センサにより構成されている。

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

作業機構の１つとしての作業アタッチメント４４は、上部旋回体４２に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されている作業部としてのバケット４４５と、を備えている。作業アタッチメント４４には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（機能）
前記構成の遠隔操作システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２００）。「指定操作」は、例えば、遠隔入力インターフェース２１０を構成するタッチパネルにおけるタップ、スワイプ、フリックまたはピンチアウト／インなどのタッチ操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２００‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）、第１出力制御要素２４１により、遠隔無線通信機器２２２を通じて作業環境画像要求が送信される（図４／ＳＴＥＰ２０２）。作業環境画像要求には、遠隔操作装置２０の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。

作業機械４０において、実機無線通信機器４２２を通じて作業環境画像要求が受信された場合（図４／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４０４）。撮像画像は、作業現場または作業機械４０の外部に設置されている撮像装置を通じて取得されてもよい。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて撮像画像データが受信された場合（図４／Ｃ２０）、当該撮像画像データに応じた作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２０４）。作業環境画像は、撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な作業環境画像である。これにより、例えば図７に示されているように、作業機構としての作業アタッチメント４４の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる作業環境画像Ｉｍｇ１が画像出力装置２２１に時系列的に表示される。

遠隔操作装置２０において、遠隔制御要素２４０により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令信号が遠隔操作サーバ１０に対して送信される（図４／ＳＴＥＰ２０８）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

遠隔操作装置２０において、遠隔制御要素２４０により認識された第１時点における遠隔操作機構２１１の操作態様に基づき、第２出力制御要素２４２により、作業アタッチメント４４の作業部（バケット４４５）の第１時点ｔ＝ｔ１またはこれよりも後の第２時点ｔ＝ｔ２における空間占有態様が推定（または予測）され、作業部の空間占有態様を表わす標識画像Ｉｍｇ２が生成される（図４／ＳＴＥＰ２１０）。具体的には、操作機構２１１を構成する操作レバーの位置または傾斜角度に基づき、下部走行体４１に対する上部旋回体４２の相対姿勢角度、上部旋回体４２に対するブーム４４１の相対姿勢角度、ブーム４４１に対するアーム４４３の相対姿勢角度、および、アーム４４３に対するバケット４４５の相対姿勢角度のそれぞれが実機動作態様として推定され、当該推定結果に基づいてバケット４４５（作業部）の実機座標系（作業機械４０に対して位置および姿勢が固定されている座標系）における空間占有態様が推定される。そして、実機座標系における実機撮像装置４１２の位置および姿勢に応じた座標変換行列（回転行列または回転行列および並進行列の組み合わせ）にしたがって、実機座標系における作業部の空間占有態様を表わす座標値が、作業環境画像座標系における作業部の推定空間占有態様またはバケット４４５が存在する画像領域の推定延在態様を表わす座標値に座標変換される。

バケット４４５に加えてまたは代えて、アーム４４３およびブーム４４１のうち少なくとも一方などの空間占有態様が作業部の空間占有態様として認識されてもよい。

第２時点ｔ＝ｔ２における作業部の空間占有態様の推定に際して、第１通信遅れ時間ＴＴＤ１、第１応答遅れ時間ＴＲＤ１、第２通信遅れ時間ＴＴＤ２および第２応答遅れ時間ＴＲＤ２のうち一部または全部が勘案される。「第１通信遅れ時間ＴＴＤ１」は、遠隔操作機構２１１の操作態様に応じた指令信号が、遠隔無線通信機器２２２から送信されてから実機無線通信機器４２２により受信されるまでの通信遅れ時間である。「第１応答遅れ時間ＴＲＤ１」は、実機無線通信機器４２２により指令信号が受信されてから、当該指令信号に応じて実機制御装置４００により作業機械４０の動作が制御される（指令信号が作業機械４０の動作に反映される）までの応答遅れ時間である。「第２通信遅れ時間ＴＴＤ２」は、撮像画像データ（環境画像データ）が、実機無線通信機器４２２から送信されてから、遠隔無線通信機器２２２により受信されるまでの通信遅れ時間である。「第２応答遅れ時間ＴＲＤ２」は、遠隔無線通信機器２２２により環境画像データが受信されてから、当該環境画像データに応じて画像出力装置２２１に環境画像が出力されるまでの応答遅れ時間である。

オペレータが遠隔操作機構２１１を操作している状況で、ある時点ｔ＝ｔにおいて画像出力装置２２１に映し出されている作業部の位置姿勢は、第２遅れ時間（第２通信遅れ時間ＴＴＤ２および第２応答遅れ時間ＴＲＤ２の合計時間）だけ前の時点ｔ＝ｔ−（ＴＴＤ２＋ＴＲＤ２）における作業部の実空間位置姿勢を表わしている。当該前の時点ｔ＝ｔ−（ＴＴＤ２＋ＴＲＤ２）における作業部の実空間位置姿勢は、第１遅れ時間（第１通信遅れ時間ＴＴＤ１および第１応答遅れ時間ＴＲＤ１の合計時間）だけさらに前の時点ｔ＝ｔ−（ＴＴＤ２＋ＴＲＤ２）−（ＴＴＤ１＋ＴＲＤ１）における遠隔操作機構２１１の操作態様に対応している。このため、第１時点ｔ＝ｔ１における遠隔操作機構２１１の操作態様に基づき、当該第１時点よりもＴＴＤ１＋ＴＲＤ１＋ＴＴＤ２＋ＴＲＤ２だけ後の時点である第２時点ｔ＝ｔ２における作業部の空間占有態様が推定または予測される。

ただし、遅れ時間が無視できるほどに小さい場合、当該遅れ時間は勘案されずに第２時点ｔ＝ｔ２における作業部の空間占有態様が推定または予測されてもよい。例えば、通信速度のさらなる高速化によって第１通信遅れ時間ＴＴＤ１および第２通信遅れ時間ＴＴＤ２が無視できるほどに小さい場合、第１時点ｔ＝ｔ１よりもＴＲＤ１またはＴＲＤ１＋ＴＲＤ２だけ後の時点である第２時点ｔ＝ｔ２における作業部の空間占有態様が推定または予測されてもよい。また、第１応答遅れ時間ＴＲＤ１および第２応答遅れ時間ＴＲＤ２が無視できるほどに小さい場合、第１時点ｔ＝ｔ１と同一またはこれよりも後のほぼ同一の時点である第２時点ｔ＝ｔ２における作業部の空間占有態様が推定または予測されてもよい。

標識画像Ｉｍｇ２は、例えば半透明の画像である。作業環境画像Ｉｍｇ１（ｔ）においてエッジ点群が検出され、エッジ点群により囲まれる画像領域の形状パターンマッチングによって、作業部（バケット４４５）に相当する画像領域が認識され、当該画像領域にサイズおよび形状が合わせられて標識画像Ｉｍｇ２が生成される。標識画像Ｉｍｇ２は、半透明の画像のほか、当該画像領域の輪郭を表わす線画または当該画像領域の輪郭線上の一点を先端とする矢印状の画像など、作業環境画像Ｉｍｇ１におけるバケット４４５の視認性を損なうことなく、当該バケット４４５の空間占有態様または位置姿勢を表わすさまざまな形状、サイズおよび色彩の組み合わせを有する画像であってもよい。

そして、第２出力制御要素２４２により、第２時点ｔ＝ｔ２における標識画像Ｉｍｇ２が、第３時点ｔ＝ｔ３において作業環境画像Ｉｍｇ１に重畳されて画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。

第３時点ｔ＝ｔ３は、第２時点ｔ＝ｔ２と同一の時点であってもよい。第３時点ｔ＝ｔ３は、第１時点ｔ＝ｔ１および第２時点ｔ＝ｔ２の中間時点ｔ＝ｔ１＋（１−α）ｔ２（０＜α＜１）であってもよい。第３時点ｔ＝ｔ３は、第１時点ｔ＝ｔ１よりも第１通信遅れ時間ＴＴＤ１、第１応答遅れ時間ＴＲＤ１、第２通信遅れ時間ＴＴＤ２および第２応答遅れ時間ＴＲＤ２のうち一部の合計時間だけ後の時点であってもよい。例えば、第３時点ｔ＝ｔ３は、第１時点ｔ＝ｔ１よりも、第１通信遅れ時間ＴＴＤ１および第１応答遅れ時間ＴＲＤ１の重み付き和β１・ＴＴＤ１＋β２・ＴＲＤ１（０≦β１≦１、０≦β２≦１。ただし、β１＝β２＝０である場合は除く。）だけ後の時点ｔ＝ｔ１＋β１・ＴＴＤ１＋β２・ＴＲＤ１であってもよい。β１＝０、β２＝１である場合、第３時点ｔ＝ｔ３は、第１時点ｔ＝ｔ１よりも第１応答遅れ時間ＴＲＤ１だけ後の時点ｔ＝ｔ１＋ＴＲＤ１である。

図５には、画像出力装置２２１により出力される作業環境画像Ｉｍｇ１の座標系における、作業部（バケット４４５）の位置姿勢（位置および姿勢のうち一方または両方）の座標値の変化態様が概念的に示されている。図５における破線は、受信された撮像画像データ（図４／Ｃ２０参照）に応じて定まる作業部の位置姿勢の座標値の変化態様を表わしている。図５における実線は、遠隔操作機構２１１の操作態様に応じて予測される作業部の位置姿勢の座標値の変化態様を表わしている。

ここでは、時点ｔ＝ｔ０において遠隔操作機構２１１の操作が開始され、時点ｔ＝ｔｎにおいて遠隔操作機構２１１の操作が停止されるまでの期間について考察される。作業環境画像系（ｕ，ｖ）における作業部の位置は２次元ベクトルにより表わされ、作業部の姿勢は後端部（アーム４４３への取り付け箇所）から先端部に向かう２次元ベクトルにより表わされる。

図５に実線で示されているように、任意の第２時点における作業部の位置姿勢座標値が、当該第２時点よりも前の第１時点における遠隔操作機構２１１の操作態様に応じて実線で示されているように予測されている。

図５に破線で示されているように、期間ｔ＝ｔ１１〜ｔ１２および期間ｔ＝ｔ２１〜ｔ２２以外の期間においては、撮像画像データに応じて定まる作業部の位置姿勢座標値と、遠隔操作機構２１１の操作態様に応じて予測された作業部の位置姿勢座標値と、がほぼ一致している。この場合、例えば、図８に示されているように、バケット４４５を表わす画像領域にほぼ重なるように、当該バケット４４５を模した半透明の標識画像Ｉｍｇ２（τ１）が作業環境画像Ｉｍｇ（τ１）に重畳されて画像出力装置２２１に出力される。

その一方、期間ｔ＝ｔ１１〜ｔ１２および期間ｔ＝ｔ２１〜ｔ２２のそれぞれの前後において、遠隔操作装置２０と作業機械４０との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構２１１の操作態様に応じて予測された作業部の位置姿勢座標値から乖離している。この場合、例えば、図９に示されているように、バケット４４５を表わす画像領域からずれているものの、本来的に存在すると予測される位置に、当該バケット４４５を模した半透明の標識画像Ｉｍｇ２（τ２）が作業環境画像Ｉｍｇ（τ２）に重畳されて画像出力装置２２１に出力される。期間ｔ＝ｔ１１〜ｔ１２および期間ｔ＝ｔ２１〜ｔ２２のそれぞれの初期において、第１時点が当該期間から外れているが、その後、第１時点が当該期間に含まれるように第１時点および第２時点の時間間隔が設定されてもよい。

（効果）
当該構成の遠隔操作システムによれば、遠隔操作装置２０において標識画像Ｉｍｇ２が生成されたうえで、作業環境画像Ｉｍｇ１に重畳されて画像出力装置２２１に出力される（図４／ＳＴＥＰ２１０→ＳＴＥＰ２１２、図８および図９参照）。このため、線画等の標識画像Ｉｍｇ２の伝送に障害が生じる場合がない。

撮像画像データの伝送遅れにより、遠隔操作装置２０と作業機械４０との通信障害等の原因により、作業環境画像における撮像画像データに応じた作業部の位置姿勢座標値が不連続的に変化しており、遠隔操作機構２１１の操作態様に応じて予測された作業部の位置姿勢座標値から乖離する場合がある。この場合、バケット４４５を表わす画像領域からずれた位置に、本来的に存在すると予測される位置に当該バケット４４５を模した半透明の標識画像Ｉｍｇ２（τ２）が作業環境画像Ｉｍｇ（τ２）に重畳されて画像出力装置２２１に出力される（図９参照）。

よって、実空間におけるバケット４４５（作業部）の位置に対する、作業環境画像Ｉｍｇ１における当該バケット４４５の標識画像Ｉｍｇ２の位置の乖離の低減または解消が図られる。

（本発明の他の実施形態）
遠隔制御要素２４０が、作業機械４０に搭載されている状態センサ４１４を通じて検知され、実機無線通信機器４２２から送信され、遠隔無線通信機器２２２により受信された作業機構（旋回機構４３および作業アタッチメント４４）の動作態様を認識し、第２出力制御要素２４２が、遠隔制御要素２４０により認識された第１時点における遠隔操作機構２１１の操作態様と、作業機構の動作態様との偏差に基づいて第２時点における作業部（バケット４４５）の空間占有態様を予測してもよい。

図６には、図５と同様に、画像出力装置２２１により出力される作業環境画像Ｉｍｇ１の座標系における、作業部（バケット４４５）の位置姿勢の座標値の変化態様が概念的に示されている。図６における破線は、受信された撮像画像データ（図４／Ｃ２０参照）に応じて定まる作業部の位置姿勢の座標値の変化態様を表わしている。

遠隔操作機構２１１（例えば旋回用レバー）が操作され、当該操作に応じて作業機構（例えば旋回機構４３）が動作するまでに応答遅れが生じる場合がある。この場合、例えば、図６に一点鎖線で示されている遠隔操作機構２１１の操作態様に応じて予測される作業部の位置姿勢の座標値が、図６に二点鎖線で示されている作業機構４０の動作態様に応じて推定される作業部の位置姿勢の座標値よりも先に変化が生じる。

そこで、例えば、この応答遅れ（遠隔操作機構２１１の操作態様および作業機構４０の動作態様の偏差）に応じて、第１時点ｔ＝ｔ１と第２時点ｔ＝ｔ２との時間間隔Δｔ＝ｔ２−ｔ１が設定される。これにより、図６において破線で示されている撮像画像データに応じて定まる作業部の位置姿勢の座標値の変化態様に対して、座標値が不連続に変化する期間を除いて、ほぼ一致している図６に実線で示されているような作業部の位置姿勢の座標値の変化態様が予測される。よって、当該応答遅れによる影響を低減して、実空間におけるバケット４４５（作業部）の位置に対する、作業環境画像Ｉｍｇ１における当該バケット４４５の標識画像Ｉｍｇ２の位置の乖離のさらなる低減または解消が図られる。

第２出力制御要素２４２が、遠隔制御要素２４０により遠隔操作機構２１１の操作態様として第１指定操作（例えば旋回用レバーを通じた旋回操作）の停止が認識された場合、停止があったのと同時にまたは一定時間（例えば応答遅れ時間）後に画像出力装置２２１における標識画像Ｉｍｇ２の出力を停止してもよい。これにより、第１指定操作が停止されたにもかかわらず、当該第１指定操作に応じて変位する指標画像Ｉｍｇ２の残存によって画像出力装置２２１に出力されている作業環境画像Ｉｍｇ１における作業部の視認性の低下が回避される。

第２出力制御要素２４２が、遠隔制御要素２４０により遠隔操作機構２１１の操作態様として第２指定操作の開始が認識された場合、画像出力装置２２１に標識画像Ｉｍｇ２を時限的に出力させてもよい。これにより、第２指定操作が開始されてから一定期間にわたり、当該第２指定操作に応じて変位する指標画像Ｉｍｇ２が作業環境画像Ｉｍｇ１に重畳されて画像出力装置２２１に出力される。第２指定操作は、第１指定操作と同じ種類の操作であってもよく、異なる種類の操作であってもよい。オペレータにとって必要な情報は遠隔操作機構２１１の操作入力に対して作業機械４０が反応しているかどうかがわかることである。そのため、操作開始から一定期間だけ標識画像Ｉｍｇ２が画像出力装置２２１に出力されることにより、当該一定期間の周期である第２時点ｔ＝ｔ２よりも前の第１時点ｔ＝ｔ１以降において、バケット４４５の空間占有態様の予測演算負荷を省略しながらオペレータによる遠隔操作効率の向上を図ることができる。

１０‥遠隔操作サーバ、２０‥遠隔操作装置、２４‥遠隔制御装置、４０‥作業機械、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、２２２‥遠隔無線通信機器、２４０・遠隔制御要素、２４１‥第１出力制御要素、２４２‥第２出力制御要素、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４１４‥状態センサ群、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作業機構）、４４５‥バケット（作業部）、Ｉｍｇ１‥作業環境画像、Ｉｍｇ２‥標識画像。

Claims (10)

1. 作業機構を有する作業機械を遠隔操作するための遠隔操作装置であって、
   前記作業機械に搭載されている実機無線通信機器との通信機能を有している遠隔無線通信機器と、
   遠隔画像出力装置と、
   遠隔操作機構と、
   オペレータによる前記遠隔操作機構の操作態様を認識し、当該操作態様に応じた指令信号を前記遠隔無線通信機器に前記実機無線通信機器に対して送信させる遠隔制御要素と、
   前記作業機械に搭載されている撮像装置を通じて取得され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の作業部を含む作業環境画像を前記遠隔画像出力装置に出力させる第１出力制御要素と、
   前記遠隔制御要素により認識された第１時点における前記遠隔操作機構の操作態様に基づいて当該第１時点よりも後の第２時点における前記作業部の空間占有態様を推定し、当該推定された前記第２時点における前記作業部の空間占有態様を前記作業部の視認性を損なわずに表わす標識画像を、前記第１時点から前記第２時点までの期間に含まれる第３時点において前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる第２出力制御要素と、を備えている
   ことを特徴とする遠隔操作装置。
2. 請求項１記載の遠隔操作装置において、
   前記第２出力制御要素が、前記第１時点と前記第２時点との中間時点である前記第３時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
   ことを特徴とする遠隔操作装置。
3. 請求項２記載の遠隔操作装置において、
   前記第２出力制御要素が、
   前記遠隔操作機構の操作態様に応じた指令信号が、前記遠隔無線通信機器から送信されてから、前記実機無線通信機器により受信されるまでの通信遅れ時間である第１通信遅れ時間、および、前記指令信号が前記実機無線通信機器により受信されてから、当該指令信号に応じて前記作業機械の動作が制御されるまでの応答遅れ時間である第１応答遅れ時間のうち少なくとも一方である第１遅れ時間と、
   前記作業環境画像が、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信されるまでの通信遅れ時間である第２通信遅れ時間、および、前記作業環境画像が、前記遠隔無線通信機器により受信されてから、前記遠隔画像出力装置に出力されるまでの応答遅れ時間である第２応答遅れ時間のうち少なくとも一方である第２遅れ時間と、
   の合計である合計遅れ時間だけ前記第１時点よりも後の時点を前記第２時点として前記作業部の空間占有態様を推定し、
   前記第１時点よりも前記第１遅れ時間だけ後の時点である前記第３時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
   ことを特徴とする遠隔操作装置。
4. 請求項３記載の遠隔操作装置において、
   前記第２出力制御要素が、前記第１遅れ時間としての前記第１応答遅れ時間だけ前記第１時点よりも後の時点である前記第３時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
   ことを特徴とする遠隔操作装置。
5. 請求項１記載の遠隔操作装置において、
   前記第２出力制御要素が、前記第２時点と同一の時点である前記第３時点において前記標識画像を前記作業環境画像に重畳して前記遠隔画像出力装置に出力させる
   ことを特徴とする遠隔操作装置。
6. 請求項５記載の遠隔操作装置において、
   前記第２出力制御要素が、
   前記遠隔操作機構の操作態様に応じた指令信号が、前記遠隔無線通信機器から送信されてから、前記実機無線通信機器により受信されるまでの通信遅れ時間である第１通信遅れ時間、および、前記指令信号が前記実機無線通信機器により受信されてから、当該指令信号に応じて前記作業機械の動作が制御されるまでの応答遅れ時間である第１応答遅れ時間のうち少なくとも一方である第１遅れ時間と、
   前記作業環境画像が、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信されるまでの通信遅れ時間である第２通信遅れ時間、および、前記作業環境画像が、前記遠隔無線通信機器により受信されてから、前記遠隔画像出力装置に出力されるまでの応答遅れ時間である第２応答遅れ時間のうち少なくとも一方である第２遅れ時間と、
   の合計である合計遅れ時間だけ前記第１時点よりも後の時点を前記第２時点として前記作業部の空間占有態様を推定する
   ことを特徴とする遠隔操作装置。
7. 請求項１〜６のうちいずれか１項に記載の遠隔操作装置において、
   前記遠隔制御要素が、前記作業機械に搭載されている状態センサを通じて検知され、前記実機無線通信機器から送信され、前記遠隔無線通信機器により受信された前記作業機構の動作態様を認識し、
   前記第２出力制御要素が、前記遠隔制御要素により認識された前記第１時点における前記遠隔操作機構の操作態様と前記作業機構の動作態様との偏差に基づいて前記第２時点における前記作業部の空間占有態様を推定することを特徴とする遠隔操作装置。
8. 請求項１〜７のうちいずれか１項に記載の遠隔操作装置において、
   前記第２出力制御要素が、前記遠隔制御要素により前記遠隔操作機構の操作態様として第１指定操作の停止が認識された場合、前記遠隔画像出力装置における前記標識画像の出力を停止することを特徴とする遠隔操作装置。
9. 請求項１〜８のうちいずれか１項に記載の遠隔操作装置において、
   前記第２出力制御要素が、前記遠隔制御要素により前記遠隔操作機構の操作態様として第２指定操作の開始が認識された場合、前記遠隔画像出力装置に前記標識画像を時限的に出力させることを特徴とする遠隔操作装置。
10. 請求項１〜９のうちいずれか１項に記載の遠隔操作装置と、前記作業機械と、により構成されていることを特徴とする遠隔操作システム。

Images