JP2023040971A - 遠隔操作支援装置、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

Abstract

【課題】作業機械に搭載されている実機撮像装置を通じて取得された作業環境画像に映り込んでいる対象物体の距離などの物理量を、当該作業機械を遠隔操作するオペレータに認識させるための演算処理負荷の軽減を図ることができる遠隔操作装置等を提供する。【解決手段】第１遠隔画像出力装置２２１に作業環境画像Ｉｍ１が出力され、第２遠隔画像出力装置２２２に補助画像Ｉｍ２が出力される。第２遠隔画像出力装置２２２は、オペレータからみて第１遠隔画像出力装置２２１の手前に配置された、透明性を有する遠隔画像出力装置である。また、作業環境画像座標系および補助画像座標系のそれぞれにおける実空間位置が一致するように、作業環境画像座標系および／または補助画像座標系に対して座標変換処理が施されている。【選択図】図６

Description

本発明は、オペレータによる油圧ショベル等の作業機械の遠隔操作を支援するための技術に関する。

従来、遠隔操作装置を用いて作業機械を遠隔操作することが行われている。オペレータは、作業機械に搭載されているカメラの撮像画像を遠隔操作装置に設置されたディスプレイを見ながら操作を行っている。

このような作業機械の遠隔操作システムとしては、例えば、作業部を備えた作業機械を操作席に設けたコントローラにより無線で遠隔操作する遠隔操作システムであって、前記作業機械に設けられ、前記作業部を撮影するカメラと、前記操作席に設けられ、前記カメラの映像信号が無線で伝送されるディスプレイと、を有する遠隔操作システムが特許文献１に開示されている。

特開２０１３－１６８７７８号公報

しかし、例えば、オペレータが作業機械の作動機構を動作させる場合、オペレータが遠隔画像を通じて感じる当該遠隔画像の奥行感は、当該作業機械に搭乗して実際に感じる奥行感と比較して把握しにくい。このため、作業機械を用いた作業の効率が低下してしまう可能性がある。

撮像画像および補助画像を合成して、当該合成画像をディスプレイに表示することも考えられる。この場合、当該両画像の合成を随時行わなければならないため、演算処理負荷が増加する問題がある。また、当該画像データはデータ容量が大きく、通信容量も増大するため表示遅延が発生する恐れがある。このような場合、オペレータは、リアルタイムで当該画像を視認することが困難になる可能性がある。

そこで、本発明は、作業機械に搭載されている実機撮像装置を通じて取得された作業環境画像に映り込んでいる対象物体の距離などの物理量を、当該作業機械を遠隔操作するオペレータに認識させるための演算処理負荷の軽減を図ることができる遠隔操作装置等を提供することを目的とする。

本発明の遠隔操作支援装置は、
オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援装置であって、
前記作業機械に搭載されている撮像装置を通じて取得された当該作業機械の周辺環境の様子を表わす撮像画像に応じた作業環境画像を、前記遠隔操作装置との通信に基づき、遠隔操作装置に搭載されている第１画像出力装置に出力させる第１支援処理要素と、
前記作業機械に搭載されている実機環境認識装置により認識された前記作業機械の周辺における物理量を表わす補助画像を、前記遠隔操作装置との通信に基づき、前記遠隔操作装置において前記オペレータからみて前記第１画像出力装置の手前に重なるように配置された第２画像出力装置に、前記第１画像出力装置に出力された前記作業環境画像を視認可能なように出力させる第２支援処理要素と、
前記第１画像出力装置に出力される前記作業環境画像の座標系である作業環境画像座標系と前記第２画像出力装置に出力される前記補助画像の座標系とが少なくとも部分的に一致するように、実空間位置を基準として前記作業環境画像座標系および前記補助画像座標系のうち少なくともいずれか一方に対して座標変換を施す画像処理要素と、
を備えている。

本発明の遠隔操作支援システムは、本発明の遠隔操作支援装置と、前記遠隔操作装置と、により構成されている。

当該構成の遠隔操作支援装置または遠隔操作システム（以下「遠隔操作支援装置等」という。）によれば、第１画像出力装置に作業環境画像が出力され、第２画像出力装置に補助画像が出力される。第２画像出力装置は、オペレータからみて第１画像出力装置の手前に配置された、透明性を有する画像出力装置である。また、作業環境画像座標系および補助画像座標系のそれぞれにおける実空間位置が一致するように、作業環境画像座標系および／または補助画像座標系に対して座標変換処理が施されている。これにより、第１画像出力装置に出力された作業環境画像における対象物体の物理量を、第２画像出力装置に出力された補助画像を通じてオペレータに視認または推定させることができる。この際、作業環境画像および補助画像の合成処理が省略されている分だけ、画像処理負荷の低減が図られるとともに、表示遅延の防止ができる。

前記構成の遠隔操作支援装置において、
前記作業機械の動作状態および環境のうち少なくとも一方が第１指定条件を満たしている場合、前記第２支援処理要素が、前記第２画像出力装置に前記補助画像を出力させることが好ましい。

当該構成の遠隔操作支援装置等によれば、作業機械の動作状態および／または環境が第１指定条件を満たしている場合、第２画像出力装置に補助画像が出力される。その一方、作業機械の動作状態および／または環境が第１指定条件を満たしていない場合、第２画像出力装置における補助画像の出力が省略または停止される。このため、第２画像出力装置に補助画像が定常的に出力される場合とは異なり、遠隔操作装置のオペレータにとって不要不急の補助画像の視認を強いられる煩わしさが軽減され、さらには第１画像出力装置の作業環境画像の視認性の向上が図られる。

前記構成の遠隔操作支援装置において、
前記画像処理要素が、前記作業機械の動作状態および環境のうち少なくとも一方に応じて前記作業環境画像および前記補助画像のうち少なくとも一方の解像度を調整することが好ましい。

当該構成の遠隔操作支援装置によれば、作業機械の動作状態および／または環境に応じて、作業環境画像および／または補助画像の解像度が調整される。これにより、作業機械の動作状態および／または環境に鑑みて的確な解像度の作業環境画像および／または補助画像を第１画像出力装置および／または第２画像出力装置に出力させ、オペレータにとっての作業環境画像および／または補助画像の視認性の向上が図られる。

前記構成の遠隔操作支援装置において、
前記作業機械の動作状態および環境のうち少なくとも一方が第２指定条件を満たしている場合、前記画像処理要素が、前記作業環境画像座標系および前記補助画像座標系に対して座標変換を施すことを省略することが好ましい。

当該構成の遠隔操作支援装置によれば、作業機械の動作状態および／または環境が第２指定条件を満たしている場合、作業環境画像座標系および／または補助画像座標系の座標変換が省略される。それぞれの画像出力装置に出力された撮像画像と補助画像に対して位置合わせを行っていないため、作業環境画像座標系および補助画像座標系の実空間位置は一致していない。しかるに、オペレータが第２画像出力装置越しに第１画像出力装置を臨む視線方向を変更することで、作業環境画像座標系および補助画像座標系の実空間位置が少なくとも部分的に一致させた形態で両画像を視認することができる。撮像画像座標系および補助画像座標系の座標変換が省略されている分だけ、演算処理負荷の低減が図られるとともに、表示遅延の防止ができる。

遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援装置の機能に関する説明図。 作業環境画像に関する説明図。 作業環境画像および補助画像（座標変換あり）に関する説明図。 作業環境画像および補助画像（座標変換なし）に関する説明図。

（遠隔操作支援システムの構成）
図１に示されている遠隔操作支援システムは、遠隔操作支援装置１０と、遠隔操作装置２０および／または遠隔操作装置２０を通じて遠隔操作可能な作業機械４０と、により構成されている。遠隔操作装置２０および作業機械１４のうち一方のみが、遠隔操作支援装置の構成要素であってもよい。遠隔操作支援装置１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援装置１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援装置１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

（遠隔操作支援装置の構成）
遠隔操作支援装置１０は、一または複数のサーバコンピュータにより構成され、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、画像処理要素１２４と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援装置１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、第１遠隔画像出力装置２２１と、第２遠隔画像出力装置２２２と、遠隔無線通信機器２２４と、を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

第１遠隔画像出力装置２２１は、シートＳｔの前方に配置された一または複数のディスプレイにより構成されている。第１遠隔画像出力装置２２１は、例えば、図２に示されているように、シートＳｔの前方左斜め前方および右斜め前方のそれぞれに配置された３つのディスプレイ、すなわち、第１中央ディスプレイ２２１０、第１左ディスプレイ２２１１および第１右ディスプレイ２２１２により構成されている。第１中央ディスプレイ２２１０、第１左ディスプレイ２２１１および第１右ディスプレイ２２１２のそれぞれは、例えば、略矩形状の画面（画像表示領域）を有する液晶ディスプレイにより構成されている。

図２に示されているように、第１中央ディスプレイ２２１０の画面および第１左ディスプレイ２２１１の画面が傾斜角度（例えば、１２０°～１５０°）をなすように、第１左ディスプレイ２２１１の右縁が、第１中央ディスプレイ２２１０の左縁に隣接している。図２に示されているように、第１中央ディスプレイ２２１０の画面および第１右ディスプレイ２２１２の画面が傾斜角度（例えば、１２０°～１５０°）をなすように、第１右ディスプレイ２２１２の左縁が、第１中央ディスプレイ２２１０の右縁に隣接している。当該傾斜角度は同じであっても相違していてもよい。

第１遠隔画像出力装置２２１を構成するディスプレイの数、各ディスプレイの形状、サイズおよび配置態様はさまざまに変更されてもよい。例えば、第１中央ディスプレイ２２１０、第１左ディスプレイ２２１１および第１右ディスプレイ２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。第１中央ディスプレイ２２１０、第１左ディスプレイ２２１１および第１右ディスプレイ２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、第１中央ディスプレイ２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

第２遠隔画像出力装置２２２は、シートＳｔのヘッドレストを基準として、第１遠隔画像出力装置２２１の手前側に重なるように、シートＳｔの前方に配置された一または複数のディスプレイにより構成されている。第２遠隔画像出力装置２２２は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された３つのディスプレイ、すなわち、第２中央ディスプレイ２２２０、第２左ディスプレイ２２２１および第２右ディスプレイ２２２２により構成されている。第２中央ディスプレイ２２２０、第２左ディスプレイ２２２１および第２右ディスプレイ２２２２のそれぞれは、例えば、略矩形状の画面（画像表示領域）を有する透明有機ＥＬディスプレイなど、透明性を有するディスプレイにより構成されている。このため、シートＳｔに着座したオペレータは、第２遠隔画像出力装置２２２越しに、その奥側に配置されている第１遠隔画像出力装置２２１を視認することができる。

図２に示されているように、第２中央ディスプレイ２２２０の画面および第２左ディスプレイ２２２１の画面が傾斜角度（例えば、１２０°～１５０°）をなすように、第２左ディスプレイ２２２１の右縁が、第２中央ディスプレイ２２２０の左縁に隣接している。図２に示されているように、第２中央ディスプレイ２２２０の画面および第２右ディスプレイ２２２２の画面が傾斜角度（例えば、１２０°～１５０°）をなすように、第２右ディスプレイ２２２２の左縁が、第２中央ディスプレイ２２２０の右縁に隣接している。当該傾斜角度は同じであっても相違していてもよい。

第１遠隔画像出力装置２２１を構成するディスプレイの数、各ディスプレイの形状、サイズおよび配置態様はさまざまに変更されてもよい。例えば、第２中央ディスプレイ２２２０、第２左ディスプレイ２２２１および第２右ディスプレイ２２２２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。第２中央ディスプレイ２２２０、第２左ディスプレイ２２２１および第２右ディスプレイ２２２２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、第２中央ディスプレイ２２２０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

第１画像出力装置２２１を構成するディスプレイの数および第２画像出力装置２２２を構成するディスプレイの数は同一であってもよく相違していてもよい。例えば、第１画像出力装置２２１が３つのディスプレイ２２１０、２２１１および２２１２により構成され、第２画像出力装置２２２がシートＳｔからみて当該３つのディスプレイ２２１０、２２１１および２２１２のうち少なくとも第１中央ディスプレイ２２１０に重なるように配置された一のディスプレイ２２２０により構成されていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作業機構４４０と、を備えている。実機制御装置４００およびその構成要素のそれぞれは、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には底を基部として前方に延在する作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機環境認識装置４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。

実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作業機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。

実機環境認識装置４１４は、作業機械４０の周辺に存在する対象物体の物理量を検知するためのセンサにより構成されている。当該センサには、作業機械４０の周囲（主に前方）に存在する対象物体（例えば、作業員、他の作業機械、地面、土砂、瓦礫、建造物および／または車両など）までの距離を測定するための測距センサが含まれている。当該センサには、対象物体の温度を測定するための赤外線センサ（赤外線放射温度計）が含まれていてもよい。実機撮像装置４１２を通じて取得される撮像画像の解像度と、実機環境認識装置４１４を通じて取得される対象物体までの距離を画素値とする距離画像の解像度とは一般的に相違している。

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（機能）
前記構成の遠隔操作支援装置の機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて、遠隔操作支援装置１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１０）。例えば、オペレータにより遠隔入力インターフェース２１０を通じて指定操作があったことが、環境確認要求の送信開始要件として定められていてもよい。「指定操作」は、例えば、オペレータが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。

遠隔操作支援装置１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００により実機撮像装置４１２を通じて撮像画像が取得され、実機環境認識装置４１４を通じて距離画像が取得され、かつ、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データおよび当該距離画像を表わす距離画像データが遠隔操作装置１０に対して送信される（図４／ＳＴＥＰ４１０）。

遠隔操作支援装置１０において、第１支援処理要素１２１により撮像画像データおよび距離画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により、作業機械４０の動作状態および／または環境が第１指定条件を満たしているか否かが判定される（図４／ＳＴＥＰ１１０）。

例えば、作業機構４４０の姿勢、作業機構４４０の姿勢変位速度、作業機械４０の進行速度および／または加速度、作業機構４４０にかかる負荷、駆動速度下部走行体４１０に対する上部旋回体４２０の旋回角速度、ならびに、作業機構４４０に遠隔操作機構２１１の操作態様のうち少なくとも１つが、作業機械４０の「動作状態」に該当する。

作業機構４４０の姿勢は、上部旋回体４２０に対するブーム４４１の起伏角度、ブーム４４１の先端部に対するアーム４４３の回動角度、および／または、アーム４４３の先端部に対するバケット４４５の回動角度を測定するための角度センサを通じて測定される。作業機構４４０の姿勢変位速度は、当該角度センサを通じて測定された角度に基づいてとして求められる。作業機械４０の進行速度および／または加速度は、下部走行体４１０および／または上部旋回体４２０に設けられた速度センサおよび／または加速度センサを通じて測定される。作業機構４４０にかかる負荷は、燃料計を通じて測定される作業機械４０の動力源（エンジン）の燃費、および／または、ポンプにより吐出される作動油を作業機構４４０に導く配管に設置された圧力センサを通じて測定された油圧に基づいて推定される。駆動速度下部走行体４１０に対する上部旋回体４２０の旋回角速度は、旋回角度センサを通じて測定された当該旋回角度に基づいて求められる。作業機構４４０に遠隔操作機構２１１の操作態様は、遠隔操作機構２１１を構成する操作レバーに設けられた感圧センサおよび／または操作レバーの傾倒角度センサを通じて推定される。

また、作業機械４０またはその構成要素（例えば、バケット４４５、上部旋回体４２０）と対象物体（例えば、作業対象となる地面、土砂、瓦礫もしくは建造物または他の作業機械など）との相対位置関係もしくは間隔および／またはその変化速度が、作業機械４０の「環境」に該当する。作業機械４０またはその構成要素（例えば、バケット４４５、上部旋回体４２０）と対象物体との間隔は、例えば、当該作業機械４０の指定箇所に搭載された、実機環境認識装置４１４を構成する測距センサを通じて測定される。

作業機械４０またはその構成要素と対象物体との間隔が指定間隔以下であること、作業機構４４０の姿勢が指定姿勢であること、作業機構４４０の姿勢が指定姿勢から指定姿勢以外の姿勢になったこと、作業機構４４０の姿勢変化速度が指定速度以下または以上であること、作業機構４４０にかかる負荷が指定値以上または以下であること、作業機械４０の進行速度が指定進行速度以下または以上であること、下部走行体４１０に対する上部旋回体４２０の旋回速度が指定速度以下または以上になったこと、ならびに、作業機構４４０に遠隔操作機構２１１の操作態様が指定操作態様であることなど、あるいは、これらの組み合わせが「第１指定条件」として定義されている。

作業機械４０の動作状態および／または環境が第１指定条件を満たしていないと判定された場合（図４／ＳＴＥＰ１１０‥ＮＯ）、第２支援処理要素１２２により、撮像画像に応じた作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。作業環境画像データは、撮像画像データそのもののほか、撮像画像に基づいて生成された模擬的な作業環境画像を表わす画像データである。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて作業環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、作業環境画像データに応じた作業環境画像が第１遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。

これにより、例えば、図５に示されているように、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる作業環境画像Ｉｍ１が第１遠隔画像出力装置２２１（特に、第１中央ディスプレイ２２１０）に出力される。この際、第２遠隔画像出力装置２２２には補助画像が出力されず、透明なままであり、オペレータは第２遠隔画像出力装置２２２越しに第１遠隔画像出力装置２２１に出力された作業環境画像Ｉｍ１をそのまま視認することができる。

作業機械４０の動作状態および／または環境が第１指定条件を満たしていると判定された場合（図４／ＳＴＥＰ１１０‥ＹＥＳ）、第２支援処理要素１２２により、作業機械４０の動作状態および／または環境が第２指定条件を満たしているか否かがさらに判定される（図４／ＳＴＥＰ１１４）。

作業機械４０またはその構成要素と対象物体との間隔が指定間隔以下であること、作業機構４４０の姿勢が指定姿勢であること、作業機構４４０の姿勢が指定姿勢から指定姿勢以外の姿勢になったこと、作業機構４４０の姿勢変化速度が指定速度以下または以上であること、作業機構４４０にかかる負荷が指定値以上または以下であること、作業機械４０の進行速度が指定進行速度以下または以上であること、下部走行体４１０に対する上部旋回体４２０の旋回速度が指定速度以下または以上になったこと、ならびに、作業機構４４０に遠隔操作機構２１１の操作態様が指定操作態様であることなど、あるいは、これらの組み合わせが「第２指定条件」として定義されている。

第２指定条件は、第１指定条件とは異なる条件として定義されている。第２指定条件が第１指定条件と同じ条件として定義されている場合、当該判定処理（図４／ＳＴＥＰ１１４参照）は省略されてもよい。

作業機械４０の動作状態および／または環境が第２指定条件を満たしていると判定された場合（図４／ＳＴＥＰ１１４‥ＹＥＳ）、画像処理要素１２４により、作業環境画像座標系（ｕ₁，ｖ₁）および補助画像座標系（ｕ₂，ｖ₂）（距離画像座標系）において、オペレータからみて重なることが想定されている少なくとも一部の画素における実空間位置が一致するように、作業環境画像座標系および／または補助画像座標系に対して座標変換処理が施される（図４／ＳＴＥＰ１１６）。

例えば、当該座標変換処理に際して、実機座標系（作業機械４０に対して位置および姿勢が固定されている座標系）における実機撮像装置４１２および実機環境認識装置４１４のそれぞれの位置および姿勢（光軸方向）を一致させるための並進行列および回転行列（またはこれと同等なクォータニオンなど）の演算子が用いられる。当該演算子は、実機制御装置４００を構成する記憶装置に記憶保持されていてもよく、実機識別子と関連付けられてデータベース１０２に登録されていてもよい。実機座標系における実空間位置の座標値が、実機環境認識装置４１４を通じて取得される距離画像の各画素における画像座標値および画素値（距離）に基づいて推定される。

続いて、第２支援処理要素１２２により、撮像画像に応じた作業環境画像データに加えて距離画像に応じた補助画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１８）。補助画像データは、距離画像データそのもののほか、実空間座標系または実機座標系におけるＸ軸およびＹ軸のそれぞれに平行な離間した複数の線分により構成されるメッシュ、距離を表わす数字、および、遠近が大小および／または濃淡で表現されている点群データなど、距離画像データに基づいて作成された画像データである。補助画像データには、作業機械４０の動作状態および／または環境を表わす画像データが含まれていてもよい。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて作業環境画像データおよび補助画像データが受信された場合（図４／Ｃ２２）、遠隔制御装置２００により、作業環境画像データに応じた作業環境画像が第１遠隔画像出力装置２２１に出力され、かつ、補助画像データに応じた補助画像が第２遠隔画像出力装置２２２に出力される（図４／ＳＴＥＰ２１４）。

これにより、例えば、図６に示されているように、図５と同様に、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３および（バケット４４５による作業対象である）瓦礫または土砂の山が映り込んでいる作業環境画像Ｉｍ１が第１遠隔画像出力装置２２１に出力される。この際、図６に示されているように、補助画像Ｉｍ２が第２遠隔画像出力装置２２２（特に、第２中央ディスプレイ２２２０）に出力される。

補助画像Ｉｍ２には、緯線および経線のように、実空間座標系のＸ軸およびＹ軸のそれぞれに平行な複数の線分により構成されるメッシュ画像Ｉｍ２１が含まれている。補助画像Ｉｍ２には、作業機械４０の動作状態および／または環境を表わす画像Ｉｍ２２が含まれている。第２遠隔画像出力装置２２２において、補助画像Ｉｍ２を除く領域は透明なままであり、オペレータは第２遠隔画像出力装置２２２越しに、第１遠隔画像出力装置２２１に出力された作業環境画像Ｉｍ１をその手前に補助画像Ｉｍ２が重ねられた形態で視認することができる。補助画像Ｉｍ２は、半透明に表示されてもよい。

作業機械４０の動作状態および／または環境が第２指定条件を満たしていないと判定された場合（図４／ＳＴＥＰ１１４‥ＮＯ）、画像処理要素１２４による座標変換処理（図４／ＳＴＥＰ１１６参照）が省略され、第２支援処理要素１２２により、撮像画像に応じた作業環境画像データおよび距離画像に応じた補助画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１８）。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて作業環境画像データおよび補助画像データが受信された場合（図４／Ｃ２２）、遠隔制御装置２００により、作業環境画像データに応じた作業環境画像が第１遠隔画像出力装置２２１に出力され、かつ、補助画像データに応じた補助画像が第２遠隔画像出力装置２２２に出力される（図４／ＳＴＥＰ２１４）。

これにより、例えば、図７に示されているように、図６と同様に、作業環境画像Ｉｍ１が第１遠隔画像出力装置２２１に出力され、かつ、補助画像Ｉｍ２が第２遠隔画像出力装置２２２に出力される。座標変換処理が実行されていない分だけ、メッシュ画像Ｉｍ２１により示されている対象物体（例えば、作業機械４０の前方に存在する地面、土砂、瓦礫、建造物など）の実空間位置と、作業環境画像Ｉｍ１により表示されている当該表示物体の実空間位置と、は図６とは異なりずれている。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援装置１０に対して送信される（図４／ＳＴＥＰ２２０）。

遠隔操作支援装置１０において、第２支援処理要素１２２により当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４２０）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４１０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

（作用効果）
当該構成の遠隔操作支援システムまたはその構成要素である遠隔操作支援装置１０によれば、第１遠隔画像出力装置２２１に作業環境画像Ｉｍ１が出力され、第２遠隔画像出力装置２２２に補助画像Ｉｍ２が出力される（図４／ＳＴＥＰ１１８→‥ＳＴＥＰ２１４、図６および図７参照）。第２遠隔画像出力装置２２２は、オペレータからみて第１遠隔画像出力装置２２１の手前に配置された、透明性を有する遠隔画像出力装置である（図２参照）。また、作業環境画像座標系および補助画像座標系のそれぞれにおける実空間位置が一致するように、作業環境画像座標系および／または補助画像座標系に対して座標変換処理が施されている（図４／ＳＴＥＰ１１６参照）。

これにより、第１遠隔画像出力装置２２１に出力された作業環境画像Ｉｍ１における対象物体の物理量を、第２遠隔画像出力装置２２２に出力された補助画像Ｉｍ２を通じてオペレータに視認または推定させることができる。具体的には、メッシュ画像Ｉｍ２１により、作業環境画像Ｉｍ１に映り込んでいる地面などの対象物体の作業機械４０を基準とした実空間距離をオペレータに視認または推定させることができる。この際、作業環境画像および補助画像の合成処理が省略されている分だけ、画像処理負荷の低減が図られるとともに、表示遅延の防止ができる。

作業機械４０の動作状態および／または環境が「第１指定条件」を満たしている場合、第２遠隔画像出力装置２２２に補助画像Ｉｍ２が出力される（図４／ＳＴＥＰ１１２‥ＹＥＳ→‥ＳＴＥＰ１１８→‥ＳＴＥＰ２１４、図６および図７参照）。その一方、作業機械４０の動作状態および／または環境が「第１指定条件」を満たしていない場合、第２遠隔画像出力装置２２２における補助画像Ｉｍ２の出力が省略または停止される（図４／ＳＴＥＰ１１２‥ＮＯ→‥ＳＴＥＰ１１４→‥ＳＴＥＰ２１２、図５参照）。このため、第２遠隔画像出力装置２２２に補助画像Ｉｍ２が定常的に出力される場合とは異なり、遠隔操作装置２０のオペレータにとって不要不急の補助画像の視認を強いられる煩わしさが軽減され、さらには第１遠隔画像出力装置２２１の作業環境画像Ｉｍ１の視認性の向上が図られる。

作業機械４０の動作状態および／または環境が「第２指定条件」を満たしている場合、作業環境画像座標系および／または補助画像座標系の座標変換処理（図４／ＳＴＥＰ１１６参照）が省略される。第１遠隔画像出力装置２２１に出力された作業環境画像Ｉｍ１と第２遠隔画像出力装置２２２に出力された補助画像Ｉｍ２に対して位置合わせを行っていないため、作業環境画像座標系および補助画像座標系の実空間位置は一致していない（図７参照）。しかるに、オペレータが第２遠隔画像出力装置２２２越しに第１遠隔画像出力装置２２１を臨む視線方向を変更することで、作業環境画像座標系および補助画像座標系の実空間位置が少なくとも部分的に一致させた形態で両画像を視認することができる（図６参照）。撮像画像座標系および補助画像座標系の座標変換が省略されている分だけ、演算処理負荷の低減が図られるとともに、表示遅延の防止ができる。

（本発明の他の実施形態）
前記実施形態では、サーバコンピュータにより遠隔操作支援装置１０が構成されていたが、他の実施形態として、実機制御装置４００および／または遠隔制御装置２００により遠隔操作支援装置１０が構成されていてもよい。この場合、実機制御装置４００および／または遠隔制御装置２００が、第１支援処理要素１２１、第２支援処理要素１２２および／または画像処理要素１２４の機能を有する。

画像処理要素１２４が、作業機械４０の動作状態および環境のうち少なくとも一方に応じて作業環境画像および補助画像のうち少なくとも一方の解像度を調整してもよい。当該構成の遠隔操作支援装置１０によれば、作業機械４０の動作状態および／または環境に応じて、作業環境画像Ｉｍ１および／または補助画像Ｉｍ２の解像度が調整される。

例えば、作業機械４０の動作状態および／または環境が第１指定条件および／または第２指定条件を満たしている場合、第１指定条件および／または第２指定条件を満たしていない場合と比較して画像解像度が高くなるように調節される。作業機構４４０の姿勢変位速度、作業機械４０の進行速度および／または加速度、作業機構４４０にかかる負荷、駆動速度下部走行体４１０に対する上部旋回体４２０の旋回角速度、ならびに、作業機構４４０に遠隔操作機構２１１の操作速度が高いほど、作業環境画像Ｉｍ１および／または補助画像Ｉｍ２の解像度が高くなるように調整されてもよい。作業機械４０またはその構成要素（例えば、バケット４４５、上部旋回体４２０）と対象物体（例えば、作業対象となる地面、土砂、瓦礫もしくは建造物または他の作業機械など）との間隔が小さいほど、および／または、作業機械４０またはその構成要素と対象物体との接近速度が高いほど、作業環境画像Ｉｍ１および／または補助画像Ｉｍ２の解像度が高くなるように調整されてもよい。

これにより、作業機械４０の動作状態および／または環境に鑑みて的確な解像度の作業環境画像Ｉｍ１および／または補助画像Ｉｍ２を第１遠隔画像出力装置２２１および／または第２遠隔画像出力装置２２２に出力させ、オペレータにとっての作業環境画像Ｉｍ１および／または補助画像Ｉｍ２の視認性の向上が図られる。

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、１２４‥画像処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥第１遠隔画像出力装置、２２２‥第２遠隔画像出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥バケット。

Claims (6)

1. オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援装置であって、
   前記作業機械に搭載されている撮像装置を通じて取得された当該作業機械の周辺環境の様子を表わす撮像画像に応じた作業環境画像を、前記遠隔操作装置との通信に基づき、遠隔操作装置に搭載されている第１画像出力装置に出力させる第１支援処理要素と、
   前記作業機械に搭載されている実機環境認識装置により認識された前記作業機械の周辺における物理量を表わす補助画像を、前記遠隔操作装置との通信に基づき、前記遠隔操作装置において前記オペレータからみて前記第１画像出力装置の手前に重なるように配置された第２画像出力装置に、前記第１画像出力装置に出力された前記作業環境画像を視認可能なように出力させる第２支援処理要素と、
   前記第１画像出力装置に出力される前記作業環境画像の座標系である作業環境画像座標系と前記第２画像出力装置に出力される前記補助画像の座標系とが少なくとも部分的に一致するように、実空間位置を基準として前記作業環境画像座標系および前記補助画像座標系のうち少なくともいずれか一方に対して座標変換を施す画像処理要素と、
   を備えている遠隔操作支援装置。
2. 請求項１記載の遠隔操作支援装置において、
   前記作業機械の動作状態および環境のうち少なくとも一方が第１指定条件を満たしている場合、前記第２支援処理要素が、前記第２画像出力装置に前記補助画像を出力させる
   遠隔操作支援装置。
3. 請求項１または２に記載の遠隔操作支援装置において、
   前記画像処理要素が、前記作業機械の動作状態および環境のうち少なくとも一方に応じて前記作業環境画像および前記補助画像のうち少なくとも一方の解像度を調整する
   遠隔操作支援装置。
4. 請求項１～３のうちいずれか１項に記載の遠隔操作支援装置において、
   前記作業機械の動作状態および環境のうち少なくとも一方が第２指定条件を満たしている場合、前記画像処理要素が、前記作業環境画像座標系および前記補助画像座標系に対して座標変換を施すことを省略する
   遠隔操作支援装置。
5. 請求項１～４のうちいずれか１項に記載の遠隔操作支援装置と、前記遠隔操作装置と、により構成されている遠隔操作支援システム。
6. オペレータによる遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援方法であって、
   前記作業機械に搭載されている撮像装置を通じて取得された当該作業機械の周辺環境の様子を表わす撮像画像に応じた作業環境画像を、前記遠隔操作装置との通信に基づき、遠隔操作装置に搭載されている第１画像出力装置に出力させる第１支援処理工程と、
   前記作業機械に搭載されている実機環境認識装置により認識された前記作業機械の周辺における物理量を表わす補助画像を、前記遠隔操作装置との通信に基づき、前記遠隔操作装置において前記オペレータからみて前記第１画像出力装置の手前に重なるように配置された第２画像出力装置に、前記第１画像出力装置に出力された前記作業環境画像を視認可能なように出力させる第２支援処理工程と、
   前記第１画像出力装置に出力される前記作業環境画像の座標系である作業環境画像座標系と前記第２画像出力装置に出力される前記補助画像の座標系とが少なくとも部分的に一致するように、実空間位置を基準として前記作業環境画像座標系および前記補助画像座標系のうち少なくともいずれか一方に対して座標変換を施す画像処理工程と、
   を含んでいることを特徴とする遠隔操作支援方法。

Images