JP2023083245A - 画像表示システム、遠隔操作支援システムおよび画像表示方法 - Google Patents

Abstract

【課題】作業機械を構成する作業機構と当該作業機械の周辺に存在する対象物体との位置関係のオペレータによる認識精度の向上を図りうるシステム等を提供する。
【解決手段】遠隔出力インターフェース２２０を構成する遠隔画像出力装置２２１に出力される作業環境画像およびこれに重畳された指標画像Ｍを通じて、作業機械４０を構成する作業機構４４０（アタッチメント４４５）と対象物体Ｏｂｊの表面における第２指標点ｐ₂の位置をオペレータに把握させることができる。第２指標点ｐ₂は、第１指標点ｐ₁が対象物体Ｏｂｊの表面に投影された結果である。
【選択図】図５

Description

本発明は、油圧ショベル等の作業機械のオペレータによる遠隔操作を支援するための技術に関する。

作業機の姿勢を用いて得られた作業具の位置の情報と、距離検出装置が求めた作業機械の作業対象までの距離の情報から得られた作業対象である地面の位置の情報とを用いて、作業具と対向する作業対象の表面に沿って当該作業具に対応する部分の画像を生成し、撮像装置によって撮像された作業対象の画像と合成して、表示装置に表示させる技術が提案されている（例えば、特許文献１参照）。これにより、作業具を有する作業機を備えた作業機械を用いて作業する際の作業効率の低下が抑制される。

特許第６７７７３７５号公報

しかし、作業装置と作業対象との位置合わせが行われる際、従来技術によれば、作業装置の位置が地形に沿って形成される画像によって表わされるため、作業装置の所定の部位以外の不必要な位置情報も同時に表示されるため、作業装置が作業対象に対してどの位置にあるか把握しづらく、効率よく作業を行うことが困難になる可能性がある。

そこで、本発明は、作業機械を構成する作業機構と当該作業機械の周辺に存在する対象物体との位置関係のオペレータによる認識精度の向上を図りうるシステム等を提供することを目的とする。

本発明の画像表示システムは、
作業機械を構成する作業機構および当該作業機械の周囲に存在する対象物体の状況を表わす作業環境画像において、前記作業機構における第１指標点が前記対象物体の表面に投影された結果としての第２指標点を示す指標画像を重畳させて前記作業機械を遠隔操作するための遠隔操作装置の出力インターフェースに出力させる。

当該構成の画像表示システムによれば、遠隔操作装置の出力インターフェースに出力される作業環境画像およびこれに重畳された指標画像を通じて、作業機械を構成する作業機構と対象物体の表面における第２指標点の位置をオペレータに把握させることができる。第２指標点は、第１指標点が対象物体の表面に投影された結果であり、当該対象物体の表面形状に沿ったものではない。このため、作業機構の第１指標点を除く不要な部位の位置情報がオペレータに提供されることが回避され、作業機構と対象物体との位置関係の当該オペレータによる認識精度の向上が図られる。

前記構成の画像表示システムにおいて、
前記第２指標点に対する指向性を有する前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
ことが好ましい。

当該構成の画像表示システムによれば、遠隔操作装置の出力インターフェースに出力された指標画像が第２指標点に対して指向性を有している（指標画像が第２指標点の位置を指し示している）ため、作業機構の第１指標点と対象物体の表面における第２指標点との位置関係をオペレータにより容易に把握させることができる。

前記構成の画像表示システムにおいて、
前記作業機構の変位態様または前記作業機構の姿勢態様に応じた方向に、前記第１指標点が前記対象物体の表面に対して投影された結果としての前記第２指標点を示す前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
ことが好ましい。

当該構成の画像表示システムによれば、遠隔操作装置の出力インターフェースに出力される作業環境画像およびこれに重畳された指標画像を通じて、作業機械を構成する作業機構の変位態様または姿勢態様に応じた方向について、当該作業機構の第１指標点と当該作業環境画像における対象物体の表面における第２指標点との位置関係について、オペレータの認識精度の向上を図ることができる。

前記構成の画像表示システムにおいて、
前記作業機構の変位態様に応じて位置が異なる前記第１指標点が前記対象物体の表面に対して投影された結果としての前記第２指標点を示す前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
ことが好ましい。

当該構成の画像表示システムによれば、遠隔操作装置の出力インターフェースに出力される作業環境画像およびこれに重畳された指標画像を通じて、作業機械を構成する作業機構の変位態様に応じた位置に変位された、当該作業機構の第１指標点と当該作業環境画像における対象物体の表面における第２指標点との位置関係について、オペレータの認識精度の向上を図ることができる。

前記構成の画像表示システムにおいて、
前記作業機械に搭載されているセンサの出力に基づいて定まる前記作業機構の前記第１指標点の位置を認識したうえで、当該第１指標点が前記対象物体の表面に対して投影された結果としての前記第２指標点を示す前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
ことが好ましい。

当該構成の画像表示システムによれば、例えば、作業機械に搭載されている測距装置によって第１指標点の実空間位置が認識困難である場合でも、遠隔操作装置の出力インターフェースに出力される指標画像を通じて、当該第１指標点と、これが対象物体の表面に投影された結果としての第２指標点との位置関係をオペレータに容易に把握または推察させることができる。

前記構成の画像表示システムにおいて、
前記第１指標点はアームトップに設定される
ことが好ましい。

当該構成の画像表示システムによれば、作業機構によって地面を掘削する場合、掘削の一連の動作においては、強い力をかけるためアームトップの位置に対してアタッチメント先端の位置を操作するため、位置指標としてアームトップが適している。さらに、アタッチメントを取り換えてもアームトップの位置は変わらないため、同じ画像表示が適用できる利点がある。

前記構成の画像表示システムにおいて、
複数の前記第１指標点のそれぞれが前記対象物体の表面に対して投影された結果としての複数の前記第２指標点のそれぞれを示す複数の前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
ことが好ましい。

当該構成の画像表示システムによれば、遠隔操作装置の出力インターフェースに出力される作業環境画像および複数の指標画像を通じて、作業機構の複数の第１指標点のそれぞれが対象物体の表面に投影された結果としての複数の第２指標点のそれぞれの位置をオペレータに把握させることができる。これにより、単一の指標画像のみが遠隔操作装置の出力インターフェースに出力される場合と比較して、作業機構と対象物体との位置関係の当該オペレータによる認識精度の向上が図られる。

前記構成の画像表示システムにおいて、
前記作業機構の姿勢変化に伴って相対的な位置が変化する複数の前記第１指標点のそれぞれに対応する複数の前記第２指標点のそれぞれに対して指向している複数の前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
ことが好ましい。

当該構成の画像表示システムによれば、遠隔操作装置の出力インターフェースに出力される作業環境画像および複数の指標画像を通じて、作業機構の姿勢変化に伴って相対的な位置が変化する複数の第１指標点のそれぞれが対象物体の表面に投影された結果としての複数の第２指標点のそれぞれの位置をオペレータに把握させることができる。これにより、姿勢変化態様に応じた作業機構の複数の部位と対象物体との位置関係の当該オペレータによる認識精度の向上が図られる。

前記構成の画像表示システムにおいて、
前記第１指標点と前記第２指標点との相対距離の長短に応じて、意匠が異なる前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
ことが好ましい。

当該構成の画像表示システムによれば、遠隔操作装置の出力インターフェースに出力される作業環境画像および指標画像の意匠を通じて、第１指標点と第２指標点との相対距離またはその長短をオペレータに把握させることができる。「意匠」とは、画像の形状、色彩もしくは模様またはこれらの任意の組み合わせを意味し、静的意匠のほか、明度などが変化する動的意匠を包含する概念である。「距離」は、実空間距離のほか、作業環境画像における画像空間距離であってもよい。これにより、作業機構の部位と対象物体の表面との位置関係に対する当該オペレータによる認識精度の向上が図られる。

画像表示複合システムおよび画像表示システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 画像表示システの機能に関する説明図。 作業環境画像および指標画像の一表示形態に関する説明図。 アームトップ位置と指標画像の表示態様との関係に関する説明図。 アームトップ位置と指標画像の表示態様との関係に関する説明図。 アームトップ位置と指標画像の表示態様との関係に関する説明図。 作業機構の変位態様と指標画像の指向性との関係に関する説明図。 作業機構の変位態様と指標画像の指向性との関係に関する説明図。 作業機構の変位態様と指標画像の指向性との関係に関する説明図。 作業機構の姿勢態様と指標画像の指向性との関係に関する説明図。 作業機構の姿勢態様と指標画像の指向性との関係に関する説明図。 作業機構の姿勢態様と指標画像の指向性との関係に関する説明図。 立体的な指標画像の表示形態に関する説明図。 立体的な指標画像の表示形態に関する説明図。 立体的な指標画像の表示形態に関する説明図。 作業機構の変位態様と第１指標点の位置との関係に関する説明図。 作業機構の変位態様と第１指標点の位置との関係に関する説明図。 作業機構の変位態様と第１指標点の位置との関係に関する説明図。 作業環境画像および指標画像の他の表示形態に関する説明図。 作業機構の動作態様と指標画像の表示形態との関係に関する説明図。 作業機構の動作態様と指標画像の表示形態との関係に関する説明図。 作業機構の変位態様と第１指標点の位置との関係に関する説明図。 作業機構の変位態様と第１指標点の位置との関係に関する説明図。 指標画像の意匠の差異化の一例に関する説明図。

（画像表示複合システムの構成）
図１に示されている画像表示複合システムは、画像表示システム１０と、遠隔操作装置２０および／または当該遠隔操作装置２０による遠隔操作対象である作業機械４０と、により構成されている。画像表示システム１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。画像表示システム１０および遠隔操作装置２０の相互通信ネットワークと、画像表示システム１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

（画像表示システムの構成）
画像表示システム１０は、本実施形態では、遠隔操作装置２０および作業機械４０とは別個に存在するコンピュータにより構成されており、データベース１０２と、通信機能要素１２１と、画像処理機能要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、画像表示システム１０と相互通信可能なデータベースサーバにより構成されていてもよい。各機能要素は、演算処理装置（例えば、シングルコアプロセッサおよび／またはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、遠隔無線通信機器２２４と、を備えている。遠隔制御装置２００は、演算処理装置（例えば、シングルコアプロセッサおよび／またはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央遠隔画像出力装置２２１０の画面および左側遠隔画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側遠隔画像出力装置２２１１の右縁が、中央遠隔画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央遠隔画像出力装置２２１０の画面および右側遠隔画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側遠隔画像出力装置２２１２の左縁が、中央遠隔画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

遠隔画像出力装置２２１が、シートＳｔを取り囲むように湾曲または屈曲した単一の画像出力装置によって構成されていてもよい。単一の画像出力装置が、例えば、中央遠隔画像出力装置２２１０により構成されていてもよい。遠隔画像出力装置２２１が、２つの画像出力装置（例えば、中央遠隔画像出力装置２２１０および左側遠隔画像出力装置２２１１または右側遠隔画像出力装置２２１２）によって構成されていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、実機無線通信機器４２２と、作業機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機測距装置４１４と、実機センサ群４１６と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えば、キャブ４２４の内部に設置され、フロントウィンドウ越しに作業機構４４０の少なくとも一部（例えば、アタッチメント４４５）を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。実機測距装置４１４は、作業機械４０の周囲に存在する対象物体までの実空間距離、ひいては実空間位置を測定するための装置であり、例えば、ＬｉＤＡＲおよびＴＯＦセンサなどにより構成されている。実機センサ群４１６は、下部走行体４１０に対する上部旋回体４２０の旋回角度を測定するための旋回角度センサ、および、作業機構４４０の姿勢を表わす姿勢角度を測定するための姿勢角度センサなど、作業機械４０の動作状況を測定するためのさまざまなセンサにより構成されている。

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

図３に示されているように、作業機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているアタッチメント４４５（例えば、バケット）と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してアタッチメント４４５をアーム４４３に対して水平軸回りに回動させるように当該アタッチメント４４５と当該アーム４４３との間に介在する。

（機能）
前記構成の画像表示システムおよび画像表示システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。当該フローチャートは制御周期ごとに繰り返され、「ＥＮＤ」に至った後で「ＳＴＡＲＴ」に戻って以後の処理が実行される。

遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた環境確認要求操作の有無が判定される（図４／ＳＴＥＰ２１０）。「環境確認要求」は、例えば、オペレータが遠隔操作を意図する作業機械４０に環境確認要求操作を指示するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２１０‥ＮＯ）、ＳＴＡＲＴに戻る。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２４を通じて、画像表示システム１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２１１）。

画像表示システム１０において、環境確認要求が受信された場合、第１機能要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。環境確認要求が、作業機械４０に対して画像システム１０を経由せずに送信されてもよい。

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機撮像装置４１２により作業対象物Ｏｂｊ（例えば、作業機械４０の周囲に存在する地面、土砂、資材および／または建造物など）の撮像画像が取得されるとともに、実機測距装置４１４により作業対象物Ｏｂｊの３次元画像が取得され、かつ、当該３次元画像を表わす３次元画像データが実機無線通信機器４２２を通じて画像表示システム１０に対して送信される（図４／ＳＴＥＰ４１０）。

３次元画像は、実機測距装置４１４を通じて取得された作業対象物Ｏｂｊまでの方向と距離または作業対象物Ｏｂｊの実空間位置を有する画像である。「実空間位置」は、実空間座標系における座標値（例えば、緯度、経度および高度）または実機座標系（作業機械４０に対して位置または姿勢が固定された座標系）における座標値により定義される。撮像画像に作業対象物Ｏｂｊが映り込んでいる場合、３次元画像の各画素に対応する当該作業対象物Ｏｂｊの表面の点群を構成する各点の実空間位置が、当該各画素の画素値として含まれている。

３次元画像データは、別個のデータである実機撮像装置４１２を通じて取得された撮像画像またはこれに相当するモデル画像のデータと、実機測距装置４１２を通じて取得された距離または実空間位置のデータと、の組み合わせとして取得され、送信されてもよい。

少なくとも作業対象物Ｏｂｊが映り込んでいる撮像画像は、実機撮像装置４１２ではなく、作業機械４０の周囲に設置された撮像装置、無人飛行機に搭載されている撮像装置および／または現場作業員により携帯されている機器の撮像装置を通じて取得されてもよい。３次元画像の画素値である距離または実空間位置は、作業機械４０の周囲に設置された測距装置および／または無人飛行機に搭載されている測距装置を通じて取得されてもよい。

実機撮像装置４１２および実機測距装置４１４の組み合わせに代えて、作業機械４０に搭載されているステレオカメラ（左右一対の実機撮像装置４１２）を通じて作業対象物Ｏｂｊの撮像画像および３次元画像が取得されてもよい。

画像表示システム１０において、通信機能要素１２１により３次元画像データが受信された場合（図４／Ｃ１１）、画像処理機能要素１２２により当該３次元画像データに応じた作業環境画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。作業環境画像データは、３次元画像データの基礎となった撮像画像データ（画素値として実空間位置および距離情報が含まれていない）そのもののほか、撮像画像データに基づいて生成された模擬的な作業環境画像を表わす画像データである。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて作業環境画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、作業環境画像データに応じた作業環境画像が遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１２）。

これにより、例えば、図５に示されているように、キャブ４２４を画定する窓枠を通じて、キャブ４２４の前方において、作業機構４４０の一部であるブーム４４１、アーム４４３およびアタッチメント４４５、ならびに、対象物体Ｏｂｊである土砂などが映り込んでいる作業環境画像が遠隔画像出力装置２２１に出力される。

作業機械４０において、実機センサ群４１６により、作業機構４４０の第１指標点ｐ₁の実空間位置が取得され、かつ、当該第１指標点ｐ₁の実空間位置を表わすデータが実機無線通信機器４２２を通じて画像表示システム１０に対して送信される（図４／ＳＴＥＰ４１２）。

３次元画像データの送信処理（図４／ＳＴＥＰ４１０参照）および第１指標点ｐ₁の実空間位置を表わすデータの送信処理（図４／ＳＴＥＰ４１２参照）は、ひとまとまりのデータの送信処理として同時に実行されてもよい。

具体的には、アーム４４３の先端部（アームトップ）に該当する点が第１指標点ｐ₁として定義されている。作業機構４４０において定義されている第１指標点ｐ₁の実空間位置が、作業機械４０に搭載されている実機センサ群４１６を構成する姿勢角度センサの出力信号、ならびに、当該作業機構４４０の各構成要素のサイズに基づいて順運動学的に計算される。姿勢角度センサは、上部旋回体４２０に対するブーム４４１の起伏角度、ブーム４４１との連結部におけるアーム４４３の回動角度、および、アーム４４３との連結部におけるアタッチメント４４５の回動角度のうち少なくとも一部に応じた信号を出力するように構成されている。作業機構４４０を構成するブーム４４１、アーム４４３およびアタッチメント４４５などの任意の点が第１指標点ｐ₁として定義されていてもよい。

３次元画像に作業機構４４０の第１指標点ｐ₁が映り込んでいる場合、実機制御装置４００により当該３次元画像に基づいて当該第１指標点ｐ₁の実空間位置が認識されてもよい。具体的には、３次元画像の画像解析処理（グレースケール化処理、エッジ抽出処理および／またはパターンマッチング処理など）により、作業機構４４０において第１指標点ｐ₁に該当する一または複数の画素の画素値の平均値が、当該第１指標点ｐ₁の実空間位置として認識される。姿勢角度センサを用いて認識された作業機構４４０の各点の実空間位置および３次元画像の画素値である実空間位置のうち一方に基づき、他方が補正されてもよい。

画像表示システム１０において、第１指標点ｐ₁の実空間位置を表わすデータが受信された場合（図４／Ｃ１２）、当該第１指標点ｐ₁の実空間位置および３次元画像に含まれている対象物体Ｏｂｊの表面の点群を構成する各点の実空間位置または３次元形状に基づき、第２指標点ｐ₂の実空間位置が画像処理機能要素１２２により認識される（図４／ＳＴＥＰ１１２）。第２指標点ｐ₂は、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して投影された結果としての点である。対象物体Ｏｂｊの表面に対する第１指標点ｐ₁の投影方向は、例えば鉛直方向である。この場合、対象物体Ｏｂｊの表面の各点のうち、第１指標点ｐ₁と水平位置（ｘ（経度）、ｙ（経度））が同じまたは最も近い一の点の実空間位置、または、第１指標点ｐ₁と水平位置が近い複数の点の重心が第２指標点ｐ₂として認識される。

作業機械４０または上部旋回体４２０が実空間の鉛直軸線に対して傾斜している場合、対象物体Ｏｂｊの表面に対する第１指標点ｐ₁の投影方向が、実空間の鉛直軸線に対して同様に傾斜した方向に定義されていてもよい。作業機械４０の鉛直軸線に対する傾斜角度は、実機センサ群４１６を構成する機体傾斜角度センサ（例えば、ジャイロセンサ）により計測される。

３次元画像に作業機構４４０の第１指標点ｐ₁が映り込んでいる場合、実機制御装置４００による当該第１指標点ｐ₁の実空間位置の認識およびデータの送信（図４／ＳＴＥＰ４１２）が省略されてもよい。この場合、画像処理機能要素１２２により、３次元画像の画像解析処理（グレースケール化処理、エッジ抽出処理および／またはパターンマッチング処理など）により、作業機構４４０において第１指標点ｐ₁として定義されている点に該当する一または複数の画素が認識され、当該画素の画素値またはその平均値が、当該第１指標点ｐ₁の実空間位置として認識される。

さらに、画像表示システム１０において、画像処理機能要素１２２により、第２指標点ｐ₂を示す指標画像Ｍを作業環境画像に重畳させた指標画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１４）。当該指令には、第２指標点ｐ₂の実空間位置および／または３次元画像もしくは作業環境画像における第２指標点ｐ₂に相当する画素位置（ｕ，ｖ）が含まれている。

遠隔操作装置２０において、遠隔無線通信機器２２４を通じて指標画像データが受信された場合（図４／Ｃ２２）、遠隔制御装置２００により、当該指令に応じた指標画像Ｍが作業環境画像に重畳された形態で遠隔画像出力装置２２１に出力される（図４／ＳＴＥＰ２１４）。

画像表示システム１０から遠隔操作装置２０に対する作業環境画像データの送信処理（図４／ＳＴＥＰ１１０参照）および指標画像データの送信処理（図４／ＳＴＥＰ１１４参照）は、ひとまとまりのデータの送信処理として同時に実行されてもよい。この場合、遠隔操作装置２０において、作業環境画像の出力処理（図４／ＳＴＥＰ２１２参照）および当該作業環境画像に重畳される指標画像の出力処理（図４／ＳＴＥＰ２１４参照）が、単一の画像出力処理として同時に実行されてもよい。

これにより、例えば、図５に示されているように、第１指標点ｐ₁が対象物体Ｏｂｊ（例えば、作業機械４０の周囲にある土砂等）の表面に投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳された形態で遠隔画像出力装置２２１に出力される。ここで、指標画像Ｍは、実空間における鉛直方向について第２指標点ｐ₂に対して向かう三角形状または矢印形状の図形の画像である。図５に示されているように、撮像画像に第１指標点ｐ₁および第２指標点ｐ₂が重畳表示されてもよく、第１指標点ｐ₁および／または第２指標点ｐ₂の重畳表示が省略されていてもよい。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され、かつ、遠隔無線通信機器２２４を通じて、当該操作態様に応じた遠隔操作指令が画像表示システム１０に対して送信される（図４／ＳＴＥＰ２２０）。

画像表示システム１０において、画像処理機能要素１２２により当該遠隔操作指令が受信された場合、通信機能要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１４）。遠隔操作指令は、画像表示システム１０を経由せずに作業機械４０に対して送信されてもよい。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４４）、作業機構４４０等の動作が制御される（図４／ＳＴＥＰ４２０）。例えば、アタッチメント４４５により作業機械４０の前方の対象物体Ｏｂｊである土砂をすくい、上部旋回体４１０を旋回させたうえでアタッチメント４４５から当該土砂を落とす作業が実行される。

（作用効果）
当該構成の画像表示システムを構成する画像表示システムによれば、遠隔出力インターフェース２２０を構成する遠隔画像出力装置２２１に出力される作業環境画像およびこれに重畳された指標画像Ｍを通じて、作業機械４０を構成する作業機構４４０（アタッチメント４４５）と対象物体Ｏｂｊの表面における第２指標点ｐ₂の位置をオペレータに把握させることができる（図５参照）。第２指標点ｐ₂は、第１指標点ｐ₁が対象物体Ｏｂｊの表面に投影された結果であり、このため、作業機構４４０の第１指標点ｐ₁を除く不要な部位の位置情報がオペレータに提供されることが回避され、作業機構４４０と対象物体Ｏｂｊとの位置関係の当該オペレータによる認識精度の向上が図られる。

図６Ａ～図６Ｃのそれぞれには、地面を掘削する場合のアームトップとアタッチメント４４５の位置関係が示されている。作業機構４４０は、アタッチメント４４５の接続点であるアームトップの下に最も強い力をかけることができる。そのことを考慮して、通常は、アタッチメント４４５の先端をアームトップ下またはそれよりも遠方側における地面に接触させた後、先端がアームトップ下側に来るようにアタッチメント４４５を動かし、最終的には先端部がアームトップより手前側になるように操作する。つまり、アタッチメント４４５による掘削の一連の動作を考えた場合、作業機構４４０の位置指標としては、アタッチメント４４５の先端部よりアームトップの方が適している場合が多い。

さらに、アタッチメント４４５を上述のバケットの他に、ブレーカ、グラップル、リフティングマグネットなどに取り替えることができるが、アタッチメント４４５を取り替えても「アームトップ」の位置が変わらないため、同じ画像表示が適用できるという利点がある。

また、指標画像Ｍは、対象物体Ｏｂｊの表面における第２指標点ｐ₂に対して指向性を有する、あるいは略三角形の頂点あるいは矢印などによりその位置を指し示す画像である（図５参照）。このため、対象物体Ｏｂｊの表面の３次元形状に関してオペレータの錯誤を回避しながら、作業機構４４０、特に第１指標点ｐ₁が定義されているアタッチメント４４５と対象物体Ｏｂｊとの位置関係の当該オペレータによる認識の容易性の向上が図られる。

（本発明の他の実施形態）
前記実施形態では、画像表示システム１０およびこれ構成する通信機能要素１２１および画像処理機能要素１２２が遠隔操作装置２０および作業機械４０とは別個に存在するコンピュータにより構成されていたが、他の実施形態として、遠隔操作装置２０および／または作業機械４０に画像表示システムが搭載され、遠隔制御装置２００および／または実機制御装置４００により通信機能要素１２１および／または画像処理機能要素１２２が構成されていてもよい。その場合、画像表示システム１０における通信機能を省略することができる。
前記実施形態では、第１指標点ｐ₁がアームトップとして定義されていたが、アタッチメント４４５の先端部に定義されていてもよい。その場合、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して投影された結果としての第２指標点ｐ₂を示す指標画像Ｍによって、オペレータはアタッチメント４４５と対象物体Ｏｂｊとの接触に対する位置関係の認識精度の向上を図ることができる。

指標画像出力指令に応じて、作業機構４４０において第１指標点ｐ₁が配置されているアタッチメント（例えば、アタッチメント４４５）の変位態様に応じた方向に、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力されてもよい。作業機構４４０またはアタッチメントの変位態様は、実機センサ群４１６を構成する姿勢角度センサおよび／または旋回角度センサに基づいて認識される。作業機構４４０またはアタッチメントの変位態様は、遠隔操作機構２１１を構成する操作レバーの操作態様に基づいて認識されてもよい。

例えば、図７Ａに示されているように、アタッチメント４４５が鉛直下方に変位している場合、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して鉛直下方に投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。図７Ｂに示されているように、アタッチメント４４５が作業機械４０から見て前方下方に変位している場合、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して作業機械４０の前方下方に投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。図７Ｃに示されているように、アタッチメント４４５が作業機械４０から見て後方下方に変位している場合、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して作業機械４０の後方下方に投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。

当該構成の画像表示システムによれば、遠隔操作装置２０の遠隔画像出力装置２２１に出力される作業環境画像およびこれに重畳された指標画像Ｍを通じて、作業機械４０を構成する作業機構４４０の変位態様に応じた方向について、当該作業機構４４０の第１指標点ｐ₁と当該作業環境画像における対象物体Ｏｂｊの表面における第２指標点ｐ₂との位置関係について、オペレータの認識精度の向上を図ることができる。

指標画像出力指令に応じて、第１指標点ｐ₁が作業機構４４０またはアタッチメント４４５の姿勢態様に応じた方向に、対象物体Ｏｂｊの表面に対して投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力されてもよい。

例えば、図８Ａに示されているように、対象物への作用に指向性を有するアタッチメントであるブレーカ４４５の対象物を打突する打突部位であるチゼルが鉛直下方に指向している場合、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して鉛直下方に投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。図８Ｂに示されているように、ブレーカ４４５のチゼルが作業機械４０から見て前方下方に指向している場合、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して作業機械４０の前方下方に投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。図８Ｃに示されているように、ブレーカ４４５のチゼルが作業機械４０から見て後方下方に指向している場合、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して作業機械４０の後方下方に投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。

当該構成の画像表示システムによれば、遠隔操作装置２０の遠隔画像出力装置２２１に出力される作業環境画像およびこれに重畳された指標画像Ｍを通じて、作業機械４０を構成する作業機構４４０またはアタッチメント４４５の姿勢態様に応じた対象物へ作用する位置と方向をオペレータが容易に認識できるため、オペレータの認識精度の向上を図られ、作業の効率を向上させることができる。
第１指標点はアタッチメント４４５に定義され、特定の遠隔操作指令の送信が開始されてから送信が継続されている（特定の操作が継続されている）間は、第１指標点の位置情報を更新せず操作指令が送信される直前の第１指標点ｐ₁の位置のまま維持されてもよい。
例えば、遠隔操作機構のレバーにアタッチメント４４５であるブレーカを作動させるプッシュ推知である操作スイッチを設け、遠隔操作機構２２１によってブレーカが作動するよう操作されると、遠隔操作装置２０より作業機械４０にブレーカを作動させる遠隔操作指令が送信されると共に、画像表示システム１０に第１指標点ｐ₁の位置情報の更新を行わないよう更新停止信号が送信される。また、更新停止信号は操作スイッチが押されている間、継続して送信される。これにより、第１指標点ｐ₁は操作スイッチが操作される直前の位置情報が、操作を継続している間維持される。操作スイッチが押されなくなると、画像表示システム１０に対する更新停止信号は送信されなくなる。これにより、第１指標点ｐ₁の位置情報の更新が再開される。

当該構成の画像表示システムによれば、アタッチメント４４５を作動させている間、第１指標点の位置情報の更新を行わないことで、遠隔操作装置２０の遠隔画像出力装置２２１に出力される作業環境画像およびこれに重畳された指標画像Ｍが、アタッチメント４４５が作動することで発生するアタッチメント４４５の振動によって第１指標点が振動することで振動し、指標画像Ｍを注視して遠隔操作しているオペレータに酔いを発生させる現象を防止することができる。

前記のように、作業機構４４０またはアタッチメントの変位態様または姿勢態様に応じた方向に、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して投影された結果として第２指標点ｐ₂が定義される場合、作業環境画像において立体的な指標画像Ｍが遠隔操作装置２０の遠隔画像出力装置２２１に出力されてもよい。

例えば、第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して鉛直下方に投影された結果として第２指標点ｐ₂が定義されている場合（図７Ａおよび図８Ａ参照）、図９Ａに示されているように実空間鉛直方向に平行な中心軸線を有する、実空間下方に頂点が向けられたような略円錐状の指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して作業機械４０の前方下方に投影された結果としての第２指標点ｐ₂が定義されている場合（図７Ｂおよび図８Ｂ参照）、図９Ｂに示されているように頂点を実空間前方下方に向けたような略円錐状の指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して作業機械４０の後方下方に投影された結果として第２指標点ｐ₂が定義されている場合（図７Ｃおよび図８Ｃ参照）、図９Ｃに示されているように頂点を実空間後方下方に向けたような略円錐状の指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。

当該構成の画像表示システムによれば、遠隔操作装置２０の遠隔画像出力装置２２１に出力される指標画像Ｍが立体的な画像であるため、当該指標画像Ｍの出力形態を通じて、作業機構４４０の第１指標点ｐ₁と対象物体Ｏｂｊの表面における第２指標点ｐ₂との位置関係をオペレータにより容易に把握させることができる。

作業機構４４０の変位態様に応じて位置が異なる第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔操作装置２０の遠隔画像出力装置２２１に出力されてもよい。

例えば、下部走行体４１０に対して上部旋回体４２０の旋回していない場合、図１０Ａに示されているように、バケット４４０の先端部中心点が第１指標点ｐ₁として定義される。その一方、遠隔操作機構２１１および／または実機操作機構４１１の操作態様に応じて、あるいは、実機センサ群４１６の出力信号に基づき、下部走行体４１０に対して上部旋回体４２０が上から見て反時計回りに旋回すると推定もしくは予測されるまたは計測された場合（左向きの白矢印参照）、図１０Ｂに示されているようにバケット４４０の先端部左寄りの点が第１指標点ｐ₁として定義される。また、遠隔操作機構２１１および／または実機操作機構４１１の操作態様に応じて、あるいは、実機センサ群４１６の出力信号に基づき、下部走行体４１０に対して上部旋回体４２０が上から見て時計回りに旋回すると推定もしくは予測されるまたは計測された場合（右向きの白矢印参照）、図１０Ｃに示されているようにバケット４４０の先端部右寄りの点が第１指標点ｐ₁として定義される。そして、それぞれの場合において、当該第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。

作業機械４０を操作する上で、作業機構４４０の位置および／または姿勢の変化態様に応じて、作業機構４４０における注視すべき部位は変化する。例えば、下部走行体４１０に対して上部旋回体４２０を旋回させるための操作であれば旋回方向の最先端であり、作業機構４４０が機械中心から遠ざかる操作であれば作業機構４４０が機械中心から遠ざかる方向の最先端である。

当該構成の画像表示システムによれば、遠隔操作装置２０の遠隔画像出力装置２２１に出力される作業環境画像およびこれに重畳された指標画像Ｍを通じて、作業機械４０を構成する作業機構４４０の位置および／または姿勢の変化態様に応じて注視すべき部位と対称物体Ｏｂｊとの位置関係が把握しやすくなり、オペレータの認識精度の向上を図ることができる。

複数の第１指標点ｐ₁のそれぞれが対象物体Ｏｂｊの表面に対して投影された結果としての複数の第２指標点ｐ₂のそれぞれを示す複数の指標画像Ｍが作業環境画像に重畳されて遠隔操作装置２０の遠隔画像出力装置２２１に出力されてもよい。

例えば、図１１に示されているように、アタッチメント４４５の先端部の左端点および右端点のそれぞれが第１指標点ｐ₁₁およびｐ₁₂のそれぞれとして定義され、当該第１指標点ｐ₁₁およびｐ₁₂のそれぞれが対象物体Ｏｂｊの表面に対して鉛直下方に投影された結果としての第２指標点ｐ₂₁およびｐ₂₂のそれぞれを示す複数の指標画像Ｍ₁およびＭ₂が作業環境画像に重畳されて遠隔操作装置２０の遠隔画像出力装置２２１に出力されてもよい。第１指標点ｐ₁およびこれに対応する第２指標点ｐ₂のそれぞれの数は３以上であってもよい。

当該構成の画像表示システムによれば、遠隔操作装置２０の遠隔画像出力装置２２１に出力される作業環境画像および複数の指標画像Ｍ₁およびＭ₂を通じて、作業機構４４０の複数の第１指標点ｐ₁₁およびｐ₁₂のそれぞれが対象物体Ｏｂｊの表面に投影された結果としての複数の第２指標点ｐ₂₁およびｐ₂₂のそれぞれの位置をオペレータに把握させることができる。これにより、単一の指標画像のみが遠隔画像出力装置２２１に出力される場合と比較して、作業機構２２０と対象物体Ｏｂｊとの位置関係の当該オペレータによる認識精度の向上が図られる。

作業機構４４０の姿勢変化に伴って相対的な位置が変化する複数の第１指標点ｐ₁のそれぞれに対応する複数の第２指標点ｐ₂のそれぞれに対して指向している複数の指標画像Ｍが作業環境画像に重畳されて遠隔操作装置２０の遠隔画像出力装置２２１に出力されてもよい。

例えば、図１２Ａに示されているように、アタッチメント４４５（例えば、グラップルまたはクラッシャー）を構成する一対の構成部材４４５１および４４５２が閉じられている場合、当該一対の構成部材４４５１および４４５２のそれぞれの先端部の重心が第１指定点ｐ₁として定義され、当該第１指標点ｐ₁が対象物体Ｏｂｊの表面に投影された結果としての第２指標点ｐ₂を示す単一の指標画像Ｍが作業環境画像に重畳されて遠隔操作装置２０の遠隔画像出力装置２２１に出力される。その一方、図１２Ｂに示されているように、アタッチメント４４５を構成する一対の構成部材４４５１および４４５２が開かれている場合、当該一対の構成部材４４５１および４４５２のそれぞれの先端部が第１指定点ｐ₁₁およびｐ₁₂として定義され、当該第１指標点ｐ₁₁およびｐ₁₂が対象物体Ｏｂｊの表面に投影された結果としての第２指標点ｐ₂₁およびｐ₂₂を示す複数の指標画像Ｍ₁およびＭ₂が作業環境画像に重畳されて遠隔操作装置２０の遠隔画像出力装置２２１に出力される。

当該構成の画像表示システムによれば、遠隔操作装置２０の遠隔画像出力装置に出力される作業環境画像および複数の指標画像を通じて、作業機構４４０（例えば、アタッチメント４４５の一対の構成部材４４５１および４４５２）の姿勢変化に伴って相対的な位置が変化する複数の第１指標点ｐ₁₁およびｐ₁₂のそれぞれが対象物体の表面に投影された結果としての複数の第２指標点ｐ₂₁およびｐ₂₂のそれぞれの位置をオペレータに把握させることができる。これにより、姿勢変化態様に応じた作業機構４４０の複数の部位と対象物体Ｏｂｊとの位置関係の当該オペレータによる認識精度の向上が図られる。

当該複数の部位は、例えば、アタッチメント４４５における一の部位と、アーム４４３および／またはブーム４４１における他の部位と、により構成されていてもよい。例えば、アタッチメント４４５の先端部中央点およびアーム４４３の先端部（アタッチメント４４５との連結部）中央点のそれぞれが第１指標点ｐ₁₁およびｐ₁₂のそれぞれとして定義されてもよい。この場合、作業環境画像に重畳された指標画像Ｍ₁およびＭ₂が色、形状もしくは模様またはこれらの組み合わせによって識別可能に表現されることにより、当該指標画像Ｍ₁およびＭ₂の実空間における前後方向の配置態様、ひいてはアタッチメント４４５（例えば、バケット）の姿勢をオペレータに認識させることができる。

前記実施形態では、第２指標点ｐ₂に対して指向性を有する指標画像Ｍが遠隔画像出力装置２２１に出力されたが（図５参照）、他の実施形態として、第２指標点ｐ₂に対して指向性を有しない指標画像Ｍが遠隔画像出力装置２２１に出力されてもよい。例えば、第２指標点ｐ₂を中心または重心とする円または正方形などの指定形状の２次元図形が水平面に平行な姿勢で配置されたような指標画像Ｍが遠隔画像出力装置２２１に出力されてもよい。第２指標点ｐ₂を中心または重心とする球、立方体または多面体などの指定形状の３次元図形が水平面に平行な姿勢で配置されたような指標画像Ｍが遠隔画像出力装置２２１に出力されてもよい。

遠隔操作装置２０において、遠隔制御装置２００により認識された第１時点ｔ＝ｔ₁における遠隔操作機構２１１の操作態様に基づき、作業機構４４０の第１時点ｔ＝ｔ₁またはこれよりも後の第２時点ｔ＝ｔ₂における空間占有態様が推定または予測され、当該第２時点ｔ＝ｔ₂における作業機構４４０において第１指標点ｐ₁が定義されてもよい。第１時点ｔ＝ｔ₁および第２時点ｔ＝ｔ₂の時間差は、実空間における作業機構４４０の位置および／または姿勢の変化速度に応じた第１指標点ｐ₁の変位速度に応じて設定されてもよい。

例えば、遠隔操作機構２１１および／または実機操作機構４１１の操作態様に応じて、あるいは、実機センサ群４１６の出力信号に基づき、下部走行体４１０に対して上部旋回体４２０が上から見て反時計回りに旋回すると第１時点ｔ＝ｔ₁において推定もしくは予測されるまたは計測された場合について考察する（図１３Ａの左向きの白矢印参照）。この場合、図１３Ａに実線で示されている第１時点ｔ＝ｔ₁におけるバケット４４０よりも左側に変位した、図１３Ａに破線で示されている第２時点ｔ＝ｔ₂におけるバケット４４０の先端部中央点が第１指標点ｐ₁として定義される。

また、遠隔操作機構２１１および／または実機操作機構４１１の操作態様に応じて、あるいは、実機センサ群４１６の出力信号に基づき、下部走行体４１０に対して上部旋回体４２０が上から見て時計回りに旋回すると第１時点ｔ＝ｔ₁において推定もしくは予測されるまたは計測された場合について考察する（図１３Ｂの右向きの白矢印参照）。この場合、図１３Ｂに実線で示されている第１時点ｔ＝ｔ₁におけるバケット４４０よりも右側に変位した、図１３Ｂに破線で示されている第２時点ｔ＝ｔ₂におけるバケット４４０の先端部中央点が第１指標点ｐ₁として定義される。

そして、それぞれの場合において、当該第１指標点ｐ₁が対象物体Ｏｂｊの表面に対して投影された結果としての第２指標点ｐ₂を示す指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力される。

当該構成の画像表示システムによれば、遠隔操作装置２０の遠隔画像出力装置２２１に出力される作業環境画像およびこれに重畳された指標画像Ｍを通じて、作業機械４０を構成する作業機構４４０の通信遅れ時間、応答遅れ時間の一部または全部が勘案された位置および／または姿勢の変化態様をオペレータが認識できるため、遠隔操作特有の操作環境を考慮した上で対象物体Ｏｂｊに対する作業機構４４０の位置関係の認識精度が向上し、より効率的に操作を行うことができる。

第１指標点ｐ₁と第２指標点ｐ₂との相対距離の長短に応じて、意匠が異なる指標画像Ｍが作業環境画像に重畳されて遠隔画像出力装置２２１に出力されてもよい。

例えば、図５に示されているように、第２指標点ｐ₂に向かって頂点を下方に向けた略二等辺三角形状の指標画像Ｍが、第１指標点ｐ₁と第２指標点ｐ₂との相対距離が長くなるほど、（１）縦方向のサイズが連続的または段階的に長くなるように、かつ／または、（２）相似比または面積が連続的または段階的に大きくなるように、かつ／または、（３）明度、彩度および／または透明度が連続的または段階的に低くなるように、その意匠が変更または調節されたうえで作業環境画像に重畳されて遠隔画像出力装置２２１に出力されてもよい。

また、図１４に左から順に示されているように、第１指標点ｐ₁と第２指標点ｐ₂との相対距離が連続的または段階的に大きくなるにつれて、指標画像Ｍの形状を、下向きの略二等辺三角形、下向きの略二等辺三角形およびその底辺に対向して当該底辺に長辺を平行にして配置された１つの略矩形または直線線分の組み合わせ、下向きの略二等辺三角形およびその底辺に対向して当該底辺に長辺を平行にして配置された２つの略矩形または直線線分の組み合わせ、と変化させながら作業環境画像に重畳されて遠隔画像出力装置２２１に出力されてもよい。

当該構成の画像表示システム２０によれば、遠隔画像出力装置２２１に出力される作業環境画像および指標画像Ｍの意匠を通じて、第１指標点ｐ₁と第２指標点ｐ₂との相対距離またはその長短をオペレータに把握させることができる。これにより、作業機構４４０の特定部位と対象物体の表面との位置関係に対する当該オペレータによる認識精度の向上が図られる。

１０‥画像表示システム、２０‥遠隔操作装置、４０‥作業機械、１０２‥データベース、１２１‥通信機能要素、１２２‥画像処理機能要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥遠隔画像出力装置、２２２‥遠隔音響出力装置、４００‥実機制御装置、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４２４‥キャブ（運転室）、４４０‥作業機構、４４５‥アタッチメント、Ｍ、Ｍ₁、Ｍ₂‥指標画像、Ｏｂｊ‥対象物体、ｐ₁、ｐ₁₁、ｐ₁₂‥第１指標点、ｐ₂、ｐ₂₁、ｐ₂₂‥第２指標点。

Claims (11)

1. 作業機械を構成する作業機構および当該作業機械の周囲に存在する対象物体の状況を表わす作業環境画像に、実空間において前記作業機構における第１指標点が前記対象物体の表面に対して投影された結果としての第２指標点を示す指標画像を重畳させて前記作業機械を遠隔操作するための遠隔操作装置の出力インターフェースに出力させる
   画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記第２指標点に対する指向性を有する前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
   画像表示システム。
3. 請求項１または２に記載の画像表示システムにおいて、
   前記作業機構の変位態様または前記作業機構の姿勢態様に応じた方向に、前記第１指標点が前記対象物体の表面に対して投影された結果としての前記第２指標点を示す前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
   画像表示システム。
4. 請求項１または２に記載の画像表示システムにおいて、
   前記作業機構の変位態様に応じて位置が異なる前記第１指標点が前記対象物体の表面に対して投影された結果としての前記第２指標点を示す前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
   画像表示システム。
5. 請求項１または２に記載の画像表示システムにおいて、
   前記作業機械に搭載されているセンサの出力に基づいて定まる前記作業機構の前記第１指標点の位置を認識したうえで、当該第１指標点が前記対象物体の表面に対して投影された結果としての前記第２指標点を示す前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
   画像表示システム。
6. 請求項１または２に記載の画像表示システムにおいて、
   前記第１指標点はアームトップに設定される
   画像表示システム。
7. 請求項１または２に記載の画像表示システムにおいて、
   複数の前記第１指標点のそれぞれが前記対象物体の表面に対して投影された結果としての複数の前記第２指標点のそれぞれを示す複数の前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
   画像表示システム。
8. 請求項７に記載の画像表示システムにおいて、
   前記作業機構の動作に伴って相対的な位置が変化する複数の前記第１指標点のそれぞれに対応する複数の前記第２指標点のそれぞれに対して指向している複数の前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
   画像表示システム。
9. 請求項１または２に記載の画像表示システムにおいて、
   前記第１指標点と前記第２指標点との相対距離の長短に応じて、意匠が異なる前記指標画像を前記作業環境画像に重畳させて前記遠隔操作装置の出力インターフェースに出力させる
   画像表示システム。
10. 実機撮像装置と、実機測距装置と、作業機構と、を有する作業機械と、
    出力インターフェースを有し、前記作業機械を遠隔操作するための前記遠隔操作装置と、
    画像表示システムと、
    を備えている画像表示複合システムであって、
    前記画像表示システムが、前記実機撮像装置を通じて取得された前記作業機械を構成する作業機構および当該作業機械の周囲に存在する対象物体の状況を表わす作業環境画像に、実空間において前記作業機構における第１指標点が、前記実機測距装置を通じて３次元形状が測定された前記対象物体の表面に対して投影された結果としての２指標点を示す指標画像を重畳させて前記遠隔操作装置の出力インターフェースに出力させる
    画像表示複合システム。
11. 作業機械を構成する作業機構および当該作業機械の周囲に存在する対象物体の状況を表わす作業環境画像に、実空間において前記作業機構における第１指標点が前記対象物体の表面に対して投影された結果としての２指標点を示す指標画像を重畳させて前記作業機械を遠隔操作するための遠隔操作装置の出力インターフェースに出力させる工程を含む
    画像表示方法。
    

Images