JP2023032997A - 遠隔操作システム - Google Patents

Abstract

【課題】 作業機械の下部走行体の前後方向を簡易な構成で示すことが可能な遠隔操作システムを提供する。【解決手段】遠隔操作システムは、下部走行体及び前記下部走行体に対して旋回可能な上部旋回体を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する。遠隔操作システムは、前記作業機械の周囲に配置された撮像装置を通じて取得された撮像画像における、前記下部走行体の映り込み態様と、前記下部走行体の前後方向に偏在して配置されている指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向の少なくとも一方を示す指標画像を前記撮像画像における前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する支援処理要素を有する。【選択図】図１

Description

本発明は、作業機械と、当該作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムに関する。

従来、作業機械の周囲を撮影するカメラ、又は当該作業機械を互いに異なる角度で撮像可能なカメラを複数台設け、当該複数のカメラによって撮像された複数の撮像画像を用いて、作業機械の俯瞰画像を生成することが行われている。

このような作業機械の一例として、例えば、油圧ショベルの周囲を撮像する複数のカメラと、複数のカメラで撮像された画像に基づいて、俯瞰画像を生成する俯瞰画像生成部と、を備えた油圧ショベルが特許文献１に開示されている。

特開２０２０－１１２０３０号公報

しかしながら、オペレータは、当該俯瞰画像を見ただけでは下部走行体の前後方向を認識することは困難である。そのため、オペレータは、下部走行体の前後方向を認識するために、下部走行体を前進又は後退させなければならない問題がある。

本発明は、かかる問題に鑑みてなされたものであり、作業機械の下部走行体の前後方向を簡易な構成で示すことが可能な遠隔操作システムを提供することを目的とする。

かかる目的を達成するため本発明の遠隔操作システムは、下部走行体及び前記下部走行体に対して旋回可能な上部旋回体を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、前記作業機械の周囲に配置された撮像装置を通じて取得された撮像画像における、前記下部走行体の映り込み態様と、前記下部走行体の前後方向に偏在して配置されている指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向の少なくとも一方を示す指標画像を前記撮像画像における前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する支援処理要素と、を有することを特徴とする。

本発明の遠隔操作システムによれば、撮像画像に作業機械の下部走行体の前後方向を示す指標画像が重畳した合成画像が生成され、当該合成画像が遠隔操作装置に送信されることにより、オペレータは、当該合成画像を目視することにより容易に作業機械の下部走行体の前後方向を把握することが可能となる。

本発明の遠隔操作システムにおいて、前記撮像装置は、前記作業機械からみた方角が相互に異なる位置に複数配置され、前記支援処理要素は、一の前記撮像装置を通じて取得された一の前記撮像画像において下部走行体の指定構成要素が映っていない場合、他の前記撮像装置を通じて取得された他の前記撮像画像における、前記下部走行体の映り込み態様と、前記指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向を示す指標画像を前記撮像画像に重畳することが好ましい。

このような態様によれば、一の撮像画像に作業機械の下部走行体の指定構成要素が映っていない場合であっても、支援処理要素は、他の撮像画像に基づいて、作業機械の下部走行体の前後方向を示す指標画像が重畳した合成画像を遠隔操作装置に送信することができる。

本発明の遠隔操作システムにおいて、前記支援処理要素は、前記他の撮像画像の画像座標、前記一の撮像装置が配置されている位置及び、前記一の撮像画像の一部の領域に基づいて、前記一の撮像画像に前記指標画像を重畳した前記合成画像を前記遠隔操作装置に送信することが好ましい。

このような態様によれば、支援処理要素は、例えば、指定構成要素が映っていない作業機械の一の撮像方向（例えば正面方向）又は、他の撮像方向（例えば背面方向）から撮像された撮像画像に指標画像を合成した合成画像を生成することが可能となる。したがって、オペレータは、視線移動を行うことなく、作業機械の下部走行体の前後方向を認識することが可能となる。

本発明の遠隔操作システムにおいて、前記作業機械の前記下部走行体は、左右一対のクローラを有し、前記支援処理要素は、前記指標画像を前記合成画像における前記クローラのサイズ及び前記合成画像における前記クローラの位置に応じて生成することが好ましい。

このような態様によれば、例えば、支援処理要素は、クローラに指標画像を重畳した合成画像を生成することができるため、指標画像の視認性を高めることができる。このため、オペレータの作業効率の向上を図ることが可能となる。

本発明の遠隔操作システムにおいて、前記作業機械は、互いに近接して複数台配置され、前記支援処理要素は、操作対象の候補となる前記作業機械の実空間の位置情報を取得し、かつ前記撮像画像から算出される前記作業機械の実空間位置及び、前記操作対象の候補となる前記作業機械の実空間の前記位置情報が合致する場合、前記操作対象の候補となる前記作業機械を操作対象となる前記作業機械として認識することが好ましい。

このような態様によれば、支援処理要素は、複数台の作業機械が相互に近接して配置された場合であっても、操作対象となる作業機械を判別することが可能となる。したがって、複数台の作業機械のうち、操作対象となる一の作業機械を外観により判別が困難な場合であっても、支援処理要素は、当該一の作業機械を判別し、オペレータが所望する作業機械に対して前記合成画像を生成することが可能となる。

本発明の一実施形態としての作業支援システムの構成説明図である。 図１の遠隔操作装置の構成に関する説明図である。 図１の作業機械の構成に関する説明図である。 図１の作業機械の周囲の環境に関する説明図である。 作業支援システムの作業支援処理を示すフロー図である。 図２の遠隔操作装置の画像出力装置の表示態様を示す説明図である。 図５の合成画像生成処理の説明図である。 図２の遠隔操作装置の画像出力装置の他の表示態様を示す説明図である。 作業支援システムの他の作業支援処理を示すフロー図である。 第１撮像画像の第１の表示態様を示す説明図である。 第１撮像画像の第２の表示態様を示す説明図である。 第１撮像画像の第３の表示態様を示す説明図である。

（遠隔操作システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、遠隔操作装置２０による複数の作業機械４０の遠隔操作を支援するための作業支援サーバ１０により構成されている。作業支援サーバ１０と、遠隔操作装置２０、複数の作業機械４０、第１撮像装置５０、第２撮像装置６０のそれぞれとは共通のまたは別個のネットワークを介して相互に通信可能に構成されている。尚、本図においては、作業支援サーバ１０は、複数の作業機械４０と接続可能にされているが、作業支援サーバ１０は１台以上の作業機械４０と接続可能であればよく、その接続台数に制限はない。また、本図においては、第１撮像装置５０及び、第２撮像装置６０がネットワークを介して相互に通信可能に接続されているが、当該ネットワークに接続される撮像装置は、２台以上であってもよいし、１台のみでもよい。

本実施例においては、作業支援サーバ１０を、複数の作業機械４０と、当該複数の作業機械４０のうち遠隔操作対象となる一の作業機械４０を遠隔操作するための遠隔操作装置２０と、のそれぞれとの相互通信機能を有する遠隔操作システムとして説明する。

本発明の構成要素（ハードウェア）が、各種情報を「取得する」とは、当該情報を受信すること、当該情報を内部記憶装置（例えば、メモリ）および／または外部記憶装置（例えば、外部のデータベースサーバ）から読み取るまたは検索すること、受信、読み取り、検索等された情報を対象にして演算処理を実行することにより情報を算定、推定、予測、同定等すること、など、各種情報を後続の演算処理において利用可能な形態で準備するためのあらゆる演算処理を包含する概念である。

（作業支援サーバの構成）
作業支援サーバ１０は、支援処理要素１０１を含む遠隔操作支援装置１００と、データベース１１０と、サーバ無線通信機器１２２と、を備えている。を備えている。

支援処理要素１０１は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った後述の演算処理を実行する。

データベース１１０は、第１撮像装置５０及び、第２撮像装置６０等の撮像装置によって撮像された撮像画像データ等を記憶保持する。データベース１１０は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、オペレータによる操作の受付状態を切り替える遮断レバーと、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の左右一対のクローラを備える下部走行体４３０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４４０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４６２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４６４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４６６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータＯＰ１が着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータＯＰ１が着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータＯＰ１の操作指示によって任意に変更されてもよい。

図略の遮断レバーは、シートＳｔの左側フレームの前方において左側操作レバー２１１１の下方に設けられており、上げられた（ＯＦＦにされた）場合に各操作レバー２１１０、２１１１、２１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた（ＯＮにされた）場合に当該ロックを解除するための操作レバーとして機能する。

遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２とを備えている。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び中央画像出力装置２２１０の下方に配置された略矩形状の画面を有する下側画像出力装置２２１３により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２及び下側画像出力装置２２１３のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

（作業機械の構成）
図１に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４６０と、を備えている。

実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（建設機械）であり、図３に示されているように、下部走行体４３０と、下部走行体４３０に旋回機構４４０を介して旋回可能に搭載されている上部旋回体４５０と、を備えている。上部旋回体４５０の前方左側部にはキャブ４５４（運転室）が設けられている。上部旋回体４５０の前方中央部には作動機構４６０が設けられている。

下部走行体４３０は、図４に示されているように、左右一対のクローラ４３０ａ、４３０ｂを備える。また、下部走行体４３０は、図３にも示すように、右側のクローラ４３０ａを駆動させるための駆動部材４３１及び、左側のクローラ４３０ｂを駆動させるための駆動部材４３１を備えている。駆動部材４３１は、下部走行体４３０の前後方向における後方側に偏在して配置されている指定構成要素の１つである。駆動部材４３１としては、例えば、駆動モータ、駆動モータに係合する歯車等が挙げられる。

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２ａと、アタッチ撮像装置４１２ｂと、後方撮像装置４１２ｃと、を備えている。実機操作機構４１１は、キャブ４５４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。

遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４５４に設けられている。

実機撮像装置４１２ａ（以後、メインカメラとも称される）は、例えばキャブ４５４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４６０の少なくとも一部を含む環境を撮像する。当該撮像画像には、フロントウィンドウ（またはウィンドウフレーム）およびサイドウィンドウのうち一部または全部が省略されていてもよい。

アタッチ撮像装置４１２ｂ（以後、アタッチカメラとも称される）は、例えばアーム４６３に設置され、アタッチメントであるバケット４６５の少なくとも一部を含む環境を撮像する。

後方撮像装置４１２ｃは、（以後、後方カメラとも称される）は、例えば、上部旋回体４５０において、キャブ４５４のシートからみてフロントウィンドウが設けられている方向を前方とした場合、キャブ４５４の後方を撮像可能にボンネット（図示せず）やカウンタウェイト（図示せず）又はキャブ４５４に設けられている。

実機入力インターフェース４１０は、実機状態センサ群（図示せず）を含む。実機状態センサ群（図示せず）は、上部旋回体４５０に対するブーム４６１の回動角度（起伏角度）、ブーム４６１に対するアーム４６３の回動角度、および、アーム４６３に対するバケット４６５の回動角度のそれぞれを測定するための角度センサ、下部走行体４３０に対する上部旋回体４５０の旋回角度を測定するための旋回角度センサ、バケット４６５に対して作用する外力を測定するための外力センサ、上部旋回体４５０に作用する３軸加速度を測定するための３軸加速度センサ、ＧＮＳＳ（Global Navigation Satellite System）等の位置情報取得センサ等により構成されている。

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

作動機構としての作動機構４６０は、上部旋回体４５０に起伏可能に装着されているブーム４６１と、ブーム４６１の先端に回動可能に連結されているアーム４６３と、アーム４６３の先端に回動可能に連結されているバケット４６５と、を備えている。作動機構４６０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４６２、アームシリンダ４６４およびバケットシリンダ４６６が装着されている。作業部として、バケット４６５のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。

ブームシリンダ４６２は、作動油の供給を受けることにより伸縮してブーム４６１を起伏方向に回動させるように当該ブーム４６１と上部旋回体４５０との間に介在する。アームシリンダ４６４は、作動油の供給を受けることにより伸縮してアーム４６３をブーム４６１に対して水平軸回りに回動させるように当該アーム４６３と当該ブーム４６１との間に介在する。バケットシリンダ４６６は、作動油の供給を受けることにより伸縮してバケット４６５をアーム４６３に対して水平軸回りに回動させるように当該バケット４６５と当該アーム４６３との間に介在する。

図４に示すように、第１撮像装置５０及び、第２撮像装置６０は、例えば、作業機械４０の外観を撮像領域ＡＲ１，ＡＲ２に含むように、作業機械４０の外部に設けられている支柱に取り付けられている。第１撮像装置５０及び、第２撮像装置６０は、互いに異なる光軸方向ＡＸ１、ＡＸ２で作業機械４０の外観を撮像するように設置されている。尚、第１撮像装置５０及び、第２撮像装置６０は、例えば、作業支援サーバ１０からの指令に応じて、光軸方向ＡＸ１、ＡＸ２を自由に変更できるような雲台に取り付けられていてもよい。尚、第１撮像装置５０及び、第２撮像装置６０の光軸方向ＡＸ１、ＡＸ２の変更は、例えば、第１撮像装置５０及び、第２撮像装置６０に備えられている光学系の調整機構によって行ってもよい。例えば、第１撮像装置５０及び、第２撮像装置６０の光軸方向ＡＸ１、ＡＸ２は、クローラ４３０ａ，４３０ｂを撮像可能に、水平面に向けて調整するとよい。また、本図においては、第１撮像装置５０及び、第２撮像装置６０の光軸方向ＡＸ１、ＡＸ２が上面視において直交するように第１撮像装置５０及び、第２撮像装置６０を配置した。しかし、第１撮像装置５０及び、第２撮像装置６０は、任意に配置することができ、上面視でその光軸方向ＡＸ１、ＡＸ２が直交しない関係で配置することができる。

例えば、図４に示すように、第１撮像装置５０は、作業機械４０の下部走行体４３０の前後方向の前方に配置され、第２撮像装置６０は、作業機械４０の下部走行体４３０の左右方向の左方（左クローラ４３０ｂ側）に配置されている。このように第１撮像装置５０及び、第２撮像装置６０が配置されていることにより、作業機械４０の下部走行体４３０が旋回しても第１撮像装置５０及び第２撮像装置６０の少なくとも一方は、その撮像領域に一対のクローラ４３０ａ、４３０ｂの側面を含ませることができる。すなわち、第１撮像装置５０及び第２撮像装置６０のうち、少なくとも一方は、下部走行体４３０に設けられている指定構成要素である駆動部材４３１を撮像可能である。

尚、第１撮像装置５０及び、第２撮像装置６０は、互いに異なる光軸方向で作業機械４０の外観を撮像するように設置されていればよく、例えば、他の作業機械４０に搭載されている実機撮像装置４１２であってもよい。

また、第１撮像装置５０及び、第２撮像装置６０は、実施の態様に応じて適宜増設してもよい。例えば、作業機械４０が移動することが想定される場合においては、作業機械４０の移動先においても、第１撮像装置５０及び第２撮像装置６０の少なくとも一方は、その撮像領域に一対のクローラ４３０ａ、４３０ｂの側面を含ませることができるように、適宜第１撮像装置５０及び第２撮像装置６０を設置するとよい。

上記の作業支援サーバ１０、遠隔操作装置２０、作業機械４０、第１撮像装置５０及び、第２撮像装置６０の連携により発揮される作業支援システムの作業支援処理について図５に示されているフローチャートを用いて説明する。

作業支援システムは、遠隔操作装置２０の起動をトリガーとして、作業支援処理を開始する。オペレータによって、例えば、遮断レバーがＯＦＦにされると、遠隔操作装置２０は、操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２０１）。

作業支援サーバ１０は、操作信号を受信すると、第１撮像装置５０及び第２撮像装置６０に対して画像送信要求を送信する（ＳＴＥＰ１０１）。

第１撮像装置５０は、画像送信要求を受信すると、撮像した画像を作業支援サーバ１０に送信する（ＳＴＥＰ５０１）。

第２撮像装置６０は、画像送信要求を受信すると、撮像した画像を作業支援サーバ１０に送信する（ＳＴＥＰ６０１）。

作業支援サーバ１０の支援処理要素１０１は、第１撮像装置５０によって撮像された画像（第１撮像画像）及び第２撮像装置６０によって撮像された画像（第２撮像画像）を受信すると、第１撮像装置５０によって撮像された第１撮像画像又は、第２撮像装置５０によって撮像された第２撮像画像における、下部走行体の映り込み態様と、一対のクローラ４３０ａ，４３０ｂのそれぞれの前後方向のそれぞれに偏在して配置されている指定構成要素の映り込み態様と、に基づいて、当該一対のクローラ４３０ａ，４３０ｂが映り込んでいる第１撮像画像又は、第２撮像画像における下部走行体４３０の前進方向又は後退方向を推定する（ＳＴＥＰ１０２）。

支援処理要素１０１は、ＳＴＥＰ１０２の処理において、例えば、第１撮像画像に下部走行体４３０の指定構成要素である駆動部材４３１が映っている場合、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向において、当該駆動部材４３１が位置する側を第１撮像画像におけるクローラ４３０ａ、４３０ｂの後退方向として推定する。

例えば、支援処理要素１０１は、データベース１１０に格納された、予め機械学習（例えば、教師あり学習）によって構築された学習モデルを用いて、クローラ４３０ａ、４３０ｂの後退方向として推定することができる。具体的には、作業機械４０の外観を様々な角度から撮像した複数の撮像画像を用いて、クローラ４３０ａ，４３０ｂの側方が映っている各々の撮像画像について、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向における当該クローラ４３０ａ，４３０ｂの後退方向を学習させておく。

支援処理要素１０１は、当該学習モデルに第１撮像画像又は、第２撮像画像を入力して実空間におけるクローラ４３０ａ，４３０ｂの前後方向、すなわち、下部走行体４３０のクローラ４３０ａ、４３０ｂの前進方向又は、後退方向のベクトルを認識する。支援処理要素１０１は、第１撮像画像又は、第２撮像画像における下部走行体４３０の前進方向又は後退方向を推定する。

支援処理要素１０１は、ＳＴＥＰ１０２の処理において、例えば、第１撮像画像に下部走行体４３０の指定構成要素である駆動部材４３１が映っていない場合であり、かつ第２撮像画像に下部走行体４３０の駆動部材４３１が映っている場合、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向において当該駆動部材４３１が位置する側を第２撮像画像における下部走行体４３０のクローラ４３０ａ、４３０ｂの後退方向として推定する。こうすることで、第１撮像装置５０の光軸方向とクローラ４３０ａ，４３０ｂの前後方向との兼ね合いで第１撮像画像に駆動部材４３１が映っていない場合であっても、第２撮像画像から当該前後方向を推定することができる。

また、支援処理要素１０１は、作業支援サーバ１０の支援処理要素１０１は、ＳＴＥＰ１０２において推定された第１撮像画像又は、第２撮像画像における下部走行体４３０の前進方向又は後退方向を表す指標画像を、第１撮像画像、第２撮像画像及び、メイン画像の少なくとも１つの画像の作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を生成し（ＳＴＥＰ１０３）、遠隔操作装置２０に送信する（ＳＴＥＰ１０４）。

例えば、支援処理要素１０１は、第１撮像装置５０によって撮像された図６の右側画像出力装置２２１２に表示された第１撮像画像に指標画像Ｉ１を重畳した合成画像を生成する。例えば、図６においては、指標画像Ｉ１は、第１撮像画像における下部走行体４３０の前進方向を示している。

支援処理要素１０１は、例えば、第１撮像画像及び第２撮像画像に下部走行体４３０の駆動部材４３１が映っている場合、上記のＳＴＥＰ１０２の前後方向推定処理によって推定された方向に基づいて、指標画像Ｉ１，Ｉ２を重畳させた合成画像を生成することが可能である。

また、例えば、支援処理要素１０１は、一の撮像装置である第１撮像装置５０を通じて取得された第１撮像画像において下部走行体４３０の駆動部材４３１が映っていない場合、他の撮像装置である第２撮像装置６０を通じて取得された第２撮像画像における、下部走行体４３０の映り込み態様と、駆動部材４３１の映り込み態様と、に基づいて生成される、下部走行体４３０の前後方向を示す指標画像Ｉ１，Ｉ２を第１撮像画像に重畳するようにしてもよい。

すなわち、支援処理要素１０１は、ＳＴＥＰ１０２の前後方向推定処理で推定した下部走行体４３０の前後方向に対応させて、指標画像Ｉ１，Ｉ２及びＩ３を第１撮像画像、第２撮像画像及び、メイン画像のうち、少なくとも１つの撮像画像に作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を生成する。

具体的には、支援処理要素１０１は、例えば、第２撮像装置６０によって撮像された図６の左側画像出力装置２２１１に表示された第２撮像画像に指標画像Ｉ２を重畳した合成画像を生成する。さらに、支援処理要素１０１は、メインカメラ４１２によって撮像された図６の下側画像出力装置２２１３に表示されているメイン画像に指標画像Ｉ３を重畳した合成画像を生成する。

例えば、第２撮像画像に基づいて認識された下部走行体４３０の前後方向を示す指標画像を第１撮像画像に重畳させる場合には、次のようにするとよい。図７に示すように、支援処理要素１０１は、上述のＳＴＥＰ１０２の処理によって、実空間におけるクローラ４３０ｂの前進方向のベクトルＢ１を得る。

例えば、支援処理要素１０１は、当該ベクトルＢ１について座標変換を行うことにより、第１撮像画像座標系におけるベクトルＢ２を求めることができる。

具体的には、第２撮像画像座標系から第１撮像画像座標系への座標変換を表わす回転行列Ｒ及び並進行列Ｔに基づき、実空間座標系を基準としたクローラ４３０ｂの前進方向のベクトルＢ＝ＲＢ＋Ｔが計算される。回転行列Ｒ及び並進行列Ｔは、予めデータベース１１０に保存されている。回転行列Ｒ及び並進行列Ｔは、数学的にこれと等価なクォータニオンによって定義されていてもよい。

実空間におけるベクトルＢ１の始点が、第１撮像画像座標系に座標変換された結果としての点位置Ｓ１’が求められる。

第１撮像画像座標系を基準としたベクトルＢ１の始点は、ベクトル^ｐ１’＝ＤＳ１’^ｅ’（Ｓ１’）により表わされる。「^」はベクトルを意味する（以下同じ。）。「^ｅ’（Ｓ１’）」は、第１撮像画像座標系のピクセル位置Ｓ１’を通る第１撮像装置５０の視線方向を示す単位ベクトルである。

同様にして、実空間におけるベクトルＢ１の終点が、第１撮像画像座標系に座標変換された結果としての点位置Ｓ２’が求められる。

第１撮像画像座標系を基準としたベクトルＢ１の終点は、ベクトル^ｐ２’＝ＤＳ２’^ｅ’（Ｓ２’）により表わされる。「^」はベクトルを意味する（以下同じ。）。「^ｅ’（Ｓ２’）」は、第１撮像画像座標系のピクセル位置Ｓ２’を通る第１撮像装置５０の視線方向を示す単位ベクトルである。

同様にして、支援処理要素１０１は、当該ベクトルＢ１について座標変換を行うことにより、第２撮像画像座標系におけるベクトルＢ３を求めることができる。

実空間におけるベクトルＢ１の始点が、第２撮像画像座標系に座標変換された結果としての点位置Ｓ１”が求められる。

第２撮像画像座標系を基準としたベクトルＢ１の始点は、ベクトル^ｐ１”＝ＤＳ１”^ｅ’（Ｓ１”）により表わされる。「^」はベクトルを意味する（以下同じ。）。「^ｅ”（Ｓ１”）」は、第１撮像画像座標系のピクセル位置Ｓ１”を通る第２撮像装置６０の視線方向を示す単位ベクトルである。

同様にして、実空間におけるベクトルＢ１の終点が、第２撮像画像座標系に座標変換された結果としての点位置Ｓ２”が求められる。

第１撮像画像座標系を基準としたベクトルＢ１の終点は、ベクトル^ｐ２”＝ＤＳ２”^ｅ”（Ｓ２”）により表わされる。「^」はベクトルを意味する（以下同じ。）。「^ｅ”（Ｓ２”）」は、第１撮像画像座標系のピクセル位置Ｓ２”を通る第２撮像装置６０の視線方向を示す単位ベクトルである。

第１撮像画像座標系において当該座標位置Ｓ１’及びＳ２’（図７白丸参照）は、一般的にピクセル位置Ｓ０’（図７黒丸参照）に一致しない。このため、最近傍点補間法、双線形補間法又はバイキュービックスプライン法など、公知の補間方法にしたがって、基準画像座標系の各ピクセル位置Ｓ０’に対して、座標位置Ｓ０”に対応する距離ＺＳ”に基づいて定まる距離（実点距離）Ｚｓが割り当てられる。

このようにして、実空間座標系のベクトルＢ１が、第１撮像画像座標系に座標変換された結果としてのベクトルＢ２が求められる。尚、このような合成画像の生成は、同様にして、下部走行体４３０の前後方向を示す指標画像をメイン画像に重畳させることができる。

遠隔操作装置２０は、受信した合成画像を、画像出力装置２２１に表示する（ＳＴＥＰ２０２）。尚、合成画像は、画像出力装置２２１の任意の画像出力装置に表示させることができ、例えば、中央画像出力装置２２１０、左側画像出力装置２２１１、右側画像出力装置２２１２、下側画像出力装置２２１３のいずれの画像出力装置に表示させてもよい。

例えば、図６に示す表示例においては、中央画像出力装置２２１０は、左右に２分割された画面の領域を有し、左側の画面の領域にはアタッチカメラ４１２ｂによって撮像されたバケット４６５の拡大画像が表示されている。また、中央画像出力装置２２１０の右側の画面領域には、後方カメラ４１２ｃによって撮像された後方画像が表示されている。

右側画像出力装置２２１２には、第１撮像装置５０によって撮像された第１撮像画像に指標画像Ｉ１が重畳された合成画像が表示されている。

左側画像出力装置２２１１には、第２撮像画像６０によって撮像された第２撮像画像に指標画像Ｉ２が重畳された合成画像が表示されている。

下側画像出力装置２２１３には、メインカメラ４１２ａによって撮像されたメイン画像に指標画像Ｉ３が重畳された合成画像が表示されている。

尚、指標画像Ｉ１，Ｉ２，Ｉ３の表示態様は、下部走行体４３０の前方方向を示すものに限られず、例えば、下部走行体４３０の後退方向を示していてもよい。また、指標画像Ｉ１，Ｉ２，Ｉ３は、下部走行体４３０の前進方向及び後退方向を示す両矢印で示されてもよい。このように、指標画像Ｉ１，Ｉ２，Ｉ３を両矢印で示した場合、前進方向及び後退方向を相互に識別可能な態様で示すとよい。例えば、指標画像Ｉ１，Ｉ２，Ｉ３を両矢印で示す場合、前進方向を示し、後退方向を破線で示すとよい。

また、合成画像における指標画像は、重畳させる画像に映り込んでいるクローラ４３０ａ，４３０ｂの位置、大きさ等に応じて、適宜サイズ等を調整するとよい。例えば、図８に示すように、右側画像出力装置２２１２の第１撮像画像に映っている作業機械４０よりも、左側画像出力装置２２１１の第２撮像画像に映っている作業機械４０の方が小さい場合、第２撮像画像のクローラ４３０ａ，４３０ｂの大きさや、幅に応じて指標画像Ｉ２のサイズを指標画像Ｉ１よりも小さく調整して重畳させるとよい。

このように、支援処理要素１０１は、指標画像Ｉ１，Ｉ２，Ｉ３を合成画像におけるクローラ４３０ａ，４３０ｂのサイズ及び合成画像におけるクローラ４３０ａ，４３０ｂの位置に応じて生成するようにするとよい。

尚、複数の作業機械４０が互いに近接して配置されている場合は、操作対象となる作業機械４０を特定した上で上記の作業支援処理を行うとよい。

例えば、図９に示すように、作業支援システムは、遠隔操作装置２０の起動をトリガーとして、作業支援処理を開始する。オペレータによって、例えば、遮断レバーがＯＦＦにされると、遠隔操作装置２０は、操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２１１）。

作業支援サーバ１０は、操作信号を受信すると、操作対象となる作業機械４０に対して実空間の位置情報の送信を要求する（ＳＴＥＰ１１１）。

作業機械４０は、実空間の位置情報送信要求を受信すると、ＧＮＳＳ（Global Navigation Satellite System）を通じて実空間の位置情報を取得し（ＳＴＥＰ４１１）、作業支援サーバ１０に実空間の位置情報及び、自身の作業機械の識別情報である号機情報（例えば、Ａ号機等の識別記号、製造番号等の識別番号等）と共に送信する（ＳＴＥＰ４１２）。

作業支援サーバ１０は、実空間の位置情報を受信すると、作業機械４０の周囲に配置されている撮像装置の実空間の位置情報を参照して作業機械４０を撮像可能な撮像装置を選択し、当該選択によって選択された１の撮像装置である、例えば、第１撮像装置５０に対して画像送信要求を送信する（ＳＴＥＰ１１２）。

第１撮像装置５０は、画像送信要求を受信すると、撮像した第１撮像画像を作業支援サーバ１０に送信する（ＳＴＥＰ５１１）。

作業支援サーバ１０の支援処理要素１０１は、第１撮像画像を受信すると、予めデータベース１１０に登録されている第１撮像装置５０の実空間の設置位置及び、第１撮像画像に映り込んでいる作業機械４０の位置に基づいて、作業機械４０の実空間の位置を推定する（ＳＴＥＰ１１３）。

作業支援サーバ１０の支援処理要素１０１は、作業機械４０から送信された実空間の位置情報と、ＳＴＥＰ１１３において推定した作業機械４０の実空間の位置（位置情報）が一致しているか否かを判定する（ＳＴＥＰ１１４）。

ＳＴＥＰ１１４における判定は、例えば、支援処理要素１０１が、第１撮像装置５０の実空間の位置情報と、第１撮像装置５０の光軸方向とを、取得する。支援処理要素１０１は、第１撮像装置５０の光軸方向に基づいて、第１撮像装置５０の設置位置からみた作業機械４０が配置されている方向を推定する。支援処理要素１０１は、当該推定した作業機械４０の方向における実空間の位置情報を所定の範囲内（例えば、第１撮像装置５０から２００ｍ以内、かつ当該方向の中心から半径２０ｍ以内）で算出する。支援処理要素１０１は、当該算出した複数の実空間の位置情報に、作業機械４０から送信された実空間の位置情報と一致する位置情報が含まれているか否かによって判定する。

支援処理要素１０１は、ＳＴＥＰ１１４において、２つの位置情報が一致すると判定した場合（ＳＴＥＰ１１４：ＹＥＳ）、当該作業機械４０を操作対象となる作業機械４０として認識し（ＳＴＥＰ１１５）、合成画像を遠隔操作装置２０に送信する（ＳＴＥＰ１１６）。

すなわち、支援処理要素１０１は、操作対象の候補となる作業機械４０の実空間の位置情報を取得し、かつ第１撮像画像から算出される作業機械４０の位置及び、操作対象の候補となる作業機械４０の実空間の位置情報が合致する場合、操作対象の候補となる作業機械４０を操作対象となる作業機械４０として認識する。

遠隔操作装置２０は、受信した合成画像を、画像出力装置２２１に表示する（ＳＴＥＰ２１２）。

また、支援処理要素１０１は、ＳＴＥＰ１１４において、２つの実空間の位置情報が一致しないと判定した場合（ＳＴＥＰ１１４：ＮＯ）、ＳＴＥＰ１１２に戻り、ＳＴＥＰ１１４において、２つの実空間の位置情報が一致するまで処理が繰り返される。

以上の実施例の説明では、作業支援サーバ１０によって作業支援処理が実行される説明をした。しかし、作業支援処理は、遠隔操作装置２０によって行われてもよいし、作業機械４０によって行われてもよい。

以上の実施例の説明では、支援処理要素１０１は、ＳＴＥＰ１０２の処理において、第１撮像画像に下部走行体４３０の指定構成要素である駆動部材４３１が映っていない場合、第２撮像画像から前後方向を推定するようにしていたが、これに限られない。例えば、第１撮像画像において、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向において指定構成要素が配されていない側を前方として推定するようにしてもよい。具体的には、支援処理要素１０１は、第１撮像画像に下部走行体４３０の前後方向に偏在した箇所（クローラ４３０ａ，４３０ｂの前後方向において指定構成要素が配されていない側の端部）が映っている場合であって、下部走行体４３０の指定構成要素である駆動部材４３１が映っていない場合、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの前後方向において当該偏在した箇所が位置する側（駆動部材４３１がない側）を第１撮像画像おける下部走行体４３０のクローラ４３０ａ、４３０ｂの前進方向として推定するようにしてもよい。こうすることで、第１撮像画像において駆動部材４３１等の指定構成要素が障害物等により隠れていることで映っていない場合であっても、当該前後方向を推定することができる。

また、支援処理要素１０１は、データベース１１０に格納された、予め機械学習（例えば、教師あり学習）によって構築された学習モデルを用いて、クローラ４３０ａ、４３０ｂの後退方向として推定することができる旨を説明した。クローラ４３０ａ，４３０ｂの前後方向の推定は、このような態様に限られず、例えば、支援処理要素１０１は、クローラ４３０ａ，４３０ｂを側方から見た際の当該クローラ４３０ａ，４３０ｂの見かけ上の形状に基づいて下部走行体４３０の前進方向又は後退方向のベクトルの傾きを認識するようにしてもよい。

具体的には、支援処理要素１０１は、図１０のように、第１撮像画像において、クローラ４３０ａ，４３０ｂのどちらかの側方のみが映り込んでいる場合には第１撮像装置５０の光軸ＡＸ１に対して垂直な方向に当該ベクトルの傾きがあると認識する。

また、図１１のように、第１撮像画像において、クローラ４３０ａ，４３０ｂの両方を認識しクローラ４３０ａの一端側に重なるように映り込んでいる（一方のクローラ４３０ａの外側の側面と、他方のクローラ４３０ｂの内側の側面が映り込んでいる）場合には、第１支援処理要素１０１は第１撮像装置５０の光軸ＡＸ１に対して傾きがあるベクトルであると認識する。

具体的には、図１１に示される例においては、第１支援処理要素１０１は、第１撮像装置５０の光軸ＡＸ１方向から見てクローラ４３０ａとクローラ４３０ｂとが重なる一端側（図１１の第１撮像画像において、右側であり、クローラ４３０ａ及びクローラ４３０ｂの延在方向の一端側）が第１撮像装置５０の光軸ＡＸ１に対して比較的手前側（図１１の第１撮像画像において、下側）に位置し、クローラ４３０ａの一端側の反対側である他端側（図１１の第１撮像画像において、左側であり、クローラ４３０ａ及びクローラ４３０ｂの延在方向の他端側）が第１撮像装置５０の光軸に対して比較的奥側（図１１の第１撮像画像において、上側）に位置するように当該ベクトルの傾きがあると認識する。

図１２のように、第１撮像画像において第１支援処理要素１０１がクローラ４３０ａ，４３０ｂの両方を認識しかつクローラ４３０ａ，４３０ｂが重ならないように映り込んでいる場合（クローラ４３０ａ、４３０ｂの正面方向又は背面方向が映り込んでいる場合）には、第１支援処理要素１０１は、第１撮像装置５０の光軸ＡＸ１に沿う方向又は当該光軸ＡＸ１と反対の方向に沿う方向に当該ベクトルの傾きがあると認識する。

第１支援処理要素１０１は、以上のような処理を行うことによってクローラ４３０ａ、４３０ｂの後退方向として推定することができる。

１０‥作業支援サーバ
１０１‥第１支援処理要素
１０２‥第２支援処理要素
２０‥遠隔操作装置
４０‥作業機械
４３０‥下部走行体
４３０ａ、４３０ｂ‥クローラ
４５０‥上部旋回体

Claims (5)

1. 下部走行体及び前記下部走行体に対して旋回可能な上部旋回体を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、
   前記作業機械の周囲に配置された撮像装置を通じて取得された撮像画像における、前記下部走行体の映り込み態様と、前記下部走行体の前後方向に偏在して配置されている指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向の少なくとも一方を示す指標画像を前記撮像画像における前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する支援処理要素と、
   を有することを特徴とする遠隔操作システム。
2. 前記撮像装置は、前記作業機械からみた方角が相互に異なる位置に複数配置され、
   前記支援処理要素は、一の前記撮像装置を通じて取得された一の前記撮像画像において下部走行体の指定構成要素が映っていない場合、他の前記撮像装置を通じて取得された他の前記撮像画像における、前記下部走行体の映り込み態様と、前記指定構成要素の映り込み態様と、に基づいて生成される、前記下部走行体の前後方向を示す指標画像を前記撮像画像に重畳する請求項１に記載の遠隔操作システム。
3. 前記支援処理要素は、前記他の撮像画像の画像座標、前記一の撮像装置が配置されている位置及び、前記一の撮像画像の撮像領域に基づいて、前記一の撮像画像に前記指標画像を重畳した前記合成画像を前記遠隔操作装置に送信する請求項２に記載の遠隔操作システム。
4. 前記作業機械の前記下部走行体は、左右一対のクローラを有し、
   前記支援処理要素は、前記指標画像を前記合成画像における前記クローラのサイズ及び前記合成画像における前記クローラの位置に応じて生成する請求項３に記載の遠隔操作システム。
5. 前記作業機械は、互いに近接して複数台配置され、
   前記支援処理要素は、操作対象の候補となる前記作業機械の実空間の位置情報を取得し、かつ前記撮像画像から算出される前記作業機械の位置及び、前記操作対象の候補となる前記作業機械の実空間の前記位置情報が合致する場合、前記操作対象の候補となる前記作業機械を操作対象となる前記作業機械として認識する請求項１乃至４のいずれかに記載の遠隔操作システム。

Images