JP2022152338A - 作業支援システムおよび作業支援複合システム - Google Patents

Abstract

【課題】オペレータの操作に応じて動作している作業機械が、オペレータによって選択された作業機械と一致しているかを確認することが可能な遠隔操作システムを提供する。【解決手段】遠隔操作システムは、複数の作業機械と、当該複数の作業機械のうち遠隔操作対象となる一の作業機械である連携作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する。遠隔操作システムは、第１通信経路によって通信が確立される第１作業機械の実機撮像装置によって撮像された撮像画像を取得し、撮像画像を遠隔操作装置に送信する第１支援処理要素と、第２通信経路によって通信が確立される第２作業機械を動作させるための複数の操作のうちの一部であり、かつ撮像画像に当該操作に応じた変化態様が映り込むような一の指定操作がなされたことを認識し、一の指定操作に応じた指令信号を第２作業機械に送信する第２支援処理要素と、を有する。【選択図】図１

Description

本発明は、複数の作業機械と、当該複数の作業機械のうち遠隔操作対象となる一の作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムに関する。

従来、オペレータが作業機械に搭乗せずに、作業機械を遠隔から操作することが行われている。このような作業機械としては、例えば、マスターとスレーブが互いに通信可能に設けられ、マスターに設けられた操作レバーをオペレータが操作することにより、作業機械の運転席に配置されたスレーブが作業機械の操作レバーを操作する遠隔操作システムが特許文献１に開示されている。

特開２０１９－１７６４０１号公報

ところで、１のマスターで２以上の作業機械を遠隔操作する場合、マスターと、作業機械の各々に設けられたスレーブと、を互いに通信可能に接続する必要がある。

また、オペレータは、操作対象となる作業機械の周囲の画像をマスターのモニターで見ながら操作レバー等を操作して遠隔操作を行う。

しかしながら、マスターのモニターに表示されている画像が、操作対象とは異なる作業装置の周囲の画像である場合がある。オペレータが作業機械に実際に搭乗する場合には、乗る前に作業機械の外観や作業機械の位置する現場の様子を確認できるが、作業機械を遠隔操作する場合にはこのような確認ができない。このため、オペレータは、意図しない作業機械（異なるスレーブ）に遠隔操作装置が接続されたことに気づきにくい。作業機械に搭載されたカメラの映像により確認しようとしても、これらの映像は似通った映像であり区別がつきにくい。このような場合に、遠隔操作が行われると、オペレータが操作対象として認識していない作業機械に対して操作が行われる可能性がある。

本発明は、かかる問題に鑑みてなされたものであり、オペレータの操作に応じて動作している作業機械が、オペレータによって選択された作業機械と一致しているかを確認することが可能な遠隔操作システムを提供することを目的とする。

かかる目的を達成するため本発明の遠隔操作システムは、複数の作業機械と、当該複数の作業機械のうち遠隔操作対象となる一の作業機械である連携作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、前記複数の作業機械のうち遠隔操作対象として前記遠隔操作装置において前記連携作業機械を特定する選択情報の指定操作が実行されたか否かの判定結果及び、前記遠隔操作装置において前記選択情報が選択された場合に、当該選択情報と紐づけられた第１通信経路によって前記遠隔操作装置との通信が確立される第１作業機械に搭載されている実機撮像装置によって撮像された撮像画像を取得し、前記撮像画像を前記遠隔操作装置の出力インターフェースに出力させる第１支援処理要素と、前記複数の作業機械のうち、前記選択情報と紐づけられた第２通信経路によって前記遠隔操作装置との通信が確立される第２作業機械を動作させるための複数種類の操作のうちの一部であり、かつ前記撮像画像に当該操作に応じた動作の変化態様が映り込むような一の指定操作がなされたことを認識し、当該一の指定操作に応じた指令信号を前記第２作業機械に送信する第２支援処理要素と、を有することを特徴とする。

本発明の遠隔操作システムによれば、連携作業機械を特定する選択情報に基づいて、第１作業機械に搭載されている実機撮像装置によって撮像された撮像画像が第１通信経路を経由して取得され、一の指定操作に応じた指令信号が第２作業機械に送信される。したがって、オペレータは、撮像画像を通して、第２作業機械に対して行った一の指定操作に応じて第１作業機械が動作するか否か、すなわち遠隔操作対象となる連携作業機械に対して行った操作が当該連携作業機械において行われた否かを確認することができる。これにより、オペレータは、遠隔操作対象となる作業機械との接続状況を確認することができる。

本発明の遠隔操作システムにおいて、前記第２支援処理要素は、解除条件が満たされない場合に、前記連携作業機械を動作させるための他の指定操作に応じた指令信号の前記第２作業機械への送信を保留し、前記解除条件が満たされる場合に、前記携作業機械を動作させるための他の指定操作に応じた指令信号の前記第２作業機械への送信を許容し、前記解除条件は、前記遠隔操作装置において解除操作がなされたことを含むことが好ましい。

このような態様によれば、オペレータが遠隔操作対象となる作業機械との接続状況を確認するまでの間、他の指定操作により作業機械が稼働することを防止できる。オペレータが接続状況の確認後には、他の指定操作を含む操作により作業機械を遠隔操作できる。

本発明の遠隔操作システムにおいて、前記第２操作支援処理要素は、前記一の指定操作が実行されたか否かの判定結果を取得し、前記一の指定操作が実行された場合、前記連携作業機械を動作させるための他の指定操作を許容し、当該他の指定操作に応じた指令信号を前記第２作業機械に送信することが好ましい。

このような態様によれば、一の指定操作が実行されたことを条件として、遠隔操作対象となる作業機械に対して他の指定操作を許容することができる。

本発明の遠隔操作システムにおいて、前記第２支援処理要素は、解除条件が満たされない場合に、前記携作業機械を動作させるための他の指定操作に応じた指令信号の前記第２作業機械への送信を保留し、前記解除条件が満たされる場合に、記携作業機械を動作させるための他の指定操作に応じた指令信号の前記第２作業機械への送信を許容し、前記解除条件は、前記一の指定操作が実行された場合に、第２支援処理要素が前記撮像画像に当該一の指定操作に応じた動作の変化態様があるか否かの判定結果を取得し、当該一の指定操作に応じた動作の変化態様があることを含むことが好ましい。

このような態様によれば、遠隔操作対象となる作業機械との接続状況が自動的に判断されるので、オペレータの確認作業を軽減することができる。

本発明の遠隔操作システムにおいて、前記第１操作支援処理要素は、遠隔操作対象となる前記複数の作業機械位置データを取得し、前記第２操作支援処理要素は、前記複数の位置データに基づいて前記複数の作業機械の各々が映り込む表示画像を生成し、前記表示画像を前記遠隔操作装置に送信することが好ましい。

このような態様によれば、オペレータは、表示画像において、遠隔操作対象となる複数の作業機械の各々が映り込んだ様子を確認できるので、各作業機械の作業現場における相対的な位置を認識することができる。

本発明の一実施形態としての作業支援複合システムの構成説明図である。 作業支援サーバのデータベースに格納されたデータ構造の例を示す説明図である。 遠隔操作装置の構成に関する説明図である。 遠隔操作装置の画面表示の例を示す説明図である。 作業機械の構成に関する説明図である。 実機撮像装置による撮影された画像の例を示す説明図である。 作業支援サーバによる手元端末の表示処理の例を示すフローチャートである。 作業支援サーバによる作業支援処理の例を示すフローチャートである。

（遠隔操作システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、遠隔操作装置２０による第１被選択作業機械４０及び、第２被選択作業機械５０の遠隔操作を支援するための作業支援サーバ１０により構成されている。作業支援サーバ１０と、遠隔操作装置２０、第１被選択作業機械４０、第２被選択作業機械５０のそれぞれとは共通のまたは別個のネットワークを介して相互に通信可能に構成されている。尚、本図においては、作業支援サーバ１０は、第１被選択作業機械４０又は、第２被選択作業機械５０と接続可能にされているが、作業支援サーバ１０は２台以上の作業機械と接続可能であればよく、その接続台数に制限はない。また、遠隔操作装置２０によって操作される第１被選択作業機械４０及び、第２被選択作業機械５０のうちいずれかを連携作業機械とも称する。

本実施形態においては、作業支援サーバ１０を、複数の被選択作業機械と、当該複数の被選択作業機械のうち遠隔操作対象となる連携作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムとして説明する。また、本実施形態においては、作業支援サーバ１０、遠隔操作装置２０、第１被選択作業機械４０及び、第２被選択作業機械５０によって複合システムを構成した作業支援システムの例を説明する。

本発明の構成要素（ハードウェア）が、各種情報を「取得する」とは、当該情報を受信すること、当該指定情報を内部記憶装置（例えば、メモリ）および／または外部記憶装置（例えば、外部のデータベースサーバ）から読み取るまたは検索すること、受信、読み取り、検索等された情報を対象にして演算処理を実行することにより指定情報を算定、推定、予測、同定等すること、など、各種情報を後続の演算処理において利用可能な形態で準備するためのあらゆる演算処理を包含する概念である。

（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。

データベース１０２は、図２に示すように、第１被選択作業機械４０に搭載されている実機撮像装置４１２並びに、第２被選択作業機械５０に搭載されている実機撮像装置５１２の通信経路（第１通信経路）に割り当てられ、ネットワーク上で作業機械を識別するための第１識別子（識別子Ａ－１、識別子Ｂ－１、識別子Ｃ－１）（第１識別子は、例えば、作業機械の機器ごとに割り当てられた第１ＩＰアドレス）、第１被選択作業機械４０の操作系並びに、第２被選択作業機械５０の操作系の通信経路（第２通信経路）に割り当てられネットワーク上で作業機械を識別するための第２識別子（識別子Ａ－２、識別子Ｂ－２、識別子Ｃ－２）（第２識別子は、例えば作業機械の機器ごとに割り当てられた第２ＩＰアドレス）、及び、第１被選択作業機械４０並びに、第２被選択作業機械５０毎に割り当てられている各識別子に対応する作業機械の情報を含む実機識別情報を保持している。また、データベース１０２は、各々の作業機械から順次送信された位置情報をＧＮＳＳ（global navigation satellite system）データとして格納している。

さらに、データベース１０２は、各々の位置情報を含む領域の地図データ（図示せず）を格納している。尚、データベース１０２に格納された地図データは、作業現場ごとに区分けして複数格納されるとよい。例えば、複数の地図データは、オペレータによって選択された作業現場に応じた地図データが参照可能に格納されるとよい。

第１支援処理要素１２１及び第２支援処理要素１２２は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１と、手元端末２２４０と、を備えている。遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、遠隔音響出力装置２２２と、遠隔無線通信機器２２４と、手元端末２２４０と、を備えている。手元端末２２４０は、遠隔入力インターフェース２１０および遠隔出力インターフェース２２０の両方を兼ねる。

遠隔操作機構２１１には、第１被選択作業機械４０又は、第２被選択作業機械５０のフロントガラスの外面に付着した雨水などの水滴を払拭するワイパー用操作装置、第１被選択作業機械４０又は、第２被選択作業機械５０の前方を投光可能なヘッドライト用操作装置等の、一の指定操作を行うための一の指定操作用操作装置が含まれている。

尚、一の指定操作は、作業機械の作業を補助するものであることが好ましい。一の指定操作は、例えば、ワイパー装置等の操作、ヘッドライト、ストップランプ、室内灯等の灯火類の装置に対する操作、等の操作に関するものであることが好ましい。尚、撮像画像に音声が含まれている場合は、一の指定操作は、ブザーや、起動音を出力する音声出力装置に対する操作に関するものであってもよい。

一の指定操作用操作装置は、例えば、押下により入力を受け付けるプッシュボタンを有している。ワイパー用操作装置（プッシュボタン）は、押下されることにより、第１被選択作業機械４０又は、第２被選択作業機械５０のワイパーを動作の開始又は、停止させる。また、ヘッドライト用操作装置（プッシュボタン）は、押下されることにより、第１被選択作業機械４０又は、第２被選択作業機械５０のヘッドライトの点灯の開始又は、停止させる。

また、遠隔操作機構２１１には、第１被選択作業機械４０又は、第２被選択作業機械５０の走行に関する操作を受け付ける走行用操作装置と、第１被選択作業機械４０又は、第２被選択作業機械５０の旋回に関する操作を受け付ける旋回用操作装置と、第１被選択作業機械４０又は、第２被選択作業機械５０のブームに関する操作を受け付けるブーム用操作装置と、第１被選択作業機械４０又は、第２被選択作業機械５０のアームに関する操作を受け付けるアーム用操作装置と、第１被選択作業機械４０又は、第２被選択作業機械５０のバケット等のアタッチメントに関する操作を受け付けるバケット用操作装置と、が含まれている。言い換えれば、遠隔操作機構２１１には、他の指定操作を行うための他の指定操作用操作装置が含まれている。このように、他の指定操作には、例えば、当該操作を連携作業機械にさせた場合に、連携作業機械の周囲に存在する物体と当該連携作業機械との干渉の可能性がある動作を含む。

他の指定操作用装置は、回動操作を受ける操作レバーを有している。例えば、走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図３に示されているように、オペレータＯＰ１が着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータＯＰ１が着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータＯＰ１の操作指示によって任意に変更されてもよい。

手元端末２２４０は、例えば図３に示されているように、シートＳｔの着座位置から見て右斜め前方に設置される表示装置である。手元端末２４２０は、例えば、タッチパネル等の入力手段を有する。手元端末２２４０は、例えば、図４に示すように、タッチパネル等の入力手段により、遠隔操作装置２０と接続する第１被選択作業機械４０又は、第２被選択作業機械５０を選択可能となっている。手元端末２４２０は、その表示画面および入力面がシートＳｔ側に向けられている。手元端末２２４０は、表示画面の角度調整が可能に構成されてもよい。

具体的には、図４に示されるように、手元端末２４２０の表示画面において、その上欄２２４０１に接続される候補である複数の作業機械Ａ～Ｃの画像が表示されており、その下蘭２２４０２に外枠で囲われた作業機械Ａ～Ｃが表示されている。上欄２２４０１には、複数の作業機械Ａ～Ｃの位置関係を示すマップが表示され、下蘭２２４０２には各作業機械Ａ～Ｃの号機番号（実機識別情報）や仕様等が表示される。上欄２２４０１又は、下蘭２２４０２の作業機械Ａ～Ｃの画像のいずれかがオペレータＯＰ１によってタップされ、遠隔操作装置２０と接続する作業機械が選択されると、下蘭２２４０２において当該タップにより選択された作業機械Ａ～Ｃの表示形態（外枠の色、外枠の枠線の太さ、作業機械のアイコンの点滅、背景色等）を非選択作業機械と識別可能に変更されるようになっている。

遠隔画像出力装置２２１は、例えば図３に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。手元端末２２４０は、例えば、図４に示すように、手元端末２２４０等の入力手段により、遠隔操作装置２０と接続する第１被選択作業機械４０又は、第２被選択作業機械５０を選択可能となっている。

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

遠隔音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図３に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央遠隔音響出力装置２２２０、左側遠隔音響出力装置２２２１および右側遠隔音響出力装置２２２２により構成されている。中央遠隔音響出力装置２２２０、左側遠隔音響出力装置２２２１および右側遠隔音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

（第１被選択作業機械の構成）
図１に示されているように、第１被選択作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、測位装置４６０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

測位装置４６０は、第１被選択作業機械４０の位置を検出する装置であり、例えば、ＧＮＳＳ受信機（ＧＮＮＳ：Global Navigation Satellite System）により構成される。測位装置４６０により検出される第１被選択作業機械４０の位置情報は、作業支援サーバ１０に定期的に送信されデータベース１０２に格納される。

第１被選択作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（建設機械）であり、図５に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業機構４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、実機状態センサ群４１４と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数のプッシュボタン及び複数の操作レバーを備えている。

複数のプッシュボタン及び複数の操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作ボタン及び実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。

実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウ（またはウィンドウフレーム）およびサイドウィンドウのうち一部または全部が省略されていてもよい。

実機撮像装置４１２は、第１被選択作業機械４０に割り当てられた実機識別情報に対応する実機識別情報（図６において、Ｎｏ．△△）が記載されたステッカーＳＴを含むように撮像する。実機識別情報が記載されたステッカーＳＴは、例えば、第１被選択作業機械４０又は、第２被選択作業機械５０のフロントウィンドウに貼付されている。実機撮像装置４１２によって撮像された画像は、作業支援サーバ１０に順次送信される。尚、実機識別情報は、ステッカーＳＴに限られず、例えばプレートに刻印されてもよいし、第１被選択作業機械４０のフレームに刻印されてもよい。

キャブ４２４には、フロントウィンドウについた水滴を払拭するワイパー装置及び、前方を投光可能なヘッドライト装置が設けられている。撮像画像には、ワイパー装置やヘッドライト等の一の指定操作によって変化する変化態様が映り込むように実機撮像装置４１２が設置されている。

実機状態センサ群４１４は、上部旋回体４１０に対するブーム４４１の回動角度（起伏角度）、ブーム４４１に対するアーム４４３の回動角度、および、アーム４４３に対するバケット４４５の回動角度のそれぞれを測定するための角度センサ、下部走行体４１０に対する上部旋回体４２０の旋回角度を測定するための旋回角度センサ、バケット４４５に対して作用する外力を測定するための外力センサ、上部旋回体４２０に作用する３軸加速度を測定するための３軸加速度センサ等により構成されている。

実機出力インターフェース４２は、実機画像出力装置４２１と、実機無線通信機器４２２と、を備えている。実機画像出力装置４２１は、例えば、キャブ４２４の内部であってフロントウィンドウの近傍に配置されている。実機画像出力装置４２１は、省略されていてもよい。

作動機構としての作業機構４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業機構４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。作業部として、バケット４４５のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（第２被選択作業機械の構成）
図１に示されているように、第２被選択作業機械５０は、実機制御装置５００と、実機入力インターフェース５１と、実機出力インターフェース５２と、測位装置５６０と、を備えている。実機制御装置５００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

測位装置５６０は、第２被選択作業機械５０の位置を検出する装置であり、例えば、ＧＮＳＳ受信機（ＧＮＮＳ：Global Navigation Satellite System）により構成される。測位装置５６０により検出される第２被選択作業機械５０の位置情報は、作業支援サーバ１０に定期的に送信されデータベース１０２に格納される。

第２の作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（建設機械）であり、図５に示されているように、クローラ式の下部走行体５１０と、下部走行体５１０に旋回機構５３０を介して旋回可能に搭載されている上部旋回体５２０と、を備えている。上部旋回体５２０の前方左側部にはキャブ５２４（運転室）が設けられている。上部旋回体５２０の前方中央部には作業機構５４０が設けられている。

実機入力インターフェース５１は、実機操作機構５１１と、実機撮像装置５１２と、実機状態センサ群５１４と、を備えている。実機操作機構５１１は、キャブ５２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数のプッシュボタン及び複数の操作レバーを備えている。

複数のプッシュボタン及び複数の操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作ボタン及び実機操作レバーを動かす駆動機構またはロボットがキャブ５２４に設けられている。

実機撮像装置５１２は、例えばキャブ５２４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構５４０の少なくとも一部を含む環境を撮像する。フロントウィンドウ（またはウィンドウフレーム）およびサイドウィンドウのうち一部または全部が省略されていてもよい。

実機撮像装置５１２は、第２被選択作業機械５０に割り当てられた実機識別情報が記載されたステッカーＳＴを含むように撮像する。実機識別情報が記載されたステッカーＳＴは、例えば、第２被選択作業機械５０のフロントウィンドウに貼付されている。実機撮像装置５１２によって撮像された画像は、作業支援サーバ１０に順次送信されデータベース１０２に格納される。尚、実機識別情報は、ステッカーＳＴに限られず、例えばプレートに刻印されてもよいし、第２被選択作業機械５０のフレームに刻印されてもよい。

キャブ５２４には、フロントウィンドウについた水滴を払拭するワイパー装置及び、前方を投光可能なヘッドライト装置が設けられている。撮像画像には、ワイパー装置やヘッドライト等の一の指定操作によって変化する変化態様が映り込むように実機撮像装置５１２が設置されている。

実機状態センサ群５１４は、上部旋回体５１０に対するブーム５４１の回動角度（起伏角度）、ブーム５４１に対するアーム５４３の回動角度、および、アーム５４３に対するバケット５４５の回動角度のそれぞれを測定するための角度センサ、下部走行体５１０に対する上部旋回体５２０の旋回角度を測定するための旋回角度センサ、バケット５４５に対して作用する外力を測定するための外力センサ、上部旋回体５２０に作用する３軸加速度を測定するための３軸加速度センサ等により構成されている。

実機出力インターフェース５２は、実機画像出力装置５２１と、実機無線通信機器５２２と、を備えている。実機画像出力装置５２１は、例えば、キャブ５２４の内部であってフロントウィンドウの近傍に配置されている。実機画像出力装置５２１は、省略されていてもよい。

作動機構としての作業機構５４０は、上部旋回体５２０に起伏可能に装着されているブーム５４１と、ブーム５４１の先端に回動可能に連結されているアーム５４３と、アーム５４３の先端に回動可能に連結されているバケット５４５と、を備えている。作業機構５４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ５４２、アームシリンダ５４４およびバケットシリンダ５４６が装着されている。作業部として、バケット５４５のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。

ブームシリンダ５４２は、作動油の供給を受けることにより伸縮してブーム５４１を起伏方向に回動させるように当該ブーム５４１と上部旋回体５２０との間に介在する。アームシリンダ５４４は、作動油の供給を受けることにより伸縮してアーム５４３をブーム５４１に対して水平軸回りに回動させるように当該アーム５４３と当該ブーム５４１との間に介在する。バケットシリンダ５４６は、作動油の供給を受けることにより伸縮してバケット５４５をアーム５４３に対して水平軸回りに回動させるように当該バケット５４５と当該アーム５４３との間に介在する。

（手元端末２２４０の表示処理）

作業支援サーバ１０、遠隔操作装置２０及び、遠隔操作装置２０と接続される候補である複数の作業機械Ａ～Ｃ（図７において、第１通信作業機械、第２通信作業機械）の連携により発揮される作業支援システムの表示処理について図７に示されているフローチャートを用いて説明する。

表示処理は、遠隔操作装置２０の起動をトリガーとして開始する。オペレータＯＰ１によって遠隔操作装置２０が起動されると、遠隔操作装置２０は、遠隔操作装置２０が起動したという情報である起動情報を生成し、作業支援サーバ１０及び作業機械Ａ～Ｃに送信する（ステップＳ２０１）。

作業機械Ａ～Ｃの各々は、起動情報の受信をトリガーとして、処理を開始する。作業機械Ａ～Ｃの各々は、起動情報を受信すると、定期的に作業支援サーバ１０に位置情報を取得し（ステップＳ４０１）、取得した位置情報を作業支援サーバ１０に送信する（ステップＳ４０２）。

作業支援サーバ１０は、起動情報の受信をトリガーとして、処理を開始する。作業支援サーバ１０は、作業機械Ａ～Ｃ各々のから送信された位置情報をデータベース１０２を参照して取得し、表示画像を生成する（ステップＳ１０１）。

当該表示画像は、ステップＳ１０１において作業機械Ａ～Ｃの各々の位置情報及び地図データに基づいて生成される。尚、地図データは、作業現場の地図情報や航空写真等を基に作成される。表示画像は、例えば、地図データ上の各位置情報に対応する各位置に第１被選択作業機械４０及び、第２被選択作業機械５０を示すアイコンを重畳させることで生成される。地図データの縮尺は、実施の態様に応じて適宜変更することができ、いずれの縮尺においても接続可能な各作業機械の位置情報が含まれるようにするとよい。

作業支援サーバ１０は、ステップＳ１０１において生成した表示画像を遠隔操作装置２０に送信する（ステップＳ１０２）。

遠隔操作装置２０は、表示画像を受信すると、例えば、図４に示すように、手元端末２２４０の表示画面の上欄２２４０１に表示画像を出力して表示画像を表示し（ステップＳ２０２）、例えば、遠隔操作装置２０の起動が終了すると処理を終了する。

ステップＳ２０２における表示画像の表示処理は、遠隔操作装置２０と接続する候補である第１被選択作業機械４０や、第２被選択作業機械５０を選択可能に手元端末２２４０の表示画面の上欄２２４０１に表示するとよい。このように、表示画像が俯瞰的に示されることによって、オペレータＯＰ１は、接続される候補である複数の作業機械Ａ～Ｃの作業現場における位置を認識することが可能となる。

（作業支援処理）
前記構成の作業支援サーバ１０、遠隔操作装置２０、第１被選択作業機械４０及び第２被選択作業機械５０の連携により発揮される作業支援システムの作業支援処理について、図８に示されているフローチャートを用いて説明する。

作業支援システムは、遠隔操作装置２０の表示処理のステップＳ２０２の処理の実行をトリガーとして、作業支援処理を開始する。オペレータＯＰ１は、例えば、接続する候補である第１被選択作業機械４０又は、第２被選択作業機械５０を手元端末２２４０に表示される作業機械の画像をタッチすることにより選択する。遠隔操作装置２０は、オペレータＯＰ１によって、遠隔操作装置２０と接続する作業機械の選択が行われたか、すなわち、指定操作がされた否かを判定する（ステップＳ２１１）。

遠隔操作装置２０は、指定操作が行われたと判定すると（ステップＳ２１１：Ｙ）、オペレータＯＰ１によって選択された作業機械の情報（選択情報）を作業支援サーバ１０に送信する（ステップＳ２１２）。

作業支援サーバ１０の第１支援処理要素１２１は、選択情報を受信するとデータベース１０２に格納する。作業支援サーバ１０は、遠隔操作装置２０から送信された選択情報を受信したことをトリガーとして、作業支援処理を開始する。作業支援サーバ１０の第１支援処理要素１２１は、選択情報を受信すると、データベース１０２を参照して、当該選択情報に対応する作業機械を、実機識別情報を基に選定し、選定した作業機械の第１識別子により識別される第１通信経路を通じて第１作業機械（以下、第１通信作業機械とも称する）に搭載されている実機撮像装置に画像を送信するように要求する（ステップＳ１１１）。

第１通信作業機械の実機撮像装置は、送信要求の受信をトリガーとして処理を開始する。第１通信作業機械の実機撮像装置は、送信要求を受信すると、第１通信経路を通じて作業支援サーバ１０に撮像した画像を送信する（ステップＳ４１１）。

作業支援サーバ１０の第１支援処理要素１２１は、第１通信作業機械の実機撮像装置から送信された撮像画像を取得し（ステップＳ１１２）、当該撮像画像を遠隔操作装置２０に送信し、遠隔画像出力装置２２１に出力させる（ステップＳ１１３）。したがって、第１支援処理要素１２１は、第１通信作業機械に搭載されている実機撮像装置によって撮像された撮像画像を取得し、撮像画像を遠隔操作装置２０の遠隔画像出力装置２２１に出力させることが可能である。

遠隔操作装置２０は、撮像画像を受信すると、例えば、受信した撮像画像を順次遠隔画像出力装置２２１に出力する。すなわち、遠隔操作装置２０は、処理が終了するまでは作業支援サーバ１０から送信された撮像画像を遠隔画像出力装置２２１に出力し続ける。

次いで、遠隔操作装置２０は、一の指定操作の実行を促すメッセージ等の表示を、例えば、遠隔画像出力装置２２１に表示する（ステップＳ２１３）。一の指定操作の実行を促すメッセージは、例えば、「ワイパーを作動させてください」、「ヘッドライトを点灯してください」等が挙げられる。

遠隔操作装置２０は、一の指定操作が実行されると、一の指定操作を実行させる指令信号を作業支援サーバ１０に送信する（ステップＳ２１４）。

作業支援サーバ１０の第２支援処理要素１２２は、遠隔操作装置２０から送信された一の指定操作を実行させる指令信号を、選択情報と対応する作業機械を実機識別情報を基に選定し、選定した作業機械の第２識別子により識別される第２通信経路を介して第２作業機械（以下、第２通信作業機械とも称する）に送信する（ステップＳ１１４）。したがって、作業支援サーバ１０の第２支援処理要素１２２は、複数の被選択作業機械のうち、選択情報により第２の通信経路に紐づいた遠隔操作装置２０との通信が確立される第２通信作業機械を動作させるための複数種類の操作のうちの一部であり、かつ撮像画像に当該操作に応じた動作の変化態様が映り込むような一の指定操作がなされたことを認識しかつ、当該一の指定操作に応じた指令信号を第２通信作業機械に送信することが可能である。

第２通信作業機械は、一の指定操作を実行に関する指令信号を受信すると、一の指定操作を実行する（ステップＳ４１２）。

オペレータＯＰ１は、遠隔操作装置２０の遠隔画像出力装置２２１に表示されている第１通信作業機械の実機撮像装置の撮像画像を確認することにより、一の指定操作が第２通信作業機械において実行されているか否かを確認することができる。

具体的には、第１通信作業機械と第２通信作業機械とが同一の被選択作業機械でない場合には、オペレータＯＰ１は、第１通信作業機械の実機撮像装置の撮像画像には第２通信作業機械が実行している一の指定操作の様子を確認することができない。その一方、第１通信作業機械と第２通信作業機械とが同一の被選択作業機械である場合には、オペレータＯＰ１は、第１通信作業機械の実機撮像装置の撮像画像には第２通信作業機械が実行している一の指定操作の様子を確認することができる。

オペレータＯＰ１は、例えば、手元端末２２４０に対してタッチすることにより、一の指定操作が第２通信作業機械において行われたかを入力する。遠隔操作装置２０は、当該オペレータによる入力に基づいて、第２通信作業機械において一の指定操作が実行されたか否かを判定する（ステップＳ２１５）

遠隔操作装置２０は、第２通信作業機械において一の指定操作が実行されたと判定すると（ステップＳ２１５：Ｙ）、第１通信作業機械と第２通信作業機械とが同一の被選択作業機械であることを示す良好情報を作業支援サーバ１０に送信する（ステップＳ２１６）。

遠隔操作装置２０は、第２通信作業機械において一の指定操作が実行されていないと判定すると（ステップＳ２１５：Ｎ）、第１通信作業機械と第２通信作業機械とが同一の被選択作業機械ではないことを示す不良情報を作業支援サーバ１０に送信する（ステップＳ２１７）。

作業支援サーバ１０の第２支援処理要素１２２は、遠隔操作装置２０から送信された良好情報又は、不良情報に基づいて、他の指定操作に対する解除条件を満たすか否かを判定する（ステップＳ１１５）。

作業支援サーバ１０の第２支援処理要素１２２は、他の指定操作に対する解除条件を満たすと判定すると（ステップＳ１１５：Ｙ）、他の指定操作の受付を開始する（ステップＳ１１６）。すなわち、本実施形態においては、第２支援処理要素１２２は、良好情報の受信をもって、遠隔操作装置において解除操作がなされたとして判定する。また、第２支援処理要素１２２は、ステップＳ１１６において他の指定操作を受け付け開始した後は、遠隔操作装置２０から送信された当該他の指定操作に応じた指令信号を第２通信作業機械に送信する。これにより、遠隔操作装置２０の遠隔制御装置２００により認識される遠隔操作機構２１１の操作態様に応じた遠隔操作指令に基づいて、第２通信作業機械の作業機構等の動作が制御される。

作業支援サーバ１０の第２支援処理要素１２２は、他の指定操作に対する解除条件を満たさないと判定すると（ステップＳ１１５：Ｎ）、他の指定操作の受付の保留を維持し（ステップＳ１１７）、作業支援処理を終了する。

オペレータＯＰ１は、遠隔画像出力装置２２１に表示された一の指定操作を実行されている撮像画像を目視により確認することができる。これにより、オペレータＯＰ１は、遠隔操作装置２０が接続されている第１被選択作業機械４０又は、第２被選択作業機械５０が選択情報と、第１通信作業機械及び第２通信作業機械と、が合致しているかを確認することが可能となる。

以上のように本発明の遠隔操作システムによれば、連携作業機械を特定する選択情報に基づいて、第１通信作業機械に搭載されている実機撮像装置によって撮像された撮像画像が第１通信経路を経由して取得され、一の指定操作に応じた指令信号が第２通信作業機械に送信される。したがって、オペレータは、撮像画像を通して、第２通信作業機械に対して行った一の指定操作に応じて第１通信作業機械が動作するか否か、すなわち遠隔操作対象となる連携作業機械に対して行った操作が当該連携作業機械において行われた否かを確認することができる。これにより、オペレータは、遠隔操作対象となる作業機械との接続状況を確認することができる。

また、表示画像に実機識別情報を併せて表示することにより、オペレータＯＰ１は、に表示されている撮像画像の実機識別情報と、表示画像の実機識別情報と、を視覚的に整合しているかを確認することができるため、確認作業を迅速に、かつ正確に行うことが可能となる。

以上の実施形態の説明では、作業支援サーバ１０によって作業支援処理が実行される説明をした。しかし、作業支援処理は、遠隔操作装置２０によって行われてもよいし、第１被選択作業機械４０又は、第２被選択作業機械５０によって行われてもよい。

また、画像は、第１被選択作業機械４０の実機撮像装置４１２又は、第２被選択作業機械５０の実機撮像装置５１２によって撮像されたものが取得されるように説明した。しかし、画像は、第１被選択作業機械４０の実機撮像装置４１２又は、第２被選択作業機械５０の実機撮像装置５１２以外の撮像装置によって撮像されたものが取得されるようにしてもよい。

このような撮像装置としては、例えば、第１被選択作業機械４０又は、第２被選択作業機械５０の外観を撮像可能な位置に設けられた定点撮像装置や、ドローン等の飛行体に設けられた撮像装置が挙げられる。

このような撮像装置を用いる場合、実機識別情報が記載されたステッカーＳＴは、第１被選択作業機械４０及び第２被選択作業機械５０の外部から視認可能な位置に設けられることが好ましい。このような位置としては、例えば、第１被選択作業機械４０の上部旋回体４２０及び、第２被選択作業機械５０の上部旋回体５２０の側面が挙げられる。尚、これらの撮像装置には、第１被選択作業機械４０又は、第２被選択作業機械５０が遠隔操作装置２０に接続操作が行われた際にその旨が通知されるとよい。このようにすることで、撮像装置から作業支援サーバ１０に画像の送信が開始されるようにすることができる。

１０‥作業支援サーバ
１２１‥第１支援処理要素
１２２‥第２支援処理要素
２０‥遠隔操作装置
４０‥第１被選択作業機械
５０‥第２被選択作業機械

Claims (5)

1. 複数の作業機械と、当該複数の作業機械のうち遠隔操作対象となる一の作業機械である連携作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、
   前記複数の作業機械のうち遠隔操作対象として前記遠隔操作装置において前記連携作業機械を特定する選択情報の指定操作が実行されたか否かの判定結果と、前記遠隔操作装置において前記選択情報が選択された場合に、当該選択情報と紐づけられた第１通信経路によって前記遠隔操作装置との通信が確立される第１作業機械に搭載されている実機撮像装置によって撮像された撮像画像を取得し、前記撮像画像と、を前記遠隔操作装置の出力インターフェースに出力させる第１支援処理要素と、
   前記複数の作業機械のうち、前記選択情報と紐づけられた第２通信経路によって前記遠隔操作装置との通信が確立される第２作業機械を動作させるための複数種類の操作のうちの一部であり、かつ前記撮像画像に当該操作に応じた動作の変化態様が映り込むような一の指定操作がなされたことを認識し、当該一の指定操作に応じた指令信号を前記第２作業機械に送信する第２支援処理要素と、
   を有することを特徴とする遠隔操作システム。
2. 前記第２支援処理要素は、解除条件が満たされない場合に、前記連携作業機械を動作させるための他の指定操作に応じた指令信号の前記第２作業機械への送信を保留し、前記解除条件が満たされる場合に、前記携作業機械を動作させるための他の指定操作に応じた指令信号の前記第２作業機械への送信を許容し、
   前記解除条件は、前記遠隔操作装置において解除操作がなされたことを含むことを特徴とする請求項１に記載の遠隔操作システム。
3. 前記第２操作支援処理要素は、前記一の指定操作が実行されたか否かの判定結果を取得し、前記一の指定操作が実行された場合、前記連携作業機械を動作させるための他の指定操作を許容し、当該他の指定操作に応じた指令信号を前記第２作業機械に送信することを特徴とする請求項１に記載の遠隔操作システム。
4. 前記第２支援処理要素は、解除条件が満たされない場合に、前記携作業機械を動作させるための他の指定操作に応じた指令信号の前記第２作業機械への送信を保留し、前記解除条件が満たされる場合に、記携作業機械を動作させるための他の指定操作に応じた指令信号の前記第２作業機械への送信を許容し、
   前記解除条件は、前記一の指定操作が実行された場合に、第２支援処理要素が前記撮像画像に当該一の指定操作に応じた動作の変化態様があるか否かの判定結果を取得し、当該一の指定操作に応じた動作の変化態様があることを含むことを特徴とする請求項１乃至３のいずれかに記載の遠隔操作システム。
5. 前記第１操作支援処理要素は、遠隔操作対象となる前記複数の作業機械位置データを取得し、
   前記第２操作支援処理要素は、前記複数の位置データに基づいて前記複数の作業機械の各々が映り込む表示画像を生成し、前記表示画像を前記遠隔操作装置に送信することを特徴とする請求項１乃至４のいずれかに記載の遠隔操作システム。

Images