JP2021097367A - 遠隔操作システムおよび遠隔操作サーバ - Google Patents

Abstract

【課題】遠隔操作装置を構成する出力インターフェースに出力されている作業現場俯瞰画像に映り込んでいる作業機械が、当該遠隔操作装置による遠隔操作対象であるか否かのオペレータによる認識を支援することができるサーバおよびシステムを提供する。【解決手段】撮像装置Ｃにより取得された撮像画像に応じて、遠隔操作装置２０を構成する出力インターフェース２２０に出力される作業現場俯瞰画像に作業機械４０が映り込んでいる場合、当該作業機械４０が連携作業機械に該当するか否かが判定される。そして、当該判定結果が肯定的である場合、作業現場俯瞰画像に映り込んでいる作業機械４０を表わす実機画像Ｑ２に関連付けられて第１標識画像ＩＤ１が遠隔操作装置２０の出力インターフェース２２０に表示される。【選択図】図８

Description

本発明は、オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバに関する。

プラント内を巡回点検中の作業従事者と、その作業現場外に待機している者との間で十分な精度で情報の共有化を図るための遠隔監視支援システム用端末装置が提案されている（例えば、特許文献１参照）。この端末装置は、現場の映像データを入力する映像入力手段と、ペンあるいはマウスタイプの入力操作選択手段と、新規の映像取得の有無を検出する検出手段と、外部とのデータ送受信を無線で行う通信制御手段と、所定のデータを入力する入力画面を表示する入出力画面表示手段と、を備えている。

特開２００５−２４２８３０号公報

しかし、撮像装置を通じて取得された撮像画像が遠隔操作装置を構成する出力インターフェース（画像表示装置）に表示され、当該撮像画像に複数の作業機械が映り込んでいる場合、当該表示画像において実際とは異なる作業機械が操作対象であるとオペレータが誤認する可能性がある。これは、特に同一メーカーの同一機種の複数の作業機械が出力インターフェースに同時に表示される場合に顕著となる。この場合、オペレータによる誤認に基づく遠隔操作装置を用いた作業機械の動作態様が、目標とする作業遂行の観点から不適当になる可能性がある。

そこで、本発明は、遠隔操作装置を構成する出力インターフェースに出力されている作業現場俯瞰画像に映り込んでいる作業機械が、当該遠隔操作装置による遠隔操作対象であるか否かのオペレータによる認識を支援することができるサーバおよびシステムを提供することを目的とする。

本発明は、オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバに関する。

本発明の作業支援サーバは、撮像装置を通じて取得された作業現場の撮像画像に応じた作業現場俯瞰画像を、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに出力させ、前記遠隔操作装置の操作対象である前記作業機械としての連携作業機械の実空間位置を認識し、前記作業現場俯瞰画像に作業機械が映り込んでいる場合、当該作業機械の画像座標系における位置および前記連携作業機械の実空間位置に基づき、前記作業機械が前記連携作業機械に該当するか否かを判定する第１支援処理要素と、
前記第１支援処理要素により、前記作業機械が前記連携作業機械に該当すると判定された場合、前記遠隔操作装置との通信に基づき、前記作業現場俯瞰画像に映り込んでいる前記作業機械が連携作業機械に該当することを示す第１標識画像を前記遠隔操作装置の出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする。

本発明の作業支援システムは、本発明の作業支援サーバと、前記遠隔操作装置と、により構成されていることを特徴とする。

当該構成の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、撮像装置により取得された撮像画像に応じて、遠隔操作装置を構成する出力インターフェースに出力される作業現場俯瞰画像に作業機械が映り込んでいる場合、当該作業機械が連携作業機械に該当するか否かが判定される。「連携作業機械」は、当該遠隔操作装置による実際の遠隔操作対象である作業機械を意味する。作業現場俯瞰画像は、撮像画像の少なくとも一部そのもののほか、当該撮像画像に応じて生成された作業現場を疑似的に表わす疑似画像をも含む概念である。そして、当該判定結果が肯定的である場合、作業現場俯瞰画像に映り込んでいる作業機械が連携作業機械に関連付けられて第１標識画像が遠隔操作装置の出力インターフェースに表示される。

この結果、作業現場俯瞰画像に映り込んでいる作業機械が、遠隔操作装置による遠隔操作対象に該当するか否かをオペレータに容易に認識させることができる。したがって、例えば、作業現場俯瞰画像に複数の作業機械が映り込んでいる場合であっても、当該複数の作業機械のうちどれが連携作業機械に該当するか、あるいは、いずれもが連携作業機械に該当しないかをオペレータに容易に認識させることができる。

本発明の作業支援サーバ等において、前記第１演算処理要素により前記連携作業機械に該当すると判定された一の作業機械が前記作業現場俯瞰画像に映り込んでいる場合、前記作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、前記第２支援処理要素が、前記遠隔操作装置の出力インターフェースに前記第１標識画像を強調して出力させることが好ましい。

当該構成の作業支援サーバ等によれば、作業現場俯瞰画像に映り込んでいる一の作業機械が連携作業機械に該当する場合、当該作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、第１標識画像が遠隔装置の出力インターフェースに強調出力される。「強調出力」とは、第１標識画像の形状、サイズ、色彩（輝度、明度、彩度）もしくは模様、またはこれらの任意の組み合わせにより、第１標識画像をより目立たせてまたは視認しやすい形態で出力表示することを意味する。これは、一般的に、作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、他の作業機械を連携作業機械であるとオペレータが誤認する可能性が高いためである。よって、作業現場俯瞰画像に含まれている作業機械が連携作業機械に該当するか否かをオペレータにより明確に認識させることができる。

本発明の作業支援サーバ等において、前記作業現場俯瞰画像に前記連携作業機械を含む複数の作業機械が映り込んでいる場合、前記作業現場俯瞰画像における前記連携作業機械および他の作業機械の間隔が小さいほど、前記第２支援処理要素が、前記遠隔操作装置の出力インターフェースに前記第１標識画像を強調出力させることが好ましい。

当該構成の作業支援サーバ等によれば、作業現場俯瞰画像に連携作業機械を含む複数の作業機械が映り込んでいる場合、作業現場俯瞰画像における連携作業機械および他の作業機械の間隔が小さいほど第１標識画像が遠隔操作装置の出力インターフェースに強調出力される。これは、当該間隔が小さいほど、他の作業機械を連携作業機械であるとオペレータが誤認する可能性が高くなるためである。当該間隔が「０」であることは、作業現場俯瞰画像において連携作業機械および他の作業機械が重なって映り込んでいることを意味する。作業現場俯瞰画像に複数の他の作業機械が映り込んでいる場合、当該間隔は、連携作業機械と当該複数の他の作業機械のそれぞれとの平均間隔または最短間隔を意味する。よって、作業現場俯瞰画像に含まれている作業機械が連携作業機械に該当するか否かをオペレータにより明確に認識させることができる。

本発明の作業支援サーバ等において、前記第１支援処理要素により、前記作業機械が前記連携作業機械に該当しないと判定された場合、前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記作業機械が連携作業機械に該当しないことを示す第２標識画像を前記第１標識画像と識別可能な形態で前記遠隔操作装置の出力インターフェースに出力させることが好ましい。

当該構成の作業支援サーバ等によれば、作業現場俯瞰画像に映り込んでいる作業機械が連携作業機械に該当しないと判定された場合、当該作業機械に関連付けられて第２標識画像が遠隔操作装置の出力インターフェースに出力される。この結果、遠隔操作装置を構成する出力インターフェースに表示されている作業機械が、当該遠隔操作装置による遠隔操作対象に該当しないことをオペレータに容易に認識させることができる。

本発明の作業支援サーバ等において、前記第１支援処理装置が、前記連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を認識し、前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記第１支援処理要素により認識された前記連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を表わす軌道画像を前記第１標識画像として前記遠隔操作装置の出力インターフェースに出力させることが好ましい。

当該構成の作業支援サーバ等によれば、遠隔操作装置の出力インターフェースに出力される第１標識画像により、作業現場俯瞰画像に映り込んでいる作業機械が連携作業機械に該当するか否かに加えて、当該連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を当該遠隔操作装置のオペレータに認識させることができる。この結果、例えば、オペレータによる遠隔操作装置の操作態様と、第１標識画像としての軌道画像により表わされる連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列との整合性の有無に鑑みて、当該連携作業機械が自ら遠隔操作している作業機械であることをより明確にオペレータに認識させることができる。

本発明の作業支援サーバ等において、前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記作業機械の実空間位置と、前記撮像装置の実空間位置および画角と、を表わすマップまたは俯瞰作業現場俯瞰画像を、前記遠隔操作装置の出力インターフェースに出力させることが好ましい。

当該構成の作業支援サーバ等によれば、遠隔操作装置を構成する出力インターフェースに出力されたマップまたは俯瞰作業現場俯瞰画像には、作業現場俯瞰画像に映り込んでいる作業機械の実空間位置と、当該作業現場俯瞰画像を取得した撮像装置の実空間位置および画角とが表わされている。このため、作業現場俯瞰画像に映り込んでいる作業機械と当該作業現場俯瞰画像を取得した撮像装置との実空間における相対位置に鑑みて、作業現場俯瞰画像に映り込んでいる一または複数の作業機械の遠近感が整合しているか否かをオペレータに確認させることができる。これにより、出力インターフェースに出力されている作業機械が、連携作業機械に該当するか否かに加えて、当該作業機械がマップまたは俯瞰作業現場俯瞰画像に示されている作業機械に該当するか否かをオペレータに認識させることができる。

本発明の一実施形態としての作業支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第１機能に関する説明図。 作業支援システムの第２機能に関する説明図。 第１作業環境画像に関する説明図。 作業現場俯瞰画像に関する説明図。 第２作業環境画像の一形態に関する説明図。 第２作業環境画像の他の形態に関する説明図。 作業現場俯瞰画像の他の形態に関する説明図。

（作業支援システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、複数の作業機械４０を遠隔操作するための複数の遠隔操作装置２０と、により構成されている。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、は相互にネットワーク通信可能に構成されている。複数の遠隔操作装置２０のそれぞれは、作業支援サーバ１０との通信ネットワークとは異なるネットワークを通じて相互に通信可能に構成されていてもよい。

（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、複数の作業機械４０のそれぞれの位置軌道のほか、撮像画像、作業現場俯瞰画像および経路案内画像などを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
クライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

遠隔操作装置２０と連携するまたは相互通信機能を有するスマートホンまたはタブレット端末などの携帯端末またはＶＲゴーグルなどのウェアラブル端末により当該クライアントが構成されていてもよい。当該携帯端末またはウェアラブル端末は、作業支援サーバ１０との通信機能を有していてもよい。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの 操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図３に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１〜２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１と、下部走行体４１に旋回機構４３を介して旋回可能に搭載されている上部旋回体４２と、を備えている。上部旋回体４２の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体４２の前方中央部には作業アタッチメント４４が設けられている。

実機入力インターフェース４１０は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

作動機構としての作業アタッチメント４４は、上部旋回体４２に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（機能）
前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

（第１機能（作業機械の遠隔操作））
遠隔操作装置２０において、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の有無が判定される（図４／ＳＴＥＰ２００）。第１指定操作は、遠隔操作装置２０と連携する作業機械４０を選択する操作であり、 例えば、作業現場俯瞰画像（図７参照）において、オペレータが遠隔入力インターフェース２１０を構成するタッチパネルにおけるタップ、スワイプまたはクリックなどの操作である。図７ には遠隔操作の対象となり得る複数台（４台）の作業機械４０の実機画像Ｑ１〜Ｑ４が表示され、タッチパネルにおける当該実機画像の表示位置に対して操作がなされたか否かが判定される。遠隔操作装置２０は通信ネットワークを介して遠隔操作装置２０により遠隔操作の対象となり得る建設機械の候補を取得し、遠隔出力インターフェース２２０に建設機械の識別子とともに建設機械の位置や機種、稼働状態等の諸情報を表示させるようにしてもよい。第１指定操作が中断されるなど当該判定結果が否定的である場合（図４／ＳＴＥＰ２００‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して遠隔操作装置２０と連携する作業機械４０の操作に必要な撮像画像を要求するための 第１作業環境確認要求が送信される（図４／ＳＴＥＰ２０２）。第１作業環境画像要求には、遠隔操作装置２０の識別子およびオペレータの識別子のうち少なくとも一方が含まれている。

作業支援サーバ１０において、第1作業環境確認要求が受信された場合、第１支援処理要素１２１により当該第１作業環境画像要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

作業機械４０において、実機無線通信機器４２２を通じて第１作業環境確認要求が受信された場合（図４／Ｃ４１）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４０４）。

作業支援サーバ１０において、撮像画像データが受信された場合（図４／Ｃ１１）、撮像画像データに応じた第１作業環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な第１作業環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１２）。後述する作業現場俯瞰画像（図７参照）を表わすデータが第１作業環境画像データとして遠隔操作装置２０に対して送信されてもよい。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第１作業環境画像データが受信された場合（図４／Ｃ２１）、第１作業環境画像データに応じた第１作業環境画像が画像出力装置２２１に出力される（図４／ＳＴＥＰ２０４）。

これにより、例えば図６に示されているように、遠隔操作装置２０と連携する作業機械４０に搭載された実機撮像装置４１２により撮像された作動機構としての作業アタッチメント４４の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている作業現場俯瞰画像が画像出力装置２２１に表示される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０６）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ２０８）。

作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２を旋回させたうえでバケット４４５から土を落とす作業が実行される。

（第２機能（標識画像出力））
作業支援サーバにおいて、作業現場に設置された撮像装置（図示略）または遠隔操作装置２０と連携しない作業機械４０に搭載された実機撮像装置４１２を通じて取得された撮像画像に基づき、作業現場の俯瞰的な様子を表わす俯瞰作業環境（またはこれを表わすデータ）として取得される（図５／ＳＴＥＰ１２０）。これにより、作業現場に設置された撮像装置Ｃ（図１０参照）を通じて取得された撮像画像に基づき、例えば図７に示されているように、複数台（４台）の作業機械４０の実機画像Ｑ１〜Ｑ４が存在する当該作業現場の様子を示す画像を表わすデータが、作業現場俯瞰画像を表わすデータとして取得される。

遠隔操作装置２０（第１クライアント）において、オペレータによる遠隔入力インターフェース２１０を通じた第２指定操作の有無が判定される（図５／ＳＴＥＰ２１０）。第２指定操作は、第１指定操作により画像出力装置２２１に表示される第１作業環境画像とは異なる作業現場俯瞰画像を画像出力装置２２１に表示させるための操作であり、例えば、遠隔入力インターフェース２１０を通じたタップなどの操作または遠隔操作機構２１１の操作である。第１指定操作（図５／ＳＴＥＰ２００参照）に応じて第１作業環境画像ではなく当該作業現場俯瞰画像が画像出力装置２２１に出力されてもよく、第２指定操作（図５／ＳＴＥＰ２１０参照）に応じて第１作業環境画像が画像出力装置２２１に出力されてもよい。第１指定操作および第２指定操作のそれぞれに応じて別個の第２作業環境画像が画像出力装置２２１に出力されてもよい。

第２指定操作が中断されるなど当該判定結果が否定的である場合（図５／ＳＴＥＰ２１０‥ＮＯ）、一連の処理が終了する。当該判定結果が肯定的である場合（図５／ＳＴＥＰ２１０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して第２作業環境要求が送信される（図５／ＳＴＥＰ２１２）。第２作業環境要求には、該当する遠隔操作装置２０またはこれと連携している作業機械４０を識別するための識別子が含まれている。

作業支援サーバ１０において、第２作業環境確認要求が受信された場合（図５／Ｃ１３）、第１支援処理要素１２１により、遠隔操作装置２０の出力インターフェース２２０に出力されている作業現場俯瞰画像に作業機械４０が映り込んでいるか否かが判定される（図５／ＳＴＥＰ１２１）。具体的には、第１支援処理要素１２１により、作業現場俯瞰画像を対象として画像解析処理が実施され、これにより当該作業現場俯瞰画像に映り込んでいる作業機械４０を表わす実機画像Ｑｉ（ｉ＝１，２，‥，Ｎ）の有無が判定される。

当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２１‥ＹＥＳ）、実機画像Ｑｉを区別するための指数ｉが「１」に設定される（図５／ＳＴＥＰ１２２）。

その上で、第１支援処理要素１２１により、実機画像Ｑｉが連携作業機械に該当するか否かが判定される（図５／ＳＴＥＰ１２３）。具体的には、実機画像Ｑｉに相当する作業機械４０の実空間位置が、データベース１０２に登録されている連携作業機械の実空間位置と一致するまたは対応するか否かが判定される。

例えば、画像座標系における実機画像Ｑｉの位置（例えば重心位置）が、実空間座標系に座標変換されることにより当該実機画像Ｑｉに相当する作業機械４０の実空間位置が求められる。この際、作業現場俯瞰画像における実機画像Ｑｉにサイズの大小に基づき、撮像装置（例えば撮像装置Ｃ（図１０参照））から作業機械４０までの実空間距離が推定される。作業現場俯瞰画像の画素値としてＴＯＦセンサなどの測距センサにより取得された撮像対象物までの距離が含まれている場合、当該画素値に基づいて撮像装置（例えば撮像装置Ｃ）から作業機械４０までの実空間距離が推定されてもよい。また、当該座標変換に際して、撮像装置座標系における各作業機械４０の位置が認識され、実空間座標系における撮像装置の位置および姿勢を表わす座標変換因子（行列またはクォータニオン）が用いられる。座標変換因子は、データベース１０２に撮像装置の識別子（ひいては画像識別子）と関連付けられて登録されている。

遠隔操作装置２０（クライアント）と作業機械４０との相互通信が確立された際、遠隔操作装置２０（またはそのオペレータ）および作業機械４０のそれぞれの識別子と、作業機械４０の実空間位置と、が関連付けられてデータベース１０２に登録される。作業機械４０の実空間位置は、当該作業機械４０に搭載されているＧＰＳ、必要に応じて加速度センサを利用した測位装置により測定される。作業機械４０が実空間位置またはその時系列を作業支援サーバ１０に対して送信することにより、データベース１０２に登録されている作業機械４０の実空間位置が更新される。これにより、識別子に基づき、連携作業機械の実空間位置がデータベース１０２から検索または認識されうる。

当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２３‥ＹＥＳ）、第２支援処理要素１２２により、フラグｆが「１」に設定される（図５／ＳＴＥＰ１２４）。当該判定結果が否定的である場合（図５／ＳＴＥＰ１２３‥ＮＯ）、第２支援処理要素１２２により、フラグｆが「２」に設定される（図５／ＳＴＥＰ１２５）。

さらに、指数ｉが、作業現場俯瞰画像に含まれている実機画像Ｑｉの総数Ｎに等しいか否かが判定される（図５／ＳＴＥＰ１２６）。当該判定結果が否定的である場合（図５／ＳＴＥＰ１２６‥ＮＯ）、指数ｉが１だけ増やされ（図５／ＳＴＥＰ１２７）、実機画像Ｑｉが連携作業機械に該当するか否かの判定処理が繰り返される（図５／ＳＴＥＰ１２３参照）。

当該判定結果が肯定的である場合（図５／ＳＴＥＰ１２６‥ＹＥＳ）、第２支援処理要素１２２により、作業現場俯瞰画像およびフラグｆに基づき、第２作業環境画像が生成される（図５／ＳＴＥＰ１２８）。

具体的には、作業現場俯瞰画像においてフラグｆが「１」に設定された画像機械Ｑｉが存在する場合、第１標識画像ＩＤ１が含まれた第２作業環境画像が生成される。これにより、例えば図８に示されているように、作業現場俯瞰画像において実機画像Ｑ２に相当する作業機械４０が連携作業機械に該当することを表わす吹き出し形状の第１標識画像ＩＤ１が含まれている第２作業環境画像が生成される。当該吹き出しは、実機画像Ｑ２またはその近傍を起点としている。第１標識画像ＩＤ１の形状、色彩および模様の組み合わせは任意に変更されてもよい。

作業現場俯瞰画像においてフラグｆが「２」に設定された画像機械Ｑｉが存在する場合、第２標識画像ＩＤ２が含まれた第２作業環境画像が生成される。これにより、例えば図８に示されているように、作業現場俯瞰画像において実機画像Ｑ１、Ｑ３およびＱ４のそれぞれに相当する作業機械４０が連携作業機械に該当しないことを表わす吹き出し形状の第２標識画像ＩＤ２が含まれている第２作業環境画像が生成される。当該吹き出しは、実機画像Ｑ１、Ｑ３およびＱ４またはその近傍を起点としている。第２標識画像ＩＤ２の形状、色彩および模様の組み合わせは、第１標識画像ＩＤ１との識別が可能な範囲で任意に変更されてもよい。第１標識画像ＩＤ１のみが含まれ、第２標識画像ＩＤ２が含まれていない第２作業環境画像が生成されてもよい。作業機械ｉが連携作業機械に該当すると判定された場合（図５／ＳＴＥＰ１２３‥ＹＥＳ）、ＳＴＥＰ１２６の判定処理が省略され、直ちに第２作業環境画像が生成されてもよい（図５／ＳＴＥＰ１２８）。

そして、第２支援処理要素１２２により、遠隔操作装置２０に対して第２作業環境画像を表わすデータが送信される（図５／ＳＴＥＰ１２９）。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて第２作業環境画像データが受信されると（図５／Ｃ２２）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、第２作業環境画像が出力される（図５／ＳＴＥＰ２１４）。これにより、例えば図８に示されているように、実機画像Ｑ２に相当する作業機械４０が連携作業機械であることを表わす第１標識画像ＩＤ１が含まれ、かつ、実機画像Ｑ１、Ｑ３およびＱ４のそれぞれに相当する作業機械４０が他の作業機械であることを表わす第２標識画像ＩＤ２が含まれている第２作業環境画像が画像出力装置２２１に出力される。

（効果）
当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、撮像装置Ｃにより取得された撮像画像に応じて、遠隔操作装置２０を構成する出力インターフェース２２０に出力される作業現場俯瞰画像（図７参照）に作業機械４０が映り込んでいる場合、当該作業機械４０が連携作業機械に該当するか否かが判定される（図５／ＳＴＥＰ１２１参照）。そして、当該判定結果が肯定的である場合、作業現場俯瞰画像に映り込んでいる作業機械４０を表わす実機画像Ｑ２に関連付けられて第１標識画像ＩＤ１が遠隔操作装置２０の出力インターフェース２２０に表示される（図５／ＳＴＥＰ１２３‥ＹＥＳ→‥→ＳＴＥＰ１２８→ＳＴＥＰ１２９→Ｃ２２→ＳＴＥＰ２１４および図８参照）。

さらに、作業現場俯瞰画像に映り込んでいる作業機械４０が連携作業機械に該当しないと判定された場合、当該作業機械４０を表わす実機画像Ｑ１、Ｑ３およびＱ４のそれぞれに関連付けられて第２標識画像ＩＤ２が遠隔操作装置２０の出力インターフェース２２０に出力される（図５／ＳＴＥＰ１２３‥ＮＯ→‥→ＳＴＥＰ１２８→ＳＴＥＰ１２９→Ｃ２２→ＳＴＥＰ２１４および図８参照）。

この結果、作業現場俯瞰画像に映り込んでいる作業機械４０または実機画像Ｑｉが、遠隔操作装置２０による遠隔操作対象に該当するか否かをオペレータに容易に認識させることができる。したがって、例えば、作業現場俯瞰画像に複数の作業機械４０が映り込んでいる場合であっても（図７参照）、当該複数の作業機械４０のうちどれが連携作業機械に該当するか、あるいは、いずれもが連携作業機械に該当しないかをオペレータに容易に認識させることができる。

（本発明の他の実施形態）
前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０および作業機械４０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０または作業機械４０の構成要素であってもよい。作業支援サーバ１０の各支援処理要素１２１および１２２のそれぞれが、遠隔操作装置２０および作業機械４０のうちの相互通信可能な２つ以上のそれぞれの機器の構成要素であってもよい。

第１支援処理要素１２１により連携作業機械に該当すると判定された一の作業機械が作業現場俯瞰画像に映り込んでいる場合、当該作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、第２支援処理要素１２２が、遠隔操作装置２０の出力インターフェース２２０に第１標識画像ＩＤ１を強調して出力させてもよい。

作業現場俯瞰画像に連携作業機械を含む複数の作業機械４０が映り込んでいる場合、当該作業現場俯瞰画像における連携作業機械および他の作業機械の間隔が小さいほど、第２支援処理要素１２２が、遠隔操作装置２０の出力インターフェース２２０に第１標識画像ＩＤ１を強調出力させてもよい。
第１支援処理要素１２１により、作業機械４０が連携作業機械に該当しないと判定された場合であっても（図５／ＳＴＥＰ１２３‥ＮＯ）、第２支援処理要素１２２により、第２標識画像ＩＤ２が含まれていない第２作業環境画像が生成されてもよい。

第１支援処理要素１２１が、連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を認識し、第２支援処理要素１２２が、当該連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を表わす軌道画像を第１標識画像ＩＤとして含む第２作業環境画像が生成されてもよい。これにより、例えば、図９に示されているように、実機画像Ｑ２またはこれに相当する作業機械４０の位置軌道または動きを示す矢印状の軌道画像が第１標識画像ＩＤ１として含まれている第２作業環境画像が生成される。

そして、第２作業環境画像が遠隔操作装置２０の遠隔出力インターフェース２２０に出力され、第１標識画像ＩＤ１により、作業現場俯瞰画像に映り込んでいる作業機械４０が連携作業機械に該当するか否かに加えて、当該連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を当該遠隔操作装置２０のオペレータに認識させることができる。この結果、例えば、オペレータによる遠隔操作装置の操作態様と、第１標識画像ＩＤ１としての軌道画像により表わされる連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列との整合性の有無に鑑みて、当該連携作業機械が自ら遠隔操作している作業機械４０であることをより明確にオペレータに認識させることができる。

第２支援処理要素１２２が、遠隔操作装置２０との通信に基づき、作業機械４０の実空間位置と、撮像装置Ｃの実空間位置および画角と、を表わすマップまたは作業現場俯瞰画像を、遠隔操作装置２０の出力インターフェース２２０に出力させてもうよい。これにより、例えば図１０に示されているように、作業現場に存在する作業機械４０を表わす実機画像またはアイコンＱ１〜Ｑ４に加えて、撮像装置Ｃの実空間位置および画角Ｒ０が示されている鳥瞰撮像画像または鳥瞰マップが画像出力装置２２１に出力される。鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。

これにより、作業現場俯瞰画像に映り込んでいる作業機械と当該作業現場俯瞰画像を取得した撮像装置との実空間における相対位置に鑑みて、作業現場俯瞰画像に映り込んでいる一または複数の作業機械４０の遠近感が整合しているか否かをオペレータに確認させることができる（図７参照）。これにより、遠隔出力インターフェース２２０に出力されている作業機械４０が、連携作業機械に該当するか否かに加えて、当該作業機械４０がマップまたは作業現場俯瞰画像に示されている作業機械４０に該当するか否かをオペレータに認識させることができる。

第１指定操作により画像出力装置２２１に出力される画像は、作業現場に設置された撮像装置（図示略）または遠隔操作装置２０と連携しない作業機械４０に搭載された実機撮像装置４１２を通じて取得された撮像画像でもよい。この場合、オペレータにより遠隔入力インターフェース２１０を通じた第１指定操作の判定結果が肯定的である場合（図４／ＳＴＥＰ２００‥ＹＥＳ）に、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して第２作業環境要求が送信される（図５／ＳＴＥＰ２１２）ことにより、遠隔無線通信機器２２２を通じて第１２作業環境画像データが受信され（図５／Ｃ２２）、出力インターフェース２２０を構成する画像出力装置２２１を通じて、第２作業環境画像が出力される（図５／ＳＴＥＰ２１４）。

画像出力装置２２１には、右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３のそれぞれ、または各画像出力装置にそれぞれ分割して複数の第１作業環境画像および複数の第２作業環境画像を出力してもよい。この場合、遠隔操作装置２０と連携する作業機械４０に搭載された実機撮像装置４１２を含む撮像装置により取得された複数の撮像画像が複数回の第１指定操作によりそれぞれ画像出力装置２２１にそれぞれ出力される。また、作業現場に設置された撮像装置（図示略）または遠隔操作装置２０と連携しない作業機械４０に搭載された実機撮像装置４１２を含む撮像装置により取得された複数の撮像画像が複数回の第２指定操作によりそれぞれ画像出力装置２２１にそれぞれ出力される。

画像出力装置２２１に出力される第２作業環境画像は、作業現場俯瞰画像においてフラグｆが「１」に設定された画像機械Ｑｉが存在する場合に第１標識画像ＩＤ１のみを生成するようにし、第２標識画像ＩＤ２は生成しなくてもよい。

１０‥作業支援サーバ、２０‥遠隔操作装置（クライアント）、４０‥作業機械、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４１２‥実機撮像装置、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）。

Claims (7)

1. オペレータによる遠隔操作装置を用いた作業機械の遠隔操作を支援するための作業支援サーバであって、
   撮像装置を通じて取得された作業現場の撮像画像に応じた作業現場俯瞰画像を、前記遠隔操作装置との通信に基づき、前記遠隔操作装置の出力インターフェースに出力させ、前記遠隔操作装置の操作対象である前記作業機械としての連携作業機械の実空間位置を認識し、前記作業現場俯瞰画像に作業機械が映り込んでいる場合、当該作業機械の画像座標系における位置および前記連携作業機械の実空間位置に基づき、前記作業機械が前記連携作業機械に該当するか否かを判定する第１支援処理要素と、
   前記第１支援処理要素により、前記作業機械が前記連携作業機械に該当すると判定された場合、前記遠隔操作装置との通信に基づき、前記作業現場俯瞰画像に映り込んでいる前記作業機械が連携作業機械に該当することを示す第１標識画像を前記遠隔操作装置の出力インターフェースに出力させる第２支援処理要素と、を備えていることを特徴とする作業支援サーバ。
2. 請求項１に記載の作業支援サーバにおいて、
   第１演算処理要素により前記連携作業機械に該当すると判定された一の作業機械が前記作業現場俯瞰画像に映り込んでいる場合、前記作業現場俯瞰画像に映り込んでいる作業機械の数が多いほど、前記第２支援処理要素が、前記遠隔操作装置の出力インターフェースに前記第１標識画像を強調して出力させることを特徴とする作業支援サーバ。
3. 請求項１または２に記載の作業支援サーバにおいて、
   前記作業現場俯瞰画像に前記連携作業機械を含む複数の作業機械が映り込んでいる場合、前記作業現場俯瞰画像における前記連携作業機械および他の作業機械の間隔が小さいほど、前記第２支援処理要素が、前記遠隔操作装置の出力インターフェースに前記第１標識画像を強調出力させることを特徴とする作業支援サーバ。
4. 請求項１〜３のうちいずれか１項に記載の作業支援サーバにおいて、
   前記第１支援処理要素により、前記作業機械が前記連携作業機械に該当しないと判定された場合、前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記作業機械が連携作業機械に該当しないことを示す第２標識画像を前記第１標識画像と識別可能な形態で前記遠隔操作装置の出力インターフェースに出力させることを特徴とする作業支援サーバ。
5. 請求項１〜４のうちいずれか１項に記載の作業支援サーバにおいて、
   第１支援処理装置が、前記連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を認識し、
   前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記第１支援処理要素により認識された前記連携作業機械の実空間位置および実空間姿勢のうち少なくとも一方の時系列を表わす軌道画像を前記第１標識画像として前記遠隔操作装置の出力インターフェースに出力させることを特徴とする作業支援サーバ。
6. 請求項１〜５のうちいずれか1項に記載の作業支援サーバにおいて、
   前記第２支援処理要素が、前記遠隔操作装置との通信に基づき、前記作業機械の実空間位置と、前記撮像装置の実空間位置および画角と、を表わすマップまたは俯瞰作業現場俯瞰画像を、前記遠隔操作装置の出力インターフェースに出力させることを特徴とする作業支援サーバ。
7. 請求項１〜６のうちいずれか１項に記載の作業支援サーバと、前記遠隔操作装置と、により構成されていることを特徴とする作業支援システム。
   

Images