JP2022085617A - 周辺監視システム、表示装置 - Google Patents

Abstract

【課題】複数の周辺監視センサを用いて、作業機械の周辺の状況をより容易に監視することが可能な技術を提供する。【解決手段】本開示の一実施形態に係る周辺監視システム１００は、作業機械（例えば、ショベルＳＶＬや連続アンローダＵＬＤ等）に搭載され、作業機械の周辺の状況に関する情報を取得する複数の周辺監視センサ１２０と、複数の周辺監視センサ１２０のそれぞれの位置及び姿勢に関する情報を取得する位置姿勢検出センサ１３０と、を備える。【選択図】図１

Description

本開示は、周辺監視システム等に関する。

例えば、作業機械に設けられる複数の周辺監視センサを用いて、周辺の状況を監視する技術が知られている（特許文献１，２参照）。

特許文献１では、ショベルにおいて、上部旋回体の上面における後端部、左端部、及び右端部のそれぞれにカメラが設けられ、キャビン内の表示装置にカメラの出力に基づくショベルの周辺の状況を表す画像情報が表示される。

特許文献２では、連続アンローダにおいて、バケットエレベータの上部に設けられ、船倉の開口部を撮像するカメラ、及びバケットエレベータの先端部に設けられ、船倉の内部を撮像するカメラの双方の画像が操作室の表示部に表示される。

特開２０１４－１８１５１０号公報 特開２０１６－１６００３４号公報

しかしながら、例えば、複数の周辺監視センサを用いて、作業機械の周辺の状況を適切に監視するためには、複数の周辺監視センサのセンシングエリアと作業機械との位置関係が所定の精度の下で明確であることが必要である。そのため、複数の周辺監視センサごとのセンシングエリアと作業機械との位置関係を所定の関係に合わせるためのキャリブレーションが予め実施される必要が生じる。

そこで、上記課題に鑑み、複数の周辺監視センサを用いて、作業機械の周辺の状況をより容易に監視することが可能な技術を提供することを目的とする。

上記目的を達成するため、本開示の一実施形態では、
作業機械に搭載され、前記作業機械の周辺の状況に関する情報を取得する複数の周辺監視センサと、
前記複数の周辺監視センサのそれぞれの位置及び姿勢に関する情報を取得する位置姿勢検出センサと、を備える、
周辺監視システムが提供される。

また、他の実施形態では、
作業機械の周辺の様子を三次元的に且つ前記作業機械との距離感をユーザが認識可能な態様で表す画像情報を、ユーザの操作に応じて、視点を変化させながら表示すると共に、前記画像情報上の所定の物体をユーザが識別可能なように表示する、
表示装置が提供される。

上述の実施形態によれば、複数の周辺監視センサを用いて、作業機械の周辺の状況をより容易に監視することができる。

周辺監視システムの一例を概略的に示す図である。 周辺監視システムが適用されるショベルの一例を示す側面図である。 周辺監視システムが適用されるショベルの一例を示す上面図である。 表示装置の表示内容の一例を示す図である。 表示装置の表示内容の他の例を示す図である。 周辺監視システムが適用される連続アンローダの一例を示す図である。 周辺監視システムが適用される連続アンローダの一例を示す図である。 周辺監視システムが適用される連続アンローダの一例を示す図である。 周辺監視システムが適用される連続アンローダの一例を示す図である。

以下、図面を参照して実施形態について説明する。

［周辺監視システムの概要］
まず、図１を参照して、本実施形態に係る周辺監視システム１００の概要について説明をする。

＜構成＞
図１は、本実施形態に係る周辺監視システム１００の一例を示す概略図である。

周辺監視システム１００は、周辺監視センサ１２０の出力を用いて、周辺監視センサ１２０が搭載される作業機械（例えば、後述のショベルＳＶＬや連続アンローダＵＬＤ等）の周辺の状況を監視する。以下、「作業機械」は、特に断らない限り、周辺監視システム１００による周辺状況の監視対象の作業機械を意味する。

周辺監視システム１００は、制御装置１１０と、周辺監視センサ１２０と、位置姿勢検出センサ１３０と、表示装置１４０と、入力装置１５０とを含む。

制御装置１１０は、作業機械の周辺の状況の監視に関する制御を行う。また、制御装置１１０は、周辺監視システム１００のユーザに対して、作業機械の周辺の状況に関する情報提供を行う。周辺監視システム１００のユーザは、例えば、作業機械のオペレータを含む。作業機械のオペレータは、作業機械に設けられる運転室で操作を行うオペレータの他、作業機械の外部から作業機械の操作を行うオペレータを含んでよい。また、周辺監視システム１００のユーザは、作業機械の動作を外部（例えば、作業機械の管理センタ等）から監視する管理者等を含む。

制御装置１１０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。制御装置１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。制御装置１１０は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしＣＰＵ上で実行することにより各種機能を実現する。

制御装置１１０は、作業機械に搭載されていてもよいし、作業機械の外部に設けられてもよい。作業機械の外部に設けられる場合、制御装置１１０は、例えば、サーバ装置であってよい。サーバ装置は、例えば、作業機械の作業現場と異なる場所に設置される管理センタ等に設けられるクラウドサーバであってよい。また、サーバ装置は、例えば、作業機械の作業現場の敷地内、或いは、作業現場の敷地から相対的に近い通信施設（例えば、基地局や局舎等）に設けられるエッジサーバであってもよい。また、作業機械の外部に設けられる場合、制御装置１１０は、作業現場の敷地内の所定の施設に設けられる端末装置（例えば、デスクトップ型のコンピュータ端末）であってもよい。また、作業機械の外部に設けられる場合、制御装置１１０は、例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等の携帯型（可搬型）の端末装置（携帯端末）であってもよい。

また、作業機械の外部に設けられる場合、制御装置１１０は、例えば、作業機械の遠隔操作を支援する外部装置（以下、「遠隔操作支援装置」）であってもよい。遠隔操作支援装置は、例えば、オペレータが作業機械の遠隔操作を行うための施設に設けられるサーバ装置等であってよい。遠隔操作支援装置は、オペレータが遠隔操作に対応する操作入力を行う操作装置（以下、「遠隔操作装置」）やオペレータが作業機械の周辺の画像情報を視認するための表示装置（以下、「遠隔操作用表示装置」）等と接続される。これにより、遠隔操作支援装置は、作業機械の遠隔操作を行うオペレータの操作入力の内容を取得し、所定の通信回線を通じて、作業機械に送信し、作業機械の動作に遠隔操作の内容を反映させることができる。また、遠隔操作支援装置は、所定の通信回線を通じて、作業機械から受信される、作業機械の周辺の画像情報を遠隔操作用表示装置に表示させ、ユーザの遠隔操作を支援することができる。

周辺監視センサ１２０は、作業機械に搭載され、作業機械の周辺の状況に関するデータを取得する。周辺監視センサ１２０には、例えば、作業機械の周辺の画像データを取得する撮像装置が含まれてよい。撮像装置には、例えば、単眼カメラ、ステレオカメラ、デプスカメラ、距離画像カメラ等が含まれる。また、周辺監視センサ１２０には、例えば、作業機械の周辺の物体からの反射信号に関するデータを取得する、ＬＩＤＡＲ、超音波センサ、ミリ波レーダ等の距離センサが含まれてもよい。距離センサは、例えば、自身から上下左右の所定の角度範囲に向かって、光、超音波、電磁波等の信号を送信すると共に、信号が送信された各方向の物体で反射されて戻ってくる反射信号を受信することにより、作業機械の周辺状況に関するデータを取得する。具体的には、距離センサは、受信される反射信号に関するデータ（以下、「受信データ」）を取得する。受信データには、信号の照射方向ごとの信号の照射から反射信号が受信されるまでの時間（ＴＯＦ：Time Of Flight）に関するデータ（以下、「ＴＯＦデータ」）が含まれる。また、受信データには、信号の照射方向ごとの受信される信号の強度に関する情報（以下、「受信強度データ」）が含まれる。距離センサは、例えば、作業機械の周辺の状況に関するデータとして、ＴＯＦ（Time Of Flight）データや受信強度データ等を出力してよい。また、距離センサは、ＴＯＦデータ及び受光強度データ等に既知の後処理を施すことにより、作業機械の周辺の状況に関するデータとして、自らを基準とする点群データや各点の属性データを出力してもよい。属性データは、例えば、各点に対応する物体の種類を表すデータであってよい。

周辺監視センサ１２０は、複数の周辺監視センサ１２０Ａ，１２０Ｂ，・・・を含む。以下、周辺監視センサ１２０Ａ，１２０Ｂ，・・・を包括的に、或いは、個別に「周辺監視センサ１２０Ｘ」と称する場合がある。複数の周辺監視センサ１２０Ｘは、全て同じ種類のセンサであってもよいし、２種類以上のセンサを含んでもよい。

周辺監視センサ１２０Ｘは、作業機械の周辺の状況に関するデータを出力し、周辺監視センサ１２０Ｘの出力データは、制御装置１１０に取り込まれる。

制御装置１１０が作業機械に搭載される場合、周辺監視センサ１２０Ｘの出力データは、例えば、一対一の通信センサや車載ネットワーク等を通じて、制御装置１１０に取り込まれる。

また、制御装置１１０が作業機械の外部に設けられる場合、作業機械の外部の所定の通信回線を通じて、周辺監視センサ１２０Ｘの出力データは、制御装置１１０に取り込まれる。所定の通信回線は、例えば、作業機械の作業現場の内部のローカルネットワーク（ＬＡＮ：Local Area Network）を含んでよい。また、所定の通信回線は、例えば、広域ネットワーク（ＷＡＮ：Wide Area Network）を含んでもよい。広域ネットワークは、例えば、基地局を末端とする移動体通信網、通信衛星を利用する衛星通信網、インターネット網等を含んでよい。また、所定の通信回線は、例えば、ブルートゥース（登録商標）やＷｉＦｉ等の所定の無線通信規格による近距離通信回線を含んでもよい。

位置姿勢検出センサ１３０は、複数の周辺監視センサ１２０Ｘのそれぞれの、所定の座標系（以下、「基準座標系」）で表すことが可能な位置及び姿勢に関するデータを取得する。基準座標系は、例えば、作業機械を基準とするローカル座標系であってもよいし、例えば、世界測地系のようなグローバル座標系であってもよい。また、基準座標系は、固定座標系であってもよいし、作業機械の所定部位と共に移動する移動座標系であってもよい。また、位置姿勢検出センサ１３０は、基準座標系で表現される、周辺監視センサ１２０Ｘの位置及び姿勢に関するデータを直接取得してもよいし、所定の座標変換により基準座標系に変換可能な態様の周辺監視センサ１２０Ｘの位置及び姿勢に関するデータを取得してもよい。

位置姿勢検出センサ１３０は、複数の周辺監視センサ１２０Ｘの全ての位置及び姿勢に関するデータを出力可能な限り、一つであってもよいし、複数であってもよい。また、位置姿勢検出センサ１３０は、基準座標系上での複数の周辺監視センサ１２０Ｘの位置及び姿勢に関するデータを出力可能な限り、作業機械に搭載されてもよいし、作業機械の外部に設けられてもよい。

位置姿勢検出センサ１３０は、例えば、周辺監視センサ１２０Ｘの位置及び姿勢に関する画像データを出力する撮像装置を含む。この場合、周辺監視センサ１２０Ｘにおける位置姿勢検出センサ１３０から撮像可能な所定の部位には、例えば、所定の図形（マーカ）等が設けられる。これにより、制御装置１１０は、撮像装置により出力される画像データ上での図形の大きさや歪み等に基づき、周辺監視センサ１２０Ｘの位置及び姿勢を特定（推定）することができる。

また、位置姿勢検出センサ１３０は、例えば、ＲＦＩＤ（Radio Frequency Identification）リーダを含む。この場合、周辺監視センサ１２０Ｘには、例えば、互いに設置部位が異なる複数のＲＦＩＤタグが搭載される。これにより、制御装置１１０は、ＲＦＩＤリーダにより受信される複数のＲＦＩＤタグのそれぞれからの受信信号（受信電波）に基づき、周辺監視センサ１２０Ｘの位置及び姿勢を特定（推定）することができる。

また、位置姿勢検出センサ１３０は、例えば、ビーコンから送信されるＷｉＦｉ、ブルートゥース（登録商標）等の近距離通信規格による電磁波や超音波等の受信するビーコン受信機を含む。この場合。周辺監視センサ１２０Ｘには、例えば、互いに設置部位が異なる複数のビーコンが搭載される。これにより、制御装置１１０は、ビーコン受信機により受信される複数のビーコンのそれぞれからの受信信号に基づき、周辺監視センサ１２０Ｘの位置及び姿勢を特定（推定）することができる。

表示装置１４０は、制御装置１１０の制御下で、作業機械の周辺の状況を表す画像情報を表示し、周辺監視システム１００のユーザに対して、視覚的な情報を提供する。表示装置１４０は、例えば、作業機械に搭載されたり、作業機械の遠隔操作等を支援する外部装置（施設）に設置されたりする定置型表示装置であってよい。また、表示装置１４０は、周辺監視システム１００のユーザが携帯可能な携帯型（可搬型）表示装置であってもよい。携帯型表示装置は、例えば、後述のウェアラブル型表示装置を含む。また、携帯型表示装置は、例えば、スマートフォン、タブレット端末等の携帯端末に搭載される表示装置（ディスプレイ）を含む。

入力装置１５０は、周辺監視システム１００のユーザからの各種入力を受け付ける。入力装置は、例えば、キーボード、マウス、ジョイスティック、タッチパネル、タッチパッド、ボタン、トグル、レバー等の操作入力装置を含む。また、入力装置は、例えば、ユーザからの音声入力やジェスチャ入力を受け付ける音声入力装置やジェスチャ入力装置を含んでもよい。入力装置１５０は、対象のユーザの場所に応じて、作業機械に設けられてもよいし、作業機械の外部に設けられてもよい。

＜作業機械の周辺の状況の監視に関する動作＞
制御装置１１０は、位置姿勢検出センサ１３０の出力データに基づき、複数の周辺監視センサ１２０Ｘの出力データを、基準座標系における作業機械の周辺の状況を表すデータ群として統合する。以下、統合された、基準座標系における作業機械の周辺状況を表すデータ群を「統合データ群」と称する。

制御装置１１０は、所定の制御周期ごとに、入力される複数の周辺監視センサ１２０Ｘの出力データ、及び位置姿勢検出センサ１３０の出力データに基づき、統合データ群を構築する。統合データ群は、例えば、複数の周辺監視センサ１２０Ｘのそれぞれの出力データを基準座標系と紐付けることにより構築されてよい。具体的には、周辺監視センサ１２０Ｘの出力データは、その周辺監視センサ１２０Ｘを基準とする座標系でのデータに相当する。そのため、周辺監視センサ１２０Ｘの出力データとその周辺監視センサ１２０Ｘの基準座標系での位置及び姿勢に関するデータとが紐付けられることにより、統合データ群が構築されてよい。また、統合データ群は、例えば、周辺監視センサ１２０Ｘの出力データが基準座標系のデータに変換されることにより構築されてもよい。

例えば、周辺監視センサ１２０Ｘの位置及び姿勢が固定されている場合であっても、設計位置と実際の固定位置との間には、製造上の誤差等が生じる。そのため、通常、工場出荷前に、周辺監視センサ１２０Ｘの位置及び姿勢に関するキャリブレーション（校正）が、全ての周辺監視センサ１２０Ｘについて実施される必要が生じる。

また、例えば、ユーザの操作によって、周辺監視センサ１２０Ｘの姿勢が変更される場合がありうる。作業状況等によって、ユーザが把握したい作業機械の周囲の場所が異なり得るからである。また、作業機械の可動部の動作に合わせて周辺監視センサ１２０Ｘの位置や姿勢が変化する場合もある。これらの場合、特定の位置及び姿勢の状態で周辺監視センサ１２０Ｘのキャリブレーションが実施されても、位置及び姿勢の少なくとも一方が変更されると、周辺監視センサ１２０Ｘの出力データが作業機械の周辺のどの範囲を表しているのか判断することができなくなる可能性がある。

これに対して、本実施形態では、位置姿勢検出センサ１３０により複数の周辺監視センサ１２０Ｘの位置及び姿勢に関するデータが、基準座標系における位置及び姿勢として表現可能な態様で出力される。そのため、制御装置１１０は、キャリブレーションの有無を問わず、基準座標系における複数の周辺監視センサ１２０Ｘのそれぞれの位置及び姿勢を把握し、複数の周辺監視センサ１２０Ｘの出力データを，同一の基準座標系におけるデータとして統合できる。よって、周辺監視システム１００は、作業機械の周辺の状況をより容易に監視することができる。

尚、位置姿勢検出センサ１３０との位置関係が変化しない周辺監視センサ１２０Ｘについては、位置及び姿勢に関するキャリブレーション（校正）が行われてもよい。この場合、位置姿勢検出センサ１３０は、複数の周辺監視センサ１２０Ｘのうちのキャリブレーションが実施済みの周辺監視センサ１２０Ｘを除く、残りの周辺監視センサ１２０Ｘの位置及び姿勢に関するデータだけを出力してもよい。

また、作業機械の可動部の動作に合わせて周辺監視センサ１２０Ｘの位置や姿勢が変化する場合、作業機械の動作に伴い相対的な位置及び姿勢の少なくとも一方が変化する２以上の周辺監視センサ１２０Ｘの組み合わせが生じる可能性がある。そして、場合によっては、２以上の周辺監視センサ１２０Ｘによって、作業機械の周辺の重複する範囲のデータが取得されるようになったり、その重複する範囲が変化したりする可能性がある。この場合、２以上の周辺監視センサ１２０Ｘの正確な位置及び姿勢が把握されないと、作業機械の周辺の重複する範囲（即ち、同じ範囲）に関するデータが、異なる範囲に関するデータと誤って判断される可能性がある。そして、その結果、作業機械の周辺の状況が誤って認識されてしまう可能性がある。

これに対して、本実施形態では、制御装置１１０は、位置姿勢検出センサ１３０の出力データに基づき、複数の周辺監視センサ１２０Ｘの位置及び姿勢を適切に認識することができる。そのため、制御装置１１０は、２以上の周辺監視センサ１２０Ｘが作業機械の周辺の重複する範囲のデータを取得する状態が生じたり、データの重複する範囲が変化したりしても、重複する範囲のデータを同じ範囲のデータとして適切に認識できる。よって、周辺監視システム１００は、このような状況であっても、作業機械の周辺の状況をより適切に認識することができる。

制御装置１１０は、例えば、統合データ群に基づき、作業機械の周辺の物体の位置を認識（検出）してよい。また、制御装置１１０は、例えば、統合データ群に基づき、物体の種類を認識（検出）してよい。

例えば、制御装置１１０は、統合データ群に含まれる、画像データに基づき、既知の画像処理の手法や機械学習ベースの識別器（例えば、サポートベクターマシーン）等を用いて、作業機械の周辺の物体やその種類を認識してよい。そして、制御装置１１０は、認識した物体の画像データ上の位置や大きさ等に基づき、その物体の位置を認識してよい。

また、例えば、制御装置１１０は、統合データ群に含まれる、距離センサの出力データ（点群データ）や点群データを基準座標系に変換したデータに基づき、作業機械の周辺の物体を認識（検出）したり、その物体の位置を認識したりしてよい。更に、例えば、制御装置１１０は、統合データ群に含まれる、距離センサの出力データ（受信強度データや属性データ）に基づき、認識（検出）した作業機械の周辺の物体の種類を認識してよい。物体の種類によって、距離センサから出力される信号の反射率が異なりうるからである。

また、例えば、制御装置１１０は、統合データ群の中に、画像データ及び距離センサの出力データ（或いは、その変換後のデータ）が含まれる場合、距離センサの出力データから物体の位置を認識し、画像データから物体の種類を認識してもよい。物体の位置の検出精度は、距離センサの出力データを用いる方が相対的に高くなる一方、物体の種類の認識精度は、画像データを用いる方が相対的に高くなるからである。

また、制御装置１１０は、例えば、統合データ群に基づき、作業機械の周辺の状況を表す画像情報を生成し、表示装置１４０に表示させてよい（後述の図４、図５参照）。これにより、制御装置１１０は、例えば、統合データ群に含まれる複数のデータを用いて、より位置精度の高い合成画像をより容易に生成し、ユーザに提供することができる。統合デー群のデータが全て統一の基準座標系で統合されているからである。

［周辺監視システムのショベルへの適用例］
次に、図２～図５を参照して、周辺監視システム１００のショベルＳＶＬへの適用例について説明する。

＜ショベルの構成＞
図２、図３は、周辺監視システム１００が適用されるショベルＳＶＬの一例の側面図及び上面図である。

＜＜概要＞＞
図２、図３に示すように、本実施形態に係るショベルＳＶＬ（作業機械の一例）は、下部走行体１と、上部旋回体３と、ブーム４、アーム５、及びバケット６を含むアタッチメントと、キャビン１０とを備える。以下、ショベルＳＶＬの前方は、ショベルＳＶＬを上部旋回体３の旋回軸に沿って真上から平面視（以下、単に「平面視」と称する）で見たときに、上部旋回体３に対するアタッチメントが延び出す方向に対応する。また、ショベルＳＶＬの左方及び右方は、それぞれ、キャビン１０の内部のオペレータから見た左方及び右方に対応する。

下部走行体１は、例えば、左右一対のクローラ１Ｃ（具体的には、左側のクローラ１ＣＬ、及び右側のクローラ１ＣＲ）を含む。下部走行体１は、それぞれのクローラ１ＣＬ，１ＣＲが走行油圧モータ１Ｍ（具体的には、左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲ）で油圧駆動されることにより、ショベルＳＶＬを走行させる。

上部旋回体３は、旋回機構２を介して旋回自在に下部走行体１に搭載される。上部旋回体３は、旋回機構２が旋回油圧モータ２Ａで油圧駆動されることにより、下部走行体１に対して旋回する。

ブーム４は、上部旋回体３の前部中央に俯仰可能に取り付けられ、ブーム４の先端には、アーム５が上下回動可能に取り付けられ、アーム５の先端には、バケット６が上下回動可能に取り付けられる。

バケット６は、エンドアタッチメントの一例である。バケット６は、例えば、掘削作業等に用いられる。また、アーム５の先端には、作業内容等に応じて、バケット６の代わりに、他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他のエンドアタッチメントは、攪拌機、ブレーカ等のバケット以外の種類のエンドアタッチメントであってもよい。

ブーム４、アーム５、及びバケット６は、それぞれ、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。

キャビン１０は、オペレータが搭乗する操縦室であり、例えば、上部旋回体３の前部左側に搭載される。

ショベルＳＶＬは、例えば、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータ（例えば、油圧アクチュエータ）を動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動する。

また、ショベルＳＶＬは、キャビン１０のオペレータにより操作可能に構成されるのに代えて、或いは、加えて、ショベルＳＶＬの外部から遠隔操作（リモート操作）が可能に構成されてもよい。ショベルＳＶＬが遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン１０のオペレータによる操作装置２６に対する操作、及び外部のオペレータによる遠隔操作の少なくとも一方が含まれる前提で説明を進める。

遠隔操作には、例えば、所定の外部装置（遠隔操作支援装置）で行われるショベルＳＶＬのアクチュエータに関するユーザ（オペレータ）からの入力によって、ショベルＳＶＬが操作される態様が含まれる。この場合、ショベルＳＶＬは、例えば、後述の撮像装置（周辺監視センサ１２０Ａ～１２０Ｃ）の出力に基づくショベルＳＶＬの周囲の画像情報（以下、「周辺画像」）を遠隔操作支援装置に送信する。そして、周辺画像は、遠隔操作支援装置に設けられる遠隔操作用表示装置に表示されてよい。また、ショベルＳＶＬのキャビン１０内の表示装置１４０に表示される各種の情報画像（情報画面）は、同様に、遠隔操作支援装置の遠隔操作用表示装置にも表示されてよい。これにより、遠隔操作支援装置のオペレータは、例えば、遠隔操作用表示装置に表示されるショベルＳＶＬの周囲の様子を表す周囲画像や各種の情報画像等の表示内容を確認しながら、ショベルＳＶＬを遠隔操作することができる。また、そして、ショベルＳＶＬは、遠隔操作支援装置から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してよい。

また、遠隔操作には、例えば、ショベルＳＶＬの周囲の人（例えば、作業者）のショベルＳＶＬに対する外部からの音声入力やジェスチャ入力等によって、ショベルＳＶＬが操作される態様が含まれてよい。具体的には、ショベルＳＶＬは、ショベルＳＶＬ（自機）に搭載される撮像装置や音声入力装置（例えば、マイクロフォン）等を通じて、周囲の作業者等により発話される音声や作業者等により行われるジェスチャ等を認識する。そして、ショベルＳＶＬは、認識した音声やジェスチャ等の内容に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を駆動してよい。

また、ショベルＳＶＬは、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベルＳＶＬは、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素の少なくとも一部を自動で動作させる機能（いわゆる「自動運転機能」或いは「マシンコントロール機能」）を実現する。

自動運転機能には、オペレータの操作装置２６に対する操作や遠隔操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能（いわゆる「半自動運機能」或いは「操作支援型のマシンコントロール機能」）が含まれてよい。また、自動運転機能には、オペレータの操作装置２６に対する操作や遠隔操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能（いわゆる「完全自動運転機能」或いは「全自動型のマシンコントロール機能」）が含まれてもよい。ショベルＳＶＬにおいて、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベルＳＶＬが自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される態様（いわゆる「自律運転機能」）が含まれてもよい。

ショベルＳＶＬは、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。

＜＜油圧駆動系＞＞
図２、図３に示すように、ショベルＳＶＬの油圧駆動系は、上述の如く、下部走行体１（クローラ１ＣＬ，１ＣＲ）、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータを含む。油圧アクチュエータには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。また、本実施形態に係るショベルＳＶＬの油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。

エンジン１１は、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述する制御装置１１０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。

レギュレータ１３は、制御装置１１０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、制御装置１１０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。

メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、制御装置１１０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。

コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容、或いは、制御装置１１０から出力される自動運転機能に関する操作指令に応じて、油圧アクチュエータの制御を行う。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、操作装置２６の操作状態、或いは、制御装置１１０から出力される操作指令に応じて、油圧アクチュエータ（走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等）に選択的に供給する。

＜＜操作系＞＞
図２、図３に示すように、本実施形態に係るショベルＳＶＬの操作系は、パイロットポンプ１５と、操作装置２６とを含む。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素（下部走行体１、上部旋回体３、ブーム４、アーム５、バケット６等）の操作を行うために用いられる。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータ（即ち、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ａ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等）の操作を行うために用いられる。操作装置２６は、例えば、ブーム４（ブームシリンダ７）、アーム５（アームシリンダ８）、バケット６（バケットシリンダ９）、及び上部旋回体３（旋回油圧モータ２Ａ）のそれぞれを操作するレバー装置を含む。また、操作装置２６は、例えば、下部走行体１の左右のクローラ（走行油圧モータ１ＭＬ，１ＭＲ）のそれぞれを操作するペダル装置或いはレバー装置を含む。

例えば、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットラインを通じてパイロットポンプ１５から供給される作動油を利用して、操作内容に応じたパイロット圧をコントロールバルブ１７に出力する。これにより、コントロールバルブ１７には、操作装置２６における各種被駆動要素（油圧アクチュエータ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等の操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータを駆動することができる。

また、例えば、操作装置２６は、電気式である。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、制御装置１１０に取り込まれる。そして、制御装置１１０は、操作信号の内容に応じた制御信号を、パイロットポンプ１５からの作動油を用いてコントロールバルブ１７に作動油を出力可能な油圧制御弁（以下、「操作用油圧制御弁」）に出力する。これにより、操作用油圧制御弁からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータを駆動することができる。

＜＜ユーザインタフェース系＞＞
図２、図３に示すように、本実施形態に係るショベルＳＶＬのユーザインタフェース系は、操作装置２６と、表示装置１４０と、入力装置１５０とを含む。

表示装置１４０は、制御装置１１０の制御下で、視覚的な情報を提供する。

表示装置１４０は、例えば、キャビン１０内の着座したオペレータから視認し易い場所に設けられ、キャビン１０の内部のショベルＳＶＬのユーザ（オペレータ）に向けて各種情報画像を表示する定置型表示装置を含む。定置型表示装置は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイである。

また、表示装置１４０は、例えば、上述の如く、ユーザが携帯可能な携帯型表示装置を含む。携帯型表示装置は、例えば、上述の如く、ユーザが着用可能なメガネやゴーグルの透過面に画像情報を表示可能なウェアラブル型表示装置を含む。ウェアラブル型表示装置は、ユーザが透過面から周辺の状況を視認可能な前提の下で、その視野の中に重畳して画像情報を表示することができる。ウェアラブル型表示装置の位置及び姿勢に関するデータは、例えば、ブルートゥースやＷｉＦｉ等の無線通信規格に基づく近距離通信回線を通じて制御装置１１０に取り込まれる。これにより、制御装置１１０は、ウェアラブル型表示装置を装着するユーザ（オペレータ）の視点や視野の方向を把握し、その視野に合わせた表示内容を透過面に表示させることができる。ウェアラブル型表示装置は、例えば、スマートグラスやＡＲ（Augmented Reality）ゴーグル等である。また、携帯型表示装置は、例えば、上述の如く、ユーザが所持する携帯端末に搭載される表示装置を含む。

入力装置１５０は、キャビン１０内の着座したオペレータに近接する範囲に設けられ、オペレータによる各種入力を受け付け、受け付けられる入力に対応する信号は、制御装置１１０に取り込まれる。

例えば、入力装置１５０は、操作入力を受け付ける操作入力装置である。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれる。

また、例えば、入力装置１５０は、オペレータの音声入力を受け付ける音声入力装置であってもよい。音声入力装置には、例えば、マイクロフォンが含まれる。

また、例えば、入力装置１５０は、オペレータのジェスチャ入力を受け付けるジェスチャ入力装置であってもよい。ジェスチャ入力装置には、例えば、キャビン１０内に設置される撮像装置（室内カメラ）が含まれる。

＜＜通信系＞＞
図２、図３に示すように、本実施形態に係るショベルＳＶＬの通信系は、通信装置１１５を含む。

通信装置１１５は、通信回線ＮＷに接続し、ショベルＳＶＬと別に設けられる装置（例えば、位置姿勢検出センサ１３０や遠隔操作支援装置等）と通信を行う。ショベルＳＶＬと別に設けられる装置には、ショベルＳＶＬの外部にある装置の他、ショベルＳＶＬのユーザによりキャビン１０に持ち込まれる携帯型の端末装置が含まれてよい。通信装置１１５は、例えば、４Ｇ（4^th Generation）や５Ｇ（5^th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置１１５は、例えば、衛星通信モジュールを含んでもよい。また、通信装置１１５は、例えば、ＷｉＦｉ通信モジュールやブルートゥース通信モジュール等を含んでもよい。

＜＜制御系＞＞
図２、図３に示すように、本実施形態に係るショベルＳＶＬの制御系は、制御装置１１０と、周辺監視センサ１２０Ａ～１２０Ｇとを含む。

制御装置１１０は、ショベルＳＶＬに関する各種制御を行う。

制御装置１１０は、例えば、上述の操作用油圧制御弁を制御対象として、ショベルＳＶＬの油圧アクチュエータ（被駆動要素）の操作に関する制御を行う。

例えば、制御装置１１０は、操作用油圧制御弁を制御対象として、操作装置２６の操作に基づくショベルＳＶＬの油圧アクチュエータ（被駆動要素）の操作に関する制御を行ってよい。

また、例えば、制御装置１１０は、操作用油圧制御弁を制御対象として、ショベルＳＶＬの油圧アクチュエータ（被駆動要素）の遠隔操作に関する制御を行ってよい。具体的には、制御装置１１０は、通信装置１１５等によって、外部装置から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を操作用油圧制御弁に出力する。これにより、制御装置１１０は、操作用油圧制御弁から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づくショベルＳＶＬの動作を実現することができる。

また、例えば、制御装置１１０は、操作用油圧制御弁を制御対象として、ショベルＳＶＬの自動運転機能に関する制御を行ってよい。具体的には、制御装置１１０は、操作装置２６の操作の有無に依らず、自動運転機能に関する操作指令に対応する制御信号を操作用油圧制御弁に出力する。これにより、制御装置１１０は、操作用油圧制御弁から自動運転機能に関する操作指令に対応するパイロット圧をコントロールバルブ１７に供給させ、自動運転機能に基づくショベルＳＶＬの動作を実現することができる。

また、制御装置１１０は、例えば、周辺監視システム１００に関する制御を行う。

尚、制御装置１１０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、制御装置１１０の機能は、複数のコントローラにより分散して実現される態様であってもよい。例えば、制御装置１１０は、周辺監視システム１００に関する制御に特化し、他のショベルＳＶＬに関する制御は、他の制御装置により実現されてもよい。

周辺監視センサ１２０Ａ～１２０Ｃは、ショベルＳＶＬの周辺を撮像し、ショベルＳＶＬの周辺の状況に関する画像データを出力する撮像装置である。

周辺監視センサ１２０Ａ、周辺監視センサ１２０Ｂ、及び周辺監視センサ１２０Ｃは、それぞれ、上部旋回体３の、後端上部、左端上部、及び右端上部に取り付けられ、上部旋回体３の後方、左側方、及び右側方を撮像する。周辺監視センサ１２０Ａは、上部旋回体３の後方の撮像範囲、例えば、左後方から右後方に亘る水平方向（即ち、ショベルＳＶＬから見た周方向）の撮像範囲を撮像する。また、周辺監視センサ１２０Ｂは、例えば、上部旋回体３の左側方の撮像範囲、例えば、上部旋回体３の左前方から左後方に亘る水平方向（ショベルＳＶＬから見た周方向）の撮像範囲を撮像する。また、周辺監視センサ１２０Ｃは、例えば、上部旋回体３の右側方の撮像範囲、例えば、上部旋回体３の右前方から右後方に亘る水平方向（ショベルＳＶＬから見た周方向）の撮像範囲を撮像する。また、周辺監視センサ１２０Ａ～１２０Ｃは、それぞれ、上部旋回体３の上部において、光軸が斜め下方に向くように取り付けられ、ショベルＳＶＬの近傍の地面からショベルＳＶＬの遠方までを含む上下方向の撮像範囲を撮像してよい。また、周辺監視センサ１２０Ａ～１２０Ｃは、ユーザ（オペレータ）の操作に応じて、姿勢状態（上下方向の回動状態）が可変可能なように構成されてもよい。

周辺監視センサ１２０Ａ～１２０Ｃは、例えば、ショベルＳＶＬの起動（即ち、キースイッチＯＮ）から停止（即ち、キースイッチＯＦＦ）までの間で、所定周期（例えば、１／３０秒）ごとに、撮像画像（画像データ）を出力する。周辺監視センサ１２０Ａ～１２０Ｃから出力される撮像画像は、制御装置１１０に取り込まれる。

尚、ショベルＳＶＬが遠隔操作される場合、周辺監視センサ１２０Ａ～１２０Ｃの他に、ショベルＳＶＬの前方の様子を、遠隔操作を行うオペレータが確認するための画像を取得する周辺監視センサ１２０Ｘ（例えば、前方カメラ）が設けられてよい。

周辺監視センサ１２０Ｄ～１２０Ｇは、ショベルＳＶＬの周辺の物体に関する距離データや受光強度データ等を出力する距離センサである。以下、周辺監視センサ１２０Ｄ～１２０ＧがＬＩＤＡＲである場合を中心に説明を進める。

周辺監視センサ１２０Ｄ、周辺監視センサ１２０Ｅ、周辺監視センサ１２０Ｆ、及び周辺監視センサ１２０Ｇは、それぞれ、上部旋回体３の左寄りの後端上部、右寄りの後端上部、左端上部、及び、右端上部に取り付けられる。そして、周辺監視センサ１２０Ｄ、周辺監視センサ１２０Ｅ、周辺監視センサ１２０Ｆ、及び周辺監視センサ１２０Ｇは、それぞれ、上部旋回体３の左後方、右後方、左側方、及び、右側方の状況に関する情報を取得する。

周辺監視センサ１２０Ｄ～１２０Ｇは、例えば、走査型のＬＩＤＡＲであり、赤外線レーザの照射方向を上下方向及び左右方向に走査可能な三次元レーザスキャナである。また、周辺監視センサ１２０Ｄ～１２０Ｇは、例えば、発光モジュールから赤外線を三次元の広範囲に照射し、反射光（赤外線）を三次元距離画像素子で撮像する、いわゆるフラッシュ型ＬＩＤＡＲであってもよい。

周辺監視センサ１２０Ｄは、上部旋回体３の左後方の照射範囲、例えば、上部旋回体３の左後方から後方に亘る水平方向（即ち、ショベルＳＶＬから見た周方向）の照射範囲に赤外線を照射可能に構成される。また、周辺監視センサ１２０Ｅは、上部旋回体３の右後方の照射範囲、例えば、上部旋回体３の右後方から後方に亘る水平方向（ショベルＳＶＬから見た周方向）の照射範囲に赤外線を照射可能に構成される。また、周辺監視センサ１２０Ｆは、上部旋回体３の左側方の照射範囲、例えば、上部旋回体３の左前方から左後方に亘る水平方向（ショベルＳＶＬから見た周方向）の照射範囲に赤外線を照射可能に構成される。また、周辺監視センサ１２０Ｇは、上部旋回体３の右側方の照射範囲、例えば、上部旋回体３の右前方から右後方に亘る水平方向（ショベルから見た周方向）の照射範囲に赤外線を照射可能に構成される。また、周辺監視センサ１２０Ｄ～１２０Ｆは、上部旋回体３の上部において、光軸（即ち、赤外線の照射方向の基準軸）が斜め下方に向くように取り付けられ、ショベルＳＶＬに相対的に近い地面の部分を中心とする上下方向の赤外線の照射範囲を有する。

周辺監視センサ１２０Ｄ～１２０Ｆは、それぞれ、ショベルＳＶＬの起動から停止までの間で、所定周期ごとに、受光情報を出力する。周辺監視センサ１２０Ｄ～１２０Ｇから出力されるデータ（距離データや受光強度データ等）は、制御装置１１０に取り込まれる。

＜ショベルの周辺の状況の監視に関する動作＞
図３に示すように、本例では、位置姿勢検出センサ１３０（本例では、撮像装置）は、ショベルＳＶＬの周囲の作業現場内が設けられる。位置姿勢検出センサ１３０は、ショベルＳＶＬの周辺監視センサ１２０Ａ～１２０Ｇの全ての位置及び姿勢に関するデータを取得可能である限り、一つであってもよいし、複数であってもよい。

位置姿勢検出センサ１３０は、周辺監視センサ１２０Ａ～１２０Ｇのそれぞれの位置及び姿勢に関するデータを、所定の通信回線を通じて、ショベルＳＶＬに送信する。

制御装置１１０は、通信装置１１５を通じて、位置姿勢検出センサ１３０の出力データを受信し、取得することができる。

制御装置１１０は、上述の如く、周辺監視センサ１２０Ａ～１２０Ｇの出力データに基づき、位置姿勢検出センサ１３０の出力データを用いて、統合データ群を作成する。

また、制御装置１１０は、例えば、統合データ群に基づき、ショベルＳＶＬの周辺の所定範囲（以下、「監視エリア」）内で、監視対象の物体（以下、「監視物体」）を検出する。監視エリアは、例えば、ショベルＳＶＬからの距離が所定値（例えば、５メートル）以内の範囲である。監視物体には、例えば、作業者等の人が含まれる。また、監視物体には、例えば、他のショベルを含む作業機械や作業車両等の移動する障害物が含まれてもよい。また、監視物体には、例えば、電柱、柵、穴等の移動しない障害物が含まれてもよい。

この場合、制御装置１１０は、統合データ群に含まれる、周辺監視センサ１２０Ａ～１２０Ｃの出力データ、及び周辺監視センサ１２０Ｄ～１２０Ｇの出力データ（或いは、その変換後のデータ）に基づき、監視エリア内の監視物体の検出を総合的に行ってよい。

また、制御装置１１０は、監視エリア内の物体の検出を行う場合と、物体の種類の判断を行う場合とで、利用するデータを異ならせてもよい。例えば、制御装置１１０は、統合データ群に含まれる、周辺監視センサ１２０Ｄ～１２０Ｆの出力データ（或いは、その変換後のデータ）に基づき、監視エリア内の物体の検出を行ってよい。また、制御装置１１０は、監視エリア内で物体が検出されている場合、統合データ群に含まれる、周辺監視センサ１２０Ａ～１２０Ｃの出力データ（画像データ）に基づき、画像データ内の物体の種類を認識してよい。そして、制御装置１１０は、種類が認識された物体の画像データ上の位置と、監視エリア内で検出されている物体の位置と照合し、監視エリア内で検出されている物体の種類を特定してよい。

制御装置１１０は、例えば、監視エリア内で監視物体を検出すると、視覚的な方法や聴覚的な方法を用いて、監視エリア内に監視物体が存在することを示す警報をオペレータやショベルＳＶＬの周囲の作業者等に向けて出力する。具体的には、制御装置１１０は、キャビン１０内の表示装置１４０に監視物体が検出されていることを示す情報を表示させる。また、制御装置１１０は、スピーカやブザー等を用いて、キャビン１０の内部のオペレータや外部の作業者に向けた警報を出力してよい。これにより、キャビン１０の内部のオペレータにショベルＳＶＬの周辺の監視エリア内に監視物体が存在する（侵入した）ことを認識させることができる。また、ショベルＳＶＬの周辺の作業者に対して、ショベルＳＶＬの周辺から監視物体としての人が退避するように、或いは、監視物体としての人以外の障害物を退避させるように促すことができる。また、制御装置１１０は、ショベルＳＶＬが遠隔操作される場合、通信装置１１５を通じて、遠隔操作を行うオペレータに向けた警報に対応する信号を遠隔操作支援装置に送信してよい。これにより、遠隔操作支援装置の遠隔操作用表示装置等を通じて、遠隔操作を行うオペレータに対して、ショベルＳＶＬの周辺の監視エリア内に監視物体が存在する（侵入した）ことを認識させることができる。そのため、周辺監視システム１００は、ショベルＳＶＬの周辺の監視エリア内に監視物体が存在する状況で、ショベルＳＶＬと監視物体との接触等が発生する事態を抑制することができる。よって、ショベルＳＶＬの安全性を向上させることができる。

また、制御装置１１０は、例えば、監視エリア内で監視物体を検出すると、ショベルＳＶＬのアクチュエータ（例えば、油圧アクチュエータ）動作を強制的に制限してもよい。具体的には、制御装置１１０は、オペレータの操作、或いは、自動運転機能に対応する操作指令に対するショベルＳＶＬのアクチュエータの動作を減速させたり、操作の有無によらず、アクチュエータの動作を停止させたりしてよい。より具体的には、制御装置１１０は、例えば、電気式の操作装置２６からの操作信号に応じて、アクチュエータの動作速度が相対的に小さくなるように、操作用油圧制御弁に対する制御信号を変更したり、操作信号を無効にしたりしてよい。これにより、周辺監視システム１００は、ショベルＳＶＬの周辺の監視エリア内に監視物体が存在する状況で、ショベルＳＶＬと監視物体との接触等が発生する事態を抑制することができる。そのため、ショベルＳＶＬの安全性を向上させることができる。

また、制御装置１１０は、例えば、統合データ群に基づき、ショベルＳＶＬの周辺の状況を表す画像情報を表示装置１４０に表示させる。具体的には、制御装置１１０は、リアルタイムに取得される統合データ群に基づき、ショベルＳＶＬの周辺の状況を表す画像情報を表示装置１４０に表示させてよい。これにより、オペレータやショベルＳＶＬの外部からその作業等を監視する監視者等のユーザは、リアルタイムに、ショベルＳＶＬの周辺の状況を監視することができる。また、制御装置１１０は、例えば、所定の記憶装置に格納される、時系列での統合データ群に基づき、ショベルＳＶＬの周辺の状況を表す画像情報を表示装置１４０に表示させてもよい。これにより、ユーザは、事後的に、ショベルＳＶＬの周辺の状況を確認し、作業現場の安全性の検証等を行うことができる。

例えば、図４は、表示装置１４０の表示内容の一例を示す図である。具体的には、図４は、上述の定置型表示装置の表示内容の具体例を示す図である。

本例では、ショベルＳＶＬ（上部旋回体３）の後方の監視エリア内に作業者が存在する場合の定置型表示装置の表示内容が表されている。

図４に示すように、表示装置１４０（定置型表示装置）には、ショベルＳＶＬの周辺の状況を表す画像情報４００が表示されている。

画像情報４００には、ショベル画像ＣＧと、ショベルＳＶＬの周辺の状況を表す周辺画像ＥＰとが表示されている。

ショベル画像ＣＧは、真上から見たショベルＳＶＬを模式的に表す。

周辺画像ＥＰは、統合データ群に含まれる、周辺監視センサ１２０Ａ～１２０Ｃのそれぞれの画像データに基づき生成される視点変換画像である。具体的には、制御装置１１０は、統合データ群に含まれる、周辺監視センサ１２０Ａ～１２０Ｃのそれぞれの画像データに対して、視点変換処理及び合成処理等を行うことにより、視点変換画像としての周辺画像ＥＰを生成する。これにより、ユーザ（オペレータ）は、周辺画像ＥＰを通じて、ショベルＳＶＬの周辺の状況を把握することができる。また、周辺画像ＥＰは、周辺監視センサ１２０Ａ～１２０Ｃの画像データの取得範囲（撮像範囲）とショベルＳＶＬ（具体的には、上部旋回体３）との位置関係に一致するように、ショベル画像ＣＧの周囲に配置される。これにより、ユーザは、周辺画像ＥＰに映っている物体と、ショベルＳＶＬとの位置関係を容易に把握することができる。

周辺画像ＥＰは、ショベルＳＶＬの隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像ＢＶＰの周りに配置される、ショベルＳＶＬからその周辺領域を水平方向に見た水平画像ＨＶＰとの組み合わせで構成される。これにより、ユーザ（オペレータ）は、周辺画像ＥＰを通じて、ショベルＳＶＬ及びその近接する周辺領域をショベルＳＶＬの真上から俯瞰する形で、ショベルＳＶＬに近接する周辺の状況を確認することができる。周辺画像ＥＰは、周辺監視センサ１２０Ａ～１２０Ｃのそれぞれの画像データを空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。

尚、周辺監視センサ１２０Ａ～１２０Ｃのうちの一部（即ち、２つの周辺監視センサ１２０Ｘ）の出力データに基づき、合成された視点変換画像が生成され、表示装置１４０に表示されてもよい。

上述の如く、ショベルＳＶＬの後方に作業者が存在するため、周辺画像ＥＰにおけるショベル画像ＣＧの後方に相当する位置には、作業者４０１が映っている。これにより、オペレータは、周辺画像ＥＰの作業者４０１を視認することで、ショベルＳＶＬの後方の相対的に近い位置に作業者が存在することを認識することができる。

また、周辺画像ＥＰにおける作業者４０１に対応する位置、具体的には、作業者４０１の足元位置には、枠型のマーカ４０２が重畳して表示されている。例えば、制御装置１１０は、統合データに含まれる、周辺監視センサ１２０Ｄ～１２０Ｇの出力データ（或いは、その変換後のデータ）に基づき、ショベルＳＶＬの周辺の物体の位置を認識してよい。そして、制御装置１１０は、ショベルＳＶＬ（上部旋回体３）の後方で認識される物体の位置に対応する周辺画像上の位置にマーカ４０２を表示させてよい。これにより、制御装置１１０は、統合データ群に基づき、周辺監視センサ１２０Ａ～１２０Ｃの出力データに基づく周辺画像と、周辺監視センサ１２０Ｄ～１２０Ｆの出力データに基づくマーカ４０２とを定置型表示装置に表示させることができる。

尚、図４の画像情報は、定置型表示装置に代えて、或いは、加えて、携帯型表示装置に表示可能な態様であってもよい。また、ショベルＳＶＬが遠隔操作される場合、遠隔操作支援装置の遠隔操作用表示装置には、図４と同様の表示内容が表示される。この場合、制御装置１１０により生成される画像情報４００は、通信装置１１５を通じて、遠隔操作支援装置に送信されてよい。また、制御装置１１０の機能の一部又は全部は、遠隔操作支援装置に移管されてもよい。この場合、周辺監視センサ１２０Ａ～１２０Ｇの出力データは、通信装置１１５から所定の通信回線を通じて、遠隔操作支援装置に送信される。以下、図５と同様の表示内容が遠隔操作のオペレータが着用するウェアラブル型表示装置に表示される場合についても同様である。

また、例えば、図５は、表示装置１４０の表示内容の他の例を示す図である。具体的には、図５は、上述のウェアラブル型表示装置の透過面の表示内容の具体例を示す図である。

本例では、ショベルＳＶＬの右側方の監視エリア内に作業者と三角コーンが存在する状態で、ウェアラブル型表示装置を着用したオペレータがキャビン１０に乗り込むときのウェアラブル型表示装置の表示内容が表示されている。

図５に示すように、ユーザは、ウェアラブル型表示装置の透過面を通じて、キャビン１０の内部の様子を視認することができる。

具体的には、キャビン１０には、操作装置２６や操縦席２８が配置される。また、キャビン１０の前面、後面、及び右側面には、それぞれ、外部を視認可能な前面ウィンドウ１０ＷＦ、後面ウィンドウ１０ＷＢ、及び右側面ウィンドウ１０ＷＲが設けられる。また、キャビン１０の左側面（ドア）にも左側面ウィンドウが設けられる。ユーザは、これらのウィンドウを通じて、キャビン１０から見たショベルＳＶＬの前後左右を直接的に視認することができる。

ここで、図２、図３に示すように、キャビン１０は、上部旋回体３の前部左側に搭載され、その右側、即ち、上部旋回体３の前部中央には、ブーム４が上下に俯仰可能な態様で取り付けられる。また、図２に示すように、上部旋回体３のハウス部の高さは、キャビン１０の高さの半分程度まで達する。そのため、図５に示すように、キャビン１０の右側面ウィンドウ１０ＷＲから見たオペレータの視界は、ブーム４の基端部や上部旋回体３のハウス部分が大きく占める。よって、オペレータは、右側面ウィンドウを通して、ブーム４の基端部や上部旋回体３のハウス部の奥、即ち、ショベルＳＶＬへの（上部旋回体３）右側方に存在する物体（作業者や三角コーン）を直接視認することができない。

これに対して、本例では、制御装置１１０は、オペレータがウェアラブル型表示装置の透過面から見たブーム４や上部旋回体３のハウス部の奥に存在する作業者や三角コーンを透過させるように、物体アイコン５０１，５０２を重畳して表示させる。

具体的には、制御装置１１０は、近距離通信回線等を通じてウェアラブル型表示装置から取り込まれるその位置及び姿勢に関するデータに基づき、オペレータが透過面を通じて見ている基準座標上で視野を特定（推定）する。そして、制御装置１１０は、透過面から見たオペレータの視野に含まれる遮蔽物の奥に存在する監視物体を認識している場合、遮蔽物の奥に存在する監視物体に相当する物体アイコンを透過させるように表示させる。より具体的には、制御装置１１０は、遮蔽物がないと仮定したときのその監視物体の見える方向及び見える大きさに略一致するように物体アイコンを表示させる。本例では、遮蔽物は、ブーム４、上部旋回体３、キャビン１０等に相当する。また、本例では、監視物体は、人及び三角コーンに相当する。これにより、ユーザは、自分から見た存在する方向や見える大きさが実際の直接視野で見たときと略一致する態様で、遮蔽物の奥にある直接視野で確認できない障害物の存在を把握することができる。そのため、ユーザは、ショベルＳＶＬの作業を開始させる際に、障害物の存在を容易に把握することができる。

また、当然の如く、ユーザ（オペレータ）がキャビン１０の操縦席２８に着座して右側を向いた場合にも、ウェアラブル型表示装置の透過面にブーム４の基端部や上部旋回体３のハウス部の奥で認識されている監視物体に対応する物体アイコンが表示される。これにより、ユーザは、ショベルＳＶＬの操作中に、直接視野で確認できない障害物の存在やその位置を容易に把握することができる。

尚、上述の物体アイコンは、ウェアラブル型表示装置の透過面から見たユーザの視野に表示される代わりに、キャビンの右側面ウィンドウ１０ＷＲ等の透過面に設置される表示装置（例えば、コンバイナ）等に表示されてもよい。

また、物体アイコン５０１，５０２には、それぞれに対応する監視物体の種類（"人"及び"三角コーン"）を表す文字情報が重畳して表示される。これにより、ユーザは、物体アイコン５０１，５０２に対応する障害物が作業者等の人、及び三角コーンであることを認識することができる。

また、物体アイコン５０１，５０２のそれぞれの形状自体が"人"や"三角コーン"を模式的に表すように構成されていてもよい。

尚、ショベルＳＶＬが遠隔操作される場合、遠隔操作支援装置で遠隔操作を行うオペレータが着用するウェアラブル型表示装置にも、図５と同様の表示内容が表示されてよい。この場合、遠隔操作を行うオペレータのウェアラブル型表示装置には、ショベルＳＶＬから見た周辺の状況を表す画像情報（例えば、ショベルＳＶＬの前方カメラの撮像画像）が表示され、その画像情報に重畳して物体アイコン等が重畳表示されてよい。

また、例えば、表示装置１４０は、制御装置１１０の制御下で、ショベルＳＶＬの周辺の様子を三次元的に表す画像情報を、ユーザの入力装置１５０を通じた操作に応じて、視点を自在に変化させながら表示してもよい。これにより、ユーザは、任意の視点からショベルＳＶＬの周辺の様子を把握することができる。そのため、ユーザは、例えば、キャビン１０のオペレータの死角に相当する場所の物体の存在などをより容易に監視することができる。よって、ユーザの利便性を向上させることができると共に、ショベルＳＶＬの安全性を向上させることができる。

具体的には、制御装置１１０は、統合データに含まれる、周辺監視センサ１２０Ｘとしての撮像装置の画像データに基づき、ユーザの操作に応じた任意の視点から見た、ショベルＳＶＬの周辺の様子を表す視点変換画像を生成してよい。また、制御装置１１０は、複数の撮像装置の画像データに基づき、ユーザの操作に応じた任意の視点から見た、ショベルＳＶＬの周辺の様子を表す合成視点変換画像を生成してもよい。そして、制御装置１１０は、視点変換処理等により生成した、ショベルＳＶＬの周辺の様子を表す三次元的な画像情報を表示装置１４０に表示させてよい。

また、制御装置１１０は、統合データに含まれる、周辺監視センサ１２０Ｘとしての距離センサの点群データに基づき、ユーザの操作に応じた任意の視点から見た、ショベルＳＶＬの周辺の物体に相当する点群により構成される画像情報を生成してよい。そして、制御装置１１０は、生成した点群により構成される、三次元的な画像情報を表示装置１４０に表示させてよい。この場合、制御装置１１０は、予め準備される、ショベルＳＶＬに相当する三次元データ（例えば、ポリゴンデータ）を同時に表示させてよい。これにより、表示装置１４０は、ショベルＳＶＬの周辺の物体に相当する点群を用いることで、ユーザにショベルＳＶＬと周辺の物体との距離感を適切に認識させることができる。

また、制御装置１１０は、例えば、表示装置１４０に表示させる、ショベルＳＶＬの周辺の様子を三次元的に表す画像情報上において、監視物体に相当する部分（例えば、点群部分）を強調して表示してよい。具体的には、制御装置１１０は、表示装置１４０の画像情報上における監視物体に相当する箇所にマーカ（例えば、その箇所を囲む枠等）を表示させたり、色を変化させたり、色を点滅させたりしてよい。これにより、ユーザは、表示装置１４０に表示される、ショベルＳＶＬの周辺の様子を三次元的に表す画像情報上において、監視物体の存在や位置を適切に把握することができる。この場合、制御装置１１０は、周辺監視センサ１２０Ｘとしての撮像画像の出力データに基づき、監視物体を認識（検出）してよい。制御装置１１０は、例えば、距離センサの出力データからだけでは、ショベルＳＶＬの周辺の物体の種類を識別するのが困難な状況であっても、撮像画像の出力データに基づく画像認識を通じて、より適切に監視物体を認識（検出）することができるからである。

［周辺監視システムの連続アンローダへの適用例］
次に、図６～図９を参照して、周辺監視システム１００の連続アンローダＵＬＤへの適用例への適用例について説明する。

＜連続アンローダの構成＞
図６～図９は、周辺監視システム１００が適用される連続アンローダＵＬＤへの適用例の一例を示す図である。具体的には、図６は、連続アンローダＵＬＤの一例を示す全体図である。図７～図９は、それぞれ、バケットエレベータ５９の正面図、側面図、及び横断面図を示す図である。

図６に示すように、連続アンローダＵＬＤ（作業機械の一例）は、いわゆるバケットエレベータ式であり、岸壁ＱＹに設けられ、岸壁ＱＹに接岸された船舶ＳＰの船倉ＨＤ内のバラ荷Ｍを、連続的に陸上に搬出（荷揚げ）する。バラ荷Ｍは、例えば、石炭、コークス、鉄鉱石等である。

岸壁ＱＹは、例えば、鉄筋コンクリートにより構築され、その岸壁ＱＹには、その延びる方向、即ち、接岸される船舶ＳＰの長手方向に対して、平行に２本のレール５３が設置される。連続アンローダＵＬＤは、２本のレール５３上を移動可能に構成され、所定の位置で停止した状態で、船舶ＳＰからの荷揚げが行われる。

連続アンローダＵＬＤは、走行部５２と、旋回フレーム５５と、ブーム５７と、バケットエレベータ５９と、運転室６６を備える。

走行部５２は、岸壁ＱＹの２本のレール５３上を移動可能に構成される。

旋回フレーム５５は、走行部５２の上に旋回可能に搭載される。

ブーム５７は、旋回フレーム５５から岸壁ＱＹから船舶ＳＰが接岸する海上の部分まで前方に延び出すように設けられ、旋回フレーム５５に対して起伏可能に構成される。具体的には、ブーム５７は、旋回フレーム５５との間に取り付けられるシリンダ６５の伸縮に応じて、上下に起伏することができる。

バケットエレベータ５９は、ブーム５７の先端において、下方向に、即ち、船舶ＳＰ（船倉ＨＤ）に向かって延び出すように設けられる。図６～図９に示すように、バケットエレベータ５９は、その先端部に掻き取り部６１を有し、掻き取り部６１により掻き取られるバラ荷Ｍをバケット７７により上方に搬送し、陸上に荷揚げする。

図８に示すように、掻き取り部６１は、エレベータ本体６４を基準にして、その前後方向への傾斜角度を変化させることができる。例えば、船倉ＨＤの開口部ＯＰ直下のバラ荷Ｍを掻き取る場合、掻き取り部６１は、エレベータ本体６４に対して略前後方向の傾斜がない状態（図中の実線の状態）で利用される。一方、船倉ＨＤの開口部ＯＰよりも内壁側に存在するバラ荷Ｍを掻き取る場合、掻き取り部６１は、エレベータ本体６４に対して前方に傾斜させた状態（図中の一点鎖線）の状態で利用される。

旋回フレーム５５とバケットエレベータ５９との間には、平行リンク５８が設けられ、平行リンク５８の作用により、バケットエレベータ５９は、ブーム５７の起伏角度に依らず、鉛直状態を保持可能なように構成される。また、バケットエレベータ５９は、ブーム５７の上下への起伏に応じて、上下方向に移動することができる。また、旋回フレーム５５には、ブーム５７と反対側の後方に延びるリンクを介してカウンタウェイト６３が支持されると共に、カウンタウェイト６３とブーム５７との間を接続するようにバランシングレバー６２が設けられる。これにより、バケットエレベータ５９とカウンタウェイト６３との間で荷重バランスを取ることができる。

運転室６６は、旋回フレーム５５の前部（即ち、ブーム５７が延び出す方向の箇所）に設けられ、オペレータが搭乗し、連続アンローダＵＬＤの操作を行うために用いられる。

運転室６６には、例えば、制御装置１１０が搭載される。また、運転室６６には、表示装置１４０と、入力装置１５０が設けられる。

連続アンローダＵＬＤによるバラ荷Ｍの荷揚げ作業が行われる場合、運転室６６にオペレータが配置されるのに加えて、船倉ＨＤの内部にバラ荷の状況をオペレータに連絡する作業員が配置される。そして、運転室６６のオペレータと、船倉ＨＤの作業員との協働により連続アンローダＵＬＤによるバラ荷Ｍの荷揚げ作業が行われる。

運転室６６のオペレータは、表示装置１４０に表示される、船倉ＨＤの開口部ＯＰやその内部の状況を表す画像情報、及び作業員からの船倉ＨＤの内部の状況の連絡内容を確認しながら、連続アンローダＵＬＤを操作することができる。

図７、図８に示すように、バケットエレベータ５９は、上下方向の延びるように設けられるエレベータ本体６４と、バケットエレベータ５９の上部５９ａと下部（掻き取り部６１）との間で周回動作を行うチェーンバケット７９とを含む。

チェーンバケット７９は、一対のローラーチェーン７５と、一対のローラーチェーン７５に吊り下げるように支持される複数のバケット７７とを含む。

ローラーチェーン７５は、エレベータ本体６４の内部を通過し、バケットエレベータ５９の上部５９ａと下部（掻き取り部６１）との間を循環する形で、無端状に連結される。

また、バケットエレベータ５９は、ローラーチェーン７５が掛け渡される駆動ローラ８１ａと、ローラーチェーン７５をガイドする従動ローラ８１ｂ，８１ｃ、及び転向ローラ８３とを含む。

駆動ローラ８１ａは、バケットエレベータ５９の上部５９ａに設けられ、従動ローラ８１ｂ，８１ｃは、掻き取り部６１において、前後方向に所定の間隔をあけて設けられる。

転向ローラ８３は、バケットエレベータ５９の上部５９ａにおいて、駆動ローラ８１ａの下方に配置され、ローラーチェーン７５の進行方向を転換可能に構成される。

従動ローラ８１ｂ，８１ｃの間には、シリンダ８５が接続され、シリンダ８５の伸縮に応じて、従動ローラ８１ｂ，８１ｃの軸間距離が可変され、その結果、チェーンバケット７９の移動周回軌跡が可変される。

ローラーチェーン７５は、駆動ローラ８１ａにより駆動され、エレベータ本体６４に対して、矢印Ｗの方向に周回運動する。チェーンバケット７９は、バケットエレベータ５９の上部５９ａと掻き取り部６１との間を周回移動しながら循環する。

バケット７７は、掻き取り部６１において、ローラーチェーン７５が従動ローラ８１ｂから８１ｃに向かって略水平方向に移動する際に、バケット７７の開口部からその内部にバラ荷Ｍを掻き取る。バラ荷Ｍを掻き取り収容したバケット７７は、従動ローラ８１ｃから駆動ローラ８１ａに向かうローラーチェーン７５の上昇に合わせて、その開口部を上に向けた姿勢で上昇する。バケットエレベータ５９の上部５９ａに到着したバケット７７は、ローラーチェーン７５が駆動ローラ８１ａを通過する際に上向きから下向きに方向転換するのに合わせて、その開口部が下向きに転回する。これにより、バケット７７の内部のバラ荷Ｍは、排出用シュートからバケットエレベータ５９の外周部に設けられる回転フィーダ８７に送られる。

回転フィーダ８７は、排出用シュートを通じてバケット７７から送られるバラ荷Ｍをブーム５７に設けられるブームコンベヤ８９に搬送する。

ブームコンベヤ８９は、ブーム５７の内部に配置される。バケットエレベータ５９の回転フィーダ８７のバラ荷Ｍは、ブームコンベヤ８９に乗り換えて、旋回フレーム５５に向かって搬送される。旋回フレーム５５側において、ブームコンベヤ８９の端部には、ホッパが設けられ、ブームコンベヤ８９により搬送されるバラ荷Ｍは、ホッパを通じて、ベルトコンベヤ９３に供給される。

ベルトコンベヤ９３は、走行部５２に設けられる。ベルトコンベヤ９３は、バラ荷Ｍを地上ベルトコンベヤ９５に搬送する。これにより、バラ荷Ｍは、地上ベルトコンベヤ９５を通じて、地上設備９９に搬出される。

また、図６～図９に示すように、連続アンローダＵＬＤは、周辺監視センサ１２０Ａ～１２０Ｆと、位置姿勢検出センサ１３０を含む。

周辺監視センサ１２０Ａ～１２０Ｄは、撮像装置である。周辺監視センサ１２０Ａ～１２０Ｄは、バケットエレベータ５９の上部５９ａの外周面において、周方向に等間隔で設けられる。周辺監視センサ１２０Ａ～１２０Ｄは、その光軸が下方に向けられ、船舶ＳＰの船倉ＨＤの開口部ＯＰを上から撮像可能に配置される。

周辺監視センサ１２０Ｅ，１２０Ｆは、撮像装置である。周辺監視センサ１２０Ｅ，１２０Ｆは、バケットエレベータ５９の下部（掻き取り部６１）の固定部の左右の外側面に設けられる。周辺監視センサ１２０Ｅ，１２０Ｆは、その光軸が下方に向けられ、船倉ＨＤの内部（即ち、バラ荷Ｍの上部）を上から撮像可能に配置される。

周辺監視センサ１２０Ａ～１２０Ｆは、例えば、連続アンローダＵＬＤの起動から停止までの間で、所定周期（例えば、１／３０秒）ごとに、撮像画像（画像データ）を出力する。周辺監視センサ１２０Ａ～１２０Ｄから出力される撮像画像は、制御装置１１０に取り込まれる。

また、連続アンローダＵＬＤ（バケットエレベータ５９）には、周辺監視センサ１２０Ａ～１２０Ｆ（撮像装置）に加えて、他の種類の周辺監視センサ１２０Ｘ（例えば、距離センサ）が設けられてもよい。例えば、周辺監視センサ１２０Ａ～１２０Ｄの撮像範囲を含む範囲の点群データを取得可能な周辺監視センサ１２０Ｘとしての一又は複数の距離センサが設けられてもよい。また、周辺監視センサ１２０Ｅ，１２０Ｆの撮像範囲を含む範囲の点群データを取得可能な周辺監視センサ１２０Ｘとしての一又は複数の距離センサが設けられてもよい。

位置姿勢検出センサ１３０は、周辺監視センサ１２０Ａ～１２０Ｆの位置及び姿勢に関するデータを取得する。位置姿勢検出センサ１３０は、例えば、撮像装置である。

位置姿勢検出センサ１３０は、位置姿勢検出センサ１３０Ａ～１３０Ｄを含む。

位置姿勢検出センサ１３０Ａ及び位置姿勢検出センサ１３０Ｂは、それぞれ、エレベータ本体６４の下部の外周面に設けられ、周辺監視センサ１２０Ａ，１２０Ｂ、及び周辺監視センサ１２０Ｃ，１２０Ｄの位置及び姿勢に関するデータを取得する。また、位置姿勢検出センサ１３０Ａ，１３０Ｂは、例えば、周辺監視センサ１２０Ａ～１２０Ｄの撮像範囲を含む範囲の点群データを取得可能な周辺監視センサ１２０Ｘとしての一又は複数の距離センサの位置及び姿勢に関するデータを取得してもよい。

位置姿勢検出センサ１３０Ｃ及び位置姿勢検出センサ１３０Ｄは、それぞれ、エレベータ本体６４の下部の外周面の位置姿勢検出センサ１３０Ａ，１３０Ｂと略同じ位置に設けられる。位置姿勢検出センサ１３０Ｃ及び位置姿勢検出センサ１３０Ｄは、それぞれ、周辺監視センサ１２０Ｅ及び周辺監視センサ１２０Ｆの位置及び姿勢に関するデータを取得する。また、位置姿勢検出センサ１３０Ｃ，１３０Ｄは、例えば、周辺監視センサ１２０Ｅ，１２０Ｆの撮像範囲を含む範囲の点群データを取得可能な周辺監視センサ１２０Ｘとしての一又は複数の距離センサの位置及び姿勢に関するデータを取得してもよい。

位置姿勢検出センサ１３０Ａ～１３０Ｄの出力データは、制御装置１１０に取り込まれる。

＜連続アンローダ（バケットエレベータ）の周辺の状況の監視に関する動作＞
制御装置１１０は、上述の如く、周辺監視センサ１２０Ａ～１２０Ｆの出力データに基づき、位置姿勢検出センサ１３０Ａ～１３０Ｄの出力データを用いて、統合データ群を作成する。

また、制御装置１１０は、例えば、統合データ群に基づき、バケットエレベータ５９の周辺の状況を表す画像情報を表示装置１４０に表示させる。具体的には、制御装置１１０は、リアルタイムに取得される統合データ群に基づき、バケットエレベータ５９の周辺の状況を表す画像情報を表示装置１４０に表示させてよい。これにより、オペレータや連続アンローダＵＬＤの外部からその作業等を監視する監視者等のユーザは、リアルタイムに、バケットエレベータ５９の周辺の状況を監視することができる。また、制御装置１１０は、例えば、所定の記憶装置に格納される、時系列での統合データ群に基づき、バケットエレベータ５９の周辺の状況を表す画像情報を表示装置１４０に表示させてもよい。これにより、ユーザは、事後的に、バケットエレベータ５９の周辺の状況を確認し、現場の安全性の検証等を行うことができる。

例えば、制御装置１１０は、統合データ群に含まれる、周辺監視センサ１２０Ａ～１２０Ｄの出力データに基づき、バケットエレベータ５９の上部５９ａから見た船倉ＨＤの開口部ＯＰを表す画像情報（以下、「船倉開口画像」）を表示させる。

この場合、制御装置１１０は、周辺監視センサ１２０Ａ～１２０Ｄの出力データ（画像データ）を、バケットエレベータ５９を基準（中心）にして合成し、その合成画像を表示装置１４０に表示させてよい。これにより、オペレータは、１つの画像情報（合成画像）を通じて、バケットエレベータ５９と開口部ＯＰの外縁との位置関係を全周に亘って容易に確認することができる。

また、制御装置１１０は、周辺監視センサ１２０Ａ～１２０Ｄの画像データに対して、既知の視点変換処理及び合成処理を行うことにより、開口部ＯＰを真上から見た視点変換画像（俯瞰画像）としての船倉開口画像を表示装置１４０に表示させてもよい。これにより、オペレータは、開口部ＯＰを真上から見た俯瞰画像によって、バケットエレベータ５９と開口部ＯＰの外縁との位置関係をより容易に把握することができる。

また、例えば、制御装置１１０は、統合データ群に含まれる、周辺監視センサ１２０Ｅ，１２０Ｆの出力データに基づき、船倉ＨＤの内部の掻き取り部６１の周辺の状況を表す画像情報（以下、「船倉内部画像」）を表示装置１４０に表示させる。

この場合、制御装置１１０は、周辺監視センサ１２０Ｅ，１２０Ｆの出力データ（画像データ）を、掻き取り部６１を基準（中心）にして合成し、その合成画像を表示装置１４０に表示させてよい。これにより、オペレータは、１つの画像情報（合成画像）を通じて、掻き取り部６１の周辺のバラ荷Ｍの状況や掻き取り部６１と船倉ＨＤの内壁との位置関係を全周に亘って容易に確認することができる。

また、制御装置１１０は、周辺監視センサ１２０Ｅ，１２０Ｆの画像データに対して、既知の視点変換処理及び合成処理を行うことにより、船倉ＨＤの内部を真上から見た視点変換画像（俯瞰画像）としての船倉内部画像を表示装置１４０に表示させてもよい。これにより、オペレータは、船倉ＨＤの内部を真上から見た俯瞰画像によって、バケットエレベータ５９の先端（掻き取り部６１）と、周辺のバラ荷Ｍ、船倉ＨＤの内壁、船倉ＨＤの内部の作業者等との位置関係を容易に把握することができる。

また、例えば、制御装置１１０は、統合データ群に基づき、開口部画像情報、及び船倉内画像情報の双方を表示装置１４０に表示させてもよい。

この場合、制御装置１１０は、表示装置１４０の異なる表示領域（ディスプレイ）に、船倉開口画像情報及び船倉内部画像情報を別個に表示させてよい。

また、制御装置１１０は、船倉開口画像及び船倉内部画像を表示装置１４０の同じ表示領域に表示させてもよい。例えば、制御装置１１０は、俯瞰画像としての船倉開口画像を表示装置１４０に表示させると共に、船倉開口画像の開口部ＯＰの奥や開口部ＯＰの外縁より外側の船舶ＳＰの船体部分を透過させるように、俯瞰画像としての船倉内部画像を重畳表示させてよい。これにより、運転室６６のユーザ（オペレータ）は、表示装置１４０の一つの表示領域で、船倉ＨＤの開口部とバケットエレベータ５９（エレベータ本体６４）との位置関係、及び船倉ＨＤの内部のバケットエレベータ５９の周囲の状況の双方を確認することができる。そのため、制御装置１１０は、ユーザの利便性を向上させることができる。

また、例えば、表示装置１４０は、制御装置１１０の制御下で、バケットエレベータ５９の周辺の様子を三次元的に表す画像情報を、ユーザの入力装置１５０を通じた操作に応じて、視点を自在に変化させながら表示してもよい。これにより、ユーザは、任意の視点からバケットエレベータ５９の周辺の様子を把握することができる。そのため、ユーザは、例えば、一つの画像情報の視点を変化させることで、船倉ＨＤの開口部ＯＰ付近でのバケットエレベータ５９の周辺の状況、及び船倉ＨＤの内部のバケットエレベータ５９の周辺の状況を容易に把握することができる。よって、ユーザの利便性を向上させることができると共に、連続アンローダＵＬＤの安全性を向上させることができる。

具体的には、制御装置１１０は、統合データに含まれる、周辺監視センサ１２０Ａ～１２０Ｆ（撮像装置）の画像データに基づき、ユーザの操作に応じた任意の視点から見た、バケットエレベータ５９の周辺の様子を表す視点変換画像を生成してよい。また、制御装置１１０は、複数の撮像装置の画像データに基づき、ユーザの操作に応じた任意の視点から見た、バケットエレベータ５９の周辺の様子を表す合成視点変換画像を生成してもよい。そして、制御装置１１０は、視点変換処理等により生成した、バケットエレベータ５９の周辺の様子を表す三次元的な画像情報を表示装置１４０に表示させてよい。

また、制御装置１１０は、統合データに含まれる、周辺監視センサ１２０Ｘとしての距離センサの点群データに基づき、ユーザの操作に応じた任意の視点から見た、バケットエレベータ５９の周辺の物体に相当する点群により構成される画像情報を生成してよい。そして、制御装置１１０は、生成した点群により構成される、三次元的な画像情報を表示装置１４０に表示させてよい。この場合、制御装置１１０は、予め準備される、バケットエレベータ５９に相当する三次元データ（例えば、ポリゴンデータ）を同時に表示させてよい。これにより、表示装置１４０は、バケットエレベータ５９の周辺の物体に相当する点群を用いることで、ユーザにバケットエレベータ５９の周辺の物体との距離感を適切に認識させることができる。

また、制御装置１１０は、例えば、表示装置１４０に表示させる、バケットエレベータ５９の周辺の様子を三次元的に表す画像情報上において、監視物体に相当する部分（例えば、点群部分）を強調して表示してよい。具体的には、制御装置１１０は、表示装置１４０の画像情報上における監視物体に相当する箇所にマーカ（例えば、その箇所を囲む枠等）を表示させたり、色を変化させたり、色を点滅させたりしてよい。監視物体は、例えば、船倉ＨＤの内部の作業者に相当する人、船倉ＨＤの開口部ＯＰ、船倉ＨＤの内壁等である。これにより、ユーザは、表示装置１４０に表示される、バケットエレベータ５９の周辺の様子を三次元的に表す画像情報上において、監視物体の存在や位置を適切に把握することができる。この場合、制御装置１１０は、周辺監視センサ１２０Ａ～１２０Ｆ（撮像画像）の出力データに基づき、監視物体を認識（検出）してよい。制御装置１１０は、例えば、距離センサの出力データからだけでは、バケットエレベータ５９の周辺の物体の種類を識別するのが困難な状況であっても、撮像画像の出力データに基づく画像認識を通じて、より適切に監視物体を認識（検出）することができるからである。

尚、連続アンローダＵＬＤが遠隔操作される場合、遠隔操作支援装置の遠隔操作用表示装置にも、表示装置１４０と同様の画像情報が表示される。この場合、制御装置１１０により生成される画像情報は、通信装置を通じて、遠隔操作支援装置に送信されてよい。また、制御装置１１０の機能の一部又は全部は、遠隔操作支援装置に移管されてもよい。この場合、周辺監視センサ１２０Ａ～１２０Ｆを含む周辺監視センサ１２０Ｘの出力データは、連続アンローダＵＬＤの通信装置から所定の通信回線を通じて、遠隔操作支援装置に送信される。

また、制御装置１１０は、周辺監視センサ１２０Ｅ，１２０Ｆの出力データに対して、既知の視点変換処理及び合成処理を行うことにより、掻き取り部６１の周辺の船倉ＨＤの内部を真上から見た視点変換画像（俯瞰画像）を表示装置１４０に表示させてもよい。これにより、オペレータは、船倉ＨＤの内部を真上（掻き取り部６１の上部）から見た俯瞰画像によって、掻き取り部６１の周辺のバラ荷Ｍの状況や掻き取り部６１と船倉ＨＤの内壁との位置関係をより容易に把握することができる。

また、制御装置１１０は、例えば、統合データ群に基づき、バケットエレベータ５９の周辺の所定範囲（監視エリア）内で、障害物を検出する。障害物は、例えば、船倉ＨＤの開口部ＯＰの外縁や船倉ＨＤの内部の内壁等である。監視エリアは、例えば、バケットエレベータ５９（エレベータ本体６４や掻き取り部６１）からの距離が所定値（例えば、数メートル）以内の範囲である。

この場合、制御装置１１０は、統合データ群に含まれる、周辺監視センサ１２０Ａ～１２０Ｄの出力データ（画像データ）に基づき、エレベータ本体６４の周辺の監視エリア内の障害物を検出してよい。また、制御装置１１０は、統合データ群に含まれる、周辺監視センサ１２０Ｅ，１２０Ｆの出力データ（画像データ）に基づき、掻き取り部６１の周辺の監視エリア内の障害物を検出してよい。

制御装置１１０は、例えば、監視エリア内で障害物を検出すると、視覚的な方法や聴覚的な方法を用いて、バケットエレベータ５９が船倉ＨＤの開口部ＯＰの外縁や船倉ＨＤの内壁等に近づき過ぎていることを示す警報をオペレータ等に向けて出力する。具体的には、制御装置１１０は、運転室６６内の表示装置１４０に警報の出力を示す情報を表示させる。また、制御装置１１０は、スピーカやブザー等を用いて、運転室６６の内部のオペレータに向けた警報を出力してよい。これにより、運転室６６の内部のオペレータは、ができる。また、制御装置１１０は、連続アンローダが遠隔操作される場合、通信装置を通じて、遠隔操作を行うオペレータに向けた警報に対応する信号を遠隔操作支援装置に送信してよい。これにより、遠隔操作支援装置の遠隔操作用表示装置等を通じて、遠隔操作を行うオペレータに対して、バケットエレベータ５９が船倉ＨＤの開口部ＯＰの外縁や船倉ＨＤの内壁に近づき過ぎている状況を認識させることができる。そのため、周辺監視システム１００は、バケットエレベータ５９と船舶ＳＰとの接触等が発生する事態を抑制することができる。よって、連続アンローダＵＬＤの安全性を向上させることができる。

また、制御装置１１０は、例えば、監視エリア内で障害物（船倉ＨＤの開口部ＯＰの外縁や船倉ＨＤの内壁等）を検出すると、連続アンローダのアクチュエータの動作を強制的に制限してもよい。具体的には、制御装置１１０は、オペレータの操作に対するショベルＳＶＬのアクチュエータの動作を減速させたり、操作の有無によらず、アクチュエータの動作を停止させたりしてよい。これにより、周辺監視システム１００は、バケットエレベータ５９と船舶ＳＰとの接触等が発生する事態を抑制することができる。そのため、ショベルＳＶＬの安全性を向上させることができる。

［作用］
次に、本実施形態に係る周辺監視システム１００の作用について説明する。

本実施形態では、周辺監視システム１００は、複数の周辺監視センサ１２０Ｘと、位置姿勢検出センサ１３０とを備える。具体的には、複数の周辺監視センサ１２０Ｘとは、それぞれ、作業機械に搭載され、作業機械の周辺の状況に関するデータを取得する。そして、位置姿勢検出センサ１３０は、複数の周辺監視センサ１２０Ｘのそれぞれの位置及び姿勢に関するデータを取得する。

これにより、周辺監視システム１００は、位置姿勢検出センサ１３０を用いて、複数の周辺監視センサ１２０Ｘの位置及び姿勢を正確に把握することができる。そのため、周辺監視システム１００は、上述の如く、作業機械の周辺の状況をより容易に監視することができる。また、周辺監視システム１００は、上述の如く、作業機械の周辺の状況をより適切に認識することができる。

また、本実施形態では、周辺監視システム１００は、位置姿勢検出センサ１３０により取得されるデータに基づき、複数の周辺監視センサ１２０Ｘのそれぞれにより取得される、作業機械の周辺の状況に関するデータを統合する制御装置１１０を備えてよい。

これにより、周辺監視システム１００は、統一の基準（基準座標系）に沿って、複数の周辺監視センサ１２０Ｘの出力データを統合することができる。そのため、周辺監視システム１００は、より容易に且つより精度良く作業機械の周辺の状況を監視することができる。

また、本実施形態では、周辺監視システム１００は、制御装置１１０により統合されたデータ（統合データ群）に基づき、作業機械の周辺の状況を表す画像情報を表示する表示装置１４０を備えてよい。

これにより、周辺監視システム１００は、統合データ群を用いて、より容易且つより精度の高い、作業機械の周辺の状況を表す画像情報をユーザに提供することができる。

また、本実施形態では、表示装置１４０（ウェアラブル型表示装置）は、作業機械から周辺を見た画像、又は、作業機械から周辺を見たユーザの視野の中に、作業機械の周辺の障害物を表す画像情報を表示してよい。

これにより、周辺監視システム１００は、作業機械の周辺を見た画像やユーザの視野に重畳させる形で、作業機械の周辺の障害物を表す画像情報を提供することができる。そのため、ユーザは、作業機械の周辺の状況と、付加的な画像情報とを同じ視野の中で確認することができる。よって、周辺監視システム１００は、ユーザの利便性を向上させることができると共に、作業機械の安全性を向上させることができる。

また、本実施形態では、表示装置１４０（ウェアラブル型表示装置）は、作業機械から周辺を見た画像、又は、作業機械から周辺を見たユーザの視野の遮蔽物の奥に存在する障害物を表す画像情報を透過させるように表示してよい。

これにより、周辺監視システム１００は、ユーザから見えている作業機械の周辺の遮蔽物の奥にある障害物を透過表示させルことができる。そのため、周辺監視システム１００は、遮蔽物の奥に障害物が存在することを直感的に把握させることができる。

また、本実施形態では、表示装置１４０は、複数の周辺監視センサ１２０Ｘのうちの２以上の周辺監視センサ１２０Ｘのデータの取得範囲の全体に亘る作業機械の周辺の状況を表す画像情報を表示してよい。

これにより、周辺監視システム１００は、２以上の周辺監視センサ（撮像装置）のデータ取得範囲（撮像範囲）に亘る作業機械の周辺の状況を、一つの画像情報によって、ユーザに情報提供することができる。そのため、周辺監視システム１００は、ユーザの利便性を向上させることができる。

また、本実施形態では、複数の周辺監視センサ１２０Ｘは、作業機械の動作に伴い相対的な位置及び姿勢の少なくとも一方が変化するように構成される周辺監視センサ１２０Ｘの組み合わせを含んでよい。

この場合、上述の如く、２以上の周辺監視センサ１２０Ｘによって、作業機械の周辺の重複する範囲のデータが取得されるようになったり、その重複する範囲が変化したりする可能性がある。その結果、作業機械の周辺の状況が誤って認識されてしまう可能性がある。

これに対して、本実施形態では、周辺監視システム１００は、位置姿勢検出センサ１３０の出力データを用いることができる。そのため、周辺監視システム１００は、２以上の周辺監視センサ１２０Ｘが作業機械の周辺の重複する範囲のデータを取得する状態が生じたり、データの重複する範囲が変化したりしても、重複する範囲のデータを同じ範囲のデータとして適切に認識できる。よって、周辺監視システム１００は、このような状況であっても、作業機械の周辺の状況をより適切に認識することができる。

また、本実施形態では、複数の周辺監視センサ１２０Ｘは、２種類以上のセンサを含んでよい。

これにより、周辺監視システム１００は、２種類以上のセンサの出力データを総合的に用いて、より適切に作業機械の周辺の状況を監視することができる。

また、本実施形態では、表示装置１４０は、作業機械の周辺の様子を三次元的に表す画像情報を、ユーザの操作に応じて、視点を変化させながら表示させてよい。

これにより、表示装置１４０は、ユーザに視点を自在に変化させながら、作業機械の周辺の様子を監視させることができる。そのため、ユーザは、複数の周辺監視センサを用いて、作業機械の周辺の状況をより容易に監視することができる。

また、本実施形態では、表示装置１４０は、作業機械の周辺の様子を三次元的に且つ作業機械との距離感をユーザが認識可能な態様で表す画像情報を、ユーザの操作に応じて、視点を変化させながら表示してもよい。

これにより、表示装置１４０は、三次元的な画像情報を用いて、作業機械と周辺の物体との距離感を認識させることができる。そのため、ユーザは、作業機械の周辺の状況を更に容易に監視することができる。

また、本実施形態では、表示装置１４０は、上記の画像情報を、画像情報上の所定の物体をユーザが識別可能なように表示させてよい。

これにより、表示装置１４０は、作業機械の周囲で注意すべき所定の物体（例えば、作業者等の人）の存在を三次元の画像情報上で認識することができる。そのため、ユーザは、作業機械の周辺の状況を更に容易に監視することができる。

また、本実施形態では、表示装置１４０に表示される画像情報は、作業機械に搭載される、周辺監視センサ１２０Ｘとしての距離センサの出力データに基づく作業機械の周辺の物体を表す点群を含んでよい。

これにより、表示装置１４０は、距離センサの出力データに基づく点群を用いて、作業機械と周辺の物体との距離感を具体的にユーザに認識させることができる。

また、本実施形態では、表示装置１４０は、作業機械に搭載される、周辺監視センサ１２０Ｘとしての撮像装置の出力データに基づき、上記の画像情報上の所定の物体に相当する点群部分を強調して表示してよい。

これにより、表示装置１４０は、例えば、撮像装置の出力データを用いて、作業機械の周辺の所定の物体を認識し、認識した所定の物体の位置に対応する画像情報上の点群部分を強調させることができる。そのため、表示装置１４０は、画像情報上において、所定の物体をユーザに具体的に識別させることができる。

［変形・変更］
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。

例えば、上述した実施形態では、ショベルＳＶＬは、下部走行体１、上部旋回体３、ブーム４、アーム５、及びバケット６等の被駆動要素を全て油圧駆動する構成であったが、その一部又は全部が電動アクチュエータにより電気駆動される構成であってもよい。つまり、周辺監視システム１００は、ハイブリッドショベルや電動ショベル等に適用されてもよい。

また、上述した実施形態では、周辺監視システム１００のショベルＳＶＬや連続アンローダＵＬＤへの適用例を開示するが、当然の如く、周辺監視システム１００は、他の作業機械に適用されてもよい。他の作業機械には、例えば、移動式クレーン、無人搬送機（ＡＧＶ：Automated Guided Vehicle）、門型クレーン等が含まれてよい。

１００ 周辺監視システム
１１０ 制御装置
１２０，１２０Ａ～１２０Ｇ，１２０Ｘ 周辺監視センサ
１３０，１３０Ａ，１３０Ｂ 位置姿勢検出センサ
１４０ 表示装置
１５０ 入力装置
ＳＶＬ ショベル（作業機械）
ＵＬＤ 連続アンローダ（作業機械）

Claims (10)

1. 作業機械に搭載され、前記作業機械の周辺の状況に関するデータを取得する複数の周辺監視センサと、
   前記複数の周辺監視センサのそれぞれの位置及び姿勢に関するデータを取得する位置姿勢検出センサと、を備える、
   周辺監視システム。
2. 前記位置姿勢検出センサにより取得されるデータに基づき、前記複数の周辺監視センサのそれぞれにより取得される、前記作業機械の周辺の状況に関するデータを統合する制御装置を備える、
   請求項１に記載の周辺監視システム。
3. 前記制御装置により統合されたデータに基づき、前記作業機械の周辺の状況を表す画像情報を表示する表示装置を備える、
   請求項２に記載の周辺監視システム。
4. 前記表示装置は、前記作業機械から周辺を見た画像、又は、前記作業機械から周辺を見たユーザの視野の中に、前記作業機械の周辺の障害物を表す前記画像情報を表示する、
   請求項３に記載の周辺監視システム。
5. 前記表示装置は、前記作業機械から周辺を見た画像、又は、前記作業機械から周辺を見たユーザの視野の遮蔽物の奥に存在する前記障害物を表す前記画像情報を透過させるように表示する、
   請求項４に記載の周辺監視システム。
6. 前記表示装置は、前記複数の周辺監視センサのうちの一部又は全部のデータの取得範囲の全体に亘る前記作業機械の周辺の状況を表す前記画像情報を表示する、
   請求項３乃至５の何れか一項に記載の周辺監視システム。
7. 前記複数の周辺監視センサは、前記作業機械の動作に伴い相対的な位置及び姿勢の少なくとも一方が変化するように構成される周辺監視センサの組み合わせを含む、
   請求項１乃至６の何れか一項に記載の周辺監視システム。
8. 前記複数の周辺監視センサは、２種類以上のセンサを含む、
   請求項１乃至７の何れか一項に記載の周辺監視システム。
9. 作業機械の周辺の様子を三次元的に且つ前記作業機械との距離感をユーザが認識可能な態様で表す画像情報を、ユーザの操作に応じて、視点を変化させながら表示すると共に、前記画像情報上の所定の物体をユーザが識別可能なように表示する、
   表示装置。
10. 前記画像情報は、前記作業機械に搭載される距離センサの出力データに基づく前記作業機械の周辺の物体を表す点群を含み、
    前記作業機械に搭載される撮像装置の出力データに基づき、前記画像情報上の前記所定の物体に相当する点群部分を強調して表示する、
    請求項９に記載の表示装置。

Images