JP2022182529A - 遠隔操作支援システム、遠隔操作支援装置 - Google Patents

Abstract

【課題】作業機械の遠隔操作が行われる場合に、遠隔操作を支援する外部装置に表示される作業機械の周辺画像の内容と、実際の作業機械の周辺の様子とのタイムラグを抑制することが可能な技術を提供する。【解決手段】本開示の一実施形態の遠隔操作支援システムＳＹＳは、作業機械１００の周辺の様子を撮像する撮像装置４０と、遠隔操作支援装置２００と通信を行う通信装置６０と、作業機械１００と通信を行う通信装置２２０と、作業機械１００を遠隔操作するための入力を受け付ける遠隔操作装置２４０Ａと、遠隔操作支援装置２００において、撮像装置４０の撮像画像或いは当該撮像画像に基づく加工画像を表示する表示装置２３０Ａと、を備える。そして、表示装置２３０Ａは、作業機械１００と遠隔操作支援装置２００との間の通信遅延が相対的に大きい場合、通信遅延が相対的に小さい場合よりも相対的にデータ量が小さい撮像画像又は加工画像を表示する。【選択図】図１０

Description

本開示は、作業機械の遠隔操作支援システム等に関する。

従来、作業機械の遠隔操作に関する技術が知られている（例えば、特許文献１参照）。

特許文献１では、撮像装置を有する作業機械（ショベル）から、遠隔操作を支援する外部装置に撮像装置の撮像画像等が送信され、外部装置には、撮像画像に基づく作業機械の周辺画像が表示される。これにより、外部装置のオペレータは、表示装置の周辺画像を確認しながら作業機械の遠隔操作を行うことができる。

国際公開第２０２０／２１８４５５号

しかしながら、作業機械と外部装置との間では、通信遅延が生じうる。そのため、通信遅延が相対的に大きくなると、表示装置に表示される周辺画像の内容と、実際の作業機械の周辺の様子との間のタイムラグが相対的に大きくなる可能性がある。よって、表示内容のタイムラグを相対的に小さく抑制することが望ましい。

そこで、上記課題に鑑み、作業機械の遠隔操作が行われる場合に、遠隔操作を支援する外部装置に表示される作業機械の周辺画像の内容と、実際の作業機械の周辺の様子とのタイムラグを抑制することが可能な技術を提供することを目的とする。

上記目的を達成するため、本開示の一実施形態では、
作業機械に設けられ、前記作業機械の周辺の様子を撮像する撮像装置と、
前記作業機械に設けられ、外部装置と通信を行う作業機械用通信装置と、
前記外部装置に設けられ、前記作業機械と通信を行う外部装置用通信装置と、
前記外部装置に設けられ、前記作業機械を遠隔操作するための入力を受け付ける遠隔操作装置と、
前記外部装置に設けられ、前記撮像装置の撮像画像、又は前記撮像画像に基づく加工画像を表示する表示装置と、を備え、
前記表示装置は、前記作業機械と前記外部装置との間の通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも相対的にデータ量が小さい前記撮像画像又は前記加工画像を表示する、
遠隔操作支援システムが提供される。

また、本開示の他の実施形態では、
作業機械の周辺の様子を撮像する撮像装置を有する前記作業機械と通信を行う通信装置と、
前記作業機械を遠隔操作するための入力を受け付ける遠隔操作装置と、
前記撮像装置の撮像画像、又は前記撮像画像に基づく加工画像を表示する表示装置と、を備え、
前記表示装置は、前記作業機械との間の通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも相対的にデータ量が小さい前記撮像画像又は前記加工画像を表示する、
遠隔操作支援装置が提供される。

上述の実施形態によれば、作業機械の遠隔操作が行われる場合に、遠隔操作を支援する外部装置に表示される作業機械の周辺画像の内容と、実際の作業機械の周辺の様子とのタイムラグを抑制することができる。

遠隔操作支援システムの一例を示す概略図である。 ショベルの一例を示す側面図である。 ショベルの一例を示す上面図である。 クローラクレーンの一例を示す側面図である。 遠隔操作支援システムの構成の一例を示す図である。 ショベルの構成の一例を示す図である。 クローラクレーンの構成の一例を示す図である。 表示装置に表示されるショベルの周辺画像の一例を示す図である。 表示装置に表示されるクローラクレーンの周辺画像の一例を示す図である。 表示装置に表示されるショベルの周辺画像の他の例を示す図である。 表示装置に表示されるクローラクレーンの周辺画像の一例を示す図である。 制御装置による周辺画像の送信要求の送信処理の一例を概略的に示すフローチャートである。 制御装置による周辺画像の送信要求の送信処理の他の例を概略的に示すフローチャートである。

以下、図面を参照して実施形態について説明する。

［遠隔操作支援システムの概要］
まず、図１～図４を参照して、本実施形態に係る遠隔操作支援システムＳＹＳの概要について説明をする。

図１は、本実施形態に係る遠隔操作支援システムＳＹＳの一例を示す概略図である。図２～図４は、遠隔操作支援システムＳＹＳに含まれる作業機械１００の具体例を示す図である。具体的には、図２、図３は、ショベル１００Ａの一例を示す側面図及び上面図であり、図４は、クローラクレーン１００Ｂの一例を示す図である。以下、ショベル１００Ａ及びクローラクレーン１００Ｂの対応する構成要素（例えば、同じ機能を有する構成要素）には同じ符号を付して説明を行う。

図１に示すように、遠隔操作支援システムＳＹＳは、作業機械１００と、遠隔操作支援装置２００とを含む。

遠隔操作支援システムＳＹＳに含まれる作業機械１００は、一台であってもよいし、複数台であってもよい。また、遠隔操作支援システムＳＹＳに複数の作業機械１００が含まれる場合、複数の作業機械１００は、全て同じ種類であってもよいし、その少なくとも一部が互いに異なる種類であってもよい。例えば、遠隔操作支援システムＳＹＳは、後述のショベル１００Ａ及びクローラクレーン１００Ｂの何れか一方だけを複数台含んでいてもよいし、ショベル１００Ａ及びクローラクレーン１００Ｂの双方を含んでいてもよい。

また、遠隔操作支援システムＳＹＳに含まれる遠隔操作支援装置２００は、複数であってもよい。即ち、複数の遠隔操作支援装置２００は、遠隔操作支援システムＳＹＳに関する処理を分散して実施してよい。例えば、複数の遠隔操作支援装置２００は、それぞれ、遠隔操作支援システムＳＹＳに含まれる全ての作業機械１００のうちの担当する一部の作業機械１００との間で相互に通信を行い、一部の作業機械１００を対象とする処理を実行してよい。

遠隔操作支援システムＳＹＳは、遠隔操作支援装置２００において、作業機械１００の遠隔操作を支援する。

また、後述の如く、作業機械１００が完全自動運転によって作業を行う場合、遠隔操作支援システムＳＹＳは、例えば、遠隔操作支援装置２００において、作業機械１００の完全自動運転による作業の遠隔監視を支援してもよい。この場合、遠隔操作支援システムＳＹＳは、遠隔操作支援装置２００において、完全自動運転機能に対する監視者の介入による作業機械１００の操作を支援してよい。

＜作業機械の概要＞
図２～図４に示すように、作業機械１００は、下部走行体１と、旋回機構２を介して下部走行体１に旋回自在に搭載される上部旋回体３と、上部旋回体３に取り付けられるアタッチメントＡＴと、オペレータが搭乗するキャビン１０とを備える。以下、作業機械１００（上部旋回体３）の前方は、ショベル１００Ａを上部旋回体３の旋回軸に沿って真上から平面視（上面視）で見たときに、上部旋回体３に対するアタッチメントが延び出す方向に対応する。

尚、作業機械１００は、ショベル１００Ａやクローラクレーン１００Ｂとは異なる他の機械であってもよい。例えば、作業機械１００は、フォークリフト、エンドアタッチメントとしてリフティングマグネットが取り付けられたリフマグ機、ブルドーザ、ホイールローダ、アスファルトフィニッシャ、林業機械等であってもよい。

作業機械１００は、下部走行体１、上部旋回体３、及びアタッチメントＡＴの少なくとも一つを動作させることにより、各種作業を行うことができる。

また、作業機械１００は、通信装置６０を搭載し、所定の通信回線ＮＷを通じて、遠隔操作支援装置２００と相互に通信を行うことができる。これにより、作業機械１００は、各種情報を遠隔操作支援装置２００に送信（アップロード）したり、遠隔操作支援装置２００から各種の信号（例えば、情報信号や制御信号）等を受信したりすることができる。

通信回線ＮＷには、例えば、広域ネットワーク（ＷＡＮ：Wide Area Network）が含まれる。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、作業機械１００の上空の通信衛星を利用する衛星通信網が含まれてもよい。また、広域ネットワークには、例えば、インターネット網が含まれてもよい。また、通信回線ＮＷには、例えば、遠隔操作支援装置２００が設置される施設等のローカルネットワーク（ＬＡＮ：Local Area Network）が含まれてもよい。ローカルネットワークは、無線回線であってもよいし、有線回線であってもよいし、その両方を含む回線であってよい。また、通信回線ＮＷには、例えば、ＷｉＦｉやブルートゥース（登録商標）等の所定の無線通信方式に基づく近距離通信回線が含まれてもよい。

作業機械１００は、遠隔操作支援装置２００から遠隔操作（リモート操作）が可能に構成される。作業機械１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。

具体的には、遠隔操作支援装置２００で行われる作業機械１００のアクチュエータに関するユーザ（オペレータ）からの入力によって、作業機械１００が操作される。この場合、作業機械１００は、例えば、後述の撮像装置４０，４２の撮像画像や撮像画像に基づく加工画像（例えば、視点変換画像）等の作業機械１００の周辺の様子を画像（以下、「周辺画像」）のデータを外部装置に送信する。そして、周辺画像は、遠隔操作支援装置２００に設けられる、後述の表示装置２３０Ａに表示される。また、作業機械１００のキャビン１０内の出力装置５０（表示装置）に表示される各種の情報画像（情報画面）は、同様に、遠隔操作支援装置２００の表示装置２３０Ａにも表示されてよい。これにより、オペレータは、例えば、表示装置２３０Ａに表示される作業機械１００の周辺の様子を表す周辺画像や各種の情報画像等の表示内容を確認しながら、作業機械１００を遠隔操作することができる。そして、作業機械１００は、遠隔操作支援装置２００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動してよい。

また、作業機械１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータ（例えば、油圧アクチュエータ）を動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動してよい。以下、オペレータの操作には、キャビン１０のオペレータによる操作装置２６に対する操作、及び外部のオペレータによる遠隔操作の双方が含まれる前提で説明を進める。

また、作業機械１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、作業機械１００は、下部走行体１、上部旋回体３、アタッチメントＡＴ等の被駆動要素の少なくとも一部を自動で動作させる機能、即ち、いわゆる「自動運転機能」或いは「マシンコントロール（Machine Control：ＭＣ）機能」を実現する。

自動運転機能には、オペレータの操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能、即ち、いわゆる「半自動運機能」或いは「操作支援型のＭＣ機能」が含まれてよい。また、自動運転機能には、オペレータの操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能、即ち、いわゆる「完全自動運転機能」或いは「完全自動型のＭＣ機能」が含まれてもよい。作業機械１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、作業機械１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される、いわゆる「自律運転機能」が含まれてもよい。

作業機械１００は、例えば、ショベル１００Ａである。

図２、図３に示すように、ショベル１００Ａは、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、各種作業を行うためのアタッチメントＡＴと、キャビン１０とを備える。

下部走行体１は、例えば、左右一対のクローラ１Ｃを含む。下部走行体１は、それぞれのクローラ１Ｃが左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲで油圧駆動されることにより、ショベル１００Ａを走行させる。

上部旋回体３は、旋回機構２が旋回油圧モータ２Ｍで油圧駆動されることにより、下部走行体１に対して旋回する。

アタッチメントＡＴは、被駆動要素としてのブーム４Ａ、アーム５Ａ、及びバケット６Ａを含む。

ブーム４Ａは、上部旋回体３の前部中央に俯仰可能に取り付けられ、ブーム４Ａの先端には、アーム５Ａが上下回動可能に取り付けられ、アーム５Ａの先端には、バケット６Ａが上下回動可能に取り付けられる。

バケット６Ａは、エンドアタッチメントの一例である。バケット６Ａは、例えば、掘削作業等に用いられる。また、アーム５Ａの先端には、作業内容等に応じて、バケット６Ａの代わりに、他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、大型バケット、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他のエンドアタッチメントは、攪拌機、ブレーカ、グラップル等のバケット以外の種類のエンドアタッチメントであってもよい。また、アーム５Ａと、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが介装されてもよい。

また、バケット６Ａには、クレーン作業用のフックＨＫが取り付けられてもよい。フックＨＫは、基端が、アーム５Ａとバケット６Ａとの間を連結するバケットピンに回動可能に連結される。これにより、フックＨＫは、掘削作業等のクレーン作業（吊り作業）以外の作業が行われる場合、２本のバケットリンクの間に形成される空間に収納される。

ブーム４Ａ、アーム５Ａ、及びバケット６Ａは、それぞれ、油圧アクチュエータとしてのブームシリンダ７Ａ、アームシリンダ８Ａ、及びバケットシリンダ９Ａにより油圧駆動される。

尚、ショベル１００Ａは、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００Ａは、ハイブリッドショベルや電動ショベルであってもよい。

キャビン１０は、オペレータが搭乗する操縦室であり、例えば、上部旋回体３の前部左側に搭載される。

尚、オペレータがショベル１００Ａに搭乗して操作を行わず、専ら、作業機械１００が遠隔操作や完全自動運転機能で動作する場合、キャビン１０は省略されてよい。以下、クローラクレーン１００Ｂの場合についても同様である。

また、作業機械１００は、例えば、クローラクレーン１００Ｂである。

図４に示すように、クローラクレーン１００Ｂは、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、アタッチメントＡＴと、マスト５Ｂと、バックストップ６Ｂと、フックＨＫと、カウンタウェイト９Ｂと、キャビン１０とを備える。

下部走行体１は、例えば、左右一対のクローラ１Ｃを含む。下部走行体１は、それぞれのクローラ１Ｃが左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲ（図７参照）で油圧駆動されることにより、クローラクレーン１００Ｂを走行させる。

上部旋回体３は、旋回油圧モータ２Ｍ（図７参照）で旋回機構２が油圧駆動されることにより、下部走行体１に対して旋回する。

アタッチメントＡＴは、ブーム４Ｂと、主巻ロープ７Ｂとを含む。

ブーム４Ｂは、上部旋回体３の前部中央に起伏可能に取り付けられる。ブーム４Ｂの先端部から主巻ロープ７Ｂが垂下され、主巻ロープ７Ｂの先端には、フックＨＫが取り付けられる。即ち、ブーム４Ｂの先端には、主巻ロープ７Ｂを介してフックＨＫが取り付けられる。

主巻ロープ７Ｂは、その基端が、ブーム４Ｂの基端と先端との間の後面部分に取り付けられる主巻ウインチ７Ｂａに取り付けられ、その先端がフックＨＫに取り付けられる。主巻ロープ７Ｂは、主巻油圧モータ７Ｍ（図７参照）で油圧駆動される主巻ウインチ７Ｂａにより巻き取り及び巻き出しが行われることにより、フックＨＫを上下させることができる。

マスト５Ｂは、上部旋回体３のブーム４Ｂの基端部よりも若干後方において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられる。マスト５Ｂの先端部は、ペンダントロープ５Ｂａを介してブーム４Ｂの先端部と接続され、起伏油圧モータ５Ｍ（図７参照）で油圧駆動されるブーム起伏ウインチ５Ｂｃによるブーム起伏ロープ５Ｂｂの巻き取り及び巻き出しにより、マスト５Ｂを介してブーム４Ｂが起伏する。

尚、クローラクレーン１００Ｂは、ショベル１００Ａの場合と同様、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。

バックストップ６Ｂは、その基端がブーム４Ｂの基端よりも後方の上部旋回体３の部分において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられ、その先端がブーム４Ｂの基端と先端との間の後面部分において、ブーム４Ｂの回動軸と平行な回動軸回りに回動可能に取り付けられる。バックストップ６Ｂは、ブーム４Ｂの起伏動作に応じて伸縮し、例えば、ブーム４Ｂが略直立状態の場合にブーム４Ｂを後方から支える機能を有する。

フックＨＫは、主巻ロープ７Ｂの先端に取り付けられ、吊り荷を吊り下げるために用いられる。

カウンタウェイト９Ｂは、上部旋回体３の後端部に設けられ、ブーム４Ｂ及び吊り荷ＳＬの重量との重量バランスを取る機能を有する。

キャビン１０は、例えば、上部旋回体３の右前端部に取り付けられる。キャビン１０の内部には、操縦席や各種アクチュエータを操作する操作装置２６（図７参照）が設けられる。

＜遠隔操作支援装置の概要＞
遠隔操作支援装置２００（外部装置の一例）は、作業機械１００の遠隔操作を支援する。また、遠隔操作支援装置２００は、完全自動運転で作業を行う作業機械１００の遠隔監視を支援してもよい。

遠隔操作支援装置２００は、例えば、作業機械１００が作業を行う作業現場の外部の管理センタ等に設置されるオンプレミスサーバやクラウドサーバであってよい。また、遠隔操作支援装置２００は、例えば、作業機械１００が作業行う作業現場内、或いは、作業現場から相対的に近い場所に配置されるエッジサーバであってもよい。また、遠隔操作支援装置２００は、作業機械１００の作業現場内の管理事務所等に配置される定置型の端末装置或いは携帯型の端末装置（携帯端末）であってもよい。定置型の端末装置には、例えば、デスクトップ型のコンピュータ端末が含まれてよい。また、携帯型の端末装置には、例えば、スマートフォン、タブレット端末、ラップトップ型のコンピュータ端末等が含まれてよい。

遠隔操作支援装置２００は、例えば、通信装置２２０（図５～図７参照）を有し、上述の如く、通信回線ＮＷを通じて、作業機械１００と相互に通信を行う。これにより、遠隔操作支援装置２００は、作業機械１００からアップロードされる各種情報を受信したり、各種信号を作業機械１００に送信したりすることができる。そのため、遠隔操作支援装置２００のユーザは、出力装置２３０（図２、図３参照）を通じて、作業機械１００に関する各種情報を確認することができる。また、遠隔操作支援装置２００は、例えば、作業機械１００に情報信号を送信し、作業に必要な情報を提供したり、制御信号を送信し、作業機械１００を制御したりすることができる。遠隔操作支援装置２００のユーザには、例えば、作業機械１００のオーナ、作業機械１００の管理者、作業機械１００のメーカの技術者、作業機械１００のオペレータ、作業機械１００の作業現場の管理者、監督者、作業者等が含まれてよい。

例えば、遠隔操作支援装置２００は、オペレータが遠隔操作を行うための入力を行う遠隔操作装置２４０Ａ、及び作業機械１００の周辺の画像（周辺画像）等を表示する表示装置２３０Ａを有する。遠隔操作装置２４０Ａから入力される信号は、遠隔操作信号として、遠隔操作支援装置２００から作業機械１００に送信される。これにより、遠隔操作支援装置２００のユーザ（オペレータ）は、表示装置２３０Ａで作業機械１００の周辺の様子を確認しながら、遠隔操作装置２４０Ａを用いて、作業機械１００の遠隔操作を行うことができる。

例えば、遠隔操作支援装置２００のユーザ（監視者）は、表示装置２３０Ａで作業機械１００の作業の様子を監視することができる。また、例えば、遠隔操作支援装置２００のユーザ（監視者）は、作業機械１００に異常が発生している場合や作業機械１００の動作が不適切な場合等に、遠隔操作装置２４０Ａを利用して、作業機械１００の自動運転機能に対する介入操作を行うことができる。そのため、監視者は、遠隔操作装置２４０Ａを用いて、作業機械１００を非常停止させたり、作業機械１００に適切な動作を行わせる遠隔操作を実施したりすることができる。

［遠隔操作支援システムの構成］
次に、図５～図７を参照して、遠隔操作支援システムＳＹＳの構成について説明する。

図５は、本実施形態に係る遠隔操作支援システムＳＹＳの構成の一例を示すブロック図である。図６は、ショベル１００Ａの構成の一例を示す図である。具体的には、図６は、図５に対応するショベル１００Ａの構成の具体例を示す図である。図７は、クローラクレーン１００Ｂの構成の一例を示す図である。具体的には、図７は、図５に対応するクローラクレーン１００Ｂの構成の具体例を示す図である。

尚、図５～図７では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。

＜作業機械の構成＞
作業機械１００は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。

＜＜油圧駆動系＞＞
図５に示すように、本実施形態に係る作業機械１００の油圧駆動系は、上述の如く、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係る作業機械１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。

図６に示すように、作業機械１００がショベル１００Ａである場合、油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７Ａ、アームシリンダ８Ａ、及びバケットシリンダ９Ａ等が含まれる。

また、図７に示すように、作業機械１００がクローラクレーン１００Ｂである場合、油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、起伏油圧モータ５Ｍ、及び主巻油圧モータ７Ｍ等が含まれる。

エンジン１１は、作業機械１００の原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。

尚、エンジン１１に代えて、或いは、加えて、他の原動機（例えば、電動機）等が作業機械１００に搭載されてもよい。

レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。

メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。

コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容、或いは、コントローラ３０から出力される自動運転機能に関する操作指令に応じて、油圧アクチュエータＨＡの制御を行う油圧制御装置である。自動運転機能に対応する操作指令は、コントローラ３０が生成してもよいし、自動運転機能に関する制御を行う他の制御装置（演算装置）が生成してもよい。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作、或いは、自動運転機能に対応する操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。

＜＜操作系＞＞
図５に示すように、本実施形態に係る作業機械１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１と、シャトル弁３２と、油圧制御弁３３とを含む。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

尚、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給される。

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。

例えば、図４に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐されるパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。

尚、操作装置２６は、電気式であってもよい。この場合、パイロットライン２７Ａ、シャトル弁３２、及び油圧制御弁３３は省略される。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。また、作業機械１００が遠隔操作される場合や自動運転機能により動作する場合、操作装置２６は省略されてもよい。

油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、図４に示すように、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。また、図５に示すように、油圧制御弁３１は、パイロットライン２７Ｂ及びパイロットライン２７を通じて、直接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。そのため、コントローラ３０は、油圧制御弁３１から電気式の操作装置２６の操作内容に応じたパイロット圧をコントロールバルブ１７に供給させ、オペレータの操作に基づく作業機械１００の動作を実現することができる。

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、自動運転機能を実現してもよい。具体的には、コントローラ３０は、操作装置２６の操作の有無に依らず、自動運転機能に関する操作指令に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から自動運転機能に関する操作指令に対応するパイロット圧をコントロールバルブ１７に供給させ、自動運転機能に基づく作業機械１００の動作を実現することができる。

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、作業機械１００の遠隔操作を実現してもよい。具体的には、コントローラ３０は、通信装置６０によって、遠隔操作支援装置２００から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づく作業機械１００の動作を実現することができる。

シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメントＡＴ）の動作を制御し、自動運転機能を実現することができる。

油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、作業機械１００の自動運転機能や遠隔操作機能をより適切に実現することができる。

＜＜ユーザインタフェース系＞＞
図５に示すように、本実施形態に係る作業機械１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。

出力装置５０は、作業機械１００のユーザ（例えば、キャビン１０のオペレータや作業機械１００の周辺の作業車等）に向けて各種情報を出力する。

例えば、出力装置５０は、視覚的な方法で各種情報を出力する照明機器や表示装置等を含む。照明機器は、例えば、警告灯等である。表示装置は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。照明機器や表示装置は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置は、例えば、上部旋回体３の側面等に設けられ、作業機械１００の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。

また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置を含む。音出力装置には、例えば、ブザーやスピーカ等が含まれる。音出力装置は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に聴覚的な方法で各種情報を出力してよい。

また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。

入力装置５２は、作業機械１００のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ３０に取り込まれる。入力装置５２は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等からの入力を受け付ける。また、入力装置５２は、例えば、上部旋回体３の側面等に設けられ、作業機械１００の周辺の作業者等からの入力を受け付けてもよい。

例えば、入力装置５２は、操作入力を受け付ける操作入力装置である。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。

また、例えば、入力装置５２は、ユーザの音声入力を受け付ける音声入力装置であってもよい。音声入力装置には、例えば、マイクロフォンが含まれる。

また、例えば、入力装置５２は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置であってもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。

＜＜通信系＞＞
図５に示すように、本実施形態に係る作業機械１００の通信系は、通信装置６０を含む。

通信装置６０（作業機械用通信装置の一例）は、通信回線ＮＷに接続し、作業機械１００と別に設けられる装置（例えば、遠隔操作支援装置２００）と通信を行う。作業機械１００と別に設けられる装置には、作業機械１００の外部にある装置の他、作業機械１００のユーザによりキャビン１０に持ち込まれる携帯型の端末装置が含まれてよい。通信装置６０は、例えば、４Ｇ（4^th Generation）や５Ｇ（5^th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、ＷｉＦｉ通信モジュールやブルートゥース（登録商標）通信モジュール等を含んでもよい。

＜＜制御系＞＞
図５に示すように、本実施形態に係る作業機械１００の制御系は、コントローラ３０を含む。また、本実施形態に係る作業機械１００の制御系は、操作圧センサ２９と、撮像装置４０，４２と、取得装置ＳＸとを含む。

コントローラ３０は、作業機械１００に関する各種制御を行う。コントローラ３０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、コントローラ３０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等のメモリ装置、ＲＯＭ（Read Only Memory）等の不揮発性の補助記憶装置、及び各種入出力用のインタフェース装置等を含むコンピュータを中心に構成される。

コントローラ３０は、機能部として、操作制御部３０１と、画像送信部３０２と、物体検知部３０３と、安全制御部３０４とを含む。操作制御部３０１、画像送信部３０２、物体検知部３０３、及び安全制御部３０４の機能は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしＣＰＵ上で実行することにより各種機能を実現される。

尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。

操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。

尚、操作装置２６が電気式である場合、操作圧センサ２９は省略される。コントローラ３０は、操作装置２６から取り込まれる操作信号に基づき、操作装置２６を通じたそれぞれの被駆動要素の操作状態を把握することができるからである。

撮像装置４０は、ショベル１００Ａの周辺において、オペレータから見た死角や視認しにくい場所を補間するための画像を取得する。撮像装置４０の出力は、コントローラ３０に取り込まれる。

撮像装置４０は、例えば、単眼カメラ、ステレオカメラ、デプスカメラ等を含む。また、撮像装置４０は、撮像画像に基づき、所定の撮像範囲（画角）内における作業機械１００の周辺の物体の位置及び外形を表す三次元データ（例えば、点群データやサーフェスデータ）を取得してもよい。

例えば、図２、図３に示すように、ショベル１００Ａの撮像装置４０は、上部旋回体３の後方を撮像するカメラ４０Ｂ、上部旋回体３の左方を撮像するカメラ４０Ｌ、及び上部旋回体３の右方を撮像するカメラ４０Ｒを含む。これにより、オペレータは、出力装置５０や表示装置２３０Ａを通じて、撮像装置４０の撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体３の左方、右方、及び後方の様子を確認することができる。

尚、図３の二点鎖線は、カメラ４０Ｂ，４０Ｌ，４０Ｒの上面視の画角（撮像範囲）を表している。

また、例えば、図４に示すように、クローラクレーン１００Ｂの撮像装置４０は、例えば、ブーム４Ｂに取り付けられ、フックＨＫ及びフックＨＫに吊られる吊り荷の周辺の様子を上から見た撮像画像を取得する。これにより、オペレータは、出力装置５０（表示装置）や表示装置２３０Ａを通じて、撮像装置４０の撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、フックＨＫに吊られる吊り荷の周辺の様子を上から見た視点で確認することができる。

尚、ショベル１００Ａにおいて、図４の形態の撮像装置４０が設けられてもよいし、クローラクレーン１００Ｂにおいて、図２、図３の形態の撮像装置４０（カメラ４０Ｂ，４０Ｌ，４０Ｒ）が設けられてもよい。

撮像装置４２は、遠隔操作のオペレータや遠隔監視の監視者がアタッチメントＡＴによる作業の様子を確認するための作業機械１００の周辺の画像を取得する。撮像装置４２の出力は、コントローラ３０に取り込まれる。

撮像装置４２は、例えば、単眼カメラ、ステレオカメラ、デプスカメラ等を含む。また、撮像装置４２は、撮像画像に基づき、所定の撮像範囲（画角）内における作業機械１００の周辺の物体の位置及び外形を表す三次元データ（例えば、点群データやサーフェスデータ）を取得してもよい。

例えば、図２、図３に示すように、ショベル１００Ａの撮像装置４２は、例えば、キャビン１０の上面前部等、上部旋回体３の前部に設けられ、アタッチメントＡＴの先端（バケット６Ａ）を含む上部旋回体３の前方の様子を撮像する。これにより、オペレータは、表示装置２３０Ａを通じて、撮像装置４２の撮像画像や当該撮像装置４２に基づき生成される加工画像等の周辺画像を視認することで、バケット６Ａを含むアタッチメントＡＴの動作を確認しながら、ショベル１００Ａを操作することができる。

また、例えば、図４に示すように、クローラクレーン１００Ｂの撮像装置４２は、例えば、キャビン１０の上面前部等、上部旋回体３の前部に設けられ、フックＨＫを含む上部旋回体３の前方の様子を撮像する。具体的には、撮像装置４２は、上部旋回体３の前方斜め上の地面から離れた相対的に高い高さ方向の空間を撮像するカメラ４２Ａと、上部旋回体３の前方斜め下の地面付近の相対的に低い高さ方向の範囲を撮像するカメラ４２Ｂとを含む。これにより、オペレータは、表示装置２３０Ａを通じて、撮像装置４２の撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、フックＨＫの動きを確認しながら、クローラクレーン１００Ｂを操作することができる。

取得装置ＳＸは、ショベル１００Ａの状態やショベル１００Ａの周辺の状態等に関する情報を取得する。取得装置ＳＸの出力は、コントローラ３０に取り込まれる。

図６に示すように、作業機械１００がショベル１００Ａである場合、取得装置ＳＸは、ブーム角度センサＳ１と、アーム角度センサＳ２と、バケット角度センサＳ３と、機体姿勢センサＳ４と、旋回角度センサＳ５とを含む。

また、図７に示すように、作業機械１００がクローラクレーン１００Ｂである場合、取得装置ＳＸは、機体姿勢センサＳ４と、旋回角度センサＳ５とを含む。

ブーム角度センサＳ１は、所定基準（例えば、水平面やブーム４Ａの可動角度範囲の両端の何れかの状態等）に対するブーム４Ａの姿勢角度（以下、「ブーム角度」）に関する検出情報を取得する。ブーム角度センサＳ１は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ（Inertial Measurement Unit）等を含んでよい。また、ブーム角度センサＳ１は、ブームシリンダ７Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。

アーム角度センサＳ２は、所定基準（例えば、ブーム４Ａの両端の連結点間を結ぶ直線やアーム５Ａの可動角度範囲の両端の何れかの状態等）に対するアーム５Ａの姿勢角度（以下、「アーム角度」）に関する検出情報を取得する。アーム角度センサＳ２は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、アーム角度センサＳ２は、アームシリンダ８Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。

バケット角度センサＳ３は、所定基準（例えば、アーム５Ａの両端の連結点間を結ぶ直線やバケット６Ａの可動角度範囲の両端の何れかの状態等）に対するバケット６Ａの姿勢角度（以下、「バケット角度」）に関する検出情報を取得する。バケット角度センサＳ３は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、バケット角度センサＳ３は、バケットシリンダ９Ａの伸縮位置を検出可能なシリンダセンサを含んでもよい。

機体姿勢センサＳ４は、下部走行体１及び上部旋回体３を含む作業機械１００の機体の姿勢状態に関する検出情報を取得する。機体姿勢センサＳ４は、例えば、上部旋回体３に搭載され、上部旋回体３の水平面に対する傾斜角度や旋回軸回りの姿勢角度（即ち、地面を基準とする上部旋回体３の向き）に関する検出情報を取得する。機体姿勢センサＳ４は、例えば、加速度センサ（傾斜センサ）、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。

旋回角度センサＳ５は、下部走行体１を基準とする上部旋回体３の旋回角度（即ち、上部旋回体３の向き）に関する検出情報を取得する。旋回角度センサＳ５は、例えば、ポテンショメータ、ロータリエンコーダ、レゾルバ等を含む。

また、例えば、取得装置ＳＸは、自機の絶対位置を測位可能な測位装置を含んでもよい。測位装置は、例えば、ＧＮＳＳ（Global Navigation Satellite System）センサである。これにより、作業機械１００の姿勢状態の推定精度を向上させることができる。

また、例えば、取得装置ＳＸは、作業機械１００の周辺の物体との距離を検出する距離センサを含んでもよい。距離センサは、例えば、ＬＩＤＡＲ（Light Detecting and Ranging）、ミリ波レーダ、超音波センサ、赤外線センサ、距離画像センサ等を含む。これにより、コントローラ３０（物体検知部３０３）は、撮像装置４０，４２の出力に代えて、或いは、加えて、距離センサの出力を用いて、作業機械１００の周辺の物体を検知することができる。

尚、ショベル１００ＡのセンサＳ１～Ｓ５やクローラクレーン１００ＢのセンサＳ４，Ｓ５は、省略されてもよい。例えば、撮像装置４０，４２や後述の距離センサ等により取得されるショベル１００Ａの周辺の情報には、機体（上部旋回体３）から見た周囲の物体やアタッチメントの位置や形状等に関する情報が含まれる場合がある。この場合、例えば、コントローラ３０は、要求される精度によっては、その情報からアタッチメントＡＴや機体（上部旋回体３）の姿勢状態を推定することも可能だからである。

操作制御部３０１は、油圧制御弁３１を制御対象として、作業機械１００の油圧アクチュエータの操作に関する制御を行う。

操作制御部３０１は、例えば、油圧制御弁３１を制御対象として、電気式の操作装置２６の操作に基づく作業機械１００の油圧アクチュエータＨＡ（被駆動要素）の操作に関する制御を行う。具体的には、操作制御部３０１は、操作装置２６から出力される操作信号の内容に応じて、複数の油圧アクチュエータＨＡ（被駆動要素）のそれぞれに対応する油圧制御弁３１を選択的に制御してよい。

また、操作制御部３０１は、例えば、油圧制御弁３１を制御対象として、作業機械１００の油圧アクチュエータＨＡ（被駆動要素）の遠隔操作に関する制御を行う。即ち、作業機械１００の油圧アクチュエータＨＡ（被駆動要素）の操作には、作業機械１００の外部（遠隔操作支援装置２００）からの油圧アクチュエータＨＡの遠隔操作が含まれる。具体的には、操作制御部３０１は、通信装置６０を通じて遠隔操作支援装置２００から受信される遠隔操作信号の内容に応じて、複数の油圧アクチュエータＨＡ（被駆動要素）のそれぞれに対応する油圧制御弁３１を選択的に制御してよい。

また、操作制御部３０１は、例えば、油圧制御弁３１を制御対象として、作業機械１００の自動運転機能に関する制御を行う。具体的には、即ち、作業機械１００の油圧アクチュエータＨＡの操作には、自動運転機能に基づき出力される、作業機械１００の油圧アクチュエータＨＡの操作指令が含まれてよい。具体的には、操作制御部３０１は、操作指令の内容に応じて、複数の油圧アクチュエータＨＡ（被駆動要素）のそれぞれに対応する油圧制御弁３１を選択的に制御してよい。

画像送信部３０２は、撮像装置４０の撮像画像、或いは、撮像装置４０の撮像画像に基づき生成する加工画像等の周辺画像を、通信装置６０を通じて、遠隔操作支援装置２００に送信する。

例えば、ショベル１００Ａの画像送信部３０２は、撮像装置４０の撮像画像に基づき、複数のカメラ（カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの少なくとも二つのカメラ）の撮像画像を合成した加工画像（合成画像）を生成し、遠隔操作支援装置２００に送信してよい。

具体的には、画像送信部３０２は、カメラ４０Ｂ、４０Ｌ，４０Ｒの撮像画像に基づき、既知の視点変換処理及び合成処理等を行うことにより、仮想視点から見た合成画像（視点変換画像）を生成し、遠隔操作支援装置２００に送信してよい。

また、例えば、クローラクレーン１００Ｂの画像送信部３０２は、撮像装置４０の撮像画像に基づき、視点変換画像を生成し、遠隔操作支援装置２００に送信してよい。

同様に、画像送信部３０２は、撮像装置４２の撮像画像、或いは、撮像装置４２の撮像画像に基づきコントローラ３０が生成する加工画像等の周辺画像を、通信装置６０を通じて、遠隔操作支援装置２００に送信する。

例えば、ショベル１００Ａの画像送信部３０２は、撮像装置４２の撮像画像に基づき、視点変換画像を生成し、遠隔操作支援装置２００に送信してよい。また、ショベル１００Ａの画像送信部３０２は、撮像装置４０，４２の撮像画像に対して既知の視点変換処理及び合成処理等を行うことにより、ショベル１００Ａの周辺の水平方向３６０度を仮想視点から見た合成画像を生成し、遠隔操作支援装置２００に送信してもよい。

物体検知部３０３は、撮像装置４０の出力に基づき、作業機械１００の周辺の監視対象の所定の物体（以下、「監視物体」）を検知する。

監視物体には、作業機械１００の周辺で作業する作業者や作業現場の監督者等の人が含まれてよい。また、監視物体には、作業現場の人以外の任意の物体（障害物）が含まれてよい。作業現場の人以外の障害物には、例えば、穴、溝、土砂の山等の特定の地形、ロードコーン、柵、電柱、仮置きの資材、作業現場の仮設事務所等の定置された（移動しない）障害物が含まれてよい。また、作業現場の人以外の障害物には、例えば、他の作業機械や作業車両等の移動可能な障害物が含まれてよい。

物体検知部３０３は、撮像装置４０の出力、即ち、撮像装置４０で撮像された撮像画像に基づき、作業機械１００（上部旋回体３）の周辺の所定の監視エリア（以下、便宜的に「監視エリア」）において、監視物体を検知する。以下、物体検知部３０３に関する説明は、作業機械１００が水平面に位置している仮定の下で行う。具体的には、ショベル１００Ａの物体検知部３０３は、上部旋回体３の後方、左方、及び右方に亘る監視エリアにおいて、監視物体を検知してよい。また、クローラクレーン１００Ｂの物体検知部３０３は、フックＨＫに吊られた吊り荷の周辺の監視エリアにおいて、監視物体を検知してよい。

尚、物体検知部３０３は、上部旋回体３に上述の距離センサが搭載される場合、撮像装置４０の出力に代えて、或いは、加えて、距離センサの出力に基づき、監視物体を検知してよい。また、物体検知部３０３は、撮像装置４０の出力に加えて、撮像装置４２の出力に基づき、上部旋回体３の周辺の物体を検知してもよい。即ち、物体検知部３０３は、撮像装置４０，４２の出力に基づき、撮像装置４２の撮像範囲を含む監視エリアにおいて、監視物体を検知してもよい。

物体検知部３０３は、例えば、作業機械１００から見た水平方向（以下、単に「水平方向」）、つまり、作業機械１００が作業している（下部走行体１が接地している）平面（以下、便宜的に「作業平面」）に沿う方向に延在する監視エリア内において、監視物体を検知する。具体的には、物体検知部３０３は、作業機械１００の所定の部位からの距離Ｄが閾値Ｄｔｈ１以内の監視エリア内で監視物体を検知してよい。この際、閾値Ｄｔｈ１は、作業機械１００の所定の部位から見た方向に依らず一定であってもよいし、作業機械１００の所定部位から見た方向によって変化してもよい。例えば、ショベル１００Ａの物体検知部３０３は、上部旋回体３からの水平方向の距離Ｄが閾値Ｄｔｈ１（例えば、５メートル）以内の監視エリア内で、監視物体を検知する。また、クローラクレーン１００Ｂの物体検知部３０３は、フックＨＫ（或いは、吊り荷）からの水平方向の距離が閾値Ｄｔｈ１以内の監視エリア内で、監視物体を検知する。

例えば、物体検知部３０３は、既知の各種画像処理手法や人工知能（ＡＩ：Artificial Intelligence）等を含む機械学習ベースの識別器等を任意に適用することにより、撮像画像内の監視物体を認識する。また、監視物体が作業者等の人である場合、物体検知部３０３は、認識した人が予め登録される複数の登録済みの作業者の中の何れかに該当するかを特定してもよい。

また、物体検知部３０３は、既知の各種手法を適用することにより、単眼の撮像装置４０の撮像画像に映っている、認識された監視物体が存在する位置（例えば、人の足元位置）（以下、「実在位置」）を判定（推定）してよい。

例えば、ショベル１００Ａの物体検知部３０３は、認識された監視物体の撮像画像上における大きさ（例えば、撮像画像上の高さ方向の大きさ）に基づき、上部旋回体３から見た水平方向の位置（以下、「水平位置」）を推定してよい。認識された監視物体の撮像画像上における大きさは、監視物体がショベル１００Ａ（上部旋回体３）から離れるほど小さくなる相関関係があるからである。具体的には、監視物体には、想定される大きさの範囲（例えば、想定される人の身長の範囲）があるため、想定された大きさの範囲に含まれる当該監視物体のショベル１００Ａから見た水平位置と、撮像画像上での大きさとの相関関係が予め規定されうる。そのため、物体検知部３０３は、例えば、コントローラ３０の補助記憶装置等の内部メモリに予め格納される、撮像画像上の監視物体の大きさとショベル１００Ａから見た水平位置との相関関係を表すマップや変換式等に基づき、認識された監視物体の実在位置（上部旋回体３からの水平位置）を推定することができる。

また、例えば、物体検知部３０３は、監視物体が作業機械１００（具体的には、下部走行体１）と同じ平面上に存在する前提の下、撮像画像の当該平面上への射影変換（ホモグラフィ）等によって、その実在位置（例えば、足元位置）を推定してもよい。この場合、撮像画像を構成するある部分（例えば、ある画素）は、作業機械１００と同じ平面上のある位置に対応づけられる。

また、物体検知部３０３は、入力装置５２に対するオペレータ等による所定の操作に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。

安全制御部３０４は、作業機械１００の機能安全に関する制御を行う。具体的には、安全制御部３０４は、物体検知部３０３により監視対象が検知される場合に、安全機能を作動させてよい。

安全機能には、例えば、キャビン１０の内部、キャビン１０の外部、及び作業機械１００の遠隔のオペレータや管理者等の少なくとも一つに対する警報等を出力し、監視対象の検知を報知する報知機能が含まれてよい。これにより、キャビン１０の内部のオペレータ、作業機械１００の周辺の作業者、作業機械１００の遠隔操作や遠隔監視を行うオペレータや監視者等に対して、作業機械１００の周辺の所定範囲内に監視対象が存在していることに関する注意を促すことができる。以下、キャビン１０の内部（オペレータ等）への報知機能を「内部報知機能」、作業機械１００の外部（作業者等）への報知機能を「外部報知機能」、及び作業機械１００の遠隔操作や遠隔監視を行うオペレータや監視者への報知機能を「遠隔報知機能」とそれぞれ称し、区別する場合がある。

また、安全機能には、例えば、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対する作業機械１００の動作を制限する動作制限機能が含まれてよい。これにより、作業機械１００の動作を強制的に制限し、作業機械１００や吊り荷と周辺の物体との接近や接触等の可能性を低減させることができる。動作制限機能には、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対する作業機械１００の動作速度を通常よりも遅くする動作減速機能が含まれてよい。また、動作制限機能には、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に関わらず、作業機械１００の動作を停止させ、停止状態を維持させる動作停止機能が含まれてもよい。

安全制御部３０４は、例えば、物体検知部３０３により監視エリアに含まれる所定の範囲（以下、「報知範囲」）で監視対象が検知される場合に、報知機能を作動させる。報知範囲は、監視エリアと同じであってよい。また、報知範囲は、監視エリアより狭く設定されてもよい。具体的には、報知範囲は、監視エリアよりもその外縁が上部旋回体３やフックＨＫ（或いは吊り荷）に相対的に近くなるように設定されてもよい。具体的には、安全制御部３０４は、作業機械１００の所定の部位からの距離Ｄが閾値Ｄｔｈ２（≦Ｄｔｈ１）以内の報知範囲内で監視物体が検知されると、報知機能を作動させてよい。この際、閾値Ｄｔｈ２は、作業機械１００の所定の部位から見た方向に依らず一定であってもよいし、作業機械１００の所定部位から見た方向によって変化してもよい。

安全制御部３０４は、例えば、出力装置５０（音出力装置）を制御することにより、キャビン１０の内部及び外部の少なくとも一方に対する音（即ち、聴覚的な方法）による内部報知機能や外部報知機能を作動させる。このとき、安全制御部３０４は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。

また、安全制御部３０４は、例えば、視覚的な方法による内部報知機能を作動させる。具体的には、安全制御部３０４は、キャビン１０の内部の出力装置５０（表示装置）を制御することにより、表示装置に監視物体が検知されていることを表す画像を表示させてよい。また、安全制御部３０４は、キャビン１０の内部の表示装置に表示される周辺画像に映っている監視物体や、検知された監視物体に対応する周辺画像上の位置を強調させてもよい。より具体的には、安全制御部３０４は、表示装置に表示されている周辺画像上に、検知されている監視物体を囲む枠を重畳して表示させたり、検知された監視物体の実在位置に対応する周辺画像上の位置にマーカを重畳して表示させたりしてよい。これにより、出力装置５０（表示装置）は、オペレータに対する視覚的な報知機能を実現することができる。また、安全制御部３０４は、キャビン１０の内部の警告灯や照明装置等を用いて、監視物体が検知されていることをキャビン１０の内部のオペレータ等に対して通知してもよい。

また、安全制御部３０４は、例えば、上部旋回体３のハウス部の側面等に設けられる出力装置５０（例えば、前照灯等の照明装置や表示装置）を制御することにより、視覚的な方法による外部報知機能を作動させてもよい。また、安全制御部３０４は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法で内部報知機能を作動させてもよい。これにより、コントローラ３０は、オペレータや作業機械１００の周辺の作業者及び監督者等に対して、作業機械１００の周辺に監視物体（例えば、作業者等の人）が存在することを認識させることができる。そのため、コントローラ３０は、オペレータに対して、作業機械１００の周辺の安全状況の確認を促すことができると共に、監視エリア内の作業者等に対して、監視エリアからの退避を促すことができる。

また、安全制御部３０４は、例えば、通信装置６０を通じて、報知機能の作動を示す指令信号を遠隔操作支援装置２００に送信することにより、遠隔報知機能を作動させてもよい。この場合、遠隔操作支援装置２００（制御装置２１０）は、通信装置２２０により作業機械１００から指令信号を受信すると、出力装置２３０を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、遠隔操作支援装置２００を通じて作業機械１００の遠隔操作や遠隔監視を行うオペレータや監視者は、作業機械１００の周辺の報知範囲内に監視物体が進入したことを把握することができる。

尚、安全制御部３０４の遠隔報知機能は、遠隔操作支援装置２００（例えば、後述の報知制御部２１０３）に移管されてもよい。この場合、遠隔操作支援装置２００は、作業機械１００から物体検知部３０３による監視物体の検知状況に関する情報を受信し、受信した情報に基づき、報知範囲内への監視物体の進入の有無を判断し、報知範囲内に監視物体が存在する場合に、外部報知機能を作動させる。

また、安全制御部３０４は、報知範囲内で検知されている監視物体と、作業機械１００との位置関係に応じて、報知態様（即ち、報知の仕方）を異ならせてもよい。

例えば、安全制御部３０４は、物体検知部３０３により報知範囲内で検知された監視物体が上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に対して相対的に遠い位置に存在する場合、監視物体への注意を促す程度の相対的に緊急度が低い警報（以下、「注意レベルの警報」）を出力してよい。以下、報知範囲のうちの上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に対する距離が相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全制御部３０４は、物体検知部３０３により報知範囲内で検知された監視物体が上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に対して相対的に近い位置に存在する場合、監視物体が作業機械１００の所定の部位に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報（以下、「警戒レベルの警報」）を出力してよい。以下、報知範囲のうちの上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に対する距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。

この場合、安全制御部３０４は、注意レベルの警報と警戒レベルの警報との間で、出力装置（音出力装置）から出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全制御部３０４は、注意レベルの警報と警戒レベルの警報との間で、出力装置５０（表示装置）に表示される監視物体が検知されていることを表す画像や、表示装置に表示される周辺画像上の監視物体或いは監視物体の位置を強調させる画像（例えば、枠やマーカ等）の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ３０は、音出力装置から出力される報知音（警報音）や表示装置に表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視物体の作業機械１００の所定の部位に対する接近度を把握させることができる。

安全制御部３０４は、報知機能の作動開始後、物体検知部３０３により検知されていた監視物体が監視エリア内で検知されなくなった場合、報知機能を停止させてよい。また、安全制御部３０４は、報知機能の作動開始後、入力装置５２を通じて、報知機能の作動を解除する所定の操作が受け付けられた場合に、報知機能を停止させてもよい。

また、安全制御部３０４は、例えば、物体検知部３０３により監視エリアに含まれる所定範囲（以下、「動作制限範囲」）内で監視物体が検知される場合に、動作制限機能を作動させる。動作制限範囲は、監視エリアと同じであってもよいし、監視エリアよりもその外縁が上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に相対的に近くなるように設定されてもよい。具体的には、安全制御部３０４は、作業機械１００の所定の部位からの距離Ｄが閾値Ｄｔｈ３（≦Ｄｔｈ１）以内の報知範囲内で監視物体が検知されると、報知機能を作動させてよい。この際、閾値Ｄｔｈ３は、作業機械１００の所定の部位から見た方向に依らず一定であってもよいし、作業機械１００の所定部位から見た方向によって変化してもよい。

また、動作制限範囲には、操作装置２６の操作、遠隔操作、自動運転機能に対応する操作指令に対する作業機械１００の動作速度を通常よりも遅くする動作減速範囲、及び操作装置２６の操作、遠隔操作、自動運転機能に対応する操作指令に関わらず、作業機械１００の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、例えば、動作制限範囲のうちの上部旋回体３やフックＨＫ（或いは吊り荷）等の作業機械１００の所定の部位に近接する範囲である。そして、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。

安全制御部３０４は、油圧制御弁３１を制御することにより、作業機械１００の動作を制限する動作制限機能を作動させる。この場合、安全制御部３０４は、全ての被駆動要素（即ち、対応する油圧アクチュエータ）の動作を制限してもよいし、一部の被駆動要素（油圧アクチュエータ）の動作を制限してもよい。これにより、コントローラ３０は、作業機械１００の周辺に監視物体が存在する場合に、作業機械１００の動作を減速させたり、停止させたりすることができる。そのため、コントローラ３０は、作業機械１００の周辺の監視物体と作業機械１００や吊り荷との接触の発生を抑制することができる。また、安全制御部３０４は、パイロットライン２５の図示しない電磁切換弁を制御し、パイロットライン２５を遮断することにより、動作制限機能（動作停止機能）を作動させてもよい。

また、安全制御部３０４は、動作制限機能の作動開始後、物体検知部３０３により検知されていた監視物体が検知されなくなった場合、動作制限機能を停止させてよい。また、安全制御部３０４は、動作制限機能の作動開始後、入力装置５２を通じて、動作制限機能の作動を解除する所定の操作が受け付けられた場合に、動作制限機能を停止させる。入力装置５２に対する報知機能の作動解除のための操作と、動作制限機能の作動解除のための操作とは、同じであってもよいし、異なっていてもよい。

また、安全制御部３０４は、入力装置５２に対するオペレータ等による所定の操作に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。

＜管理装置の構成＞
図５に示すように、遠隔操作支援装置２００は、制御装置２１０と、通信装置２２０と、出力装置２３０と、入力装置２４０とを含む。

制御装置２１０は、遠隔操作支援装置２００に関する各種制御を行う。制御装置２１０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現される。制御装置２１０は、例えば、ＣＰＵ、ＲＡＭ等のメモリ装置、ＲＯＭ等の不揮発性の補助記憶装置、及び各種の入出力用のインタフェース装置等を含むコンピュータを中心に構成される。

制御装置２１０は、機能部として、遠隔操作支援部２１０１と、表示制御部２１０２と、報知制御部２１０３と、通信状況監視部２１０４と、操作状態監視部２１０５を含む。遠隔操作支援部２１０１、表示制御部２１０２、報知制御部２１０３、通信状況監視部２１０４、及び操作状態監視部２１０５の機能は、例えば、補助記憶装置にインストールされるプログラムをメモリ装置にロードしＣＰＵ上で実行することにより実現される。

通信装置２２０（外部装置用通信装置の一例）は、通信回線ＮＷに接続し、遠隔操作支援装置２００の外部（例えば、作業機械１００）と通信を行う。

出力装置２３０は、遠隔操作支援装置２００のユーザに向けて各種情報を出力する。出力装置２３０は、表示装置２３０Ａと、音出力装置２３０Ｂとを含む。

表示装置２３０Ａは、制御装置２１０の制御下で、視覚的な方法で遠隔操作支援装置２００のユーザに向けて遠隔操作支援装置２００に関する各種情報を出力する。具体的には、表示装置２３０Ａは、遠隔操作支援装置２００に関する情報画像を表示する。表示装置２３０Ａは、例えば、液晶ディスプレイや有機ＥＬディスプレイ等を含む。

尚、出力装置２３０は、視覚的な方法で遠隔操作支援装置２００のユーザに各種情報を出力する照明装置を含んでもよい。照明装置は、例えば、警告ランプ等を含む。

音出力装置２３０Ｂは、聴覚的な方法で遠隔操作支援装置２００のユーザに各種情報を出力する音出力装置を含む。音出力装置は、例えば、ブザーやスピーカ等を含む。

入力装置２４０は、遠隔操作支援装置２００のユーザからの入力を受け付け、入力（例えば、操作入力、音声入力、ジェスチャ入力等）の内容を表す信号を出力する。入力の内容を表す信号は、制御装置２１０に取り込まれる。遠隔操作支援装置２００のユーザは、遠隔操作支援装置２００の管理者、作業機械１００のオペレータ、作業機械１００の監視者等を含む。

入力装置２４０は、例えば、遠隔操作装置２４０Ａを含む。

遠隔操作装置２４０Ａは、オペレータによる作業機械１００の遠隔操作や監視者による自動運転機能に対する介入による作業機械１００の遠隔操作のために用いられる。遠隔操作装置２４０Ａは、オペレータや監視者からの複数のアクチュエータ（被駆動要素）の遠隔操作のための入力を受け付け、入力の内容を表す信号を制御装置２１０に出力する。

遠隔操作支援部２１０１は、制御装置２１０は、作業機械１００の遠隔操作に関する制御を行う。具体的には、遠隔操作支援部２１０１は、遠隔操作装置２４０Ａで受け付けられる作業機械１００の遠隔操作に関する入力の信号を取り込み、通信装置２２０を用いて、作業機械１００の遠隔操作の内容を表す遠隔操作信号を作業機械１００に送信してよい。

表示制御部２１０２は、表示装置２３０Ａを制御し、表示装置２３０Ａに各種情報画像を表示させる。

表示制御部２１０２は、例えば、作業機械１００からアップロードされる作業機械１００の周辺の様子を表す画像（周辺画像）を表示装置２３０Ａに表示させる。

具体的には、表示制御部２１０２は、撮像装置４２の撮像範囲に対応する周辺画像を表示装置２３０Ａに表示させる。これにより、遠隔操作支援装置２００のユーザ（オペレータ）は、撮像装置４２の撮像範囲に対応する周辺画像を視認することで、アタッチメントＡＴの動きを確認しながら、作業機械１００の遠隔操作を行うことができる。また、遠隔操作支援装置２００のユーザ（監視者）は、撮像装置４２の撮像範囲に対応する周辺画像を視認することで、アタッチメントＡＴの動きを確認しながら、作業機械１００の作業状況を監視することができる。

また、表示制御部２１０２は、撮像装置４０の撮像範囲に対応する周辺画像を表示装置２３０Ａに表示させる。これにより、遠隔操作支援装置２００のユーザは、撮像装置４０の撮像範囲に対応する周辺画像を視認することで、撮像装置４２の撮像範囲に対応する周辺画像だけでは確認しにくい、作業機械１００の周辺の状況を確認することができる。そのため、遠隔操作支援装置２００は、作業機械１００及び作業機械１００が使用される作業現場の安全性を向上させることができる。

尚、表示制御部２１０２は、作業機械１００からアップロードされる撮像装置４０の撮像画像に基づき、自ら、周辺画像として加工画像を生成し、表示装置２３０Ａに表示させてもよい。

報知制御部２１０３は、通信装置２２０を通じて、報知機能（遠隔報知機能）の作動を示す指令信号が受信される場合に、出力装置２３０を通じて、オペレータや監視者に対して作業機械１００の周辺の報知範囲で監視物体が検知されたことを報知する。

報知制御部２１０３は、例えば、音出力装置２３０Ｂを制御することにより、聴覚的な方法でオペレータや監視者に対して作業機械１００の周辺の報知範囲で監視物体が検知されたことを報知する。このとき、報知制御部２１０３は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。

また、報知制御部２１０３は、例えば、視覚的な方法でオペレータや監視者に対して作業機械１００の周辺の報知範囲で監視物体が検知されたことを報知する。具体的には、報知制御部２１０３は、表示制御部２１０２を通じて表示装置２３０Ａを制御することにより、表示装置２３０Ａに監視物体が検知されていることを表す画像を表示させてよい。また、報知制御部２１０３は、表示制御部２１０２を通じて、表示装置２３０Ａに表示される周辺画像に映っている監視物体や、検知された監視物体に対応する周辺画像上の位置を強調させてもよい。より具体的には、報知制御部２１０３は、表示制御部２１０２を通じて、表示装置２３０Ａに表示されている周辺画像上に、検知されている監視物体を囲む枠を重畳して表示させたり、検知された監視物体の実在位置に対応する周辺画像上の位置にマーカを重畳して表示させたりしてよい。これにより、表示装置２３０Ａは、オペレータや監視者に対する視覚的な報知機能を実現することができる。また、報知制御部２１０３は、警告灯等の照明装置を用いて、監視物体が報知範囲内で検知されていることをオペレータや監視者に対して通知してもよい。

通信状況監視部２１０４は、作業機械１００と遠隔操作支援装置２００との間の通信状況を監視する。

具体的には、通信状況監視部２１０４は、作業機械１００から受信される所定の信号の有無や所定の信号の送信から受信までの所要時間等に基づき、作業機械１００と遠隔操作支援装置２００との間の通信状況を監視する。作業機械１００と遠隔操作支援装置２００との間の通信状況には、例えば、作業機械１００と遠隔操作支援装置２００との間の通信途絶の発生状況が含まれる。また、作業機械１００と遠隔操作支援装置２００との間の通信状況には、例えば、作業機械１００から遠隔操作支援装置２００に信号が送信される場合の通信遅延の発生状況（通信遅延の大きさ）が含まれる。所定の信号は、例えば、通信状況監視部２１０４が通信装置２２０を通じて周期的に作業機械１００に送信する応答を要求する信号に対する作業機械１００からの返信の信号である。また、所定の信号は、例えば、作業機械１００から定期的に送信（アップロード）されるデータ（例えば、周辺画像）に対応する信号であってもよい。これにより、通信状況監視部２１０４は、所定の信号の受信の有無により、通信途絶の発生の有無を監視することができる。また、通信状況監視部２１０４は、所定の信号に含まれる送信タイミングを表すデータ（タイムスタンプ）と、通信装置２２０を通じて実際に所定の信号を受信したときの時刻データとに基づき、通信遅延の大きさを計測することができる。

操作状態監視部２１０５は、遠隔操作装置２４０Ａで受け付けられる入力状態に基づき、作業機械１００のアクチュエータ（被駆動要素）の操作状態を監視する。

［監視画面の具体例］
次に、図８～図１１を参照して、表示装置２３０Ａに表示される、作業機械１００の周辺画像を含む画面（以下、「監視画面」）の具体例について説明する。

＜通信遅延が相対的に小さい場合の監視画面＞
図８、図９は、表示装置２３０Ａに表示される、作業機械１００の周辺画像を含む監視画面の一例を示す図である。具体的には、図８、図９は、通信状況監視部２１０４により作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準以下であると判断される場合の監視画面の具体例を示す図である。より具体的には、図８は、表示装置２３０Ａに表示される、撮像装置４０の撮像範囲に対応するショベル１００Ａの周辺画像を含む監視画面の一例（監視画面８００）を示す図である。図９は、表示装置２３０Ａに表示される、撮像装置４０の撮像範囲に対応するクローラクレーン１００Ｂの周辺画像を含む監視画面の一例（監視画面９００）を示す図である。

尚、本例の場合、図８、図９の監視画面８００，９００とは別に、撮像装置４２の撮像画像や当該撮像画像に基づき生成される加工画像が表示装置２３０Ａの別の表示領域、或いは、複数の表示装置２３０Ａのうちの他の表示装置２３０Ａに表示される。以下、後述の図１０、図１１の監視画面１０００，１１００が表示装置２３０Ａに表示される場合についても同様である。

例えば、図８に示すように、表示装置２３０Ａには、表示制御部２１０２の制御下で、ショベル画像ＣＧと、ショベル画像ＣＧの周辺に配置される、ショベル１００Ａの周辺画像としての視点変換画像ＥＰとを含む監視画面８００が表示される。ショベル画像ＣＧ及び視点変換画像ＥＰは、ショベル１００Ａ（上部旋回体３）と撮像装置４０（カメラ４０Ｂ，４０Ｌ，４０Ｒ）の撮像範囲との間の位置関係に合わせて配置される。これにより、オペレータは、監視画面８００を通じて、ショベル１００Ａと、視点変換画像ＥＰに映っているショベル１００Ａの周辺の物体との位置関係を適切に把握することができる。

本例では、視点変換画像ＥＰは、ショベル１００Ａに隣接する周辺領域を真上から見た俯瞰画像ＢＶＰと、当該俯瞰画像ＢＶＰの周りに配置される、ショベル１００Ａから当該周辺領域を水平方向に見た水平画像ＨＶＰとの組み合わせで構成される。視点変換画像ＥＰは、カメラ４０Ｂ，４０Ｌ，４０Ｒのそれぞれの撮像画像を空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することにより得られる。空間モデルは、仮想空間における撮像画像の投影対象であり、撮像画像が位置する平面以外の平面或いは曲面を含む一又は複数の平面或いは曲面で構成される。

また、本例では、監視画面８００の視点変換画像ＥＰには、ショベル１００Ａからの一定距離のラインＬＮ１が重畳して表示される。ラインＬＮ１は、例えば、物体検知部３０３による監視エリアや安全制御部３０４による報知範囲等の外縁を表してよい。これにより、オペレータや監視者は、ショベル１００Ａと視点変換画像ＥＰに映っている周辺の物体との距離の関係を適切に把握することができる。

また、本例では、監視画面８００の視点変換画像ＥＰには、ショベル画像ＣＧの後方に相当する場所に作業者Ｗが映っている。これにより、オペレータや監視者は、ショベル１００Ａ（上部旋回体３）の後方に作業者Ｗが位置（存在）していることを認識することができる。

また、本例では、監視画面８００の視点変換画像ＥＰには、物体検知部３０３により検知された監視物体が報知範囲に存在することを表す２つの枠ＦＲＭ１が重畳して表示される。

具体的には、一方の枠ＦＲＭ１は、作業者Ｗを囲むように視点変換画像ＥＰ上に重畳して表示される。これにより、遠隔操作支援装置２００は、枠ＦＲＭ１によって作業者Ｗの存在を強調し注意喚起を図ることができる。そのため、オペレータや監視者は、ショベル１００Ａ（上部旋回体３）に対して相対的に近い位置に作業者Ｗが位置（存在）していることをより適切に認識することができる。

また、他方の枠ＦＲＭ１は、視点変換画像ＥＰのうちの監視物体が存在しない部分を囲むように重畳して表示される。物体検知部３０３によって、監視物体が誤検知されているからである。但し、オペレータや監視者は、視点変換画像ＥＰを視認することにより、他方の枠ＦＲＭ１に対応する場所に監視物体が存在しないことを確認することができる。そのため、オペレータや監視者は、枠ＦＲＭ１の表示による外部報知機能の作動が誤報であることを適切に認識することができる。

尚、表示制御部２１０２は、カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの少なくとも一つの撮像画像を含む監視画面を表示装置２３０Ａに表示させてもよい。つまり、表示制御部２１０２は、カメラ４０Ｂ，４０Ｌ，４０Ｒのうちの全ての撮像画像或いは二つのカメラの撮像画像を表示装置２３０Ａに並べて表示させてもよいし、何れか一つのカメラの撮像画像を表示装置２３０Ａに表示させてもよい。典型的には、表示制御部２１０２は、カメラ４０Ｂ，４０Ｒの撮像画像を表示装置２３０Ａに並べて表示させてよい。この場合、表示制御部２１０２は、視点変換画像ＥＰの場合と同様、表示装置２３０Ａのカメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像を含む監視画面に監視エリアや報知範囲等の外縁を表すラインを重畳して表示させてよい。また、表示制御部２１０２は、監視画面内のカメラ４０Ｂの撮像画像に映っている作業者Ｗを囲む枠を重畳して表示させてよい。

また、例えば、図９に示すように、表示装置２３０Ａには、表示制御部２１０２の制御下で、クローラクレーン１００Ｂの周辺画像としての撮像装置４０の撮像画像を含む監視画面９００が表示される。

監視画面９００（撮像装置４０の撮像画像）には、主巻ロープ７Ｂの先端のフックＨＫと、フックＨＫに玉掛けされた吊り荷ＳＬが映っている。

また、本例では、監視画面９００には、吊り荷ＳＬからの一定距離のラインＬＮ２が重畳して表示される。ラインＬＮ２は、例えば、物体検知部３０３による監視エリアや安全制御部３０４による報知範囲等の外縁を表してよい。これにより、オペレータや監視者は、吊り荷ＳＬと監視画面９００（撮像装置４０の撮像画像）に映っている周辺の物体との位置関係を適切に把握することができる。

また、本例では、監視画面９００には、吊り荷ＳＬの周辺の障害物ＯＢが映っている。これにより、オペレータや監視者は、吊り荷ＳＬの周辺に障害物ＯＢが存在していることを認識することができる。

また、本例では、監視画面９００には、物体検知部３０３により検知された監視物体が報知範囲に存在することを表す２つの枠ＦＲＭ２が重畳して表示される。

具体的には、一方の枠ＦＲＭ２は、障害物ＯＢを囲むように監視画面９００（撮像装置４０の撮像画像）に重畳して表示される。障害物ＯＢが物体検知部３０３の監視エリアに存在し且つ安全制御部３０４の報知範囲内に存在しているからである。これにより、遠隔操作支援装置２００は、枠ＦＲＭ２によって障害物ＯＢの存在を強調し注意喚起を図ることができる。そのため、オペレータや監視者は、吊り荷ＳＬに対して相対的に近い位置に障害物ＯＢが存在していることをより適切に認識することができる。

また、他方の枠ＦＲＭ２は、監視画面９００（撮像装置４０の撮像画像）のうちの監視物体が存在しない部分に重畳して表示される。物体検知部３０３によって、監視物体が誤検知されているからである。但し、オペレータや監視者は、監視画面９００として表示される撮像装置４０の撮像画像を視認することにより、他方の枠ＦＲＭ２に対応する場所に監視物体が存在しないことを確認することができる。そのため、オペレータや監視者は、枠ＦＲＭ２の表示による外部報知機能の作動が誤報であることを適切に認識することができる。

尚、表示制御部２１０２は、周辺画像として、クローラクレーン１００Ｂの撮像装置４０の撮像画像に基づき生成される視点変換画像を表示装置２３０Ａに表示させてもよい。

＜通信遅延が相対的に大きい場合の監視画面＞
図１０、図１１は、表示装置２３０Ａに表示される、作業機械１００の周辺画像を含む監視画面の他の例を示す図である。具体的には、図１０、図１１は、通信状況監視部２１０４により作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えていると判断される場合の監視画面の具体例を示す図である。より具体的には、図１０は、表示装置２３０Ａに表示される、撮像装置４０の撮像範囲に対応するショベル１００Ａの周辺画像を含む監視画面の他の例（監視画面１０００）を示す図である。図１１は、表示装置２３０Ａに表示される、撮像装置４０の撮像範囲に対応するクローラクレーン１００Ｂの周辺画像を含む監視画面の一例（監視画面１１００）を示す図である。

例えば、図１０に示すように、表示装置２３０Ａには、表示制御部２１０２の制御下で、ショベル画像ＣＧと、ショベル画像ＣＧの周辺に配置される画像ＢＬＫ１とを含む監視画面１０００が表示される。

画像ＢＫＬ１は、撮像装置４２の撮像範囲に対応し、図８の監視画面８００におけるショベル１００Ａの周辺画像としての視点変換画像ＥＰが表示されている画面領域である。画像ＢＫＬ１は、例えば、白塗りの画像等、単色の画像や全体に同じパタン（模様）の画像として表示される。

また、本例では、監視画面１０００の画像ＢＫＬ１には、監視画面８００の場合と同様、ショベル１００Ａからの一定距離のラインＬＮ１が重畳して表示される。これにより、オペレータや監視者は、ラインＬＮ１を基準にして、画像ＢＫＬ１の中のそれぞれの場所がショベル１００Ａとどのくらいの距離に相当するかを把握することができる。

また、本例では、監視画面１０００の画像ＢＫＬ１には、撮像装置４０（カメラ４０Ｂ，４０Ｌ，４０Ｒ）の撮像範囲の一部、即ち、視点変換画像ＥＰの一部に相当する周辺画像ＰＩ１が表示される。周辺画像ＰＩ１は、周辺画像ＰＩ１１，ＰＩ１２を含む。周辺画像ＰＩ１１，ＰＩ１２は、それぞれ、視点変換画像ＥＰの中での位置に対応する画像ＢＫＬ１の中での位置、即ち、撮像装置４０の撮像範囲の中での周辺画像ＰＩ１１，ＰＩ１２に映っている範囲に対応する画像ＢＫＬ１の中での位置（範囲）に重畳して表示される。これにより、オペレータは、周辺画像ＰＩ１１，ＰＩ１２に映っている範囲がショベル１００Ａ（上部旋回体３）から見てどのくらいの距離にあるのか、或いは、どの方向にあるのか等を把握することができる。

周辺画像ＰＩ１１，ＰＩ１２には、重畳して枠ＦＲＭ２が表示される。即ち、周辺画像ＰＩ１１，ＰＩ１２は、視点変換画像ＥＰのうちの物体検知部３０３により検知された監視対象が存在している部分を含む。

具体的には、周辺画像ＰＩ１１には、作業者Ｗが映っている。これにより、撮像装置４０の撮像範囲のうちの一部に相当する周辺画像ＰＩ１しか監視画面１０００に表示されていない状況でも、オペレータや監視者は、ショベル１００Ａ（上部旋回体３）の周辺の監視物体（作業者Ｗ）の存在を把握することができる。

また、周辺画像ＰＩ１１には、上述の如く、作業者Ｗを囲む枠ＦＲＭ１が重畳して表示される。これにより、撮像装置４０の撮像範囲のうちの一部に相当する周辺画像ＰＩ１しか監視画面１０００に表示されていない状況でも、オペレータや監視者は、ショベル１００Ａ（上部旋回体３）に対して相対的に近い位置に作業者Ｗが位置（存在）していることをより適切に認識することができる。

一方、周辺画像ＰＩ１２には、監視物体が映っておらず、周辺画像ＰＩ１２に重畳して表示される枠ＦＲＭ１は、監視物体が存在しない部分を囲んでいる。上述の図８（監視画面８００）の場合と同様、物体検知部３０３によって、監視物体が誤検知されているからである。但し、オペレータや監視者は、周辺画像ＰＩ１２を視認することにより、枠ＦＲＭ１に対応する場所に監視物体が存在しないことを確認することができる。そのため、オペレータや監視者は、枠ＦＲＭ１の表示による外部報知機能の作動が誤報であることを適切に認識することができる。

通信状況監視部２１０４は、ショベル１００Ａとの間の通信遅延が所定基準を超える場合、通信装置２２０を通じて、撮像装置４０の撮像範囲の一部に相当する周辺画像を送信するように要求する信号をショベル１００Ａに送信してよい。そして、これに応じて、画像送信部３０２は、通信装置６０を通じて、撮像装置４０の撮像範囲の一部に相当する、物体検知部３０３により検知されている監視物体が存在する部分を含む周辺画像ＰＩ１を遠隔操作支援装置２００に送信してよい。これにより、ショベル１００Ａから遠隔操作支援装置２００に送信される周辺画像のデータ量を相対的に小さく抑制することができる。そのため、ショベル１００Ａにおける周辺画像の送信開始から遠隔操作支援装置２００における周辺画像の受信完了までの所要時間を相対的に短くすることができる。その結果、ショベル１００Ａと遠隔操作支援装置２００との間の通信遅延が相対的に大きい状況で、表示装置２３０Ａに表示される周辺画像と、撮像装置４０の撮像範囲に対応する実際のショベル１００Ａの周辺の状況との間のタイムラグを相対的に小さく抑制することができる。また、この際、ショベル１００Ａの画像送信部３０２は、周辺画像ＰＩ１が撮像装置４０の撮像範囲の全体に相当する周辺画像、即ち、視点変換画像ＥＰの中での位置を特定するための情報を併せて送信してよい。これにより、表示制御部２１０２は、視点変換画像ＥＰの中での位置を特定するための情報に基づき、画像ＢＫＬ１の中の適切な位置に周辺画像ＰＩ１を重畳して表示することができる。

尚、ショベル１００Ａの画像送信部３０２は、通信装置６０を通じて、撮像装置４０の撮像画像のうちの周辺画像ＰＩ１に相当する一部の領域を切り出した画像を遠隔操作支援装置２００に送信し、表示制御部２１０２によって、周辺画像ＰＩ１が生成されてもよい。

また、本例では、監視画面１０００には、ショベル１００Ａと遠隔操作支援装置２００との間で相対的に大きな通信遅延が生じている旨のメッセージを表す画像ＭＳＧ１が表示される。これにより、オペレータや監視者は、ショベル１００Ａと遠隔操作支援装置２００との間に相対的に大きな通信遅延が生じており、その通信遅延の影響で、表示装置２３０Ａの表示内容が監視画面８００の態様から変化していることを把握することができる。

また、例えば、図１１に示すように、表示装置２３０Ａには、表示制御部２１０２の制御下で、クローラクレーン１００Ｂの撮像装置４０の撮像範囲に対応するクローラクレーン１００Ｂの周辺の状況を表す監視画面１１００が表示される。

監視画面１１００には、クローラクレーン１００Ｂの撮像装置４０の撮像範囲の一部、即ち、撮像装置４０の撮像画像の一部に相当する周辺画像ＰＩ２が表示される。周辺画像ＰＩ２は、主巻ロープ７Ｂ及び吊り荷ＳＬが映っている部分を含む周辺画像ＰＩ２１と、周辺画像ＰＩ２２，ＰＩ２３とを含む。周辺画像ＰＩ２１～ＰＩ２３は、それぞれ、撮像装置４０の撮像画像の中での位置に対応する監視画面１１００の中での位置、即ち、撮像装置４０の撮像範囲の中で周辺画像ＰＩ２１～ＰＩ２３に映っている範囲に対応する監視画面１１００の中での位置に重畳して表示される。これにより、撮像装置４０の撮像画像の一部しか監視画面１１００に表示されていない状況でも、オペレータや監視者は、周辺画像ＰＩ２に映っている物体の位置や物体同士の位置関係を適切に把握することができる。

周辺画像ＰＩ２２，ＰＩ２３には、それぞれ、枠ＦＲＭ２が重畳して表示される。即ち、周辺画像ＰＩ２２，ＰＩ２３は、それぞれ、撮像装置４０の撮像範囲のうちの物体検知部３０３により検知された監視対象が存在している部分を含む。

具体的には、周辺画像ＰＩ２２には、障害物ＯＢが映っている。これにより、撮像装置４０の撮像範囲の一部に相当する周辺画像ＰＩ２しか表示されない状況でも、オペレータや監視者は、吊り荷ＳＬの周辺の監視物体（障害物ＯＢ）の存在を把握することができる。

また、周辺画像ＰＩ２２には、上述の如く、障害物ＯＢを囲む枠が重畳して表示される。これにより、撮像装置４０の撮像範囲の一部に相当する周辺画像ＰＩ２しか表示されない状況でも、オペレータや監視者は、吊り荷ＳＬに対して相対的に近い位置に障害物ＯＢが存在していることをより適切に認識することができる。

通信状況監視部２１０４は、クローラクレーン１００Ｂとの間の通信遅延が所定基準を超える場合、通信装置２２０を通じて、撮像装置４０の撮像範囲の一部に相当する周辺画像を送信するように要求する信号をクローラクレーン１００Ｂに送信してよい。そして、これに応じて、画像送信部３０２は、通信装置６０を通じて、撮像装置４０の撮像範囲の一部に相当する、主巻ロープ７Ｂ、吊り荷ＳＬ、及び監視物体（本例では、障害物ＯＢ）が映っている部分を含む周辺画像ＰＩ２を遠隔操作支援装置２００に送信してよい。これにより、クローラクレーン１００Ｂから遠隔操作支援装置２００に送信される周辺画像のデータ量を相対的に小さく抑制することができる。そのため、クローラクレーン１００Ｂにおける周辺画像の送信開始から遠隔操作支援装置２００における周辺画像の受信完了までの所要時間を相対的に短くすることができる。その結果、クローラクレーン１００Ｂと遠隔操作支援装置２００との間の通信遅延が相対的に大きい状況で、表示装置２３０Ａに表示される周辺画像と、撮像装置４０の撮像範囲に対応する実際のクローラクレーン１００Ｂの周辺の状況との間のタイムラグを相対的に小さく抑制することができる。また、この際、クローラクレーン１００Ｂの画像送信部３０２は、周辺画像ＰＩ２が撮像装置４０の撮像範囲の全体に相当する周辺画像、即ち、撮像装置４０の撮像画像の中での位置を特定するための情報を併せて送信してよい。これにより、表示制御部２１０２は、撮像装置４０の撮像画像の中での位置を特定するための情報に基づき、監視画面１１００の中の適切な位置に周辺画像ＰＩ２を重畳して表示することができる。

また、本例では、監視画面１１００には、クローラクレーン１００Ｂと遠隔操作支援装置２００との間で相対的に大きな通信遅延が生じている旨のメッセージを表す画像ＭＳＧ２が表示される。これにより、オペレータや監視者は、クローラクレーン１００Ｂと遠隔操作支援装置２００との間に相対的に大きな通信遅延が生じており、その通信遅延の影響で、表示装置２３０Ａの表示内容が監視画面９００の態様から変化していることを把握することができる。

［周辺画像の送信要求の送信処理］
次に、図１２、図１３を参照して、制御装置２１０による周辺画像の送信を要求する信号（以下、「送信要求」）の作業機械１００への送信処理について説明する。

＜周辺画像の送信要求の送信処理の一例＞
図１２は、制御装置２１０による周辺画像の送信要求の送信処理の一例を概略的に示すフローチャートである。本フローチャートは、作業機械１００の稼働中、即ち、作業機械１００の起動（例えば、キースイッチのオン）から作業機械１００の停止（例えば、キースイッチオフ）までの間で、所定の周期ごとに繰り返し実行される。以下、後述の図１３のフローチャートについても同様であってよい。

図１２に示すように、ステップＳ１０２にて、通信状況監視部２１０４は、上述の所定の信号の受信状況や所定の信号の送信から受信までのタイムラグ等に基づき、作業機械１００と遠隔操作支援装置２００との間の通信状況の監視を行う。

制御装置２１０は、ステップＳ１０２の処理が完了すると、ステップＳ１０４に進む。

ステップＳ１０４にて、通信状況監視部２１０４は、監視結果に基づき、作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えているか否かを判定する。通信状況監視部２１０４は、作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えていない場合、ステップＳ１０６に進み、所定基準を超えている場合、ステップＳ１０８に進む。

ステップＳ１０６にて、通信状況監視部２１０４は、通信装置２２０を通じて、撮像装置４０の撮像範囲の全体に相当する周辺画像の送信を要求する送信要求を作業機械１００に送信する。

制御装置２１０は、ステップＳ１０６の処理が完了すると、今回のフローチャートの処理を終了する。

一方、ステップＳ１０８にて、通信状況監視部２１０４は、通信装置２２０を通じて、撮像装置４０の撮像範囲の一部に相当する周辺画像の送信を要求する送信要求を作業機械１００に送信する。

撮像装置４０の撮像範囲の一部に相当する周辺画像は、例えば、上述の図１０、図１１の場合のように、撮像装置４０の撮像範囲の全体のうちの物体検知部３０３により検知されている監視物体が映っている部分を含む画像である。この場合、撮像装置４０の撮像範囲の一部に相当する周辺画像は、例えば、上述の図１０、図１１の場合のように、物体検知部３０３により検知されている監視物体を含む相対的に小さい画像領域であってもよいし、物体検知部３０３により検知されている監視物体を含む相対的に大きい画像領域であってもよい。後者の場合、例えば、撮像装置４０の一部に相当する周辺画像は、カメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像うちの物体検知部３０３により検知された物体が映っている撮像画像であってもよい。

また、撮像装置４０の撮像範囲の一部に相当する周辺画像は、撮像範囲に占める範囲の大きさが通信遅延の大きさによって可変されてもよい。具体的には、撮像装置４０の撮像範囲の一部に相当する周辺画像は、通信遅延の大きさが大きくなるほど、撮像範囲に占める範囲が小さくされてよい。これにより、制御装置２１０は、例えば、通信遅延が所定基準を少し超えた程度であれば、通信遅延の程度に合わせて、撮像装置４０の撮像範囲のうちの相対的に広い一部の範囲の周辺画像を表示装置２３０Ａに表示させることができる。一方、制御装置２１０は、例えば、通信遅延が所定基準を大きく超えている場合、通信遅延の程度に合わせて、撮像装置４０の撮像範囲のうちの相対的狭い一部の範囲の周辺画像を表示させることができる。そのため、制御装置２１０は、通信遅延の大きさに合わせて、撮像装置４０の撮像範囲のうちのより適切な範囲の周辺画像をユーザに提示することができる。

尚、ステップＳ１０８の送信要求が送信される場合、物体検知部３０３により監視物体が検知される状態が継続している状況では、画像送信部３０２は、監視物体の撮像装置４０の撮像範囲の中での位置情報だけを遠隔操作支援装置２００に送信してもよい。この場合、表示制御部２１０２は、過去に作業機械１００から受信された監視物体に対応する周辺画像を監視画面上にそのまま表示し続けてよい。これにより、制御装置２１０は、表示装置２３０Ａに表示される周辺画像と、撮像装置４０の撮像範囲に対応する実際の作業機械１００の周辺の状況との間のタイムラグを更に小さく抑制することができる。また、表示制御部２１０２は、過去に作業機械１００から受信された監視物体に対応する周辺画像を、作業機械１００から逐次受信される位置情報に対応する監視画面上の位置に重畳して表示させてもよい。これにより、制御装置２１０は、表示装置２３０Ａにおける過去の周辺画像に映っている監視物体の表示位置を実際の位置に合わせて変化させることができる。また、ステップＳ１０８の送信要求が送信される場合、ショベル１００Ａの物体検知部３０３により監視物体が未検知の状況では、画像送信部３０２は、通信装置６０を通じて、監視物体が未検知であることを示す信号のみを遠隔操作支援装置２００に送信してもよい。この場合、表示装置２３０Ａには、例えば、図１０のショベル画像ＣＧ及び画像ＢＬＫ１を含む監視画面が表示され、画像ＢＫＬ１には、ラインＬＮ１が重畳して表示されるのみであってよい。また、表示装置２３０Ａには、併せて、監視物体が未検知である旨を示すメッセージが表示されてもよい。また、ステップＳ１０８の送信要求が送信される場合、クローラクレーン１００Ｂの物体検知部３０３により監視物体が未検知の状況では、画像送信部３０２は、通信装置６０を通じて、撮像装置４０の撮像範囲の一部に相当する主巻ロープ７Ｂ及び吊り荷ＳＬを含む周辺画像（例えば、図１１の周辺画像ＰＩ２１）を遠隔操作支援装置２００に送信してよい。この場合、表示装置２３０Ａには、例えば、図１１の周辺画像ＰＩ２１及びラインＬＮ２を含む監視画面が表示されてよい。また、表示装置２３０Ａには、併せて、監視物体が未検知である旨を示すメッセージが表示されてもよい。また、ステップＳ１０８の送信要求が送信される場合、作業機械１００の物体検知部３０３により監視物体が未検知である状況では、画像送信部３０２は、通信装置６０を通じて、撮像装置４０の撮像範囲の一部に相当する所定範囲の画像を一律に送信してもよい。所定範囲の画像は、例えば、ショベル１００Ａの撮像装置４０の撮像範囲のうちの物体検知部３０３の監視エリアや安全制御部３０４の報知範囲に相当する範囲（例えば、図８の視点変換画像ＥＰのラインＬＮ１よりショベル画像ＣＧ側の範囲）の画像であってよい。また、所定範囲の画像は、例えば、クローラクレーン１００Ｂの撮像装置４０の撮像範囲のうちの物体検知部３０３の監視エリアや安全制御部３０４の報知範囲に相当する範囲（例えば、図９の監視画面９００のラインＬＮ２より内側の範囲）の画像であってよい。また、ステップＳ１０８では、作業機械１００からの送信対象の周辺画像の範囲を撮像装置４０の撮像範囲の一部に限定する方法に代えて、或いは、加えて、他の方法で周辺画像のデータ量を小さく抑制するための指令が送信されてもよい。例えば、撮像装置４０の撮像範囲の一部又は全体の画質を低下させた周辺画像を送信するように要求する指令が送信されてもよい。

＜周辺画像の送信要求の送信処理の他の例＞
図１３は、制御装置２１０による周辺画像の送信要求の送信処理の他の例を概略的に示すフローチャートである。

図１３に示すように、ステップＳ２０２，Ｓ２０４は、図１２のステップＳ１０２，Ｓ１０４の処理と同じであるため、説明を省略する。

ステップＳ２０４にて、通信状況監視部２１０４は、作業機械１００と遠隔操作支援装置２００との間の通信遅延が所定基準を超えていない場合、ステップＳ２０６に進み、所定基準を超えている場合、ステップＳ２０８に進む。

ステップＳ２０６は、図１２のステップＳ１０６と同じであるため、説明を省略する。

制御装置２１０は、ステップＳ２０６の処理が完了すると、今回のフローチャートの処理を終了する。

一方、ステップＳ２０８にて、操作状態監視部２１０５は、遠隔操作装置２４０Ａの入力状態に基づき、作業機械１００の操作状態を監視する。

制御装置２１０は、ステップＳ２０８の処理が完了すると、ステップＳ２１０に進む。

ステップＳ２１０にて、操作状態監視部２１０５は、ステップＳ２０８の監視結果に基づき、遠隔操作装置２４０Ａを通じて、作業機械１００の走行操作或いは旋回操作が行われているか否かを判定する。操作状態監視部２１０５は、遠隔操作装置２４０Ａを通じて作業機械１００の走行操作或いは旋回操作が行われている場合、ステップＳ２０６に進み、それ以外の場合、ステップＳ２１２に進む。これにより、通信遅延が相対的に大きくなっている場合でも、作業機械１００が走行動作或いは旋回動作を行っているときには、撮像装置４０の撮像範囲の全体に相当する周辺画像を作業機械１００から遠隔操作支援装置２００に送信させることができる。そのため、制御装置２１０は、作業機械１００が走行動作或いは旋回動作を行い、撮像装置４０の撮像範囲内の様子が相対的に大きく変化する状況で、撮像装置４０の撮像範囲の全体を表示装置２３０Ａに表示させることができる。

ステップＳ２１２は、図１２のステップＳ１０８と同じであるため、説明を省略する。

制御装置２１０は、ステップＳ２１２の処理が完了すると、今回のフローチャートの処理を終了する。

［作用］
次に、本実施形態に係る遠隔操作支援システムＳＹＳの作用について説明する。

本実施形態では、遠隔操作支援システムＳＹＳは、撮像装置４０と、通信装置６０と、通信装置２２０と、遠隔操作装置２４０Ａと、表示装置２３０Ａと、を備える。具体的には、撮像装置４０は、作業機械１００に設けられ、作業機械１００の周辺の様子を撮像する。また、通信装置６０は、作業機械１００に設けられ、遠隔操作支援装置２００と通信を行う。また、通信装置２２０は、遠隔操作支援装置２００に設けられ、作業機械１００と通信を行う。遠隔操作装置２４０Ａは、遠隔操作支援装置２００に設けられ、作業機械１００を遠隔操作するための入力を受け付ける。また、表示装置２３０Ａは、遠隔操作支援装置２００に設けられ、制御装置２１０の制御下で、撮像装置４０の撮像画像、或いは、当該撮像画像に基づく加工画像を表示する。そして、表示装置２３０Ａは、作業機械１００と遠隔操作支援装置２００との間の通信遅延が相対的に大きい場合、通信遅延が相対的に小さい場合よりも相対的にデータ量が小さい撮像画像或いは加工画像を表示する。

これにより、遠隔操作支援システムＳＹＳは、作業機械１００と遠隔操作支援装置２００との間の通信遅延が相対的に大きい状況で、作業機械１００から遠隔操作支援装置２００に相対的にデータ量が小さい周辺画像（撮像画像或いは加工画像）を送らせることができる。そのため、遠隔操作支援システムＳＹＳは、作業機械１００における周辺画像の送信開始から遠隔操作支援装置２００における周辺画像の受信完了までの所要時間を相対的に短くすることができる。よって、遠隔操作支援システムＳＹＳは、上記の通信遅延が相対的に大きい状況で、表示装置２３０Ａに表示される周辺画像と、撮像装置４０の撮像範囲に対応する実際の作業機械１００の周辺の状況との間のタイムラグを相対的に小さく抑制することができる。

また、本実施形態では、通信装置６０は、通信遅延が相対的に大きい場合、通信遅延が相対的に小さい場合よりも相対的にデータ量が小さい撮像画像或いは加工画像を遠隔操作支援装置２００に送信してよい。

これにより、遠隔操作支援システムＳＹＳは、具体的に、作業機械１００における周辺画像の送信開始から遠隔操作支援装置２００における周辺画像の受信完了までの所要時間を相対的に短くすることができる。

また、本実施形態では、表示装置２３０Ａは、上述の通信遅延が相対的に小さい場合、撮像装置４０の撮像範囲の全体に相当する撮像画像或いは加工画像を表示してもよい。そして、表示装置２３０Ａは、上述の通信遅延が相対的に大きい場合、撮像装置４０の撮像範囲の一部に相当する撮像画像或いは加工画像を、撮像装置４０の撮像範囲内での位置を保持しながら表示させてもよい。

これにより、遠隔操作支援システムＳＹＳは、上述の通信遅延が相対的に大きい状況で、具体的に、表示装置２３０Ａに表示させる周辺画像のデータ量を相対的に小さくすることができる。

また、本実施形態では、表示装置２３０Ａは、上述の通信遅延が相対的に大きい場合、通信遅延が大きくなるほど、撮像装置４０の撮像範囲のうちの表示する撮像画像或いは加工画像の範囲を小さくしてもよい。

これにより、遠隔操作支援システムＳＹＳは、表示装置２３０Ａに表示させる周辺画像のデータ量の抑制と、ユーザに対するより広い範囲の周辺画像の提示とのバランスをより適切に図ることができる。

また、本実施形態では、表示装置２３０Ａは、上述の通信遅延が相対的に大きい場合、撮像装置４０の撮像範囲のうちの監視物体が映っている一部の範囲に相当する撮像画像或いは加工画像を表示してよい。

これにより、遠隔操作支援システムＳＹＳは、表示装置２３０Ａに表示させる周辺画像のデータ量の抑制と、ユーザにとって必要な情報、即ち、作業機械１００の周辺の監視物体の存在や位置等の情報の提示とを両立させることができる。

また、例えば、作業機械１００と遠隔操作支援装置２００との間の通信遅延が相対的に大きい場合に、周辺画像の代わりに、撮像装置４０の撮像範囲内における監視対象の位置情報だけを作業機械１００から遠隔操作支援装置２００に送信させることも可能である。しかしながら、表示装置２３０Ａの監視画面上の監視物体に対応する位置に監視物体を表すマーカ等を表示させても、オペレータや監視者は、物体検知部３０３による誤検知である場合に、その誤検知をマーカ等では認識することができない。

これに対して、本実施形態では、遠隔操作支援システムＳＹＳは、表示装置２３０Ａに撮像装置４０の撮像範囲の一部に相当する周辺画像として、監視物体を含む画像を表示させることができる。そのため、オペレータや監視者は、物体検知部３０３により監視物体が存在しないにもかかわらず、監視物体が誤検知された場合であっても、表示装置２３０Ａに表示される周辺画像を通じて、物体検知部３０３の誤検知を適切に認識することができる。

また、本実施形態では、表示装置２３０Ａは、上述の通信遅延が相対的に大きい場合、監視物体が撮像装置４０の撮像範囲に継続して存在しているときに、その撮像範囲のうちの監視物体が映っている一部の範囲に相当する、過去の撮像画像或いは加工画像を表示し続けてよい。

これにより、遠隔操作支援システムＳＹＳは、監視物体が撮像装置４０の撮像範囲（例えば、監視エリア）内に存在し続ける限り、作業機械１００から遠隔操作支援装置２００への周辺画像を送らせないようにすることができる。そのため、遠隔操作支援システムＳＹＳは、上記の通信遅延が相対的に大きい状況で、表示装置２３０Ａに表示される周辺画像と、撮像装置４０の撮像範囲に対応する実際の作業機械１００の周辺の状況との間のタイムラグを更に小さく抑制することができる。

また、本実施形態では、表示装置２３０Ａは、上述の通信遅延が相対的に大きい場合、監視物体が撮像範囲に継続して存在しているときに、監視物体の撮像装置４０の撮像範囲内での移動に合わせて、その撮像範囲のうちの監視物体が映っている一部の範囲に相当する、過去の撮像画像或いは加工画像の表示位置を変化させてもよい。

これにより、遠隔操作支援システムＳＹＳは、表示装置２３０Ａにおける過去の周辺画像に映っている監視物体の表示位置を実際の位置に合わせて変化させることができる。そのため、遠隔操作支援システムＳＹＳは、ユーザに対して、実際の作業機械１００の周辺の状況をより適切に把握させることができる。

また、本実施形態では、表示装置２３０Ａは、上述の通信遅延が相対的に大きい場合であっても、遠隔操作装置２４０Ａを通じて行われる作業機械の操作状態よっては、上述の通信遅延が相対的に小さい場合と同じ態様で撮像画像或いは加工画像の更新周期を表示してもよい。

これにより、遠隔操作支援システムＳＹＳは、例えば、撮像装置４０の撮像範囲に映る対象の変化が相対的に大きいような作業機械１００の操作が行われる場合、表示装置２３０Ａに撮像装置４０の撮像範囲の全体に相当する周辺画像を表示させることができる。そのため、遠隔操作支援システムＳＹＳは、撮像装置４０の撮像範囲に映る対象の変化が相対的に大きい状況にも関わらず、その状況が表示装置２３０Ａの画面に反映されず、ユーザに違和感を与えてしまうような事態を回避することができる。

また、本実施形態では、表示装置２３０Ａは、上述の通信遅延が相対的に大きい場合であっても、遠隔操作装置２４０Ａを通じて作業機械１００の走行操作或いは旋回操作が行われている場合、上述の通信遅延が相対的に小さい場合と同じ態様で、撮像画像或いは加工画像を表示してもよい。

これにより、遠隔操作支援システムＳＹＳは、具体的に、撮像装置４０の撮像範囲に映る対象の変化が相対的に大きい状況にも関わらず、その状況が表示装置２３０Ａの画面に反映されず、ユーザに違和感を与えてしまうような事態を回避することができる。

以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。

３０ コントローラ
４０ 撮像装置
４０Ｂ カメラ
４０Ｌ カメラ
４０Ｒ カメラ
４２ 撮像装置
４２Ａ カメラ
４２Ｂ カメラ
５０ 出力装置
５２ 入力装置
６０ 通信装置（作業装置用通信装置）
１００ 作業機械
１００Ａ ショベル
１００Ｂ クローラクレーン
２００ 遠隔操作支援装置（外部装置）
２１０ 制御装置
２２０ 通信装置（外部装置用通信装置）
２３０ 出力装置
２３０Ａ 表示装置
２３０Ｂ 音出力装置
２４０ 入力装置
２４０Ａ 遠隔操作装置
２１０１ 遠隔操作支援部
２１０２ 表示制御部
２１０３ 報知制御部
２１０４ 通信状況監視部
２１０５ 操作状態監視部
ＳＹＳ 遠隔操作支援システム

Claims (10)

1. 作業機械に設けられ、前記作業機械の周辺の様子を撮像する撮像装置と、
   前記作業機械に設けられ、外部装置と通信を行う作業機械用通信装置と、
   前記外部装置に設けられ、前記作業機械と通信を行う外部装置用通信装置と、
   前記外部装置に設けられ、前記作業機械を遠隔操作するための入力を受け付ける遠隔操作装置と、
   前記外部装置に設けられ、前記撮像装置の撮像画像、又は前記撮像画像に基づく加工画像を表示する表示装置と、を備え、
   前記表示装置は、前記作業機械と前記外部装置との間の通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも相対的にデータ量が小さい前記撮像画像又は前記加工画像を表示する、
   遠隔操作支援システム。
2. 前記作業機械用通信装置は、前記通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも相対的にデータ量が小さい前記撮像画像又は前記加工画像を前記外部装置に送信する、
   請求項１に記載の遠隔操作支援システム。
3. 前記表示装置は、前記通信遅延が相対的に小さい場合、前記撮像装置の撮像範囲の全体に相当する前記撮像画像又は前記加工画像を表示し、前記通信遅延が相対的に大きい場合、前記撮像装置の撮像範囲の一部に相当する前記撮像画像又は前記加工画像を、前記撮像範囲内での位置を保持しながら表示する、
   請求項１又は２に記載の遠隔操作支援システム。
4. 前記表示装置は、前記通信遅延が相対的に大きい場合、前記通信遅延が大きくなるほど、前記撮像範囲のうちの表示する前記撮像画像又は前記加工画像の範囲を小さくする、
   請求項３に記載の遠隔操作支援システム。
5. 前記表示装置は、前記通信遅延が相対的に大きい場合、前記撮像範囲のうちの所定の物体が映っている一部の範囲に相当する前記撮像画像又は前記加工画像を表示する、
   請求項３又は４に記載の遠隔操作支援システム。
6. 前記表示装置は、前記通信遅延が相対的に大きい場合、前記所定の物体が前記撮像範囲に継続して存在しているときに、前記撮像範囲のうちの前記所定の物体が映っている一部の範囲に相当する、過去の前記撮像画像又は前記加工画像を表示し続ける、
   請求項５に記載の遠隔操作支援システム。
7. 前記表示装置は、前記通信遅延が相対的に大きい場合、前記所定の物体が前記撮像範囲に継続して存在しているときに、前記所定の物体の前記撮像範囲内での移動に合わせて、前記撮像範囲のうちの前記所定の物体が映っている一部の範囲に相当する、過去の前記撮像画像又は前記加工画像の表示位置を変化させる、
   請求項６に記載の遠隔操作支援システム。
8. 前記表示装置は、前記通信遅延が相対的に大きい場合であっても、前記遠隔操作装置を通じて行われる前記作業機械の操作状態によっては、前記通信遅延が相対的に小さい場合と同じ態様で前記撮像画像又は前記加工画像を表示する、
   請求項１乃至７の何れか一項に記載の遠隔操作支援システム。
9. 前記表示装置は、前記通信遅延が相対的に大きい場合であっても、前記遠隔操作装置を通じて前記作業機械の走行操作又は旋回操作が行われている場合、前記通信遅延が相対的に小さい場合と同じ態様で前記撮像画像又は前記加工画像を表示する、
   請求項８に記載の遠隔操作支援システム。
10. 作業機械の周辺の様子を撮像する撮像装置を有する前記作業機械と通信を行う通信装置と、
    前記作業機械を遠隔操作するための入力を受け付ける遠隔操作装置と、
    前記撮像装置の撮像画像、又は前記撮像画像に基づく加工画像を表示する表示装置と、を備え、
    前記表示装置は、前記作業機械との間の通信遅延が相対的に大きい場合、前記通信遅延が相対的に小さい場合よりも相対的にデータ量が小さい前記撮像画像又は前記加工画像を表示する、
    遠隔操作支援装置。

Images