JP2023063989A - ショベル - Google Patents

Abstract

【課題】ショベルの周辺の検出対象の物体の位置の推定精度をより向上させることが可能な技術を提供する。
【解決手段】本開示の一実施形態のショベル１００は、下部走行体１と、下部走行体に旋回自在に搭載される上部旋回体３と、上部旋回体３に搭載され、上部旋回体３の周辺を撮像する撮像装置４０と、撮像装置４０の撮像画像に基づく入力画像からショベル１００の周辺の所定の物体（監視物体）を検出する物体検出部３０２と、所定の物体の入力画像上の検出位置に関する情報、及び所定の物体の入力画像上の検出範囲に関する情報に基づき、ショベル１００の周辺の所定の物体の実在位置を推定する位置推定部３０３と、を備える。
【選択図】図２３

Description

本開示は、ショベルに関する。

従来、上部旋回体に搭載される撮像装置の撮像画像から、ショベル（上部旋回体）の周辺の所定範囲内の所定の物体（例えば、人）を検出し、安全機能（例えば、警報の出力）を作動させる技術が知られている（例えば、特許文献１参照）。

特開２０１４－１８１５０８号公報

しかしながら、例えば、背景と同化したり、他の物体に隠れたりすることによって、撮像装置の撮像画像上の所定の物体の一部分だけが検出（認識）される可能性がある。そのため、例えば、撮像画像上の所定の物体の検出位置から、ショベルの周辺の実際の所定の物体の位置を推定すると、その推定精度が低下する可能性があり、その結果、安全機能を適切に作動させることができない可能性がある。

そこで、上記課題に鑑み、ショベルの周辺の検出対象の物体の位置の推定精度をより向上させることが可能な技術を提供することを目的とする。

上記目的を達成するため、本開示の一実施形態では、
下部走行体と、
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に搭載され、前記上部旋回体の周辺を撮像する撮像装置と、
前記撮像装置の撮像画像に基づく入力画像からショベルの周辺の所定の物体を検出する検出部と
前記所定の物体の前記入力画像上での上下方向の検出位置に関する情報、及び前記所定の物体の前記入力画像上での検出範囲に関する情報に基づき、ショベルの周辺の前記所定の物体の位置を推定する推定部と、を備える、
ショベルが提供される。

上述の実施形態によれば、ショベルの周辺の検出対象の物体の位置の推定精度をより向上させることができる。

ショベルの一例を示す側面図である。 ショベルの一例を示す上面図である。 ショベル管理システムの一例を示す図である。 ショベルのハードウェア構成の一例を示す図である。 管理装置のハードウェア構成の一例を示す図である。 ショベルの機能構成の一例を示す機能ブロック図である。 物体検出方法の具体例を説明する図である。 教師データの画像の第１例を示す図である。 教師データの画像の第２例を示す図である。 教師データの画像の第３例を示す図である。 教師データの画像の第４例を示す図である。 教師データの画像の第５例を示す図である。 教師データの画像の第６例を示す図である。 作業者の一例を示す図である。 作業者の他の例を示す図である。 撮像装置の撮像画像の一例を示す図である。 撮像装置の撮像画像に対する補正後の画像（補正済撮像画像）の一例を示す図である。 監視物体（人）の全体（全身）のうちの一部分だけが映っている撮像画像の第１例を示す図である。 監視物体（人）の全体（全身）のうちの一部分だけが映っている撮像画像の第２例を示す図である。 監視物体（人）の全体（全身）のうちの一部分だけが映っている撮像画像の第３例を示す図である。 監視物体（人）の全体（全身）のうちの一部分だけが映っている撮像画像の第４例を示す図である。 監視物体（人）の検出状態の一例を示す図である。 監視物体（人）の検出状態の他の例を示す図である。 監視物体（人）の検出状態の更に他の例を示す図である。 ショベルの機能構成の他の例を示す機能ブロック図である。

以下、図面を参照して実施形態について説明する。

［ショベルの概要］
図１～図３を参照して、ショベルの概要について説明する。

図１、図２は、本実施形態に係るショベル１００の一例を示す側面図及び上面図である。図３は、ショベル管理システムＳＹＳの一例を示す図である。

図１、図２に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、各種作業を行うためのアタッチメントＡＴと、キャビン１０とを備える。以下、ショベル１００（上部旋回体３）の前方は、ショベル１００を上部旋回体３の旋回軸に沿って真上から平面視（上面視）で見たときに、上部旋回体３に対するアタッチメントが延び出す方向に対応する。

下部走行体１は、例えば、左右一対のクローラ１Ｃを含む。下部走行体１は、それぞれのクローラ１Ｃが左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲで油圧駆動されることにより、ショベル１００を走行させる。

上部旋回体３は、旋回機構２が旋回油圧モータ２Ｍで油圧駆動されることにより、下部走行体１に対して旋回する。

アタッチメントＡＴは、被駆動要素としてのブーム４、アーム５、及びバケット６を含む。

ブーム４は、上部旋回体３の前部中央に俯仰可能に取り付けられ、ブーム４の先端には、アーム５が上下回動可能に取り付けられ、アーム５の先端には、バケット６が上下回動可能に取り付けられる。

バケット６は、エンドアタッチメントの一例である。バケット６は、例えば、掘削作業等に用いられる。

また、アーム５の先端には、作業内容等に応じて、バケット６の代わりに、他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、大型バケット、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他のエンドアタッチメントは、攪拌機、ブレーカ、グラップル等のバケット以外の種類のエンドアタッチメントであってもよい。また、アーム５と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが介装されてもよい。

また、バケット６には、クレーン作業用のフックが取り付けられてもよい。フックは、基端が、アーム５とバケット６との間を連結するバケットピンに回動可能に連結される。これにより、フックは、掘削作業等のクレーン作業（吊り作業）以外の作業が行われる場合、２本のバケットリンクの間に形成される空間に収納される。

ブーム４、アーム５、及びバケット６は、それぞれ、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。

尚、ショベル１００は、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００は、ハイブリッドショベルや電動ショベルであってもよい。

キャビン１０は、オペレータが搭乗する操縦室であり、例えば、上部旋回体３の前部左側に搭載される。

尚、オペレータがショベル１００に搭乗して操作を行わず、後述の如く、ショベル１００が、専ら、遠隔操作や完全自動運転機能で動作する場合、キャビン１０は省略されてよい。

また、図３に示すように、ショベル１００は、管理装置２００と共に、ショベル管理システムＳＹＳに含まれ、所定の通信回線ＮＷを通じて、管理装置２００と相互に通信を行うことが可能であってもよい。これにより、ショベル１００は、各種情報を管理装置２００に送信（アップロード）したり、管理装置２００から各種の信号（例えば、情報信号や制御信号）等を受信したりすることができる。

通信回線ＮＷには、例えば、広域ネットワーク（ＷＡＮ：Wide Area Network）が含まれる。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、ショベル１００の上空の通信衛星を利用する衛星通信網が含まれてもよい。また、広域ネットワークには、例えば、インターネット網が含まれてもよい。また、通信回線ＮＷには、例えば、管理装置２００が設置される施設等のローカルネットワーク（ＬＡＮ：Local Area Network）が含まれてもよい。ローカルネットワークは、無線回線であってもよいし、有線回線であってもよいし、その両方を含む回線であってよい。また、通信回線ＮＷには、例えば、ＷｉＦｉやブルートゥース（登録商標）等の所定の無線通信方式に基づく近距離通信回線が含まれてもよい。

ショベル管理システムＳＹＳは、管理装置２００において、ショベル１００に関する管理やショベル１００に関する支援を実施する。

例えば、ショベル管理システムＳＹＳは、管理装置２００において、ショベル１００からアップロードされる各種情報に基づき、ショベル１００の稼働状態や運用状況の管理（監視）を実施してよい。また、ショベル管理システムＳＹＳは、後述の如く、管理装置２００において、ショベル１００の遠隔操作を支援してもよい。また、後述の如く、ショベル１００が完全自動運転によって作業を行う場合、ショベル管理システムＳＹＳは、例えば、管理装置２００において、ショベル１００の完全自動運転による作業の遠隔監視を支援してもよい。この場合、ショベル管理システムＳＹＳは、管理装置２００において、完全自動運転機能に対する監視者の介入によるショベル１００の操作を支援してよい。

ショベル管理システムＳＹＳに含まれるショベル１００は、一台であってもよいし、複数台であってもよい。また、ショベル管理システムＳＹＳに含まれる管理装置２００は、一つであってもよいし、複数であってもよい。即ち、複数の管理装置２００は、ショベル管理システムＳＹＳに関する処理を分散して実施してよい。例えば、複数の管理装置２００は、それぞれ、ショベル管理システムＳＹＳに含まれる全てのショベル１００のうちの担当する一部のショベル１００との間で相互に通信を行い、一部のショベル１００を対象とする処理を実行してよい。

管理装置２００は、例えば、ショベル１００が作業を行う作業現場の外部の管理センタ等に設置されるオンプレミスサーバやクラウドサーバであってよい。また、管理装置２００は、例えば、ショベル１００が作業行う作業現場内、或いは、作業現場から相対的に近い場所に配置されるエッジサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置される定置型の端末装置或いは可搬型の端末装置（携帯端末）であってもよい。定置型の端末装置には、例えば、デスクトップ型のＰＣ（Personal Computer）が含まれてよい。また、携帯型の端末装置には、例えば、スマートフォン、タブレット端末、ラップトップ型のＰＣ等が含まれてよい。

ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータ（例えば、油圧アクチュエータ）を動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動してよい。

また、ショベル１００は、所定の外部装置（例えば、管理装置２００）から遠隔操作（リモート操作）が可能に構成されてもよい。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン１０のオペレータによる操作装置２６に対する操作、及び外部のオペレータによる遠隔操作の双方が含まれる前提で説明を進める。

具体的には、管理装置２００で行われるショベル１００のアクチュエータに関するユーザ（オペレータ）からの入力によって、ショベル１００が操作される。この場合、ショベル１００は、例えば、後述の撮像装置４０の撮像画像やその撮像画像に基づく加工画像（例えば、視点変換画像）等のショベル１００の周辺の様子を表す画像（以下、「周辺画像」）のデータを外部装置に送信する。そして、周辺画像は、管理装置２００に設けられる遠隔操作用の表示装置（以下、「遠隔操作用表示装置」）に表示される。また、ショベル１００のキャビン１０内の表示装置５０Ａ（図６参照）に表示される各種の情報画像（情報画面）は、同様に、管理装置２００の遠隔操作用表示装置にも表示されてよい。これにより、オペレータは、例えば、遠隔操作用表示装置に表示されるショベル１００の周辺の様子を表す周辺画像や各種の情報画像等の表示内容を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、管理装置２００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動することができる。

また、ショベル１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル１００は、下部走行体１、上部旋回体３、アタッチメントＡＴ等の被駆動要素の少なくとも一部を自動で動作させる機能、即ち、いわゆる「自動運転機能」或いは「マシンコントロール（Machine Control：ＭＣ）機能」を実現することができる。

自動運転機能には、オペレータの操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能、即ち、いわゆる「半自動運機能」或いは「操作支援型のＭＣ機能」が含まれてよい。また、自動運転機能には、オペレータの操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能、即ち、いわゆる「完全自動運転機能」或いは「完全自動型のＭＣ機能」が含まれてもよい。ショベル１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される、いわゆる「自律運転機能」が含まれてもよい。

［ショベルのハードウェア構成］
次に、図４を参照して、ショベル１００のハードウェア構成について説明する。

図４は、ショベル１００のハードウェア構成の一例を示す図である。

尚、図４では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する高圧の作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。

ショベル１００は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。

＜油圧駆動系＞
図４に示すように、本実施形態に係るショベル１００の油圧駆動系は、上述の如く、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係るショベル１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。

図６に示すように、油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。

エンジン１１は、ショベル１００の原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接或いは間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。

尚、エンジン１１に代えて、或いは、加えて、他の原動機（例えば、電動機）等がショベル１００に搭載されてもよい。

レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。

メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、上述の如く、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、上述の如く、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることによりピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。

コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容、或いは、コントローラ３０から出力される自動運転機能に関する操作指令に応じて、油圧アクチュエータＨＡの制御を行う油圧制御装置である。自動運転機能に対応する操作指令は、コントローラ３０が生成してもよいし、自動運転機能に関する制御を行う他の制御装置（演算装置）が生成してもよい。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作、或いは、自動運転機能に対応する操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。

＜操作系＞
図４に示すように、本実施形態に係るショベル１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１と、シャトル弁３２と、油圧制御弁３３とを含む。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

尚、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給される。

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。

例えば、図４に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐されるパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。

尚、操作装置２６は、電気式であってもよい。この場合、パイロットライン２７Ａ、シャトル弁３２、及び油圧制御弁３３は省略される。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。また、ショベル１００が遠隔操作される場合や自動運転機能により動作する場合、操作装置２６は省略されてもよい。

油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、図４に示すように、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。また、図５に示すように、油圧制御弁３１は、パイロットライン２７Ｂ及びパイロットライン２７を通じて、直接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。そのため、コントローラ３０は、油圧制御弁３１から電気式の操作装置２６の操作内容に応じたパイロット圧をコントロールバルブ１７に供給させ、オペレータの操作に基づくショベル１００の動作を実現することができる。

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、自動運転機能を実現してもよい。具体的には、コントローラ３０は、操作装置２６の操作の有無に依らず、自動運転機能に関する操作指令に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から自動運転機能に関する操作指令に対応するパイロット圧をコントロールバルブ１７に供給させ、自動運転機能に基づくショベル１００の動作を実現することができる。

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、ショベル１００の遠隔操作を実現してもよい。具体的には、コントローラ３０は、通信装置６０によって、管理装置２００から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づくショベル１００の動作を実現することができる。

シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。また、シャトル弁３２は、被駆動要素の移動方向（例えば、ブーム４の上げ方向及び下げ方向）ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置或いはペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメントＡＴ）の動作を制御し、自動運転機能を実現することができる。

油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、ショベル１００の自動運転機能や遠隔操作機能をより適切に実現することができる。

＜ユーザインタフェース系＞
図４に示すように、本実施形態に係るショベル１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。

出力装置５０は、ショベル１００のユーザ（例えば、キャビン１０のオペレータやショベル１００の周辺の作業車等）に向けて各種情報を出力する。

例えば、出力装置５０は、視覚的な方法で各種情報を出力する照明機器や表示装置５０Ａ（図６参照）等を含む。照明機器は、例えば、警告灯等である。表示装置５０Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。照明機器や表示装置５０Ａは、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置５０Ａは、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。

また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置５０Ｂ（図６参照）を含む。音出力装置５０Ｂには、例えば、ブザーやスピーカ等が含まれる。音出力装置５０Ｂは、例えば、キャビン１０の内部及び外部の少なくとも一方に設けられ、キャビン１０の内部のオペレータやショベル１００の周囲の人（作業者等）に聴覚的な方法で各種情報を出力してよい。

また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。

入力装置５２は、ショベル１００のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号は、コントローラ３０に取り込まれる。入力装置５２は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等からの入力を受け付ける。また、入力装置５２は、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周辺の作業者等からの入力を受け付けてもよい。

例えば、入力装置５２は、操作入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。

また、例えば、入力装置５２は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。

また、例えば、入力装置５２は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。

また、例えば、入力装置５２は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。

＜通信系＞
図４に示すように、本実施形態に係るショベル１００の通信系は、通信装置６０を含む。

通信装置６０は、通信回線ＮＷに接続し、ショベル１００と別に設けられる装置（例えば、管理装置２００）と通信を行う。ショベル１００と別に設けられる装置には、ショベル１００の外部にある装置の他、ショベル１００のユーザによりキャビン１０に持ち込まれる携帯型の端末装置が含まれてもよい。通信装置６０は、例えば、４Ｇ（4^th Generation）や５Ｇ（5^th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、ＷｉＦｉ通信モジュールやブルートゥース（登録商標）通信モジュール等を含んでもよい。

＜制御系＞
図４に示すように、本実施形態に係るショベル１００の制御系は、コントローラ３０を含む。また、本実施形態に係るショベル１００の制御系は、操作圧センサ２９と、撮像装置４０と、照射装置７０と、ブーム角度センサＳ１と、アーム角度センサＳ２と、バケット角度センサＳ３と、機体姿勢センサＳ４と、旋回角度センサＳ５とを含む。

コントローラ３０は、ショベル１００に関する各種制御を行う。

コントローラ３０の機能は、任意のハードウェア、或いは、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図４に示すように、コントローラ３０は、バスＢ１で接続される、補助記憶装置３０Ａ、メモリ装置３０Ｂ、ＣＰＵ（Central Processing Unit）３０Ｃ、及びインタフェース装置３０Ｄを含む。

補助記憶装置３０Ａは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置３０Ａは、例えば、フラッシュメモリ等である。

メモリ装置３０Ｂは、例えば、プログラムの起動指示があった場合に、補助記憶装置３０ＡのプログラムをＣＰＵ３０Ｃが読み込み可能なようにロードする。メモリ装置３０Ｂは、例えば、ＳＲＡＭ（Static Random Access Memory）である。

ＣＰＵ３０Ｃは、例えば、メモリ装置３０Ｂにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ３０の各種機能を実現する。

インタフェース装置３０Ｄは、例えば、ショベル１００の内部の通信回線に接続するためのインタフェースとして用いられる。インタフェース装置３０Ｄは、接続する通信回線の種類に合わせて、複数の異なる種類のインタフェース装置を含んでよい。

コントローラ３０の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供される。この場合、インタフェース装置３０Ｄは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのためのインタフェースとして機能する。記録媒体は、例えば、キャビン１０の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、ＳＤメモリカードやＵＳＢ（Universal Serial Bus）メモリ等での汎用の記録媒体であってもよい。また、プログラムは、所定の通信回線を通じて、ショベル１００の外部の他のコンピュータ（例えば、管理装置２００）からダウンロードされ、補助記憶装置３０Ａにインストールされてもよい。

尚、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。例えば、撮像装置４０の撮像画像の画像処理に関する機能と、ショベル１００の周辺の物体の検出に関する機能と、ショベル１００の安全性の確保に関する機能とは互いに異なるコントローラによって実現されてよい。撮像装置４０の撮像画像の画像処理に関する機能には、例えば、後述の表示処理部３０１や画像補正部３０６等の機能が含まれる。ショベル１００の周辺の物体の検出に関する機能には、例えば、後述の物体検出部３０２や検出判断部３０７等の機能が含まれる。ショベル１００の安全性の確保に関する機能には、例えば、後述の安全制御部３０４の機能が含まれる。また、ショベル１００の周辺の物体の検出に関する機能は、撮像装置４０の撮像画像の画像処理に関する機能を実現するコントローラと、ショベル１００の安全性の確保に関する機能を実現するコントローラとに分散される形で搭載されてもよい。具体的には、ショベル１００の周辺の物体の検出に関する機能のうち、撮像装置４０の撮像画像から物体を認識する機能（物体検出部３０２の機能）のように、画像処理との関連性が高い機能は、前者のコントローラに搭載されてよい。一方、ショベル１００の周辺の物体の検出に関する機能のうち、認識された物体の検出の有無を最終的に判断する機能（検出判断部３０７の機能）のように、ショベル１００の安全性の確保に関連性が高い機能は、後者のコントローラに搭載されてよい。

操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。

尚、操作装置２６が電気式である場合、操作圧センサ２９は省略される。コントローラ３０は、操作装置２６から取り込まれる操作信号に基づき、操作装置２６を通じたそれぞれの被駆動要素の操作状態を把握することができるからである。

撮像装置４０は、ショベル１００の周辺において、オペレータから見た死角や視認しにくい場所を補間するための画像を取得する。撮像装置４０の出力（撮像画像）は、コントローラ３０に取り込まれる。

撮像装置４０は、例えば、単眼カメラ、ステレオカメラ、デプスカメラ等である。また、撮像装置４０は、撮像画像に基づき、所定の撮像範囲（画角）内におけるショベル１００の周辺の物体の位置及び外形を表す三次元データ（例えば、点群データやサーフェスデータ）を取得してもよい。

例えば、図１、図２に示すように、撮像装置４０は、上部旋回体３の前方を撮像するカメラ４０Ｆ、上部旋回体３の後方を撮像するカメラ４０Ｂ、上部旋回体３の左方を撮像するカメラ４０Ｌ、及び上部旋回体３の右方を撮像するカメラ４０Ｒを含む。これにより、オペレータは、表示装置５０Ａや遠隔操作用表示装置を通じて、カメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認し、上部旋回体３の左方、右方、及び後方の様子を確認することができる。また、オペレータは、遠隔操作用表示装置を通じて、カメラ４０Ｆの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、バケット６を含むアタッチメントＡＴの動作を確認しながら、ショベル１００を遠隔操作することができる。以下、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを包括的に、或いは、個別に、「カメラ４０Ｘ」と称する場合がある。

撮像装置４０（カメラ４０Ｘ）は、それぞれ、撮像素子４１と、画像処理エンジン４２とを含む。カメラ４０Ｘは、撮像素子４１の出力（電気信号）に基づき、画像処理エンジン４２によって撮像画像を生成し、生成した画像（撮像画像）を出力する。画像処理エンジン４２は、例えば、ＣＰＵ、メモリ装置、及び補助記憶装置等を含む画像処理専用のコンピュータであり、補助記憶装置にインストールされるプログラムをＣＰＵ上で実行することにより各種の画像処理を実現する。以下、画像処理エンジン４２の撮像画像を生成する機能を撮像画像生成機能と称し、撮像装置４０の撮像画像は、撮像画像生成機能で生成された画像を意味する。

尚、図２の二点鎖線は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒの上面視の画角（撮像範囲）を表している。

照射装置７０は、コントローラ３０の制御下で、撮像装置４０の撮像範囲に所定の光を照射する。所定の光は、例えば、可視光である。また、所定の光は、例えば、赤外光であってもよい。撮像装置４０の撮像範囲全体を照射可能であれば、照射装置７０は、一つであってもよいし、複数であってもよい。例えば、照射装置７０は、カメラ４０Ｘごとにもうけられ、カメラ４０Ｘと近接するように上部旋回体３に設置される。

尚、照射装置７０は、省略されてもよい。

ブーム角度センサＳ１は、所定基準（例えば、水平面やブーム４の可動角度範囲の両端の何れかの状態等）に対するブーム４の姿勢角度（以下、「ブーム角度」）に関する検出情報を取得する。ブーム角度センサＳ１は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ（Inertial Measurement Unit）等を含んでよい。また、ブーム角度センサＳ１は、ブームシリンダ７の伸縮位置を検出可能なシリンダセンサを含んでもよい。

アーム角度センサＳ２は、所定基準（例えば、ブーム４の両端の連結点間を結ぶ直線やアーム５の可動角度範囲の両端の何れかの状態等）に対するアーム５の姿勢角度（以下、「アーム角度」）に関する検出情報を取得する。アーム角度センサＳ２は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、アーム角度センサＳ２は、アームシリンダ８の伸縮位置を検出可能なシリンダセンサを含んでもよい。

バケット角度センサＳ３は、所定基準（例えば、アーム５の両端の連結点間を結ぶ直線やバケット６の可動角度範囲の両端の何れかの状態等）に対するバケット６の姿勢角度（以下、「バケット角度」）に関する検出情報を取得する。バケット角度センサＳ３は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、バケット角度センサＳ３は、バケットシリンダ９の伸縮位置を検出可能なシリンダセンサを含んでもよい。

機体姿勢センサＳ４は、下部走行体１及び上部旋回体３を含むショベル１００の機体の姿勢状態に関する検出情報を取得する。機体姿勢センサＳ４は、例えば、上部旋回体３に搭載され、上部旋回体３の水平面に対する傾斜角度や旋回軸回りの姿勢角度（即ち、地面を基準とする上部旋回体３の向き）に関する検出情報を取得する。機体姿勢センサＳ４は、例えば、加速度センサ（傾斜センサ）、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。

旋回角度センサＳ５は、下部走行体１を基準とする上部旋回体３の旋回角度（即ち、上部旋回体３の向き）に関する検出情報を取得する。旋回角度センサＳ５は、例えば、ポテンショメータ、ロータリエンコーダ、レゾルバ等を含む。

また、例えば、ショベル１００は、自機の絶対位置を測位可能な測位装置を含んでもよい。測位装置は、例えば、ＧＮＳＳ（Global Navigation Satellite System）センサである。これにより、ショベル１００の姿勢状態の推定精度を向上させることができる。

また、例えば、ショベル１００は、撮像装置４０に加えて、ショベル１００の周辺の物体との距離を検出する距離センサを含んでもよい。距離センサは、例えば、ＬＩＤＡＲ（Light Detecting and Ranging）、ミリ波レーダ、超音波センサ、赤外線センサ、距離画像センサ等を含む。これにより、コントローラ３０は、例えば、撮像装置４０の出力に加えて、距離センサの出力を用いて、ショベル１００の周辺の物体を検出することができる。

尚、ブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、機体姿勢センサＳ４、及び旋回角度センサＳ５の一部又は全部は、省略されてもよい。例えば、遠隔操作機能や自動運転機能が採用されない場合、ショベル１００のアタッチメントＡＴや機体（上部旋回体３）の姿勢状態を推定する必要がない場合もあるからである。また、例えば、撮像装置４０や後述の距離センサ等により取得されるショベル１００の周辺の情報からショベル１００の姿勢状態を推定することが可能な場合もあるからである。具体的には、撮像装置４０や後述の距離センサ等により取得されるショベル１００の周辺の情報には、機体（上部旋回体３）から見た周囲の物体やアタッチメントの位置や形状等に関する情報が含まれる場合がある。この場合、コントローラ３０は、要求される精度によっては、その情報からアタッチメントＡＴや機体（上部旋回体３）の姿勢状態を推定することができる。

［管理装置のハードウェア構成］
次に、図５を参照して、管理装置２００のハードウェア構成について説明する。

図５は、本実施形態に係る管理装置２００のハードウェア構成の一例を示す図である。

管理装置２００の機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図５に示すように、管理装置２００は、バスＢ２で接続される、外部インタフェース２０１、補助記憶装置２０２、メモリ装置２０３、ＣＰＵ２０４、通信インタフェース２０６、入力装置２０７、及び表示装置２０８を含む。

外部インタフェース２０１は、記録媒体２０１Ａからデータの読み取りや記録媒体２０１Ａへのデータの書き込みのためのインタフェースとして機能する。記録媒体２０１Ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、ＳＤメモリカード、ＵＳＢメモリ等が含まれる。これにより、管理装置２００は、記録媒体２０１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置２０２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。

尚、管理装置２００は、通信インタフェース２０６を通じて、外部装置から各種データやプログラムを取得してもよい。

補助記憶装置２０２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置２０２は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）やフラッシュメモリ等を含む。

メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。メモリ装置２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）を含む。

ＣＰＵ２０４は、補助記憶装置２０２からメモリ装置２０３にロードされた各種プログラムを実行し、プログラムに従って管理装置２００に関する各種機能を実現する。

高速演算装置２０５は、ＣＰＵ２０４と連動し、相対的に高い速度で演算処理を行う。高速演算装置２０５は、例えば、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を含む。

尚、高速演算装置２０５は、必要な演算処理の速度に応じて、省略されてもよい。

通信インタフェース２０６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、管理装置２００は、通信インタフェース２０６を通じて、例えば、ショベル１００等の外部機器と通信することができる。また、通信インタフェース２０６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。

入力装置２０７は、ユーザから各種入力を受け付ける。例えば、入力装置２０７には、オペレータが遠隔操作を行うための入力装置（遠隔操作用操作装置）が含まれる。

入力装置２０７は、例えば、ユーザからの機械的な操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、ボタン、トグル、レバー等を含む。また、操作入力装置は、例えば、表示装置２０８に実装されるタッチパネル、表示装置２０８とは別に設けられるタッチパッド等を含む。

また、入力装置２０７は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。

また、入力装置２０７は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。

また、入力装置２０７は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。

表示装置２０８は、ユーザに向けて、情報画面や操作画面を表示する。例えば、表示装置２０８には、上述の遠隔操作用表示装置が含まれる。表示装置２０８は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。

［ショベルの機能構成の一例］
次に、図６を参照して、ショベル１００の機能構成の一例について説明する。

図６は、本実施形態に係るショベル１００の機能構成の一例を示す機能ブロック図である。

図６に示すように、コントローラ３０は、機能部として、表示処理部３０１と、物体検出部３０２と、位置推定部３０３と、安全制御部３０４と、照射制御部３０５とを含む。また、コントローラ３０は、機能部として、画像補正部３０６を含んでもよい。表示処理部３０１、物体検出部３０２、位置推定部３０３、安全制御部３０４、及び照射制御部３０５の機能は、例えば、補助記憶装置３０Ａにインストールされるプログラムをメモリ装置３０ＢにロードしＣＰＵ３０Ｃ上で実行することにより実現される。

表示処理部３０１は、撮像装置４０から入力される撮像画像に基づき、キャビン１０の内部の表示装置５０Ａに周辺画像を表示させる。

表示処理部３０１は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒの何れか一つの撮像範囲に相当する周辺画像を表示装置５０Ａに表示してもよいし、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのうちの何れか２以上のカメラの撮像範囲を表示装置５０Ａに表示してもよい。例えば、表示処理部３０１は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのうちの少なくともカメラ４０Ｂ，４０Ｒの撮像範囲を含む周辺画像を表示装置５０Ａに表示する。カメラ４０Ｂ，４０Ｒの撮像範囲に相当する上部旋回体３の後方及び右側方は、キャビン１０のオペレータから見て死角になり易いからである。

物体検出部３０２（検出部の一例）は、撮像装置４０の出力（撮像画像）に基づき、ショベル１００の周辺の監視物体の所定の物体（以下、「監視物体」）を検出する。具体的には、物体検出部３０２は、撮像装置４０の撮像画像から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してよい。また、物体検出部３０２は、画像補正部３０６により撮像装置４０（カメラ４０Ｘ）の撮像画像が補正された後の画像（以下、「補正済撮像画像」）から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してもよい。つまり、監視物体の検出とは、撮像装置４０の撮像画像の中に映っている監視物体を認識し、その監視物体が含まれる入力画像の中の位置（領域）を特定することを意味してよい。以下、物体検出部３０２に入力される画像（撮像装置４０の出力そのものの撮像画像、或いは、画像補正部３０６から出力される補正済撮像画像）を便宜的に「入力画像」と称する場合がある。

監視物体には、ショベル１００の周辺で作業する作業者や作業現場の監督者等の人が含まれてよい。また、監視物体には、作業現場の人以外の任意の物体（障害物）が含まれてもよい。作業現場の人以外の障害物には、例えば、穴、溝、土砂の山等の特定の地形、ロードコーン、柵、電柱、仮置きの資材、作業現場の仮設事務所等の定置された（即ち、自身の力では移動しない）障害物が含まれてよい。また、作業現場の人以外の障害物には、例えば、他の作業機械や作業車両等の移動可能な障害物が含まれてよい。物体検出部３０２による検出対象の監視物体の種類数は、１つであってもよいし、複数であってもよい。以下、監視物体が人である場合を中心に説明を行う。

物体検出部３０２による物体検出方法の詳細については、後述する。

尚、物体検出部３０２は、入力装置５２に対するオペレータ等による所定の入力に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。また、物体検出部３０２の機能は、カメラ４０Ｘに移管され、検出結果がコントローラ３０に送信される態様であってもよい。また、物体検出部３０２の機能は、表示装置５０Ａに移管され、検出結果がコントローラ３０に移管される態様であってもよい。この場合、カメラ４０Ｘの撮像画像は、表示装置５０Ａに直接入力される。そのため、この場合、表示処理部３０１の機能も表示装置５０Ａに移管されてよい。また、物体検出部３０２の機能は、撮像装置４０に移管されてもよい。この場合、物体検出部３０２の機能は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのそれぞれの撮像画像に基づき監視物体を検出する物体検出部に分割され、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのそれぞれに内蔵される（後述の図２５参照）。

位置推定部３０３（推定部の一例）は、物体検出部３０２により撮像装置４０の撮像画像の中から監視物体が検出された場合に、検出された監視物体が実際に存在する位置、即ち、ショベル１００の周辺での監視物体の位置（以下、「実在位置」）を推定する。

具体的には、位置推定部３０３は、物体検出部３０２により特定された監視物体の撮像画像における検出位置（検出領域）に基づき、監視物体の実在位置を推定する。また、物体検出部３０２により複数の監視物体が検出されている場合、位置推定部３０３は、複数の監視物体ごとの実在位置を推定する。

例えば、カメラ４０Ｘが単眼カメラの場合、位置推定部３０３は、入力画像の中の監視物体の検出領域における基準点（検出位置）を特定し、その基準点の入力画像における左右方向の位置に基づき、ショベル１００（上部旋回体３）から見た方向を推定する。また、位置推定部３０３は、入力画像の中の監視物体の検出領域の大きさ（例えば、上下方向の大きさ）に基づき、ショベル１００から監視物体までの距離（具体的には、ショベル１００が位置する作業平面に沿う方向の距離）を推定する。認識された監視物体の入力画像上における大きさは、監視物体がショベル１００（上部旋回体３）から離れるほど小さくなる相関関係があるからである。具体的には、監視物体には、想定される大きさの範囲（例えば、想定される人の身長の範囲）があるため、想定された大きさの範囲に含まれる当該監視物体のショベル１００から見た位置と、入力画像上での大きさとの相関関係が予め規定されうる。そのため、物体検出部３０２は、例えば、補助記憶装置３０Ａ等に予め格納される、入力画像上の監視物体の大きさと上部旋回体３から見た距離との相関関係を表すマップや変換式等に基づき、認識された監視物体の実在位置を推定することができる。よって、位置推定部３０３は、ショベル１００（上部旋回体３）から見た監視物体の方向、及び距離を推定することにより、認識された監視物体の位置を推定することができる。

また、例えば、カメラ４０Ｘが単眼カメラの場合、位置推定部３０３は、監視物体が下部走行体１と同じ平面上に存在する前提の下、入力画像の当該平面上への射影変換等によって、その実在位置を推定してもよい。具体的には、位置推定部３０３は、監視物体の地面との接触点を代表する基準点（検出位置）を特定し、その基準点に対して、カメラ４０Ｘの上部旋回体３に対する設置位置及び設置角度に応じて規定される射影変換により、監視物体の実在位置を演算してよい。この場合、入力画像を構成するある部分（例えば、ある画素）は、ショベル１００（下部走行体１）と同じ平面上のある位置に１対１で対応づけられる。

また、例えば、カメラ４０Ｘがステレオカメラの場合、２つの撮像画像ごとの監視物体の検出領域における基準位置のズレ（視差）に基づき、監視物体の実在位置を推定する。

安全制御部３０４（制御部の一例は、ショベル１００の機能安全に関する制御を行う。

安全制御部３０４は、例えば、物体検出部３０２によって、ショベル１００の周辺の所定範囲内で監視物体が検出される場合に、安全機能を作動させる。具体的には、安全制御部３０４は、位置推定部３０３により推定される、監視物体の実在位置（推定値）がショベル１００の周辺の所定範囲内である場合に、安全機能を作動させてよい。

安全機能には、例えば、キャビン１０の内部、キャビン１０の外部、及びショベル１００の遠隔のオペレータや監視者等の少なくとも一つに対する警報等を出力し、監視物体の検出を報知する報知機能が含まれてよい。これにより、キャビン１０の内部のオペレータ、ショベル１００の周辺の作業者、ショベル１００の遠隔操作や遠隔監視を行うオペレータや監視者等に対して、ショベル１００の周辺の監視エリア内に監視物体が存在していることに関する注意を促すことができる。以下、キャビン１０の内部（オペレータ等）への報知機能を「内部報知機能」、ショベル１００の外部（作業者等）への報知機能を「外部報知機能」、及びショベル１００の遠隔操作や遠隔監視を行うオペレータや監視者への報知機能を「遠隔報知機能」とそれぞれ称し、区別する場合がある。

また、安全機能には、例えば、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対するショベル１００の動作を制限する動作制限機能が含まれてよい。これにより、ショベル１００の動作を強制的に制限し、ショベル１００と周辺の物体との接近や接触等の可能性を低減させることができる。動作制限機能には、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に対するショベル１００の動作速度を通常よりも遅くする動作減速機能が含まれてよい。また、動作制限機能には、操作装置２６の操作、遠隔操作、或いは自動運転機能に対応する操作指令に関わらず、ショベル１００の動作を停止させ、停止状態を維持させる動作停止機能が含まれてもよい。

安全制御部３０４は、例えば、物体検出部３０２によって、ショベル１００の周辺の所定範囲（以下、「報知範囲」）で監視物体が検出される場合に、報知機能を作動させる。報知範囲は、例えば、ショベル１００の所定の部位からの距離Ｄが閾値Ｄｔｈ１以下の範囲である。ショベル１００の所定の部位は、例えば、上部旋回体３である。また、ショベル１００の所定の部位は、例えば、アタッチメントＡＴの先端部のバケット６やフックであってもよい。閾値Ｄｔｈ１は、ショベル１００の所定の部位から見た方向に依らず一定であってもよいし、ショベル１００の所定の部位から見た方向によって変化してもよい。

安全制御部３０４は、例えば、音出力装置５０Ｂを制御することにより、キャビン１０の内部及び外部の少なくとも一方に対する音（即ち、聴覚的な方法）による内部報知機能や外部報知機能を作動させる。このとき、安全制御部３０４は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。

また、安全制御部３０４は、例えば、視覚的な方法による内部報知機能を作動させる。具体的には、安全制御部３０４は、表示処理部３０１を通じて、キャビン１０の内部の表示装置５０Ａを制御することにより、表示装置５０Ａに周辺画像と共に、監視物体が検出されていることを表す画像を表示させてよい。また、安全制御部３０４は、表示処理部３０１を通じて、キャビン１０の内部の表示装置５０Ａに表示される周辺画像に映っている監視物体や、検出された監視物体に対応する周辺画像上の位置を強調させてもよい。より具体的には、安全制御部３０４は、キャビン１０の内部の表示装置５０Ａに表示されている周辺画像上に、検出されている監視物体を囲む枠を重畳して表示させたり、検出された監視物体の実在位置に対応する周辺画像上の位置にマーカを重畳して表示させたりしてよい。これにより、表示装置５０Ａは、オペレータに対する視覚的な報知機能を実現することができる。また、安全制御部３０４は、キャビン１０の内部の警告灯や照明装置等を用いて、監視物体が検出されていることをキャビン１０の内部のオペレータ等に対して報知してもよい。

また、安全制御部３０４は、例えば、上部旋回体３のハウス部の側面等に設けられる出力装置５０（例えば、前照灯等の照明装置や表示装置５０Ａ）を制御することにより、視覚的な方法による外部報知機能を作動させてもよい。また、安全制御部３０４は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法で内部報知機能を作動させてもよい。これにより、コントローラ３０は、オペレータやショベル１００の周辺の作業者及び監督者等に対して、ショベル１００の周辺の相対的に近い場所に監視物体（例えば、作業者等の人）が存在することを認識させることができる。そのため、コントローラ３０は、オペレータに対して、ショベル１００の周辺の安全状況の確認を促したり、監視エリア内の作業者等に対して、監視エリアからの退避を促したりすることができる。

また、安全制御部３０４は、例えば、通信装置６０を通じて、報知機能の作動を示す指令信号を管理装置２００に送信することにより、遠隔報知機能を作動させてもよい。この場合、管理装置２００は、通信インタフェース２０６によりショベル１００から指令信号を受信すると、表示装置２０８等を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、管理装置２００を通じてショベル１００の遠隔操作や遠隔監視を行うオペレータや監視者は、ショベル１００の周辺の報知範囲内に監視物体が進入したことを把握することができる。

尚、安全制御部３０４の遠隔報知機能は、管理装置２００に移管されてもよい。この場合、管理装置２００は、ショベル１００から物体検出部３０２による監視物体の検出状況や位置推定部３０３による監視物体の実在位置の推定結果に関する情報を受信する。そして、管理装置２００は、受信した情報に基づき、報知範囲内への監視物体の進入の有無を判断し、報知範囲内に監視物体が存在する場合に、外部報知機能を作動させる。

また、安全制御部３０４は、報知範囲内で検出されている監視物体と、上部旋回体３との位置関係に応じて、報知態様（即ち、報知の仕方）を異ならせてもよい。

例えば、安全制御部３０４は、物体検出部３０２により報知範囲内で検出された監視物体がショベル１００の所定の部位に対して相対的に遠い位置に存在する場合、監視物体への注意を促す程度の相対的に緊急度が低い警報（以下、「注意レベルの警報」）を出力してよい。以下、報知範囲のうちのショベル１００の所定の部位に対する距離が相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全制御部３０４は、物体検出部３０２により報知範囲内で検出された監視物体がショベル１００の所定の部位に対して相対的に近い位置に存在する場合、監視物体がショベル１００の所定の部位に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報（以下、「警戒レベルの警報」）を出力してよい。以下、報知範囲のうちのショベル１００の所定の部位に対する距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。

この場合、安全制御部３０４は、注意レベルの警報と警戒レベルの警報との間で、音出力装置５０Ｂから出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全制御部３０４は、注意レベルの警報と警戒レベルの警報との間で、表示装置５０Ａに表示される監視物体が検出されていることを表す画像や、表示装置５０Ａに表示される周辺画像上の監視物体或いは監視物体の位置を強調させる画像（例えば、枠やマーカ等）の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ３０は、音出力装置５０Ｂから出力される報知音（警報音）や表示装置５０Ａに表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視物体のショベル１００の所定の部位に対する接近度を把握させることができる。

安全制御部３０４は、報知機能の作動開始後、物体検出部３０２により検出されていた監視物体が報知範囲内で検出されなくなった場合、報知機能を停止させてよい。また、安全制御部３０４は、報知機能の作動開始後、入力装置５２を通じて、報知機能の作動を解除する所定の入力が受け付けられた場合に、報知機能を停止させてもよい。

また、安全制御部３０４は、例えば、物体検出部３０２によりショベル１００の周辺の所定範囲（以下、「動作制限範囲」）内で監視物体が検出される場合に、動作制限機能を作動させる。動作制限範囲は、例えば、上述の報知範囲と同じに設定される。また、動作制限範囲は、例えば、報知範囲よりもその外縁がショベル１００の所定の部位に相対的に近くなるような範囲に設定されてもよい。これにより、安全制御部３０４は、例えば、監視物体が外側から報知範囲に進入すると、まず、報知機能を作動させ、その後に、監視物体が内側の動作制限範囲に進入すると、更に、動作制限機能を作動させることができる。そのため、コントローラ３０は、監視物体の監視エリア内での内側への移動に合わせて、段階的に、報知機能及び動作制限機能を作動させることができる。

具体的には、安全制御部３０４は、ショベル１００の所定の部位からの距離Ｄが閾値Ｄｔｈ２（≦Ｄｔｈ１）以内の動作制限範囲内で監視物体が検出されると、動作制限機能を作動させてよい。閾値Ｄｔｈ２は、ショベル１００の所定の部位から見た方向に依らず一定であってもよいし、ショベル１００の所定の部位から見た方向によって変化してもよい。

また、動作制限範囲には、操作装置２６の操作、遠隔操作、自動運転機能に対応する操作指令に対するショベル１００の動作速度を通常よりも遅くする動作減速範囲、及び操作装置２６の操作、遠隔操作、自動運転機能に対応する操作指令に関わらず、ショベル１００の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、動作制限範囲のうちのショベル１００の所定の部位に近接する範囲である。そして、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。

安全制御部３０４は、油圧制御弁３１を制御することにより、ショベル１００の動作を制限する動作制限機能を作動させる。この場合、安全制御部３０４は、全ての被駆動要素（即ち、対応する油圧アクチュエータ）の動作を制限してもよいし、一部の被駆動要素（油圧アクチュエータ）の動作を制限してもよい。これにより、コントローラ３０は、ショベル１００の周辺に監視物体が存在する場合に、ショベル１００の動作を減速させたり、停止させたりすることができる。そのため、コントローラ３０は、ショベル１００の周辺の監視物体とショベル１００や吊り荷との接触の発生を抑制することができる。また、安全制御部３０４は、パイロットライン２５の図示しない電磁切換弁を制御し、パイロットライン２５を遮断することにより、動作制限機能（動作停止機能）を作動させてもよい。

また、安全制御部３０４は、動作制限機能の作動開始後、物体検出部３０２により検出されていた監視物体が動作制限範囲内で検出されなくなった場合、動作制限機能を停止させてよい。また、安全制御部３０４は、動作制限機能の作動開始後、入力装置５２を通じて、動作制限機能の作動を解除する所定の入力が受け付けられた場合に、動作制限機能を停止させてもよい。入力装置５２に対する報知機能の作動解除のための入力の内容と、動作制限機能の作動解除のための入力の内容とは、同じであってもよいし、異なっていてもよい。

また、安全制御部３０４は、入力装置５２に対するオペレータ等による所定の入力に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。

照射制御部３０５は、照射装置７０に関する制御を行う。

尚、上述の如く、照射装置７０が省略される場合、当然の如く、照射制御部３０５も省略される。

画像補正部３０６は、撮像装置４０（カメラ４０Ｘ）の出力（撮像画像）に所定の補正を行い、補正済撮像画像を物体検出部３０２に出力する。

［物体検出方法の概要］
次に、図７～図１５を参照して、物体検出部による物体検出方法の概要について説明する。

図７は、物体検出方法の具体例を説明する図である。図８～図１３は、教師データの画像の第１例～第６例（画像８００～１３００）を示す図である。具体的には、図８～図１３は、ショベル１００と同機種のショベルの同じ位置に設置されたカメラ４０Ｘと同種のカメラの撮像画像であり、撮像画像の手前側（下端部）には、上部旋回体３の側面が映っている。図１４、図１５は、作業者Ｗの一例及び他の例を示す図である。

物体検出部３０２は、例えば、形状検出やパターン認識（テンプレートマッチング）等の画像処理技術を簡易的に適用することにより、カメラ４０Ｘの撮像画像から監視物体を検出する。

また、図７に示すように、物体検出部３０２は、例えば、画像処理技術に加えて、機械学習を適用することにより、カメラ４０Ｘの撮像画像から監視物体を検出する。具体的には、物体検出部３０２は、入力画像に映る監視物体の特徴を機械学習済みの学習済みモデルＬＭを用いて、入力画像（カメラ４０Ｘの撮像画像或いはその補正済の撮像画像）から、監視物体が映っている領域を表す矩形枠（以下、「検出枠」）、及び監視物体の種類を表すラベルを出力する。ラベルは、例えば、監視物体が存在しないことを表すラベル、及び監視物体の種類ごとに設定されるラベルを含む。監視物体の種類ごとのラベルは、１つのみ設定されてもよいし、後述の如く、複数設定されてもよい。また、複数の種類の監視物体が存在する場合、単一の学習済みモデルＬＭが全ての種類の監視物体ごとのラベルを出力可能に、即ち、全ての種類の監視物体を検出可能に構成されてもよいし、全ての種類の監視物体のうちの一部の種類のみを検出可能な学習済みモデルＬＭが複数設けられてもよい。例えば、監視物体の種類ごとに、学習済みモデルＬＭが存在し、学習済みモデルＬＭごとのラベルは、ある種類の監視物体が存在することを示すラベル、及びその種類の監視物体が存在しないことを示すラベルのみで構成されてもよい。

学習済みモデルＬＭは、ベースの学習モデルに対して、教師あり学習が適用されることにより生成される。具体的には、入力としての画像と、出力としての正解（検出枠及びラベル）との組み合わせによる教師データの集まり（教師データセット）をベースの学習モデルに機械学習させることにより、学習済みモデルＬＭが生成される。また、学習済みモデルＬＭは、既存の学習済みモデルＬＭに新たな教師データセットを追加学習させることにより、生成（更新）されてもよい。教師データセットに含まれる、入力としての画像には、当然の如く、監視物体が含まれる（映っている）画像と、監視物体が含まれない（映っていない）画像の双方が採用される。

学習済みモデルＬＭは、例えば、管理装置２００等の外部装置で生成され、ショベル１００の製造時に、所定の記録媒体からインタフェース装置３０Ｄを通じて、補助記憶装置３０Ａに書き込まれる。また、学習済みモデルＬＭは、所定の通信回線を通じて、管理装置２００等の外部装置からショベル１００にダウンロードされ、コントローラ３０の補助記憶装置３０Ａに登録されてもよい。これにより、物体検出部３０２は、補助記憶装置３０Ａに登録済みの学習済みモデルＬＭを用いて、監視物体を検出することができる。

また、学習済みモデルＬＭは、所定の記録媒体からインタフェース装置３０Ｄを通じて、更新用データが補助記憶装置３０Ａにインストールされることによって更新されてもよい。また、学習済みモデルＬＭは、所定の通信回線を通じて、更新用データが管理装置２００等の外部装置からショベル１００にダウンロードされ、補助記憶装置３０Ａにインストールされることによって更新されてもよい。これにより、物体検出部３０２は、更新済みの最新の学習済みモデルＬＭを用いて、監視物体を検出することができる。

例えば、物体検出部３０２は、画像に映っている監視物体の画像特徴量の傾向を機械学習済みのサポートベクターマシーン（ＳＶＭ：Support Vector Machine）を用いて、入力画像から監視物体を検出する。この場合、学習済みモデルＬＭには、前段処理として、カメラ４０Ｘの撮像画像から画像特徴量を抽出する処理部が含まれる。画像特徴量は、例えば、ＨＯＧ（Histogram of Oriented Gradients）特徴量である。

また、例えば、物体検出部３０２は、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）用いた機械学習、即ち、深層学習（ディープラーニング）による学習済みモデルＬＭを用いて、入力画像から監視物体を検出する。具体的には、物体検出部３０２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた深層学習による学習済みモデルＬＭを用いて、入力画像から監視物体をしてよい。ＣＮＮは、畳み込み処理を行う畳み込み層及びプーリング処理を行うプーリング層の組み合わせを活性化関数により複数繋ぎ合わせることにより構成され、最終段の全結合層によって、特徴量（特徴マップ）に基づく最終判断を行う。活性化関数は、例えば、ＲｅＬＵ（Rectified Linear Unit）である。これにより、学習済みモデルＬＭは、前段処理を要せずに、入力画像をそのまま取り扱うことができる。

例えば、物体検出部３０２は、ＣＮＮをベースとする学習済みモデルＬＭを用いて、入力画像から監視物体の候補の領域を生成し、これらの候補をラベルに分類することにより、監視物体を検出する。即ち、ＣＮＮをベースとする学習済みモデルＬＭは、例えば、入力画像からの監視物体の検出を分類問題として取り扱い、カメラ４０Ｘの撮像画像から監視物体の候補の領域を生成し、これらの候補をラベルに分類する態様の分類モデルであってよい。分類モデルは、例えば、Ｒ（Region-based）－ＣＮＮやその派生系（Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ等）である。

また、例えば、物体検出部３０２は、ＣＮＮをベースとする学習済みモデルＬＭを用いて、入力画像から、監視物体の認識及びその位置（領域）の特定を同時に実施することにより、監視物体を検出する。即ち、ＣＮＮをベースとする学習済みモデルＬＭは、例えば、カメラ４０Ｘの撮像画像からの監視物体の検出を回帰問題として取り扱い、入力画像から、監視物体の認識及び位置（領域）の特定を同時に実施する態様の回帰モデルであってもよい。回帰モデルは、例えば、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot Detector）等である。

学習済みモデルＬＭは、例えば、ベースの学習モデル或いは既存の学習済みモデルＬＭが互いに異なる姿勢の監視物体を検出可能なように機械学習されることにより生成される。

例えば、図８に示すように、教師データの画像８００には、カメラに正面を向けて直立の姿勢状態の作業者Ｗが映っている。また、図９に示すように、教師データの画像９００には、カメラに正面を向けて中腰の姿勢状態の作業者Ｗが映っている。また、図１０に示すように、教師データの画像１０００には、カメラに正面を向けてしゃがんでいる姿勢状態の作業者Ｗが映っている。学習済みモデルＬＭは、画像８００～１０００のように、互いに異なる姿勢の監視物体が映っている画像を含む教師データセットによって機械学習されることで、互いに異なる姿勢の監視物体（本例では、人）を入力画像から検出することができる。

また、学習済みモデルＬＭは、例えば、ベースの学習モデル或いは既存の学習済みモデルＬＭが互いに異なる向きの監視物体を検出可能なように機械学習されることにより生成されてもよい。

例えば、図１１に示すように、教師データの画像１１００には、カメラに対して横（右）を向いている直立の姿勢状態の作業者Ｗが映っている。また、図１２に示すように、教師データの画像１２００には、カメラに対して背を向けている中腰の姿勢状態の作業者Ｗが映っている。また、図１３に示すように、教師データの画像１３００には、カメラに対して横（左）を向いているしゃがんだ姿勢状態の作業者Ｗが映っている。学習済みモデルＬＭは、画像８００，１１００や画像９００，１２００や画像１０００，１３００のように、互いに異なる向きの監視物体が映っている画像を含む教師データセットによって機械学習されることで、互いに異なる向きの監視物体を入力画像から検出することができる。

また、学習済みモデルＬＭは、例えば、ベースの学習モデル或いは既存の学習済みモデルＬＭが向き及び姿勢の少なくとも一方が互いに異なる監視物体を検出可能なように機械学習されることにより生成されてもよい。具体的には、学習済みモデルＬＭは、画像８００～画像１３００のように、互いに向きや姿勢の異なる監視物体が映っている画像を含む教師データセットによって機械学習されることで、向きや姿勢が互いに異なる監視物体を入力画像から検出することができる。

また、監視物体が人である場合、学習済みモデルＬＭは、例えば、ショベル１００の周辺の作業者等による着用頻度が相対的に高い着用物を着用した人やその着用物を検出（認識）可能なように機械学習されることにより生成されてもよい。これにより、コントローラ３０は、例えば、作業服等と背景との区別がつきにくいような撮像画像の場合であっても、着用物の特徴を適切に認識し、人やその着用物を検出し、ショベル１００の人の存在を把握することができる。

例えば、図１４に示すように、学習済みモデルＬＭは、ヘルメットを着用した人（作業者Ｗ）やその着用されたヘルメットＨＭＴを検出（認識）するように機械学習されることにより生成されてもよい。具体的には、学習済みモデルＬＭは、ヘルメットＨＭＴを着用した作業者Ｗが映っている画像を多数含む教師データセットによって機械学習されることで、ヘルメットを着用した人やその着用されたヘルメットを入力画像から検出することができる。

また、例えば、図１５に示すように、学習済みモデルＬＭは、高視認性安全服ＲＶを着用した人（作業者Ｗ）やその着用された高視認性安全服ＲＶを検出（認識）するように機械学習されることにより生成されてもよい。高視認性安全服ＲＶは、その着用者の周囲からの視認性が相対的に高くなるように構成される。高視認性安全服ＲＶには、例えば、再帰性反射材が取り付けられている。また、高視認性安全服ＲＶには、例えば、蛍光イエローや蛍光グリーンで着色される蛍光生地が使用される。具体的には、学習済みモデルＬＭは、高視認性安全服ＲＶを着用した作業者Ｗが映っている画像を多数含む教師データセットによって機械学習がされることで、高視認性安全服を着用した人やその着用されている高視認性安全服を入力画像から検出することができる。

また、例えば、図１５に示すように、学習済みモデルＬＭは、ヘルメットＨＭＴ及び高視認性安全服ＲＶの双方を着用した人（作業者Ｗ）やその着用された高視認性安全服ＲＶ及びヘルメットＨＭＴの双方を検出（認識）するように機械学習されてもよい。この場合、学習済みモデルＬＭは、ヘルメットの存在を表すラベル、及び高視認性安全服の存在を表すラベルの双方を出力可能であってもよい。具体的には、学習済みモデルＬＭは、ヘルメットＨＭＴ及び高視認性安全服ＲＶを着用した作業者Ｗが映っている画像を多数含む教師データセットによって機械学習がされることで、ヘルメット及び高視認性安全服を着用した人やその着用されているヘルメット及び高視認性安全服を入力画像から検出することができる。

また、教師データセットには、例えば、カメラ４０Ｘと同機種のカメラによって撮像された、監視物体が映っている画像が含まれる。また、教師データセットには、例えば、図８～図１３に示すように、ショベル１００と同機種のショベルの略同じ位置に略同じ姿勢で設置される、カメラ４０Ｘと同機種のカメラによって撮像された、監視物体が映っている画像が含まれてもよい。これにより、学習済みモデルＬＭは、カメラ４０Ｘの撮像画像への監視物体の映り方を考慮して、カメラ４０Ｘの撮像画像から監視物体を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、互いに異なる複数の種類の背景のそれぞれの中に監視物体が映っている画像が含まれる。例えば、複数の種類の背景には、土の地面、アスファルトの地面、森林、住宅、都市建造物等が含まれる。これにより、学習済みモデルＬＭは、背景の違いによる監視物体の見え方を考慮して、入力画像から監視物体を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、異なる複数の時間帯のそれぞれで撮像された、監視物体が映っている画像が含まれる。複数の時間帯には、例えば、朝の時間帯（例えば、６時～１０時）、昼の時間帯（例えば、１０時～１５時）、夕方の時間帯（例えば、１６時～１９時）、及び夜の時間帯（例えば、１９時～翌６時）が含まれる。これにより、学習済みモデルＬＭは、時間帯の違いによる監視物体の見え方を考慮して、入力画像から監視物体を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、夜の時間帯に異なる複数の照明状態で撮像された、監視物体が映っている画像が含まれる。照明状態には、例えば、照明の照度の高低や照明の色等が含まれる。これにより、学習済みモデルＬＭは、照明状態の違いによる監視物体の見え方を考慮して、入力画像から監視物体を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、異なる複数の種類の天候状態で撮像された、監視物体が映っている画像が含まれる。複数の種類の天候状態には、例えば、晴れ、曇り、雨、雪等が含まれる。これにより、学習済みモデルＬＭは、天候の違いによる監視物体の見え方を考慮して、入力画像から監視物体を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、光源と撮像範囲との位置関係が互い異なる、監視物体が映っている複数の画像が含まれる。光源は、例えば、太陽や夜間の照明である。複数の画像には、光源と撮像範囲との位置関係が順光、半順光、側光、逆光等のそれぞれに相当する画像が含まれる。また、複数の画像には、例えば、同じ順光、側光、逆光等の状態で、太陽の地面から高さ（仰角）がそれぞれで異なる画像が含まれる。これにより、教師データセットは、光源の位置の違いによる監視物体の見え方を考慮して、入力画像から監視物体を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

［物体検出方法の具体例］
次に、図１６～図１８を参照して、物体検出部３０２による監視物体の検出方法の具体例について説明する。

＜第１例＞
本例では、物体検出部３０２は、入力画像から高視認性安全服を検出（認識）することにより、ショベル１００の周辺の人（作業者）を検出する。これにより、物体検出部３０２は、例えば、ショベル１００の周辺の人の作業服と背景との区別がつきにくい入力画像からでも、人を検出し易くなり、その結果、監視物体としての人をより精度良く検出することができる。

具体的には、物体検出部３０２は、入力画像から高視認性安全服を着用した人を検出（認識）するようにしてもよいし、人に着用された高視認性安全服そのものを検出（認識）するようにしてもよいし、その双方を検出（認識）するようにしてもよい。これにより、物体検出部３０２は、高視認性安全服を着用した人や（人に着用された）高視認性安全服を検出した場合に、監視物体としての人を検出したと判断できる。

例えば、物体検出部３０２は、高視認性安全服の形状、色（例えば、蛍光イエローや蛍光グリーン）、及び再帰性反射材の輝度の少なくとも一つを認識することにより、ショベル１００の周辺の人を検出する。具体的には、物体検出部３０２は、高視認性安全服の形状や色や再帰性反射材の輝度について、形状検出やパターン認識等を適用することにより、高視認性安全服の形状、色、及び再帰性反射材の輝度の少なくとも一つを認識してよい。また、物体検出部３０２は、上述の如く、高視認性安全服を着用する人（作業者）が映っている画像を多数含む教師データセットに基づく学習済みモデルＬＭを用いることで、高視認性安全服の形状、色、及び再帰性反射材の輝度の少なくとも一つを認識してよい。

また、本例では、撮像装置４０（カメラ４０Ｘ）は、照射装置７０から可視光が照射されている状態で、ショベル１００の周辺の撮像画像を取得してよい。この場合、照射装置７０は、コントローラ３０（照射制御部３０５）の制御下で、カメラ４０Ｘの稼働中（電源オン中）に可視光を常時照射してもよいし、カメラ４０Ｘの撮像タイミングに同期して、可視光を照射してもよい。これにより、撮像装置４０の撮像範囲に高視認性安全服を着用する人（作業者）が存在する場合、高視認性安全服の再帰性反射材や蛍光色がより明瞭にカメラ４０Ｘの撮像画像に映る。そのため、物体検出部３０２は、入力画像（カメラ４０Ｘの撮像画像或いは画像補正部３０６による補正済みの撮像画像）から高視認性安全服を検出（認識）し易くなり、その結果、監視物体としての人をより精度良く検出することができる。

また、本例では、撮像装置４０（カメラ４０Ｘ）は、照射装置７０から赤外光が照射されている状態で、ショベル１００の周辺の撮像画像を取得してもよい。この場合、照射装置７０は、コントローラ３０（照射制御部３０５）の制御下で、カメラ４０Ｘの稼働中（電源オン中）に赤外光を常時照射してもよいし、カメラ４０Ｘの撮像タイミングに同期して、赤外光を間欠的に（周期的に）照射してもよい。これにより、撮像装置４０の撮像範囲に高視認性安全服を着用する人（作業者）が存在する場合、高視認性安全服の再帰性反射材の輪郭がより明瞭にカメラ４０Ｘの撮像画像に映る。そのため、物体検出部３０２は、入力画像から高視認性安全服を検出（認識）し易くなり、その結果、監視物体としての人をより精度良く検出することができる。また、赤外光の場合、可視光の場合のように、人の目が直接感知することができないことから、ショベル１００の周辺の人への影響を抑制することができる。

また、本例では、照射装置７０は、コントローラ３０の制御下で、赤外光を常時（継続して）照射する状態と、カメラ４０Ｘの撮像タイミングに同期して赤外光を間欠的に照射する状態とを切り換えてもよい。例えば、照射制御部３０５は、表示装置５０Ａや表示装置２０８に表示される周辺画像に赤外光の影響があるか否かを判定する。そして、照射制御部３０５は、その判定結果に応じて、照射装置７０からの赤外光の照射状態の切り換えを行ってよい。赤外光の影響とは、例えば、カメラ４０Ｘが被写体（例えば、高視認性安全服）から反射された近赤外光を捉えることにより、表示装置５０Ａの周辺画像が赤みを帯びた状態になることを意味する。照射制御部３０５は、画像解析によって、赤外光の影響の有無を判定してよい。また、照射制御部３０５は、入力装置５２や通信装置６０を通じて、ユーザ（オペレータや監視者）からの所定の入力を受け付けることにより、赤外光の影響があると判定してもよい。これにより、オペレータや監視者は、表示装置５０Ａや表示装置２０８の周辺画像が赤みを帯びた状態にあると認識すると、入力装置５２や入力装置２０７を通じて所定の入力を行うことで、その状態をコントローラ３０に通知することができる。

具体的には、照射制御部３０５は、通常、即ち、表示装置５０Ａや表示装置２０８に表示される周辺画像に赤外光の影響がない状態で、照射装置７０から赤外光を継続して照射させる。一方、照射制御部３０５は、表示装置５０Ａや表示装置２０８に表示される周辺画像に赤外光の影響がある状態になると、カメラ４０Ｘの撮像タイミングに同期して赤外光を間欠的に照射させる。これにより、コントローラ３０による照射装置７０の制御負荷の抑制と、表示装置５０Ａ等の周辺画像への赤外光への影響の抑制とのバランスを図ることができる。

＜第２例＞
図１６は、撮像装置４０（カメラ４０Ｘ）の撮像画像の一例を示す図である。図１７は、画像補正部３０６による、撮像装置４０（カメラ４０Ｘ）に対する補正後の画像（補正済撮像画像）の一例を示す図である。

本例では、物体検出部３０２は、画像補正部３０６により撮像装置４０の撮像画像に対する補正済の画像（補正済み撮像画像）を入力画像として監視物体を検出する。

例えば、キャビン１０のオペレータから見たときに、上部旋回体３の後方、並びに左側方及び右側方は、直接視認することは難しい。また、例えば、遠隔操作のオペレータは、キャビン１０の前方を含めて周辺を直接視認することはできない。そのため、ショベル１００を上面視で見たときの周辺の３６０度の範囲を４つのカメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒでカバーする必要が生じる。その結果、例えば、図２に示すように、４つのカメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、左右方向の画角（視野角）が非常に大きく設定される広角カメラとなる場合があり、その撮像画像には、広角歪み（ボリューム歪像）が生じる場合がある。

また、例えば、図１、図２に示すように、カメラ４０Ｘは、上部旋回体３の上部に設置される。そのため、カメラ４０Ｘは、相対的に高い位置から地面付近の監視物体を含めて監視物体を検出する必要があり、カメラ４０Ｘの光軸は、斜め下向きに設定される。その結果、カメラ４０Ｘの撮像画像には、パースによる歪みが生じる場合がある。

例えば、図１６に示すように、カメラ４０Ｘの撮像画像の中央部、左端部、及び右端部には、作業者Ｗ１～Ｗ３がそれぞれ映っている。カメラ４０Ｘの撮像画像の中央部の作業者Ｗ１は、被写体にとっての鉛直軸が撮像画像の上下軸と略一致するように映っている。「略」とは、ショベル１００の製造上の誤差やカメラ４０Ｘの設置時の誤差を許容する意図である。一方、カメラ４０Ｘの撮像画像における作業者Ｗ２，Ｗ３は、それぞれ、その鉛直軸が上下軸に対して左側及び右側に傾いている。カメラ４０Ｘの撮像画像は、左右端部の被写体の鉛直軸が上下軸に対して端部側に傾くように歪むからである。

これに対して、本例では、画像補正部３０６は、カメラ４０Ｘの撮像画像の上下軸と、被写体にとっての鉛直軸との差が小さくなるように、カメラ４０Ｘの撮像画像を補正し、補正済撮像画像を出力する。

例えば、図１７に示すように、画像補正部３０６は、カメラ４０Ｘの撮像画像のうちの中央部及び左右の両端部のうちの後者の画像領域のみをそれぞれ内側に所定量だけ傾斜させることにより、補正済み撮像画像を生成する。これにより、補正済み撮像画像における作業者Ｗ２，Ｗ３は、その画像における上下軸と被写体にとっての鉛直軸との差が相対的に小さくなる。

また、画像補正部３０６は、射影変換等の既知の手法を用いて、カメラ４０Ｘの撮像画像の歪み自体を補正してもよい。これにより、画像補正部３０６は、補正済み撮像画像における上下軸と被写体にとっての鉛直軸との差を小さくすることができる。

本例では、物体検出部３０２は、入力画像における上下軸と被写体にとっての鉛直軸との間の差が相対的に小さい監視物体及び相対的に大きい監視物体のうちの前者のみを検出可能なように構成される。画像における上下軸と被写体にとっての鉛直軸との間の差が相対的に大きい監視物体は、例えば、図１６の作業者Ｗ２，Ｗ３のように、カメラ４０Ｘの撮像画像の左右の両端部に映っている監視物体である。また、画像における上下軸と被写体によっての鉛直軸との間の差が相対的に小さい監視物体は、例えば、図１６の作業者Ｗ１のように、カメラ４０Ｘの撮像画像の左右の両端部に映っている監視物体である。また、画像における上下軸と被写体によっての鉛直軸との間の差が相対的に小さい監視物体は、例えば、図１７の作業者Ｗ１～Ｗ３のように、カメラ４０Ｘの補正済撮像画像に映っている監視物体である。これにより、物体検出部３０２は、補正済撮像画像を入力画像として用いて、監視物体を検出することができる。

具体的には、物体検出部３０２は、入力画像における上下軸と被写体にとっての鉛直軸との間の差が相対的に小さい監視物体について、形状検出やパターン認識等を適用することにより、入力画像からこのような監視物体を検出してよい。また、物体検出部３０２は、入力画像における上下軸と被写体にとっての鉛直軸との間の差が相対的に小さい監視物体が映っている画像及び相対的に大きい監視物体が映っている画像のうちの前者のみを含む教師データセットに基づく学習済みモデルＬＭを用いてもよい。これにより、物体検出部３０２は、入力画像（補正済撮像画像）の中から画像における上下軸と被写体にとっての鉛直軸との間の差が相対的に小さい監視物体のみを認識すればよいことから、監視物体をより精度良く検出することができる。また、学習済みモデルＬＭが用いられる場合、画像（補正済撮像画像）の中から画像における上下軸と被写体にとっての鉛直軸との間の差が相対的に小さい監視物体のみの特徴を学習すればよいことから、機械学習の効率化を図ることができる。

また、学習済みモデルＬＭが用いられる場合、教師データセットには、上述の如く、例えば、カメラ４０Ｘと同機種のカメラによって撮像された、監視物体が映っている画像が利用される。また、教師データセットには、上述の如く、例えば、図８～図１３に示すように、ショベル１００と同機種のショベルの略同じ位置に略同じ姿勢で設置される、カメラ４０Ｘと同機種のカメラによって撮像された、監視物体が映っている画像が利用されてもよい。この場合、カメラ４０Ｘと同種のカメラの撮像画像は、画像補正部３０６と同じ機能によって補正され、教師データセットには、補正済みの画像が含まれてよい。これにより、学習済みモデルＬＭは、カメラ４０Ｘの撮像画像への監視物体の映り方を考慮して監視物体を検出可能なように、且つ、画像における上下軸と被写体にとっての鉛直軸との間の差が相対的に小さい監視物体のみを検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。また、この場合、教師データセットには、例えば、左右方向の中央部に監視物体が映っている撮像画像、及び左右方向の少なくとも一方の端部に監視物体が映っている撮像画像の双方のそれぞれに対応する補正済みの画像が含まれてもよい。これにより、学習済みモデルＬＭは、入力画像（補正済撮像画像）における左右の中央部の補正無しの監視物体、及び入力画像における左右方向の端部の補正ありの監視物体の双方を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

＜第３例＞
図１８～図２１は、監視物体（人）の全体（全身）のうちの一部分だけが映っている撮像画像の第１例～第４例を示す図である。

例えば、図１８～図２１に示すように、カメラ４０Ｘの撮像画像では、左右方向の撮像範囲の両端部に位置する監視物体としての人（作業者Ｗ）の全体（全身）うちの下部（下半身）を含む一部分のみが映っている場合がある。具体的には、図１８（第１例）では、カメラ４０Ｘの撮像画像の右端部の上部旋回体３に相対的に近い位置に、作業者Ｗの下半身と上半身の一部（腰の部分）が映っている。また、図１９（第２例）では、カメラ４０Ｘの撮像画像の左端部の上部旋回体３に相対的に近い位置に、作業者Ｗの下半身と上半身の一部（頭部を除く胸部、腰部、腕部、及び手部）が映っている。また、図２０（第３例）では、カメラ４０Ｘの撮像画像の右端部の上部旋回体３に相対的に近い位置に、作業者Ｗの下半身の一部（下脚部及び足部）が映っている。また、図２１（第４例）では、カメラ４０Ｘの撮像画像の左端部の上部旋回体３から相対的に離れた位置に、作業者Ｗの下半身の一部（下脚部及び足部）が映っている。カメラ４０Ｘが上部旋回体３の上面から地面に向かって斜め下向きの光軸を有し、監視物体としての作業者Ｗ（人）の上半身がカメラ４０Ｘの三次元的な撮像範囲から外れてしまうからである。

また、監視物体と、カメラ４０Ｘとの間に障害物が存在する場合、監視物体（人）の下部（下半身）が障害物で隠れて、カメラ４０Ｘの撮像画像には、監視物体の全体のうちのの上部（上半身）を含む一部分のみが映っている場合がある。

これに対して、本例では、物体検出部３０２は、入力画像から監視物体（人）の全体（全身）のうちの所定の一部のみを検出（認識）することにより、監視物体（人）を検出（認識）する。所定の一部は、例えば、上述の如く、監視物体（人）の下部（下半身）や上部（上半身）等である。これにより、物体検出部３０２は、入力画像に監視物体の全体のうちの所定の一部を含む一部分のみしか映っていない場合であっても、監視物体を検出することができる。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

具体的には、物体検出部３０２は、監視物体の所定の一部について、形状検出やパターン認識等を適用することにより、入力画像から監視物体の所定の一部を検出してよい。また、物体検出部３０２は、監視物体の全体のうちの所定の一部を含む一部分のみが映っている画像を含む教師データセットに基づく学習済みモデルＬＭを用いて、監視物体の所定の一部を検出してもよい。

また、物体検出部３０２は、監視物体の全体、及び監視物体の全体のうちの所定の一部の双方を検出（認識）可能に構成されてもよい。これにより、物体検出部３０２は、例えば、監視物体の全体、及び監視物体の所定の一部の何れか一方を検出した場合に、監視物体を検出したと判断することができる。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

例えば、物体検出部３０２は、監視物体の全体が映っている画像、及び監視物体の全体のうちの所定の一部を含む一部分のみが映っている画像を含む教師データセットに基づく学習済みモデルＬＭを用いて、監視物体の全体、及び監視物体の所定の一部の双方を検出する。この場合、物体検出部３０２は、監視物体の全体を表すラベルと、監視物体の全体のうちの所定の一部を表すラベルと、を含む複数のラベルの中から検出された監視物体に対応するラベルを出力してよい。そして、物体検出部３０２は、学習済みモデルＬＭから、検出された監視物体のラベルが監視物体の全体を表すラベル、及び監視物体の全体のうちの所定の一部を表すラベルの何れか一方が出力されると、監視物体の検出を判断してよい。

また、学習済みモデルＬＭが用いられる場合、教師データセットには、例えば、カメラ４０Ｘと同機種のカメラによって撮像され、監視物体の全体のうちの下部を含む一部分のみが左端部及び右端部の少なくとも一方に映っている画像が利用される。また、教師データセットには、例えば、ショベル１００と同機種のショベルの略同じ位置に略同じ姿勢で設置される、カメラ４０Ｘと同機種のカメラによって撮像された、監視物体の全体のうちの下部を含む一部分のみが左端部及び右端部の少なくとも一方に映っている画像が利用されてもよい。これにより、学習済みモデルＬＭは、カメラ４０Ｘの撮像画像への監視物体の映り方を考慮して、監視物体の全体のうちの下部（例えば、人の下半身）を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体の全体の内の所定の一部をより精度良く検出することができる。

また、物体検出部３０２は、入力画像の左右方向の中央部の画像に基づき、監視物体の全体を検出し、入力画像の左右方向の両端部の画像に基づき、監視物体の全体のうちの下部（例えば、人の下半身）のみを検出してもよい。上述の如く、入力画像では、左右方向の両端部において、監視物体の全体のうちの下部（例えば、人の下半身）のみ映っている場合がありうるからである。

また、物体検出部３０２は、互いに撮像範囲の一部が重複する２つのカメラ４０Ｘのそれぞれの撮像画像に基づき、撮像範囲が重複する一部の領域の双方で監視物体の所定の一部を検出（認識）する場合に、その領域の監視物体を検出するようにしてもよい。互いに撮像範囲の一部が重複する２つのカメラ４０Ｘは、例えば、カメラ４０Ｆ，４０Ｒ、カメラ４０Ｒ，４０Ｂ、カメラ４０Ｂ，４０Ｌ、及びカメラ４０Ｌ，４０Ｆの何れか一つの組み合わせに相当する。これにより、物体検出部３０２は、２つのカメラ４０Ｘの重複する撮像範囲の一部の領域において、一方のカメラ４０Ｘに基づき監視物体の所定の一部を誤検出しても、他方のカメラ４０Ｘに基づき監視物体の所定の一部を検出していないことで、未検出と判断できる。そのため、物体検出部３０２は、監視物体の全体のうちの所定の一部を検出する場合の誤検出を抑制することができる。

［監視物体の実在位置の推定方法の具体例］
次に、図２２～図２４を参照して、検出された監視物体の実在位置の推定方法の具体例について説明する。

図２２～図２４は、物体検出部３０２による監視物体（人）の検出状態の一例、他の例、及び更に他の例を示す図である。具体的には、図２２～図２４は、物体検出部３０２によって、入力画像から監視物体（作業者Ｗ）が検出された場合の入力画像における監視物体の検出範囲を表す検出枠ＦＲを示す図である。

図２２～図２４の画像は、例えば、物体検出部３０２により監視物体（作業者Ｗ）が検出された場合に、表示装置５０Ａや遠隔操作用表示装置に表示されてよい。これにより、オペレータや監視者は、ショベル１００の周辺の監視物体（作業者Ｗ）の検出状況を、周辺画像（カメラ４０Ｘの撮像画像）を見ながら把握することができる。

図２２、図２３の状況では、作業者Ｗが上部旋回体３に対して相対的に近い同じ場所に直立状態でカメラ４０Ｘに正面を向けて存在している。また、図２４の状況では、作業者Ｗが上部旋回体３に対して相対的に離れた場所に直立状態でカメラ４０Ｘに正面を向けて存在している。

例えば、図２２の状況では、物体検出部３０２は、入力画像（例えば、カメラ４０Ｘの撮像画像）に映っている作業者Ｗの全体を監視物体（人）として検出（認識）している。そのため、検出枠ＦＲは、作業者Ｗを囲むような矩形状として表現されている。

一方、例えば、図２３の状況では、物体検出部３０２は、入力画像に映っている作業者Ｗの全体のうちの上下方向の上部（上半身の部分）のみを監視物体（人）として検出（認識）している。そのため、検出枠ＦＲは、ヘルメットが着用される頭、及び高視認性安全服が着用される胴部を含む作業者Ｗの上部のみを囲むような矩形状として表現されている。

物体検出部３０２は、例えば、人のヘルメットや高視認性安全服等の着用物を検出（認識）することにより、人を検出（認識）する場合、入力画像における人の着用物に相当する一部分の領域のみを監視物体の検出範囲と判断する可能性がある。また、監視物体の背景やそのときの天候によっては、入力画像における監視物体の形状等の特徴が不鮮明となり、物体検出部３０２は、監視物体の全体の一部分しか監視物体として認識できない可能性がある。そのため、物体検出部３０２は、入力画像上で監視物体の全体のうちの上下方向の一部のみを検出（認識）する場合がある。

例えば、図２３の状況で、上述の如く、入力画像上の検出（認識）された監視物体の大きさ（検出枠ＦＲの上下方向の大きさ）に基づき、作業者Ｗの実在位置が推定されると、実際よりも上部旋回体３から遠い位置に作業者が存在すると判断される可能性がある。具体的には、図２２の状況と同じ位置に作業者Ｗが存在するにも関わらず、図２３の状況では、図２２の状況で推定される実在位置よりも上部旋回体３から離れた実在位置が推定される可能性がある。

また、例えば、図２３の状況と、図２４の状況では、作業者Ｗと上部旋回体３との距離が異なるものの、入力画像上での人（作業者Ｗ）の検出位置、具体的には、検出範囲（検出枠ＦＲ）の下端位置は、略同じである。そのため、上述の如く、入力画像上の監視物体の検出位置（基準点）に基づき、射影変換等によって、監視物体の実在位置が推定されると、図２４の状況で検出される作業者Ｗと同様に、上部旋回体３から相対的に離れた実在位置が推定される可能性がある。

これに対して、本例では、位置推定部３０３は、監視物体の入力画像上での上下方向の検出位置に関する情報、及び監視物体の入力画像上での検出範囲の大きさや形状に関する情報に基づき、監視物体の実在位置を推定する。監視物体の入力画像上での上下方向の検出位置に関する情報とは、監視物体の入力画像上での検出範囲を代表する座標位置であり、例えば、監視物体の入力画像上での検出範囲の下端、上端、及び図心の少なくとも一つの座標を含む。監視物体の入力画像上での検出範囲の大きさに関する情報には、例えば、検出範囲の高さ（上下方向の寸法）に関する情報、幅（左右方向の寸法）に関する情報、縦横比に関する情報、対角線に関する情報、面積に関する情報等が含まれる。また、監視物体の入力画像上での検出範囲の形状に関する情報には、例えば、縦横比に関する情報等が含まれる。

具体的には、位置推定部３０３は、監視物体の入力画像上での上下方向の検出位置に対する監視物体の入力画像上での検出範囲の形状や大きさの整合性の有無を判定してよい。入力画像における監視物体の全体が検出されていると仮定すると、監視物体の入力画像上での上下方向の検出位置によって、想定される監視物体の検出範囲の形状や大きさの範囲が決まる。そのため、位置推定部３０３は、監視物体の入力画像上での上下方向の検出位置に対して、監視物体の入力画像上での検出範囲の形状や大きさがこの想定される範囲に収まるのか否かの整合性の有無によって、監視物体の全体が検出されているか否かを判定できる。

監視物体の入力画像上での検出範囲の形状や大きさの想定される範囲は、監視物体の入力画像上での上下方向の検出位置に応じて、一律に規定されてよい。また、監視物体の入力画像上での検出範囲の形状や大きさの想定される範囲は、監視物体の入力画像上での上下方向の検出位置に加えて、他の条件が考慮されてもよい。例えば、監視物体の入力画像上での検出範囲の形状や大きさの想定される範囲は、監視物体の入力画像上での上下方向の検出位置に加えて、検出された監視物体の姿勢や向きによって可変されてもよい。監視物体の姿勢や向きによって、入力画像上での監視物体の見え方が異なり、その結果、監視物体の入力画像上での検出範囲の形状や大きさが変化するからである。監視物体の向きや姿勢は、例えば、学習済みモデルＬＭが監視物体の異なる向きや姿勢ごとに、監視物体を検出可能なように、即ち、異なる向きや姿勢に対応する複数のラベルごとに監視物体を検出可能なように機械学習されることにより、取得されうる。また、監視物体の入力画像（撮像画像）上での検出範囲の形状や大きさの想定される範囲は、例えば、監視物体の入力画像（撮像画像）上での上下方向の検出位置だけでなく、その検出位置でのレンズによる歪みを考慮して規定されてもよい。

位置推定部３０３は、監視物体の入力画像上での上下方向の検出位置に対する、監視物体の入力画像上での検出範囲の形状や大きさの整合性がある場合、監視物体の全体が検出されていると判定する。この場合、位置推定部３０３は、監視物体の入力画像上での検出位置や検出範囲に基づき、上述の通り、監視物体の実在位置を推定してよい。

一方、位置推定部３０３は、監視物体の入力画像上での上下方向の検出位置に対する、監視物体の入力画像上での検出範囲の形状や大きさの整合性がない場合、監視物体の全体のうちの一部のみが検出されていると判定する。この場合、位置推定部３０３は、監視物体の入力画像上での検出位置或いは検出範囲を補正し、補正後の検出位置や検出範囲に基づき、監視物体の実在位置を推定してよい。

例えば、位置推定部３０３は、監視物体の入力画像上での検出範囲の幅が、監視物体の入力画像上での上下方向の検出位置に対して想定される範囲を大きい方向に逸脱する場合、入力画像における監視物体の全体の上側の一部のみが検出されていると判定する（図２３参照）。

また、例えば、位置推定部３０３は、監視物体の入力画像上での検出範囲の縦横比が、監視物体の入力画像上での上下方向の検出位置に対して想定される範囲を左右方向の寸法が大きくなる方向に逸脱する場合、入力画像における監視物体の全体の上下方向の一部のみが検出されていると判定する。更に、位置推定部３０３は、物体検出部３０２により、監視物体の全体の所定の一部のみ或いは監視物体の着用物のみが検出される場合、その所定の一部或いは着用物の装着部位を考慮して、入力画像における監視物体の全体の上下方向の上側及び下側のどちらの一部のみが検出されているかを判定してよい。例えば、位置推定部３０３は、物体検出部３０２によりヘルメットや高視認性安全服が検出（認識）される場合、入力画像における監視物体（人）の全体のうちのヘルメットや高視認性安全服の着用箇所を含む上側の一部のみが検出されていると判定する（図２３参照）。また、位置推定部３０３は、入力画像における監視物体の全体の上下方向の一部のみが検出されていると判定すると、安全面を優先して、一律に、監視物体の全体の上下方向の上側の一部のみが検出されているとみなしてもよい。

この場合、位置推定部３０３は、例えば、監視物体の入力画像上での検出範囲の高さ及び幅に関する情報に基づき、監視物体として想定される形状（縦横比）になるように、監視物体の入力画像上での検出範囲を下側に延ばす補正を行ってよい。監視物体として想定される形状（縦横比）は、例えば、監視物体の入力画像上での検出位置に応じて規定される。また、監視物体として想定される形状（縦横比）は、例えば、監視物体の入力画像上での検出位置に加えて、監視物体の向きや姿勢、その検出位置でのレンズによる歪み等に応じて規定されてもよい。また、位置推定部３０３は、例えば、監視物体の入力画像上での検出範囲の幅に関する情報に基づき、監視物体の入力画像上での検出範囲の幅と整合するように、監視物体の検出位置を下に移動させたり、監視物体の検出範囲を下側に延ばしたりする補正をしてもよい。この際、位置推定部３０３は、例えば、監視物体の向きや姿勢、その検出位置でのレンズによる歪み等を考慮して、監視物体の検出位置や検出範囲を補正してよい。そして、位置推定部３０３は、補正後の監視物体の検出範囲や検出位置に基づき、監視物体の実在位置を推定してよい。

このように、本例では、位置推定部３０３は、物体検出部３０２により入力画像上での監視物体の全体のうちの一部（特に、上下方向の上側の一部）のみが検出される状態を把握し、その状態を考慮して、監視物体の実在位置を推定することができる。そのため、位置推定部３０３は、例えば、監視物体の実在位置を実際よりも上部旋回体３から相対的に離れた位置として推定するような事態を抑制し、監視物体の実在位置をより適切に推定することができる。よって、コントローラ３０（安全制御部３０４）は、より適切に安全機能を作動させることができ、その結果、ショベル１００の安全性を向上させることができる。

［ショベルの機能構成の他の例］
次に、図２５を参照して、ショベル１００の機能構成の他の例について説明する。以下、上述の一例（図６）と異なる部分を中心に説明を行い、上述の一例と同じ或いは対応する説明を省略する場合がある。

図２５は、本実施形態に係るショベル１００の機能構成の他の例を示す機能ブロック図である。

図２５に示すように、コントローラ３０は、上述の一例の場合と同様、表示処理部３０１と、物体検出部３０２と、位置推定部３０３と、安全制御部３０４と、照射制御部３０５とを含み、画像補正部３０６を含んでもよい。また、コントローラ３０は、上述の一例と異なり、検出判断部３０７を含む。

撮像装置４０は、物体検出部４０２を含む。また、撮像装置４０は、画像補正部４０４を含んでもよい。

物体検出部４０２（検出部の一例）は、物体検出部３０２と同様、撮像装置４０の撮像画像に基づき、監視物体を検出する。物体検出部４０２は、物体検出部４０２Ｆ，４０２Ｂ，４０２Ｌ，４０２Ｒを含む。以下、物体検出部４０２Ｆ，４０２Ｂ，４０２Ｌ，４０２Ｒを包括的に、或いは、任意の一つを個別に「物体検出部４０２Ｘ」と称する場合がある。

物体検出部４０２Ｆは、カメラ４０Ｆに搭載され、物体検出部３０２と同様、カメラ４０Ｆの撮像画像に基づき、監視物体を検出する。具体的には、物体検出部４０２Ｆは、カメラ４０Ｆの撮像画像から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してよい。また、物体検出部４０２Ｆは、画像補正部４０４Ｆによりカメラ４０Ｆの撮像画像（即ち、撮像画像生成機能で生成される撮像画像）が補正された後の画像（補正済撮像画像）から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してもよい。物体検出部４０２Ｆの機能は、任意のハードウェア或いは任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、物体検出部４０２Ｆの機能は、例えば、カメラ４０Ｆの画像処理エンジン４２の補助記憶装置にインストールされるプログラムがメモリ装置にロードされＣＰＵ上で実行されることにより実現される。以下、物体検出部４０２Ｂ，４０２Ｌ，４０２Ｒの機能についても同様である。

物体検出部４０２Ｂは、カメラ４０Ｂに搭載され、物体検出部３０２と同様、カメラ４０Ｂの撮像画像に基づき、監視物体を検出する。具体的には、物体検出部４０２Ｂは、カメラ４０Ｂの撮像画像から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してよい。また、物体検出部４０２Ｂは、画像補正部４０４Ｂによりカメラ４０Ｂの撮像画像（即ち、撮像画像生成機能で生成される撮像画像）が補正された後の画像（補正済撮像画像）から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してもよい。

物体検出部４０２Ｌは、カメラ４０Ｌに搭載され、物体検出部３０２と同様、カメラ４０Ｌの撮像画像に基づき、監視物体を検出する。具体的には、物体検出部４０２Ｌは、カメラ４０Ｌの撮像画像から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してよい。また、物体検出部４０２Ｌは、画像補正部４０４Ｌによりカメラ４０Ｌの撮像画像（即ち、撮像画像生成機能で生成される撮像画像）が補正された後の画像（補正済撮像画像）から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してもよい。

物体検出部４０２Ｒは、カメラ４０Ｒに搭載され、物体検出部３０２と同様、カメラ４０Ｒの撮像画像に基づき、監視物体を検出する。具体的には、物体検出部４０２Ｒは、カメラ４０Ｒの撮像画像から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してよい。また、物体検出部４０２Ｒは、画像補正部４０４Ｒによりカメラ４０Ｒの撮像画像（即ち、撮像画像生成機能で生成される撮像画像）が補正された後の画像（補正済撮像画像）から、監視物体を認識し、その監視物体が映っている位置（領域）を特定してもよい。

画像補正部４０４は、画像補正部３０６と同様、撮像装置４０（カメラ４０Ｘ）の出力（撮像画像）に所定の補正を行い、補正済撮像画像を物体検出部４０２に出力する。画像補正部４０４Ｆ，４０４Ｂ，４０４Ｌ，４０４Ｒを含む。

画像補正部４０４Ｆは、カメラ４０Ｆに搭載され、上述の画像補正部３０６と同様、カメラ４０Ｆの撮像画像に所定の補正を行い、補正済撮像画像を物体検出部４０２Ｆに出力する。

尚、カメラ４０Ｆは、撮像画像生成機能で生成される撮像画像に加えて、画像補正部４０４Ｆにより補正される補正済撮像画像をコントローラ３０に出力してもよい。以下、カメラ４０Ｂ，４０Ｌ，４０Ｒについても同様であってよい。この場合、コントローラ３０の画像補正部３０６は省略され、物体検出部３０２は、カメラ４０Ｘから入力される補正済撮像画像に基づき、監視物体を検出してよい。

画像補正部４０４Ｂは、カメラ４０Ｂに搭載され、上述の画像補正部３０６と同様、カメラ４０Ｂの撮像画像に所定の補正を行い、補正済撮像画像を物体検出部４０２Ｂに出力する。

画像補正部４０４Ｌは、カメラ４０Ｌに搭載され、上述の画像補正部３０６と同様、カメラ４０Ｌの撮像画像に所定の補正を行い、補正済撮像画像を物体検出部４０２Ｌに出力する。

画像補正部４０４Ｒは、カメラ４０Ｒに搭載され、上述の画像補正部３０６と同様、カメラ４０Ｒの撮像画像に所定の補正を行い、補正済撮像画像を物体検出部４０２Ｒに出力する。

物体検出部４０２Ｘは、互いに同じアルゴリズムを用いて、入力画像から監視物体を検出する。一方、物体検出部４０２Ｘは、物体検出部３０２と異なるアルゴリズムを用いて、入力画像から監視物体を検出する。これにより、例えば、物体検出部３０２，４０２Ｘのうちの何れか一方が監視物体を検出できない場合でも、何れか他方が監視物体を検出する可能性を高めることができる。その結果、ショベル１００の周辺の監視物体を検出できない事態の発生を抑制することができる。また、例えば、物体検出部３０２，４０２Ｘのうちの何れか一方が存在しない監視物体を検出してしまっても、他方が監視物体を検出していないことを以て、監視物体を検出しないようにすることもできる。

例えば、物体検出部３０２，４０２Ｘは、何れか一方が画像処理技術及び機械学習技術のうちの前者のみを利用し、何れか他方が画像処理技術及び機械学習技術の双方、即ち、学習済みモデルＬＭを利用して、監視物体を検出してよい。

また、例えば、物体検出部３０２，４０２Ｘは、何れか一方が学習済みモデルＬＭとして監視物体の画像特徴量を機械学習済みのＳＶＭを利用し、何れか他方が深層学習による学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。

また、物体検出部３０２，４０２Ｘは、例えば、互いに異なるネットワーク（ＤＮＮ）による学習済みモデルＬＭを用いて、入力画像から監視物体を検出してもよい。例えば、物体検出部３０２，４０２Ｘは、何れか一方が学習済みモデルＬＭとしてＣＮＮをベースとする分類モデルを利用し、何れか他方が学習済みモデルＬＭとしてＣＮＮをベースとする回帰モデルを利用して、入力画像から監視物体を検出してもよい。具体的には、物体検出部３０２，４０２Ｘは、何れか一方がＦａｓｔｅｒ Ｒ－ＣＮＮによる学習済みモデルＬＭを利用し、何れか他方がＹＯＬＯ或いはＳＳＤによる学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。また、例えば、物体検出部３０２，４０２Ｘは、ＣＮＮベースの学習済みモデルＬＭを利用し、それぞれの学習済みモデルＬＭは、ネットワーク構造、ネットワークの層数、特徴マップの構造、候補領域の特性の少なくとも１つが互いに異なっていてもよい。候補領域の特性には、縦横比や候補領域の固定或いは可変の違い等が含まれうる。具体的には、物体検出部３０２，４０２Ｘは、何れか一方がＹＯＬＯによる学習済みモデルＬＭを利用し、何れか他方がＳＳＤによる学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。また、例えば、物体検出部３０２，４０２Ｘは、同じＳＳＤによる学習済みモデルＬＭを利用し、それぞれの学習済みモデルＬＭは、ネットワーク構造、ネットワークの層数、特徴マップの構造、候補領域の特性等のパラメータの少なくとも１つが互いに異なっていてもよい。

また、例えば、物体検出部３０２，４０２Ｘは、互いに異なる教師データセットで機械学習された学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。

例えば、物体検出部３０２，４０２Ｘは、互いに監視物体の姿勢及び向きの少なくとも一方が異なる画像による教師データセットで機械学習された学習済みモデルＬＭを利用して、入力画像から監視物体を検出してよい。例えば、物体検出部３０２，４０２Ｘの学習済みモデルＬＭは、何れか一方が直立状態の人が映る画像による教師データセットで機械学習され、何れか他方が中腰状態やしゃがんだ状態の人が映る画像による教師データセットで機械学習されていてもよい。また、例えば、物体検出部３０２，４０２Ｘの学習済みモデルは、何れか一方がカメラに向かって前或いは後を向いた人が映る画像による教師データセットで機械学習され、何れか他方がカメラに向かって横向きの人が映る画像による教師データセットで機械学習されていてもよい。これにより、物体検出部３０２，４０２Ｘは、何れか一方が入力画像に映っている監視物体の向きや姿勢の影響で、監視物体を適切に検出できない状況でも、何れか他方が入力画像から監視物体を適切に検出する可能性を高めることができる。そのため、物体検出部３０２，４０２Ｘは、全体として、より確実に監視物体を検出することができる。

また、例えば、物体検出部３０２，４０２Ｘは、何れか一方が監視物体（人）の形状を含むその全体を検出（認識）し、何れか他方が監視物体（人）の着用物を検出（認識）することにより、入力画像から監視物体を検出してもよい。例えば、物体検出部３０２，４０２Ｘは、何れか一方が入力画像から人の全体を検出し、何れか他方が人の着用するヘルメット或いは安全ベストを検出（認識）することにより、入力画像から人を検出してよい。これにより、物体検出部３０２，４０２Ｘは、例えば、何らかの理由で、何れか一方が人の全体を適切に検出（認識）できない状況であっても、何れか他方がより確実に監視物体（人）を検出することができる。

また、例えば、物体検出部３０２，４０２Ｘは、互いに、監視物体（人）の異なる着用物を検出することにより、入力画像から監視物体を検出してもよい。例えば、物体検出部３０２，４０２Ｘは、何れか一方が入力画像から人の着用するヘルメットを検出（認識）し、何れか他方が入力画像から人の着用する安全ベストを検出（認識）することにより、入力画像から人を検出してよい。これにより、物体検出部３０２，４０２Ｘは、例えば、作業者が一の着用物を未着用である等によって、何れか一方が一の着用物を認識できない場合でも、何れか他方が他の着用物を認識することで、より確実に監視物体（人）を検出することができる。

また、例えば、物体検出部３０２，４０２Ｘは、互いに、監視物体の背景の種類が異なる画像による教師データセットで機械学習された学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。例えば、物体検出部３０２，４０２Ｘの学習済みモデルＬＭは、何れか一方が背景に土砂の地面が映る画像による教師データセットで機械学習され、何れか他方が背景にアスファルト等の地面が映る画像による教師データセットで機械学習されていてよい。これにより、物体検出部３０２，４０２Ｘは、何れか一方が入力画像の背景の影響で、監視物体を適切に検出できない状況でも、何れか他方が入力画像から監視物体を適切に検出する可能性を高めることができる。そのため、物体検出部３０２，４０２Ｘは、全体として、より確実に監視物体を検出することができる。

また、例えば、物体検出部３０２，４０２Ｘは、互いに、取得（撮像）された時間帯の異なる画像による教師データセットで機械学習された学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。例えば、物体検出部３０２，４０２Ｘの学習済みモデルは、何れか一方が朝や昼の時間帯に撮像された画像による教師データセットで機械学習され、何れか他方が夕方や夜間の時間体に撮像された画像による教師データセットで機械学習されてよい。これにより、コントローラ３０は、例えば、ショベル１００の作業中の時間帯に合わせて、物体検出部３０２，４０２Ｘを使い分けたり、物体検出部３０２，４０２Ｘの検出結果に基づく監視物体の検出に関する最終判断の方法を切り換えたりすることができる。

また、ショベル１００が夜間に使用される場合、例えば、物体検出部３０２，４０２Ｘは、互いに、夜間の照明状態の異なる画像による教師データセットで機械学習された学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。例えば、物体検出部３０２，４０２Ｘの学習済みモデルＬＭは、例えば、何れか一方が相対的に高い照度で取得された画像による教師データセットで機械学習され、何れか他方が相対的に低い照度で取得された画像による教師データセットで機械学習されていてもよい。また、例えば、物体検出部３０２，４０２Ｘの学習済みモデルＬＭは、例えば、互いに異なる色の照明状態で取得された画像による教師データセットで機械学習されていてもよい。これにより、物体検出部３０２，４０２Ｘは、照明状態の影響で、何れか一方が監視物体を適切に検出できない状況でも、何れか他方が監視物体を適切に検出する可能性を高めることができる。そのため、物体検出部３０２，４０２Ｘは、全体として、より確実に監視物体を検出することができる。

また、例えば、物体検出部３０２，４０２Ｘは、例えば、互いに異なる天候状態で取得（撮像）された画像による教師データセットで機械学習された学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。例えば、物体検出部３０２，４０２Ｘは、例えば、物体検出部３０２，４０２Ｘの学習済みモデルＬＭは、何れか一方が晴れや曇りの状態で取得された画像による教師データセットで機械学習され、何れか他方が雨や雪の状態で取得された画像による教師データセットで機械学習されていてもよい。これにより、物体検出部３０２，４０２Ｘは、例えば、天候の影響で、何れか一方が監視物体を適切に検出できない状況でも、何れか他方が監視物体を適切に検出する可能性を高めることができる。そのため、物体検出部３０２，４０２Ｘは、全体として、より確実に監視物体を検出することができる。

また、例えば、物体検出部３０２，４０２Ｘは、例えば、互いに異なる光源と撮像範囲との位置関係で取得された画像による教師データセットで機械学習された学習済みモデルＬＭを使用して、入力画像から監視物体を検出してもよい。例えば、物体検出部３０２，４０２Ｘの学習済みモデルＬＭは、何れか一方が順光や半順光や側光に相当する画像による教師データセットで機械学習され、何れか他方が逆光に相当する画像による教師データセットで機械学習されていてもよい。これにより、物体検出部３０２，４０２Ｘは、光源と撮像範囲との位置関係の影響で、何れか一方が監視物体を適切に検出できない状況であっても、何れか他方が監視物体を適切に検出する可能性を高めることができる。そのため、物体検出部３０２，４０２Ｘは、全体として、より確実に監視物体を検出することができる。

検出判断部３０７は、物体検出部３０２の検出結果、及び物体検出部４０２Ｘに基づき、監視物体を検出する。具体的には、検出判断部３０７は、物体検出部３０２の検出結果、及び物体検出部４０２Ｘの検出結果に基づき、監視物体の検出に関する最終判断を行う。検出判断部３０７による監視物体の検出方法の詳細は後述する。

位置推定部３０３は、検出判断部３０７により監視物体が検出された場合に、検出された監視物体の実在位置を推定する。また、検出判断部３０７により複数の監視物体が検出されている場合、位置推定部３０３は、複数の監視物体ごとの実在位置を推定する。

例えば、物体検出部３０２，４０２Ｘの何れか一方で、監視物体が検出されている場合、その何れか一方により特定される入力画像上での検出範囲等に基づき、上述の方法を任意に適用することで、監視物体の位置を推定する。

また、例えば、物体検出部３０２，４０２Ｘの双方で、同じ監視物体が検出されている場合、物体検出部３０２，４０２Ｘの検出結果のそれぞれに対して、監視物体の実在位置を推定し、それぞれの推定結果から監視物体の実在位置を推定してもよい。例えば、物体検出部３０２，４０２Ｘの検出結果のそれぞれに対する監視物体の実在位置の推定結果の平均を取ることにより、検出された監視物体の実在位置を推定してもよい。

安全制御部３０４は、例えば、検出判断部３０７によって、ショベル１００の周辺の所定範囲内で監視物体が検出される場合に、安全機能を作動させる。具体的には、安全制御部３０４は、位置推定部３０３により推定される、監視物体の実在位置（推定値）がショベル１００の周辺の所定範囲内である場合に、安全機能を作動させてよい。

尚、物体検出部３０２，４０２の何れか一方の機能は、表示装置５０Ａに移管されてもよい。また、物体検出部３０２，４０２に加えて、更に、入力画像から監視物体を検出する、１以上の物体検出部がショベル１００に設けられてもよい。追加される物体検出部は、表示装置５０Ａに設けられてもよいし、コントローラ３０に設けられてもよいし、コントローラ３０とは異なるコントローラに設けられてもよい。この場合、追加分を含む３以上の物体検出部は、互いに異なるアルゴリズムを用いて、入力画像から監視物体を検出してもよい。

［物体検出方法の具体例］
次に、検出判断部３０７による監視物体の検出方法、即ち、監視物体の検出に関する最終判断の方法について説明する。

検出判断部３０７は、例えば、物体検出部３０２及び物体検出部４０２Ｘの少なくとも一方で監視物体が検出されている場合、その監視物体がショベル１００の周辺に存在すると判断し、その監視物体を検出してよい。これにより、コントローラ３０は、例えば、物体検出部３０２，４０２Ｘのうちの何れか一方で実在する監視物体を検出されなくても、何れか他方でその監視物体が検出されれば、その監視物体を検出することができる。そのため、コントローラ３０は、例えば、監視物体の検出失敗が発生し易い状況や監視物体の検出失敗を防止する必要性が高い状況で、実在する監視物体をより確実に検出し、その結果、ショベル１００の安全機能の作動に伴って、安全性をより向上させることができる。

また、検出判断部３０７は、例えば、物体検出部３０２及び物体検出部４０２Ｘの双方で監視物体が検出されている場合、その監視物体がショベル１００の周辺に存在すると判断し、その監視物体を検出してもよい。これにより、コントローラ３０は、例えば、物体検出部３０２，４０２Ｘの何れか一方で実在しない監視物体が誤検出されてしまっても、何れか他方でその監視物体が検出されなければ、その監視物体を検出しないようにすることができる。そのため、コントローラ３０は、例えば、監視物体の誤検出が発生し易い状況や監視物体の誤検出による作業効率の低下を防止する必要性が高い状況で、監視物体の誤検出を抑制することができる。

尚、上述の如く、ショベル１００に３以上の物体検出部が設けられる場合、検出判断部３０７は、例えば、全ての物体検出部のうちの所定数（２以上の整数）以上の物体検出部で監視物体が検出されている場合に、その監視物体を検出してよい。所定数は、固定であってもよいし、可変されてもよい。例えば、所定数は、入力装置５２や通信装置６０を通じて受け付けられるユーザ（オペレータや監視者）からの所定の入力に応じて可変されてよい。

また、検出判断部３０７は、入力装置５２や通信装置６０を通じて受け付けられるユーザ（オペレータや監視者）からの所定の入力に応じて、上記の２つの方法を切り換えてもよい。

また、検出判断部３０７は、例えば、物体検出部３０２及び物体検出部４０２Ｘのそれぞれの検出結果に規定される重要度を用いて、物体検出部３０２及び物体検出部４０２Ｘに基づき、監視物体を検出してもよい。具体的には、検出判断部３０７は、物体検出部３０２及び物体検出部４０２Ｘのうちの検出結果の重要度が相対的に高い一方により監視物体が検出される場合に、その監視物体を検出する。

重要度は、例えば、入力装置５２や通信装置６０を通じて受け付けられるユーザ（オペレータや監視者）からの所定の入力に応じて設定（可変）されてよい。これにより、ユーザは、例えば、表示装置５０Ａや遠隔操作用表示装置に表示される周辺画像と、実際の物体検出部３０２，４０２Ｘによる監視物体の検出状況とを比較し、より精度高いと考えられる一方の検出結果の重要度を高く設定できる。また、重要度は、ショベル１００の周辺の状況に応じて、自動で設定（可変）されてもよい。例えば、ショベル１００の置かれている環境状態に応じて、物体検出部３０２，４０２Ｘの間で監視物体の検出精度に差異が生じる場合、その検出精度が高い一方の検出結果の重要度が他方の検出結果の重要度よりも高く設定されてよい。ショベル１００の置かれている環境状態には、カメラ４０Ｘの撮像画像に背景として映るショベル１００の周辺の物体（例えば、地面の土砂、アスファルト等の種別）等の状態が含まれうる。また、ショベル１００の置かれている環境状態には、例えば、作業が行われている時間帯、夜間作業時の照明状態、天候状態、光源とカメラ４０Ｘとの撮像範囲との位置関係等が含まれうる。これにより、コントローラ３０は、例えば、ショベル１００の置かれている状況に合わせて、物体検出部３０２，４０２Ｘのうちのより検出精度が高いと想定される何れか一方の重要度を相対的に高く設定することができる。

尚、上述の如く、ショベル１００に３以上の物体検出部が設けられる場合、検出判断部３０７は、それぞれの物体検出部の検出結果の重要度が相対的に高くなるほど、その検出結果が最終判断の結果に反映されやすくなるように、監視物体を検出してよい。例えば、検出判断部３０７は、全ての物体検出部のうちの一部の物体検出部により監視物体が検出されている場合、その一部の物体検出部のそれぞれの検出結果の重要度の合計が他の残りの物体検出部のそれぞれの検出結果の重要度の合計より大きい場合、その監視物体を検出してよい。また、例えば、検出判断部３０７は、全ての物体検出部のうちの一部の物体検出部により監視物体が検出されている場合、その一部の物体検出部のそれぞれの検出結果の重要度の合計が所定の閾値以上である場合に、その監視物体を検出してよい。

［変形・変更］
以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。

例えば、上述した実施形態では、ショベル１００に搭載される撮像装置４０の撮像画像に基づく監視物体の検出方法について説明したが、同様の方法は、他の作業機械に搭載される撮像装置の撮像画像に基づく監視物体の検出方法に適用されてもよい。他の作業機械は、例えば、アタッチメントＡＴの先端にバケット６に代えてリフティングマグネットが装着されるリフマグ機、ブルドーザ、林業機械（例えば、ハーベスタ）道路機械（例えば、アスファルトフィニッシャ）等である。

１ 下部走行体
１Ｃ クローラ
１ＭＬ 走行油圧モータ
１ＭＲ 走行油圧モータ
２ 旋回機構
２Ｍ 旋回油圧モータ
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１０ キャビン
１１ エンジン
１３ レギュレータ
１４ メインポンプ
１５ パイロットポンプ
１７ コントロールバルブ
２５ パイロットライン
２５Ａ パイロットライン
２５Ｂ パイロットライン
２６ 操作装置
２７ パイロットライン
２７Ａ パイロットライン
２７Ｂ パイロットライン
２９ 操作圧センサ
３０ コントローラ
３０Ａ 補助記憶装置
３０Ｂ メモリ装置
３０Ｃ ＣＰＵ
３０Ｄ インタフェース装置
３１ 油圧制御弁
３２ シャトル弁
３３ 油圧制御弁
４０ 撮像装置
４０Ｂ カメラ
４０Ｆ カメラ
４０Ｌ カメラ
４０Ｒ カメラ
５０ 出力装置
５０Ａ 表示装置
５０Ｂ 音出力装置
５２ 入力装置
６０ 通信装置
７０ 照射装置
１００ ショベル
２００ 管理装置
２０１ 外部インタフェース
２０１Ａ 記録媒体
２０２ 補助記憶装置
２０３ メモリ装置
２０４ ＣＰＵ
２０５ 高速演算装置
２０６ 通信インタフェース
２０７ 入力装置
２０８ 表示装置
３０１ 表示処理部
３０２ 物体検出部（検出部）
３０３ 位置推定部（推定部）
３０４ 安全制御部（制御部）
３０５ 照射制御部
３０６ 画像補正部
３０７ 検出判断部
４０２，４０２Ｂ，４０２Ｆ，４０２Ｌ，４０２Ｒ 物体検出部（検出部）
４０４，４０４Ｂ，４０４Ｆ，４０４Ｌ，４０４Ｒ 画像補正部
ＡＴ アタッチメント
ＨＡ 油圧アクチュエータ
ＨＭＴ ヘルメット
ＬＭ 学習済みモデル
ＮＷ 通信回線
ＲＶ 高視認性安全服
Ｓ１ ブーム角度センサ
Ｓ２ アーム角度センサ
Ｓ３ バケット角度センサ
Ｓ４ 機体姿勢センサ
Ｓ５ 旋回角度センサ
ＳＹＳ ショベル管理システム
Ｗ，Ｗ１～Ｗ３ 作業者

Claims (8)

1. 下部走行体と、
   前記下部走行体に旋回自在に搭載される上部旋回体と、
   前記上部旋回体に搭載され、前記上部旋回体の周辺を撮像する撮像装置と、
   前記撮像装置の撮像画像に基づく入力画像からショベルの周辺の所定の物体を検出する検出部と
   前記所定の物体の前記入力画像上での上下方向の検出位置に関する情報、及び前記所定の物体の前記入力画像上での検出範囲に関する情報に基づき、ショベルの周辺の前記所定の物体の位置を推定する推定部と、を備える、
   ショベル。
2. 前記所定の物体の前記入力画像上の上下方向の検出位置に関する情報は、前記所定の物体の前記入力画像上での検出範囲の上端、下端、及び図心の少なくとも１つを含む、前記所定の物体の前記入力画像上での検出範囲を代表する座標位置である、
   請求項１に記載のショベル。
3. 前記所定の物体の前記入力画像上での検出範囲に関する情報は、前記所定の物体の前記入力画像上での検出範囲の幅に関する情報、高さに関する情報、縦横比に関する情報、対角線の長さに関する情報、及び面積に関する情報の少なくとも１つを含む、
   請求項１又は２に記載のショベル。
4. 前記検出部は、前記所定の物体の向き及び前記所定の物体の姿勢の少なくとも一方を認識し、
   前記推定部は、前記所定の物体の向き及び前記所定の物体の姿勢を考慮して、ショベルの周辺の前記所定の物体の位置を推定する、
   請求項１乃至３の何れか一項に記載のショベル。
5. 前記推定部は、前記入力画像におけるレンズによる歪みを考慮して、ショベルの周辺の前記所定の物体の位置を推定する、
   請求項１乃至４の何れか一項に記載のショベル。
6. 前記検出部は、前記入力画像から前記所定の物体の全体のうちの所定の一部、或いは、所定の物体の装着物を検出することにより、前記所定の物体を検出し、
   前記推定部は、前記入力画像上の前記所定の物体の検出範囲内の前記所定の一部、又は前記装着物の位置に基づき、ショベルの周辺の前記所定の物体の位置を推定する、
   請求項１乃至５の何れか一項に記載のショベル。
7. 前記推定部は、前記所定の物体の前記入力画像上での検出範囲の大きさが、前記所定の物体の前記入力画像上での上下方向の検出位置に応じて規定される所定範囲内である場合、前記所定の物体の前記入力画像上での検出位置及び検出範囲の少なくとも一方に関する情報に基づき、ショベルの周辺の前記所定の物体の位置を推定し、前記所定の物体の前記入力画像上での検出範囲の大きさが前記所定範囲外である場合、前記所定の物体の前記入力画像上での検出範囲に関する情報に基づき、前記所定の物体の前記入力画像上の検出位置及び検出範囲の少なくとも一方を補正し、補正した前記所定の物体の前記入力画像上の検出位置及び検出範囲の少なくとも一方に基づき、ショベルの周辺の前記所定の物体の位置を推定する、
   請求項１乃至６の何れか一項に記載のショベル。
8. 前記検出部によりショベルの所定範囲内で前記所定の物体が検出された場合、ショベルの動作を減速または停止させる制御部を備える、
   請求項１乃至７の何れか一項に記載のショベル。

Images