JP2023093109A - 建設機械、及び情報処理装置 - Google Patents

Abstract

【課題】建設機械の周辺の撮像画像から検出対象の物体をより適切に検出する。【解決手段】本開示の一実施形態の建設機械は、所定の画角を有する広角レンズによって、建設機械の周辺を撮像する撮像装置と、所定の画角で撮像したため光軸から離れるに従ってひずみが生じている学習用画像であり且つ人が写っている位置にばらつきが生じている複数の学習用画像とともに、当該学習用画像の各々に写っている人の画像の位置を示した位置情報を読み込んで機械学習し、入力された画像に対して人が写っているか否かを判断結果として出力するよう機能させるための学習済みモデルを記憶する記憶装置と、学習済みモデルを用いて、撮像装置によって撮像された撮像画像に人が写っているか否かを判定し、判定結果を出力する制御装置と、を備える。【選択図】図１０

Description

本開示は、建設機械、及び情報処理装置に関する。

従来、建設機械（例えばショベル）に搭載される撮像装置の撮像画像から、建設機械の周辺の所定範囲内の所定の物体（例えば、人）を検出し、安全機能（例えば、警報の出力）を作動させる技術が知られている（例えば、特許文献１参照）。

特開２０１４－１８１５０８号公報

しかしながら、実在しない物体が検出され、誤って安全機能が作動したり、実在する物体が検出されずに、必要な安全機能が作動しなかったりする可能性がある。そのため、建設機械の周辺の物体検出の精度がより向上することが望ましい。

そこで、上記課題に鑑み、建設機械の周辺の物体検出の精度をより向上させることが可能な技術を提供することを目的とする。

上記目的を達成するため、本開示の一実施形態に係る建設機械は、所定の画角を有する広角レンズによって、建設機械の周辺を撮像する撮像装置と、所定の画角で撮像したため光軸から離れるに従ってひずみが生じている学習用画像であり且つ人が写っている位置にばらつきが生じている複数の学習用画像とともに、当該学習用画像の各々に写っている人の画像の位置を示した位置情報を読み込んで機械学習し、入力された画像に対して人が写っているか否かを判断結果として出力するよう機能させるための学習済みモデルを記憶する記憶装置と、学習済みモデルを用いて、撮像装置によって撮像された撮像画像に人が写っているか否かを判定し、判定結果を出力する制御装置と、を備える。

上述の実施形態によれば、建設機械の周辺の物体検出の精度をより向上させることが可能な技術を提供することを目的とする。

図１は、実施形態に係る建設機械管理システムの一例を示す図である。 図２は、実施形態に係るショベルの一例を示す側面図である。 図３は、実施形態に係るショベルの一例を示す上面図である。 図４は、実施形態に係るショベルのハードウェア構成の一例を示す図である。 図５は、実施形態に係る管理装置のハードウェア構成の一例を示す図である。 図６は、実施形態に係る管理装置における、学習済みモデルを生成するための機能構成の一例を示す機能ブロック図である。 図７は、実施形態に係る教師データセット生成部において生成された教師データの一例を示した図である。 図８は、実施形態に係る教師データセット生成部において生成された教師データの一例を示した図である。 図９は、実施形態に係る教師データセット生成部において生成された教師データの一例を示した図である。 図１０は、実施形態に係るショベルの機能構成の一例を示す機能ブロック図である。 図１１は、実施形態に係る物体検出部における、物体検出手法の一例を示した図である。 図１２は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。 図１３は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。 図１４は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。 図１５は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。 図１６は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。 図１７は、実施形態に係る物体検出部が撮像装置から取得した撮像画像の一例を示した図である。 図１８は、実施形態に係る建設機械管理システムにおける学習済みモデルの更新手法を示したシーケンス図である。 図１９は、実施形態に係る物体検出部による監視物体（人）の検出状態の一例を示した図である。 図２０は、実施形態に係る物体検出部による監視物体（人）の検出状態の一例を示した図である。 図２１は、ショベルの機能構成の他の例を示す機能ブロック図である。

以下、図面を参照して実施形態について説明する。

［建設機械管理システムの概要］
図１～図３を参照して、建設機械管理システムＳＹＳの概要について説明する。本実施形態では、建設機械管理システムＳＹＳの管理対象となる建設機械の一例として、ショベルを用いた例について説明するが、ショベル以外の建設機械（例えばクレーン等）について適用してもよい。

図１は、建設機械管理システムＳＹＳの一例を示す図である。図２、図３は、建設機械管理システムＳＹＳに含まれるショベル１００の具体例を示す図である。具体的には、図２、図３は、本実施形態に係るショベル１００の一例を示す側面図及び上面図である。以下、ショベル１００の対応する構成要素（例えば、同じ機能を有する構成要素）には同じ符号を付して説明を行う。

図１に示すように、建設機械管理システムＳＹＳは、ショベル１００と、管理装置２００を含む。

建設機械管理システムＳＹＳに含まれるショベル１００は、一台であってもよいし、複数台であってもよい。また、建設機械管理システムＳＹＳに含まれる管理装置２００は、一つであってもよいし、複数であってもよい。即ち、複数の管理装置２００は、建設機械管理システムＳＹＳに関する処理を分散して実施してよい。例えば、複数の管理装置２００は、それぞれ、建設機械管理システムＳＹＳに含まれる全てのショベル１００のうちの担当する一部のショベル１００との間で相互に通信を行い、一部のショベル１００を対象とする処理を実行してもよい。

また、ショベル１００は、管理装置２００と共に、建設機械管理システムＳＹＳに含まれ、所定の通信回線ＮＷを通じて、管理装置２００と相互に通信を行うことが可能であってもよい。これにより、ショベル１００は、各種情報を管理装置２００に送信（アップロード）したり、管理装置２００から各種の信号（例えば、情報信号や制御信号）等を受信したりすることができる。

通信回線ＮＷには、例えば、広域ネットワーク（ＷＡＮ：Wide Area Network）が含まれる。広域ネットワークには、例えば、基地局を末端とする移動体通信網が含まれてよい。また、広域ネットワークには、例えば、ショベル１００の上空の通信衛星を利用する衛星通信網が含まれてもよい。また、広域ネットワークには、例えば、インターネット網が含まれてもよい。また、通信回線ＮＷには、例えば、管理装置２００が設置される施設等のローカルネットワーク（ＬＡＮ：Local Area Network）が含まれてもよい。ローカルネットワークは、無線回線であってもよいし、有線回線であってもよいし、その両方を含む回線であってよい。また、通信回線ＮＷには、例えば、Wi-Fi（登録商標）やBluetooth（登録商標）等の所定の無線通信方式に基づく近距離通信回線が含まれてもよい。

＜ショベルの概要＞
図２、図３に示すように、ショベル１００は、下部走行体１と、旋回機構２を介して旋回自在に下部走行体１に搭載される上部旋回体３と、各種作業を行うためのアタッチメントＡＴと、キャビン１０とを備える。以下、ショベル１００（上部旋回体３）の前方は、ショベル１００を上部旋回体３の旋回軸に沿って真上から平面視（上面視）で見たときに、上部旋回体３に対するアタッチメントが延び出す方向に対応する。

下部走行体１は、例えば、左右一対のクローラ１Ｃを含む。下部走行体１は、それぞれのクローラ１Ｃが左側の走行油圧モータ１ＭＬ及び右側の走行油圧モータ１ＭＲで油圧駆動されることにより、ショベル１００を走行させる。

上部旋回体３は、旋回機構２が旋回油圧モータ２Ｍで油圧駆動されることにより、下部走行体１に対して旋回する。

アタッチメントＡＴは、被駆動要素としてのブーム４、アーム５、及びバケット６を含む。

ブーム４は、上部旋回体３の前部中央に俯仰可能に取り付けられ、ブーム４の先端には、アーム５が上下回動可能に取り付けられ、アーム５の先端には、バケット６が上下回動可能に取り付けられる。

バケット６は、エンドアタッチメントの一例である。バケット６は、例えば、掘削作業等に用いられる。

また、アーム５の先端には、作業内容等に応じて、バケット６の代わりに、他のエンドアタッチメントが取り付けられてもよい。他のエンドアタッチメントは、例えば、大型バケット、法面用バケット、浚渫用バケット等の他の種類のバケットであってよい。また、他のエンドアタッチメントは、攪拌機、ブレーカ、グラップル等のバケット以外の種類のエンドアタッチメントであってもよい。また、アーム５と、エンドアタッチメントとの間には、例えば、クイックカップリングやチルトローテータ等の予備アタッチメントが介装されてもよい。

また、バケット６には、クレーン作業用のフックが取り付けられてもよい。フックは、基端が、アーム５とバケット６との間を連結するバケットピンに回動可能に連結される。これにより、フックは、掘削作業等のクレーン作業（吊り作業）以外の作業が行われる場合、２本のバケットリンクの間に形成される空間に収納される。

ブーム４、アーム５、及びバケット６は、それぞれ、油圧アクチュエータとしてのブームシリンダ７、アームシリンダ８、及びバケットシリンダ９により油圧駆動される。

なお、ショベル１００は、各種の油圧アクチュエータの一部又は全部が電動アクチュエータに置換されてもよい。つまり、ショベル１００は、ハイブリッドショベルや電動ショベルであってもよい。

キャビン１０は、オペレータが搭乗する操縦室であり、例えば、上部旋回体３の前部左側に搭載される。

なお、オペレータがショベル１００に搭乗して操作を行わず、後述の如く、ショベル１００が、専ら、遠隔操作や完全自動運転機能で動作する場合、キャビン１０は省略されてよい。

ショベル１００は、キャビン１０に搭乗するオペレータの操作に応じて、アクチュエータ（例えば、油圧アクチュエータ）を動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動してよい。

また、ショベル１００は、所定の外部装置（例えば、管理装置２００）から遠隔操作（リモート操作）が可能に構成されてもよい。ショベル１００が遠隔操作される場合、キャビン１０の内部は、無人状態であってもよい。以下、オペレータの操作には、キャビン１０のオペレータによる操作装置２６に対する操作、及び外部のオペレータによる遠隔操作の双方が含まれる前提で説明を進める。

また、ショベル１００は、オペレータの操作の内容に依らず、自動でアクチュエータを動作させてもよい。これにより、ショベル１００は、下部走行体１、上部旋回体３、アタッチメントＡＴ等の被駆動要素の少なくとも一部を自動で動作させる機能、即ち、いわゆる「自動運転機能」又は「マシンコントロール（Machine Control：ＭＣ）機能」を実現することができる。

自動運転機能には、オペレータの操作に応じて、操作対象の被駆動要素（アクチュエータ）以外の被駆動要素（アクチュエータ）を自動で動作させる機能、即ち、いわゆる「半自動運機能」又は「操作支援型のＭＣ機能」が含まれてよい。また、自動運転機能には、オペレータの操作がない前提で、複数の被駆動要素（油圧アクチュエータ）の少なくとも一部を自動で動作させる機能、即ち、いわゆる「完全自動運転機能」又は「完全自動型のＭＣ機能」が含まれてもよい。ショベル１００において、完全自動運転機能が有効な場合、キャビン１０の内部は無人状態であってよい。また、半自動運転機能や完全自動運転機能等には、自動運転の対象の被駆動要素（アクチュエータ）の動作内容が予め規定されるルールに従って自動的に決定される態様が含まれてよい。また、半自動運転機能や完全自動運転機能等には、ショベル１００が自律的に各種の判断を行い、その判断結果に沿って、自律的に自動運転の対象の被駆動要素（油圧アクチュエータ）の動作内容が決定される、いわゆる「自律運転機能」が含まれてもよい。

＜管理装置の概要＞
管理装置２００（情報処理装置の一例）が、ショベル１００に関する管理やショベル１００に関する支援を行う。

管理装置２００は、例えば、ショベル１００が作業を行う作業現場の外部の管理センタ等に設置されるオンプレミスサーバやクラウドサーバであってよい。また、管理装置２００は、例えば、ショベル１００が作業を行う作業現場内、又は作業現場から相対的に近い場所に配置されるエッジサーバであってもよい。また、管理装置２００は、ショベル１００の作業現場内の管理事務所等に配置される定置型の端末装置、又は可搬型の端末装置（携帯端末）であってもよい。定置型の端末装置には、例えば、デスクトップ型のＰＣ（Personal Computer）が含まれてよい。また、携帯型の端末装置には、例えば、スマートフォン、タブレット端末、ラップトップ型のＰＣ等が含まれてよい。

例えば、管理装置２００は、ショベル１００からアップロードされる各種情報に基づき、ショベル１００の稼働状態や運用状況の管理（監視）を実施してもよい。また、管理装置２００は、ショベル１００の遠隔操作を支援してもよい。また、ショベル１００が完全自動運転によって作業を行う場合、例えば、管理装置２００が、ショベル１００の完全自動運転による作業の遠隔監視を支援してもよい。この場合、建設機械管理システムＳＹＳに係る管理装置２００は、完全自動運転機能に対する監視者の介入によるショベル１００の操作を支援してもよい。

具体的には、管理装置２００で行われるショベル１００のアクチュエータに関するユーザ（オペレータ）からの入力によって、ショベル１００が操作される。この場合、ショベル１００は、例えば、後述の撮像装置４０の撮像画像やその撮像画像に基づく加工画像（例えば、視点変換画像）等のショベル１００の周辺の様子を表す画像（以下、「周辺画像」）のデータを外部装置に送信する。そして、周辺画像は、管理装置２００に設けられる遠隔操作用の表示装置（以下、「遠隔操作用表示装置」）に表示される。また、ショベル１００のキャビン１０内の表示装置５０Ａ（図１０参照）に表示される各種の情報画像（情報画面）は、同様に、管理装置２００の遠隔操作用表示装置にも表示されてよい。これにより、オペレータは、例えば、遠隔操作用表示装置に表示されるショベル１００の周辺の様子を表す周辺画像や各種の情報画像等の表示内容を確認しながら、ショベル１００を遠隔操作することができる。そして、ショベル１００は、管理装置２００から受信される、遠隔操作の内容を表す遠隔操作信号に応じて、アクチュエータを動作させ、下部走行体１、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素を駆動することができる。

［ショベルのハードウェア構成］
次に、図４を参照して、ショベル１００のハードウェア構成について説明する。

図４は、ショベル１００のハードウェア構成の一例を示す図である。

なお、図４では、機械的動力が伝達される経路は二重線、油圧アクチュエータを駆動する作動油が流れる経路は実線、パイロット圧が伝達される経路は破線、電気信号が伝達される経路は点線でそれぞれ示される。

ショベル１００は、被駆動要素の油圧駆動に関する油圧駆動系、被駆動要素の操作に関する操作系、ユーザとの情報のやり取りに関するユーザインタフェース系、外部との通信に関する通信系、及び各種制御に関する制御系等のそれぞれの構成要素を含む。

＜油圧駆動系＞
図４に示されるように、本実施形態に係るショベル１００の油圧駆動系は、下部走行体１（左右のクローラ１Ｃ）、上部旋回体３、及びアタッチメントＡＴ等の被駆動要素のそれぞれを油圧駆動する油圧アクチュエータＨＡを含む。また、本実施形態に係るショベル１００の油圧駆動系は、エンジン１１と、レギュレータ１３と、メインポンプ１４と、コントロールバルブ１７とを含む。

図４に示されるように、油圧アクチュエータＨＡには、走行油圧モータ１ＭＬ，１ＭＲ、旋回油圧モータ２Ｍ、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９等が含まれる。

エンジン１１は、ショベル１００の原動機であり、油圧駆動系におけるメイン動力源である。エンジン１１は、例えば、軽油を燃料とするディーゼルエンジンである。エンジン１１は、例えば、上部旋回体３の後部に搭載される。エンジン１１は、後述するコントローラ３０による直接、又は間接的な制御下で、予め設定される目標回転数で一定回転し、メインポンプ１４及びパイロットポンプ１５を駆動する。

なお、本実施形態は、ショベル１００の原動機をエンジン１１に制限するものではなく、エンジン１１に代えて他の原動機（例えば、電動機）等がショベル１００に搭載されてもよいし、エンジン１１に加えて他の原動機（例えば、電動機）等がショベル１００に搭載されてもよい。

レギュレータ１３は、コントローラ３０の制御下で、メインポンプ１４の吐出量を制御（調節）する。例えば、レギュレータ１３は、コントローラ３０からの制御指令に応じて、メインポンプ１４の斜板の角度（以下、「傾転角」）を調節する。

メインポンプ１４は、高圧油圧ラインを通じてコントロールバルブ１７に作動油を供給する。メインポンプ１４は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。メインポンプ１４は、エンジン１１により駆動される。メインポンプ１４は、例えば、可変容量式油圧ポンプであり、コントローラ３０の制御下で、レギュレータ１３により斜板の傾転角が調節されることで、ピストンのストローク長が調整され、吐出流量（吐出圧）が制御される。

コントロールバルブ１７は、オペレータの操作装置２６に対する操作や遠隔操作の内容、又は、コントローラ３０から出力される自動運転機能に関する操作指令に応じて、油圧アクチュエータＨＡの制御を行う油圧制御装置である。自動運転機能に対応する操作指令は、コントローラ３０が生成してもよいし、自動運転機能に関する制御を行う他の制御装置（演算装置）が生成してもよい。コントロールバルブ１７は、例えば、上部旋回体３の中央部に搭載される。コントロールバルブ１７は、上述の如く、高圧油圧ラインを介してメインポンプ１４と接続され、メインポンプ１４から供給される作動油を、オペレータの操作、又は、自動運転機能に対応する操作指令に応じて、それぞれの油圧アクチュエータに選択的に供給する。具体的には、コントロールバルブ１７は、メインポンプ１４から油圧アクチュエータＨＡのそれぞれに供給される作動油の流量と流れる方向を制御する複数の制御弁（「方向切換弁」とも称する）を含む。

＜操作系＞
図４に示すように、本実施形態に係るショベル１００の操作系は、パイロットポンプ１５と、操作装置２６と、油圧制御弁３１と、シャトル弁３２と、油圧制御弁３３とを含む。

パイロットポンプ１５は、パイロットライン２５を介して各種油圧機器にパイロット圧を供給する。パイロットポンプ１５は、例えば、エンジン１１と同様、上部旋回体３の後部に搭載される。パイロットポンプ１５は、例えば、固定容量式油圧ポンプであり、上述の如く、エンジン１１により駆動される。

なお、パイロットポンプ１５は、省略されてもよい。この場合、メインポンプ１４から吐出される相対的に高い圧力の作動油が所定の減圧弁により減圧された後の相対的に低い圧力の作動油がパイロット圧として各種油圧機器に供給される。

操作装置２６は、キャビン１０の操縦席付近に設けられ、オペレータが各種被駆動要素の操作を行うために用いられる。換言すれば、操作装置２６は、オペレータがそれぞれの被駆動要素を駆動する油圧アクチュエータＨＡの操作を行うために用いられる。操作装置２６は、それぞれの被駆動要素（油圧アクチュエータＨＡ）を操作するためのペダル装置やレバー装置を含む。

例えば、図４に示すように、操作装置２６は、油圧パイロット式である。具体的には、操作装置２６は、パイロットライン２５及びそこから分岐されるパイロットライン２５Ａを通じてパイロットポンプ１５から供給される作動油を利用し、操作内容に応じたパイロット圧を二次側のパイロットライン２７Ａに出力する。パイロットライン２７Ａは、シャトル弁３２の一方の入口ポートに接続され、シャトル弁３２の出口ポートに接続されるパイロットライン２７を介して、コントロールバルブ１７に接続される。これにより、コントロールバルブ１７には、シャトル弁３２を介して、操作装置２６における各種被駆動要素（油圧アクチュエータ）に関する操作内容に応じたパイロット圧が入力されうる。そのため、コントロールバルブ１７は、オペレータ等による操作装置２６に対する操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。

なお、操作装置２６は、電気式であってもよい。この場合、パイロットライン２７Ａ、シャトル弁３２、及び油圧制御弁３３は省略される。具体的には、操作装置２６は、操作内容に応じた電気信号（以下、「操作信号」）を出力し、操作信号は、コントローラ３０に取り込まれる。そして、コントローラ３０は、操作信号の内容に応じた制御指令、つまり、操作装置２６に対する操作内容に応じた制御信号を油圧制御弁３１に出力する。これにより、油圧制御弁３１からコントロールバルブ１７に操作装置２６の操作内容に応じたパイロット圧が入力され、コントロールバルブ１７は、操作装置２６の操作内容に応じて、それぞれの油圧アクチュエータＨＡを駆動することができる。また、コントロールバルブ１７に内蔵される、それぞれの油圧アクチュエータを駆動する制御弁（方向切換弁）は、電磁ソレノイド式であってもよい。この場合、操作装置２６から出力される操作信号がコントロールバルブ１７に、即ち、電磁ソレノイド式の制御弁に直接入力されてもよい。また、ショベル１００が遠隔操作される場合や自動運転機能により動作する場合、操作装置２６は省略されてもよい。

油圧制御弁３１は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。油圧制御弁３１は、例えば、パイロットポンプ１５とコントロールバルブ１７との間のパイロットライン２５Ｂに設けられ、その流路面積（即ち、作動油が通流可能な断面積）を変更可能に構成されてよい。これにより、油圧制御弁３１は、パイロットライン２５Ｂを通じて供給されるパイロットポンプ１５の作動油を利用して、所定のパイロット圧を二次側のパイロットライン２７Ｂに出力することができる。そのため、図４に示すように、油圧制御弁３１は、パイロットライン２７Ｂとパイロットライン２７の間のシャトル弁３２を通じて、間接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。また、図４に示すように、油圧制御弁３１は、パイロットライン２７Ｂ及びパイロットライン２７を通じて、直接的に、コントローラ３０からの制御信号に応じた所定のパイロット圧をコントロールバルブ１７に作用させることができる。そのため、コントローラ３０は、油圧制御弁３１から電気式の操作装置２６の操作内容に応じたパイロット圧をコントロールバルブ１７に供給させ、オペレータの操作に基づくショベル１００の動作を実現することができる。

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、自動運転機能を実現してもよい。具体的には、コントローラ３０は、操作装置２６の操作の有無に依らず、自動運転機能に関する操作指令に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から自動運転機能に関する操作指令に対応するパイロット圧をコントロールバルブ１７に供給させ、自動運転機能に基づくショベル１００の動作を実現することができる。

また、コントローラ３０は、例えば、油圧制御弁３１を制御し、ショベル１００の遠隔操作を実現してもよい。具体的には、コントローラ３０は、通信装置６０によって、管理装置２００から受信される遠隔操作信号で指定される遠隔操作の内容に対応する制御信号を油圧制御弁３１に出力する。これにより、コントローラ３０は、油圧制御弁３１から遠隔操作の内容に対応するパイロット圧をコントロールバルブ１７に供給させ、オペレータの遠隔操作に基づくショベル１００の動作を実現することができる。

シャトル弁３２は、２つの入口ポートと１つの出口ポートを有し、２つの入口ポートに入力されたパイロット圧のうちの高い方のパイロット圧を有する作動油を出口ポートに出力させる。シャトル弁３２は、操作装置２６の操作対象の被駆動要素（油圧アクチュエータＨＡ）ごとに設けられる。また、シャトル弁３２は、被駆動要素の移動方向（例えば、ブーム４の上げ方向及び下げ方向）ごとに設けられる。シャトル弁３２の２つの入口ポートのうちの一方が操作装置２６（具体的には、操作装置２６に含まれる上述のレバー装置やペダル装置）の二次側のパイロットライン２７Ａに接続され、他方が油圧制御弁３１の二次側のパイロットライン２７Ｂに接続される。シャトル弁３２の出口ポートは、パイロットライン２７を通じて、コントロールバルブ１７の対応する制御弁のパイロットポートに接続される。対応する制御弁とは、シャトル弁３２の一方の入口ポートに接続される上述のレバー装置又はペダル装置の操作対象である油圧アクチュエータを駆動する制御弁である。そのため、これらのシャトル弁３２は、それぞれ、操作装置２６の二次側のパイロットライン２７Ａのパイロット圧と油圧制御弁３１の二次側のパイロットライン２７Ｂのパイロット圧のうちの高い方を、対応する制御弁のパイロットポートに作用させることができる。つまり、コントローラ３０は、操作装置２６の二次側のパイロット圧よりも高いパイロット圧を油圧制御弁３１から出力させることで、オペレータの操作装置２６に対する操作に依らず、対応する制御弁を制御することができる。よって、コントローラ３０は、オペレータの操作装置２６に対する操作状態に依らず、被駆動要素（下部走行体１、上部旋回体３、アタッチメントＡＴ）の動作を制御し、自動運転機能を実現することができる。

油圧制御弁３３は、操作装置２６とシャトル弁３２とを接続するパイロットライン２７Ａに設けられる。油圧制御弁３３は、例えば、その流路面積を変更可能なように構成される。油圧制御弁３３は、コントローラ３０から入力される制御信号に応じて動作する。これにより、コントローラ３０は、オペレータにより操作装置２６が操作されている場合に、操作装置２６から出力されるパイロット圧を強制的に減圧させることができる。そのため、コントローラ３０は、操作装置２６が操作されている場合であっても、操作装置２６の操作に対応する油圧アクチュエータの動作を強制的に抑制させたり停止させたりすることができる。また、コントローラ３０は、例えば、操作装置２６が操作されている場合であっても、操作装置２６から出力されるパイロット圧を減圧させ、油圧制御弁３１から出力されるパイロット圧よりも低くすることができる。そのため、コントローラ３０は、油圧制御弁３１及び油圧制御弁３３を制御することで、例えば、操作装置２６の操作内容とは無関係に、所望のパイロット圧をコントロールバルブ１７内の制御弁のパイロットポートに確実に作用させることができる。よって、コントローラ３０は、例えば、油圧制御弁３１に加えて、油圧制御弁３３を制御することで、ショベル１００の自動運転機能や遠隔操作機能をより適切に実現することができる。

＜ユーザインタフェース系＞
図４に示すように、本実施形態に係るショベル１００のユーザインタフェース系は、操作装置２６と、出力装置５０と、入力装置５２とを含む。

出力装置５０は、ショベル１００のユーザ（例えば、キャビン１０のオペレータやショベル１００の周辺の作業車等）に向けて各種情報を出力する。

例えば、出力装置５０は、視覚的な方法で各種情報を出力する照明機器や表示装置５０Ａ（図１０参照）等を含む。照明機器は、例えば、警告灯等である。表示装置５０Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。照明機器や表示装置５０Ａは、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等に視覚的な方法で各種情報を出力してよい。また、照明機器や表示装置５０Ａは、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周囲の作業者等に視覚的な方法で各種情報を出力してもよい。

また、例えば、出力装置５０は、聴覚的な方法で各種情報を出力する音出力装置５０Ｂ（図１０参照）を含む。音出力装置５０Ｂには、例えば、ブザーやスピーカ等が含まれる。音出力装置５０Ｂは、例えば、キャビン１０の内部及び外部の少なくとも一方に設けられ、キャビン１０の内部のオペレータやショベル１００の周囲の人（作業者等）に聴覚的な方法で各種情報を出力してよい。

また、例えば、出力装置５０は、操縦席の振動等の触覚的な方法で各種情報を出力する装置を含んでもよい。

入力装置５２は、ショベル１００のユーザからの各種入力を受け付け、受け付けられる入力に対応する信号を、コントローラ３０に出力する。入力装置５２は、例えば、キャビン１０の内部に設けられ、キャビン１０の内部のオペレータ等からの入力を受け付ける。また、入力装置５２は、例えば、上部旋回体３の側面等に設けられ、ショベル１００の周辺の作業者等からの入力を受け付けてもよい。

例えば、入力装置５２は、操作入力を受け付ける操作入力装置を含む。操作入力装置には、表示装置に実装されるタッチパネル、表示装置の周囲に設置されるタッチパッド、ボタンスイッチ、レバー、トグル、操作装置２６（レバー装置）に設けられるノブスイッチ等が含まれてよい。

また、例えば、入力装置５２は、ユーザの音声入力を受け付ける音声入力装置を含んでもよい。音声入力装置には、例えば、マイクロフォンが含まれる。

また、例えば、入力装置５２は、ユーザのジェスチャ入力を受け付けるジェスチャ入力装置を含んでもよい。ジェスチャ入力装置には、例えば、ユーザが行うジェスチャの様子を撮像する撮像装置が含まれる。

また、例えば、入力装置５２は、ユーザの生体入力を受け付ける生体入力装置を含んでもよい。生体入力には、例えば、ユーザの指紋、虹彩等の生体情報の入力が含まれる。

＜通信系＞
図４に示すように、本実施形態に係るショベル１００の通信系は、通信装置６０を含む。

通信装置６０は、通信回線ＮＷに接続し、ショベル１００と別に設けられる装置（例えば、管理装置２００）と通信を行う。ショベル１００と別に設けられる装置には、ショベル１００の外部にある装置の他、ショベル１００のユーザによりキャビン１０に持ち込まれる携帯型の端末装置が含まれてもよい。通信装置６０は、例えば、４Ｇ（4th Generation）や５Ｇ（5th Generation）等の規格に準拠する移動体通信モジュールを含んでよい。また、通信装置６０は、例えば、衛星通信モジュールを含んでもよい。また、通信装置６０は、例えば、Wi-Fi(登録商標)通信モジュールやBluetooth（登録商標）通信モジュール等を含んでもよい。

＜制御系＞
図４に示すように、本実施形態に係るショベル１００の制御系は、コントローラ３０を含む。また、本実施形態に係るショベル１００の制御系は、操作圧センサ２９と、撮像装置４０と、照射装置７０と、ブーム角度センサＳ１と、アーム角度センサＳ２と、バケット角度センサＳ３と、機体姿勢センサＳ４と、旋回角度センサＳ５とを含む。

コントローラ３０は、ショベル１００に関する各種制御を行う。コントローラ３０の機能は、任意のハードウェア、又は、任意のハードウェア及びソフトウェアの組み合わせ等により実現されてよい。例えば、図４に示すように、コントローラ３０は、バスＢ１で接続される、補助記憶装置３０Ａ、メモリ装置３０Ｂ、ＣＰＵ（Central Processing Unit）３０Ｃ、及びインタフェース装置３０Ｄを含む。

補助記憶装置３０Ａは、不揮発性の記憶手段であり、インストールされるプログラムを格納すると共に、必要なファイルやデータ等を格納する。補助記憶装置３０Ａは、例えば、フラッシュメモリ等である。

メモリ装置３０Ｂは、例えば、プログラムの起動指示があった場合に、補助記憶装置３０ＡのプログラムをＣＰＵ３０Ｃが読み込み可能なようにロードする。メモリ装置３０Ｂは、例えば、ＳＲＡＭ（Static Random Access Memory）である。

ＣＰＵ３０Ｃは、例えば、メモリ装置３０Ｂにロードされるプログラムを実行し、プログラムの命令に従って、コントローラ３０の各種機能を実現する。

インタフェース装置３０Ｄは、例えば、ショベル１００の内部の通信回線に接続するためのインタフェースとして用いられる。インタフェース装置３０Ｄは、接続する通信回線の種類に合わせて、複数の異なる種類のインタフェース装置を含んでよい。

コントローラ３０の各種機能を実現するプログラムは、例えば、可搬型の記録媒体によって提供される。この場合、インタフェース装置３０Ｄは、記録媒体からのデータの読み取りや記録媒体へのデータの書き込みのためのインタフェースとして機能する。記録媒体は、例えば、キャビン１０の内部に設置されるコネクタに着脱可能なケーブルで接続される専用ツールである。また、記録媒体は、例えば、ＳＤメモリカードやＵＳＢ（Universal Serial Bus）メモリ等での汎用の記録媒体であってもよい。また、プログラムは、所定の通信回線を通じて、ショベル１００の外部の他のコンピュータ（例えば、管理装置２００）からダウンロードされ、補助記憶装置３０Ａにインストールされてもよい。

なお、コントローラ３０の機能の一部は、他のコントローラ（制御装置）により実現されてもよい。即ち、コントローラ３０の機能は、複数のコントローラにより分散して実現される態様であってもよい。

操作圧センサ２９は、油圧パイロット式の操作装置２６の二次側（パイロットライン２７Ａ）のパイロット圧、即ち、操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータ）の操作状態に対応するパイロット圧を検出する。操作圧センサ２９による操作装置２６におけるそれぞれの被駆動要素（油圧アクチュエータＨＡ）に関する操作状態に対応するパイロット圧の検出信号は、コントローラ３０に取り込まれる。

なお、操作装置２６が電気式である場合、操作圧センサ２９は省略される。コントローラ３０は、操作装置２６から取り込まれる操作信号に基づき、操作装置２６を通じたそれぞれの被駆動要素の操作状態を把握することができるからである。

撮像装置４０は、ショベル１００の周辺を撮像し、画像を取得する。撮像装置４０は、撮像結果である撮像画像データを、コントローラ３０に出力する。

撮像装置４０は、例えば、単眼カメラ、ステレオカメラ、デプスカメラ等である。また、撮像装置４０は、撮像画像データに基づき、所定の撮像範囲（画角）内におけるショベル１００の周辺の物体の位置及び外形を表す三次元データ（例えば、点群データやサーフェスデータ）を取得してもよい。

例えば、図２、図３に示すように、撮像装置４０は、上部旋回体３の前方を撮像するカメラ４０Ｆ、上部旋回体３の後方を撮像するカメラ４０Ｂ、上部旋回体３の左方を撮像するカメラ４０Ｌ、及び上部旋回体３の右方を撮像するカメラ４０Ｒを含む。これにより、オペレータは、表示装置５０Ａや遠隔操作用表示装置を通じて、カメラ４０Ｂ，４０Ｌ，４０Ｒの撮像画像データや、当該撮像画像データに基づき生成される加工画像データ等の周辺画像データを視認し、上部旋回体３の左方、右方、及び後方の様子を確認することができる。また、オペレータは、遠隔操作用表示装置を通じて、カメラ４０Ｆの撮像画像や当該撮像画像に基づき生成される加工画像等の周辺画像を視認することで、バケット６を含むアタッチメントＡＴの動作を確認しながら、ショベル１００を遠隔操作することができる。以下、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒを包括的に、又は、個別に、「カメラ４０Ｘ」と称する場合がある。

撮像装置４０（カメラ４０Ｘ）は、それぞれ、撮像素子４１と、画像処理エンジン４２とを含む。カメラ４０Ｘは、撮像素子４１の出力（電気信号）に基づき、画像処理エンジン４２によって撮像画像を生成し、生成した画像（撮像画像）を出力する。画像処理エンジン４２は、例えば、ＣＰＵ、メモリ装置、及び補助記憶装置等を含む画像処理専用のコンピュータであり、補助記憶装置にインストールされるプログラムをＣＰＵ上で実行することにより各種の画像処理を実現する。以下、画像処理エンジン４２の撮像画像を生成する機能を撮像画像生成機能と称し、撮像装置４０の撮像画像は、撮像画像生成機能で生成された画像を意味する。

なお、図３の二点鎖線は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒの上面視の画角（撮像範囲）を表している。

図３に示されるように、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、略１８０度の画角（所定の画角の一例）を有する魚眼レンズ（第１広角レンズの一例）を備え、ショベル１００（建設機械の一例）の周辺を撮像する。このようなカメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、撮影対象となる領域が広い一方で、撮像対象となる領域のうち、魚眼レンズの光軸中心から離れるに従って、魚眼レンズによるひずみが生じる。なお、本実施形態は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒに設けられる広角レンズの画角を制限するものではなく、ショベル１００周辺の広域を撮像可能な程度の画角であればよく、例えば１２０度～２７０度の間の画角を有していてもよい。

また、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒは、上部旋回体３の上面に取り付けられている。カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒの取り付け角度は、予め設定されており、例えば、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒの各々の光軸が水平方向より下方を向くように取り付けられている。

また、例えば、図４に示すように、照射装置７０は、コントローラ３０の制御下で、撮像装置４０の撮像範囲に所定の光を照射する。所定の光は、例えば、可視光である。また、所定の光は、例えば、赤外光であってもよい。撮像装置４０の撮像範囲全体を照射可能であれば、照射装置７０は、一つであってもよいし、複数であってもよい。例えば、照射装置７０は、カメラ４０Ｘごとにもうけられ、カメラ４０Ｘと近接するように上部旋回体３に設置される。

なお、照射装置７０は、省略されてもよい。

ブーム角度センサＳ１は、所定基準（例えば、水平面やブーム４の可動角度範囲の両端の何れかの状態等）に対するブーム４の姿勢角度（以下、「ブーム角度」）に関する検出情報を取得する。ブーム角度センサＳ１は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ（Inertial Measurement Unit）等を含んでよい。また、ブーム角度センサＳ１は、ブームシリンダ７の伸縮位置を検出可能なシリンダセンサを含んでもよい。

アーム角度センサＳ２は、所定基準（例えば、ブーム４の両端の連結点間を結ぶ直線やアーム５の可動角度範囲の両端の何れかの状態等）に対するアーム５の姿勢角度（以下、「アーム角度」）に関する検出情報を取得する。アーム角度センサＳ２は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、アーム角度センサＳ２は、アームシリンダ８の伸縮位置を検出可能なシリンダセンサを含んでもよい。

バケット角度センサＳ３は、所定基準（例えば、アーム５の両端の連結点間を結ぶ直線やバケット６の可動角度範囲の両端の何れかの状態等）に対するバケット６の姿勢角度（以下、「バケット角度」）に関する検出情報を取得する。バケット角度センサＳ３は、例えば、ロータリエンコーダ、加速度センサ、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。また、バケット角度センサＳ３は、バケットシリンダ９の伸縮位置を検出可能なシリンダセンサを含んでもよい。

機体姿勢センサＳ４は、下部走行体１及び上部旋回体３を含むショベル１００の機体の姿勢状態に関する検出情報を取得する。機体姿勢センサＳ４は、例えば、上部旋回体３に搭載され、上部旋回体３の水平面に対する傾斜角度や旋回軸回りの姿勢角度（即ち、地面を基準とする上部旋回体３の向き）に関する検出情報を取得する。機体姿勢センサＳ４は、例えば、加速度センサ（傾斜センサ）、角速度センサ、六軸センサ、ＩＭＵ等を含んでよい。

旋回角度センサＳ５は、下部走行体１を基準とする上部旋回体３の旋回角度（即ち、上部旋回体３の向き）に関する検出情報を取得する。旋回角度センサＳ５は、例えば、ポテンショメータ、ロータリエンコーダ、レゾルバ等を含む。

また、例えば、ショベル１００は、自機の絶対位置を測位可能な測位装置を含んでもよい。測位装置は、例えば、ＧＮＳＳ（Global Navigation Satellite System）センサである。これにより、ショベル１００の姿勢状態の推定精度を向上させることができる。

また、例えば、ショベル１００は、撮像装置４０に加えて、ショベル１００の周辺の物体との距離を検出する距離センサを含んでもよい。距離センサは、例えば、ＬＩＤＡＲ（Light Detecting and Ranging）、ミリ波レーダ、超音波センサ、赤外線センサ、距離画像センサ等を含む。これにより、コントローラ３０は、例えば、撮像装置４０の出力に加えて、距離センサの出力を用いて、ショベル１００の周辺の物体を検出することができる。

なお、ブーム角度センサＳ１、アーム角度センサＳ２、バケット角度センサＳ３、機体姿勢センサＳ４、及び旋回角度センサＳ５の一部又は全部は、省略されてもよい。例えば、遠隔操作機能や自動運転機能が採用されない場合、ショベル１００のアタッチメントＡＴや機体（上部旋回体３）の姿勢状態を推定する必要がない場合もあるからである。また、例えば、撮像装置４０や後述の距離センサ等により取得されるショベル１００の周辺の情報からショベル１００の姿勢状態を推定することが可能な場合もあるからである。具体的には、撮像装置４０や後述の距離センサ等により取得されるショベル１００の周辺の情報には、機体（上部旋回体３）から見た周囲の物体やアタッチメントの位置や形状等に関する情報が含まれる場合がある。この場合、コントローラ３０は、要求される精度によっては、その情報からアタッチメントＡＴや機体（上部旋回体３）の姿勢状態を推定することができる。

ショベル１００は、既知の各種画像処理手法や人工知能（ＡＩ：Artificial Intelligence）等を含む機械学習ベースで生成された学習済みモデルＬＭ（図１０参照）を用いることにより、撮像装置４０によって撮影された撮像画像内の物体を認識する。次に、学習済みモデルＬＭを生成する管理装置２００について説明する。

［管理装置のハードウェア構成］
次に、図５を参照して、管理装置２００のハードウェア構成について説明する。

図５は、本実施形態に係る管理装置２００のハードウェア構成の一例を示す図である。

管理装置２００の機能は、任意のハードウェア又は任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、図５に示すように、管理装置２００は、バスＢ２で接続される、外部インタフェース２０１、補助記憶装置２０２、メモリ装置２０３、ＣＰＵ２０４、通信インタフェース２０６、入力装置２０７、及び表示装置２０８を含む。

外部インタフェース２０１は、記録媒体２０１Ａからデータの読み取りや記録媒体２０１Ａへのデータの書き込みのためのインタフェースとして機能する。記録媒体２０１Ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、ＳＤメモリカード、ＵＳＢメモリ等が含まれる。これにより、管理装置２００は、記録媒体２０１Ａを通じて、処理で利用する各種データを読み込み、補助記憶装置２０２に格納したり、各種機能を実現するプログラムをインストールしたりすることができる。

なお、管理装置２００は、通信インタフェース２０６を通じて、外部装置から各種データやプログラムを取得してもよい。

補助記憶装置２０２は、インストールされた各種プログラムを格納すると共に、各種処理に必要なファイルやデータ等を格納する。補助記憶装置２０２は、例えば、ＨＤＤ（Hard Disc Drive）やＳＳＤ（Solid State Drive）やフラッシュメモリ等を含む。

メモリ装置２０３は、プログラムの起動指示があった場合に、補助記憶装置２０２からプログラムを読み出して格納する。メモリ装置２０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）を含む。

ＣＰＵ２０４は、補助記憶装置２０２からメモリ装置２０３にロードされた各種プログラムを実行し、プログラムに従って管理装置２００に関する各種機能を実現する。

高速演算装置２０５は、ＣＰＵ２０４と連動し、相対的に高い速度で演算処理を行う。高速演算装置２０５は、例えば、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を含む。

なお、高速演算装置２０５は、必要な演算処理の速度に応じて、省略されてもよい。

通信インタフェース２０６は、外部機器と通信可能に接続するためのインタフェースとして用いられる。これにより、管理装置２００は、通信インタフェース２０６を通じて、例えば、ショベル１００等の外部機器と通信することができる。また、通信インタフェース２０６は、接続される機器との間の通信方式等によって、複数の種類の通信インタフェースを有してもよい。

入力装置２０７は、ユーザから各種入力を受け付ける。例えば、入力装置２０７には、オペレータが遠隔操作を行うための入力装置（遠隔操作用操作装置）が含まれる。

入力装置２０７は、例えば、ユーザからの機械的な操作入力を受け付ける操作入力装置を含む。操作入力装置は、例えば、ボタン、トグル、レバー等を含む。また、操作入力装置は、例えば、表示装置２０８に実装されるタッチパネル、表示装置２０８とは別に設けられるタッチパッド等を含む。

また、入力装置２０７は、例えば、ユーザからの音声入力を受付可能な音声入力装置を含む。音声入力装置は、例えば、ユーザの音声を集音可能なマイクロフォンを含む。

また、入力装置２０７は、例えば、ユーザからのジェスチャ入力を受付可能なジェスチャ入力装置を含む。ジェスチャ入力装置は、例えば、ユーザのジェスチャの様子を撮像可能なカメラを含む。

また、入力装置２０７は、例えば、ユーザからの生体入力を受付可能な生体入力装置を含む。生体入力装置は、例えば、ユーザの指紋や虹彩に関する情報を内包する画像データを取得可能なカメラを含む。

表示装置２０８は、ユーザに向けて、情報画面や操作画面を表示する。例えば、表示装置２０８には、上述の遠隔操作用表示装置が含まれる。表示装置２０８は、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイ等である。

［管理装置の機能構成の一例］
次に、図６を参照して、管理装置２００による、学習済みモデルを生成するための機能構成の一例について説明する。

図６は、本実施形態に係る管理装置２００における機能構成の一例を示す機能ブロック図である。管理装置２００のＣＰＵ２０４は、補助記憶装置２０２に格納されているプログラムを実行する。これにより、ＣＰＵ２０４は、機能部として、画像データ取得部２１１と、教師データセット生成部２１２と、学習部２１３と、出力部２１４とを含む。画像データ取得部２１１、教師データセット生成部２１２、学習部２１３、及び出力部２１４等の機能は、例えば、補助記憶装置２０２にインストールされるプログラムをメモリ装置２０３にロードし、ＣＰＵ２０４上で実行することにより実現される。

画像データ取得部２１１は、学習に用いる画像データ（以下、学習用画像データと称する）を複数取得する。取得する学習用画像データの数は、特に制限するものではなく、学習済みモデルを生成可能な数であればよい。

教師データセット生成部２１２は、画像データ取得部２１１が取得した学習用画像データから、教師データを生成する。本実施形態に係る教師データセット生成部２１２は、学習用画像データを、表示装置２０８に表示させる。オペレータは、学習用画像データにおける、人が写っている領域（位置、及び大きさ）を特定すると共に、当該領域に写っている人の画像に対応するクラスを設定する。そして、教師データセット生成部２１２は、学習用画像データに対して、当該人が写っている領域（位置、及び大きさ）を示したアノテーションと、当該クラスと、を対応付けて、教師データを生成する。さらに、教師データセット生成部２１２は、複数の教師データで構成される教師データセットを生成する。

なお、クラスは、人の画像の形状を分類している。人の画像は、カメラ４０Ｘの魚眼レンズ（広角レンズの一例）の略１８０度の画角で撮像されるために、写っている人の画像の位置によってはひずんでいる場合がある。なお、具体的なクラスについては後述する。

学習部２１３は、教師データセット生成部２１２から出力された教師データセットに基づいた機械学習を行うことで、学習済みモデルＬＭを生成する。教師データセットは、複数の教師データで構成されている。つまり、学習部２１３は、複数の教師データの各々に含まれる、撮像画像データ、検出枠（位置情報の一例）、及びクラス（分類情報）を読み込んで機械学習を行い、学習済みモデルＬＭを生成する。生成された学習済みモデルＬＭは、撮像画像データを入力することで、人の画像を囲む検出枠と、当該人の画像に対応するクラスと、を出力できる。

学習済みモデルＬＭは、ベースの学習モデルに対して、教師あり学習が適用されることにより生成される。具体的には、学習部２１３は、入力としての画像データ画像と、出力としての正解（当該画像データに写っている人の画像の位置、人の画像の大きさ、及びクラス）との組み合わせによる教師データの集まり（教師データセット）に基づいて、機械学習を行うことで、学習済みモデルＬＭを生成する。

また、学習済みモデルＬＭは、既存の学習済みモデルＬＭに新たな教師データセットを追加学習させることにより、更新されてもよい。

学習済みモデルＬＭの生成に用いる機械学習としては、例えば、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）用いた機械学習であって、深層学習（ディープラーニング）を適用する。

出力部２１４は、学習部２１３により生成された学習済みモデルＬＭを、ショベル１００のコントローラ３０に出力する。学習済みモデルＬＭを、ショベル１００に出力する手法はどのような手法でもよく、所定の通信回線ＮＷを通じて、ショベル１００のコントローラ３０に送信してもよい。さらには、出力部２１４は、所定の記録媒体に、学習済みモデルＬＭを書き込んでもよい。これにより、作業者は、所定の記憶媒体を用いて、ショベル１００のコントローラ３０に学習済みモデルＬＭを登録できる。コントローラ３０への学習済みモデルＬＭの登録は、ショベル１００の出荷前に研究施設や工場で行うことが考えられるが、ショベル１００の出荷後に、学習済みモデルＬＭを更新する場合に行ってもよい。

管理装置２００は、上述した構成を備えることで、学習済みモデルＬＭを生成し、ショベル１００に当該学習済みモデルＬＭを登録できる。したがって、ショベル１００は、当該学習済みモデルＬＭを用いて、ショベル１００周辺に存在する人（監視対象となる物体の一例）を検出できる。上述したように、魚眼レンズのために撮像画像でひずみを生じさせている撮像装置において、人が写っている位置にばらつきが生じている複数の教師データに基づいて機械学習した学習済みモデルＬＭを用いることができるので、魚眼レンズを用いた撮像装置４０で撮像した撮像画像であっても、建設機械管理システムＳＹＳは、監視物体をより精度良く検出することができる。

［学習用画像データを撮像する撮像装置の説明］
学習用の撮像装置としては、ショベル１００に搭載している撮像装置４０を適用するのが好ましい。しかしながら、本実施形態は、学習用の撮像装置を、撮像装置４０に制限するものではない。さらに、学習用の撮像装置は、ショベル１００等の建設機械に取り付ける態様に制限するものではない。例えば、学習用の撮像装置は、鉄塔や壁などの物体に取り付けられてもよい。この場合、学習用の撮像装置は、撮像装置４０と同様の撮影を行うために、撮像装置４０が設けられたショベル１００が接地した地面を基準として、撮像装置４０と略同一の高さ及び略同一の取り付け角度になるように、物体に設けられる。

また、学習用の撮像装置は、ショベル１００に設けられた撮像装置４０の魚眼レンズと略同一の画角を有する魚眼レンズを備えている。例えば、学習用の撮像装置は、略１８０度の画角（所定の画角の一例）を有している。これにより、撮像装置４０で生じるひずみを考慮した機械学習が可能になる。

［学習用画像データの概要］
次に、画像データ取得部２１１が取得する学習用画像データについて説明する。学習用画像データは、ショベル１００に備えられた撮像装置４０で撮影された撮像画像データを解析するための学習データである。

学習用画像データは、上述した撮像装置４０で撮像したため、光軸中心から離れるに従ってひずみが大きくなる。このため、写っている人の画像も同様に、写っている位置に応じて、当該人の画像の形状にひずみが生じている。例えば、学習用画像データにおいて右端近傍に写っている人の画像は、右側に傾きが生じたり、右側に湾曲が生じたりする。

このため、例えば、人が正面に写っている撮像画像のみを、学習用画像データとして用いた場合、人が右端の方又は左端の方に写っている場合に、人として適切に検出できない可能性がある。

そこで、本実施形態に係る学習用画像データとして、魚眼レンズによるひずみを機械学習できるように、人の画像が写っている位置にばらつきがある複数の撮像画像データを用意する。これにより、撮像装置４０の画角が大きいことによって生じるひずみを機械学習できる。

［教師データの具体的な説明］
教師データには、学習用画像データと共に、学習用画像データに写っている人の画像の位置及び大きさを示した矩形形状の枠（以下、検出枠と称する）、及び人の画像の形状に応じたクラスが設定されている。例えば、オペレータが、管理装置２００の入力装置２０７を介して、学習用画像データに対して、矩形形状の検出枠及びクラスを設定する。

クラスは、カメラ４０Ｘの魚眼レンズの画角が大きいことによってひずんだ人の画像の形状の分類であって、例えば、"正面の人"、"右側の人"、"左側の人"などが考えられる。

図７は、本実施形態に係る教師データセット生成部２１２において生成された教師データの一例を示した図である。図７に示される例では、学習用画像データ７０１に対して、人が写っている領域７０２で示される検出枠の設定を受け付けている。本実施形態では、人が写っている領域７０２を示す枠が矩形形状の例について説明するが、どのような形状であってもよい。また、検出枠の位置を特定するための位置情報は、検出枠内のどの座標であってもよく、例えば、検出枠の四隅のうちいずれか一つ以上の位置座標であってもよいし、検出枠の中心を示す位置座標であってもよい。

図７は、領域７０２に写っている人の画像の形状を表すクラスとして、"正面の人"の設定を受け付けた例である。

"正面の人"とは、例えば、学習用画像データにおいて、中心近傍に写っている人であって、学習用画像データでは垂直方向にまっすぐな形状で写っている人を示している。

図８は、本実施形態に係る教師データセット生成部２１２において生成された教師データの一例を示した図である。図８に示される例では、学習用画像データ８０１に対して、人が写っている領域８０２で示される検出枠の設定を受け付けている。図８は、領域８０２に写っている人の画像の形状を表すクラスとして、"左側の人"の設定を受け付けた例である。

"左側の人"とは、例えば、学習用画像データにおいて、中心から左側に離れた位置に写っている人であって、魚眼レンズのひずみによって左側に傾いている、又は左側に湾曲した形状で写っている人を示している。

図９は、本実施形態に係る教師データセット生成部２１２において生成された教師データの一例を示した図である。図９に示される例では、学習用画像データ９０１に対して、人が写っている領域９０２で示される検出枠の設定を受け付けている。図９は、領域９０２に写っている人の画像の形状を表すクラスとして、"右側の人"の設定を受け付けた例である。

"右側の人"とは、例えば、学習用画像データにおいて、中心から右側に離れた位置に写っている人であって、魚眼レンズのひずみによって右側に傾いている、又は右側に湾曲した形状で写っている人を示している。

ところで、学習用画像データに写っている人には、全体が写っている人のみならず、体の一部が写らずに、見切れてしまう人も存在する。見切れている人も学習済みモデルＬＭで検出できる方が好ましい。そこで、オペレータは、見切れている人の画像を表すクラスを設定してもよい。当該クラスの例としては、"下半身"、"上半身"などがある。このように本実施形態に係るクラスには、人の全体が写っているか否かに基づいて人の画像の形状を分類した情報が含まれている。なお、本実施形態は、人の全体が写っていない場合の分類を、"下半身"、"上半身"のみに制限するものではなく、例えば、"腕のみ"や"頭を含んだ一部領域"を分類対象としてもよい。

本実施形態では、オペレータが、学習用画像データを参照した際に、学習用画像データに写っている人の画像の形状に応じて、クラスを設定する。これにより、学習用画像データに写っている人の画像には、対応するクラスが設定される。そして、教師データセット生成部２１２が、オペレータの設定結果に応じて、学習用画像データに写っている人の画像に対して、クラスを対応付けて設定する。

なお、本実施形態では、教師データセット生成部２１２が、オペレータの判断結果に応じてクラスを設定する例とするが、教師データセット生成部２１２が、人が写っている領域７０２の位置及び大きさに応じて、自動的にクラスを設定してもよい。

例えば、教師データセット生成部２１２は、人の画像が学習用画像データの右側１／３の領域に写っている場合に"右側の人"、学習用画像データの左側１／３の領域に写っている場合に"左側の人"、学習用画像データの中央１／３の領域に写っている場合に"正面の人"というクラスを自動的に設定してもよい。

このように、教師データセット生成部２１２は、学習用画像データ毎に、学習用画像データに写っている人の画像の位置及び人の画像の大きさを示した検出枠（位置情報の一例）、及び当該人の形状を表すクラスを対応付けて、教師データ（学習用画像の一例）を生成する。

教師データセットは、入力される学習用画像データとして、監視対象である物体（例えば人）が含まれる（写っている）画像と、監視対象である物体が含まれない（写っていない）画像と、の双方が採用される。

また、教師データセットには、上述したように、学習用の撮像装置（例えば、カメラ４０Ｘと同機種のカメラ）によって撮像された、監視対象である物体（例えば人）が写っている画像が含まれている。これにより、学習済みモデルＬＭは、カメラ４０Ｘの撮像画像への監視対象である物体（例えば人）の写り方を反映して、カメラ４０Ｘの撮像画像から物体を検出可能なように機械学習される。例えば、学習済みモデルＬＭは、検出枠（位置情報の一例）で示された人の画像の位置に対応する、当該人の画像の形状を機械学習している。そのため、物体検出部３０２は、物体（例えば人）をより精度良く検出することができる。

また、教師データセットには、例えば、互いに異なる複数の種類の背景のそれぞれの中に監視物体が写っている画像が含まれていてもよい。例えば、複数の種類の背景には、土の地面、アスファルトの地面、森林、住宅、都市建造物等が含まれる。これにより、学習済みモデルＬＭは、背景の違いによる監視物体の見え方を反映して、入力画像から監視物体を検出可能なように機械学習される。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、異なる複数の時間帯のそれぞれで撮像された、監視物体が写っている画像が含まれていてもよい。複数の時間帯には、例えば、朝の時間帯（例えば、６時～１０時）、昼の時間帯（例えば、１０時～１５時）、夕方の時間帯（例えば、１６時～１９時）、及び夜の時間帯（例えば、１９時～翌６時）が含まれる。これにより、学習済みモデルＬＭは、時間帯の違いによる監視物体の見え方を反映して、入力画像から監視物体を検出可能なように機械学習される。そのため、学習済みモデルＬＭを搭載したショベル１００は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、夜の時間帯に異なる複数の照明状態で撮像された、監視物体が写っている画像が含まれていてもよい。照明状態には、例えば、照明の照度の高低や照明の色等が含まれる。これにより、学習済みモデルＬＭは、照明状態の違いによる監視物体の見え方を反映して、入力画像から監視物体を検出可能なように機械学習される。そのため、学習済みモデルＬＭを搭載したショベル１００は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、異なる複数の種類の天候状態で撮像された、監視物体が写っている画像が含まれていてもよい。複数の種類の天候状態には、例えば、晴れ、曇り、雨、雪等が含まれる。これにより、学習済みモデルＬＭは、天候の違いによる監視物体の見え方を反映して、入力画像から監視物体を検出可能なように機械学習される。そのため、学習済みモデルＬＭを搭載したショベル１００は、監視物体をより精度良く検出することができる。

また、教師データセットには、例えば、光源と撮像範囲との位置関係が互い異なる、監視物体が写っている複数の画像が含まれていてもよい。光源は、例えば、太陽や夜間の照明である。複数の画像には、光源と撮像範囲との位置関係が順光、半順光、側光、逆光等のそれぞれに相当する画像が含まれる。また、複数の画像には、例えば、同じ順光、側光、逆光等の状態で、太陽の地面からの高さ（仰角）がそれぞれで異なる画像が含まれる。これにより、教師データセットは、光源の位置の違いによる監視物体の見え方を反映して、入力画像から監視物体を検出可能なように機械学習される。そのため、学習済みモデルＬＭを搭載したショベル１００は、監視物体をより精度良く検出することができる。

また、教師データセットには、直立姿勢の人が写っている撮像画像だけではなく、他の姿勢の人が写っている撮像画像が含まれていてもよい。これにより、学習済みモデルＬＭを搭載したショベル１００は、様々な姿勢の人を検出できる。

また、教師データセットには、監視対象となる人の画像として、高視認性安全服を装着している人が写っている複数の画像を用意してもよい。この場合、教師データセット生成部２１２は、教師データセットとして、高視認性安全服の形状、色（例えば、蛍光イエローや蛍光グリーン）、及び再帰性反射材の輝度の少なくとも一つを機械学習する。これにより、当該学習済みモデルＬＭを搭載したショベル１００は、ショベル１００の周辺に存在する高視認性安全服を装着している人の検出精度を向上させることができる。

［ショベルの機能構成の一例］
次に、図１０を参照して、ショベル１００の機能構成の一例について説明する。

図１０は、本実施形態に係るショベル１００の機能構成の一例を示す機能ブロック図である。コントローラ３０は、機能部として、表示処理部３０１と、物体検出部３０２と、位置推定部３０３と、安全制御部３０４と、照射制御部３０５と、更新制御部３０６とを含む。表示処理部３０１、物体検出部３０２、位置推定部３０３、安全制御部３０４、照射制御部３０５、及び更新制御部３０６の機能は、例えば、補助記憶装置３０Ａにインストールされるプログラムをメモリ装置３０Ｂにロードし、ＣＰＵ３０Ｃ上で実行することにより実現される。さらに、コントローラ３０は、補助記憶装置３０Ａ上に、管理装置２００から受信した、学習済みモデルＬＭが記憶されている。

表示処理部３０１は、撮像装置４０から入力される撮像画像に基づき、キャビン１０の内部の表示装置５０Ａに周辺画像を表示させる。

表示処理部３０１は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒの何れか一つの撮像範囲に相当する周辺画像を表示装置５０Ａに表示してもよいし、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのうちの何れか２以上のカメラの撮像範囲を表示装置５０Ａに表示してもよい。例えば、表示処理部３０１は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのうちの少なくともカメラ４０Ｂ，４０Ｒの撮像範囲を含む周辺画像を表示装置５０Ａに表示する。カメラ４０Ｂ，４０Ｒの撮像範囲に相当する上部旋回体３の後方及び右側方は、キャビン１０のオペレータから見て死角になり易いからである。

物体検出部３０２は、補助記憶装置３０Ａに記憶されている学習済みモデルＬＭを読み出して、撮像装置４０の出力（撮像画像）に基づき、ショベル１００の周辺に存在する人（監視対象となる物体の一例）を検出する処理を実行する。

学習済みモデルＬＭは、教師用データセットに含まれる教師データの各々に写っている人の画像の位置を示した検出枠の情報（位置情報の一例）、及び魚眼レンズによる略１８０度の画角（所定の画角の一例）でひずんだ人の画像の形状を示したクラス（分類情報の一例）を読み込んで機械学習し、入力された撮像画像データに対して、人が写っているか否かを判断結果として、検出枠及びクラスを出力するよう機能させるものである。

本実施形態は、人の画像の位置を示した位置情報の例である、撮像画像データに写っている人の画像を矩形形状で囲った検出枠について説明する。しかしながら、本実施形態は、人の画像の位置情報を検出枠に制限するものではない。例えば、位置情報は、人の画像の位置を示した座標等であってもよい。

そして、物体検出部３０２は、学習済みモデルＬＭを用いて、撮像装置４０によって撮像された撮像画像に人が写っているか否かを判定し、判定結果を出力する。物体検出部３０２は、判定結果として、検出枠とクラスとを出力する。

つまり、ショベル１００の周辺に存在する人の画像の検出とは、撮像装置４０の魚眼レンズによるひずみを考慮して、撮像画像データに写っている人の画像の位置及び形状に基づいたクラスを認識し、当該クラスで示される人の画像の位置、及び大きさ（領域）を示す検出枠を特定することを意味している。例えば、学習済みモデルＬＭに撮像画像データが入力された際に検出枠とクラスとが出力されたことは、人が写っていると判定されたことを意味する。換言すれば、学習済みモデルＬＭに撮像画像データが入力された際に検出枠とクラスとが出力されなかったことは、人が写っていなかったと判定されたことを意味する。以下、物体検出部３０２に入力される画像（撮像装置４０から出力された撮像画像）を便宜的に「入力画像」と称する場合がある。

なお、物体検出部３０２が検出対象となる人は、特に制限するものではなく、例えば、ショベル１００の周辺で作業する作業者や作業現場の監督者等の人が含まれてもよい。

また、物体検出部３０２が検出する物体を、人のみに制限するものではなく、例えば、穴、溝、土砂の山等の特定の地形、ロードコーン、柵、電柱、仮置きの資材、作業現場の仮設事務所等の定置された（即ち、自身の力では移動しない）障害物などの任意の物体が含まれてもよい。さらには、検出する物体として、例えば、他の作業機械や作業車両等の移動可能な障害物が含まれてもよい。物体検出部３０２による検出対象の監視物体の種類数は、１つであってもよいし、複数であってもよい。

物体検出部３０２による物体検出方法の詳細については、後述する。

なお、物体検出部３０２は、入力装置５２に対するオペレータ等による所定の入力に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。また、物体検出部３０２の機能は、カメラ４０Ｘに移管され、検出結果がコントローラ３０に送信される態様であってもよい。また、物体検出部３０２の機能は、表示装置５０Ａに移管され、検出結果がコントローラ３０に移管される態様であってもよい。この場合、カメラ４０Ｘの撮像画像は、表示装置５０Ａに直接入力される。そのため、この場合、表示処理部３０１の機能も表示装置５０Ａに移管されてよい。また、物体検出部３０２の機能は、撮像装置４０に移管されてもよい。この場合、物体検出部３０２の機能は、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのそれぞれの撮像画像に基づき監視物体を検出する物体検出部に分割され、カメラ４０Ｆ，４０Ｂ，４０Ｌ，４０Ｒのそれぞれに内蔵されてもよい。

位置推定部３０３は、物体検出部３０２により撮像装置４０の撮像画像の中から監視物体（例えば、クラスで分類される人）が検出された場合に、検出された監視物体が実際に存在する位置、即ち、ショベル１００の周辺での監視物体の位置（以下、「実在位置」）を推定する。

具体的には、位置推定部３０３は、物体検出部３０２により特定された監視物体の撮像画像における検出位置（検出領域）に基づき、監視物体の実在位置を推定する。また、物体検出部３０２により複数の監視物体が検出されている場合、位置推定部３０３は、複数の監視物体ごとの実在位置を推定する。

例えば、カメラ４０Ｘが単眼カメラの場合、位置推定部３０３は、入力画像の中の監視物体の検出領域における基準点（検出位置）を特定し、その基準点の入力画像における左右方向の位置に基づき、ショベル１００（上部旋回体３）から見た方向を推定する。また、位置推定部３０３は、入力画像の中の監視物体の検出領域の大きさ（例えば、上下方向の大きさ）に基づき、ショベル１００から監視物体までの距離（具体的には、ショベル１００が位置する作業平面に沿う方向の距離）を推定する。認識された監視物体の入力画像上における大きさは、監視物体がショベル１００（上部旋回体３）から離れるほど小さくなる相関関係があるからである。具体的には、監視物体には、想定される大きさの範囲（例えば、想定される人の身長の範囲）があるため、想定された大きさの範囲に含まれる当該監視物体のショベル１００から見た位置と、入力画像上での大きさとの相関関係が予め規定されうる。そのため、物体検出部３０２は、例えば、補助記憶装置３０Ａ等に予め格納される、入力画像上の監視物体の大きさと上部旋回体３から見た距離との相関関係を表すマップや変換式等に基づき、認識された監視物体の実在位置を推定することができる。よって、位置推定部３０３は、ショベル１００（上部旋回体３）から見た監視物体の方向、及び距離を推定することにより、認識された監視物体の位置を推定することができる。

また、例えば、カメラ４０Ｘが単眼カメラの場合、位置推定部３０３は、監視物体が下部走行体１と同じ平面上に存在する前提の下、入力画像の当該平面上への射影変換等によって、その実在位置を推定してもよい。具体的には、位置推定部３０３は、監視物体の地面との接触点を代表する基準点（検出位置）を特定し、その基準点に対して、カメラ４０Ｘの上部旋回体３に対する設置位置及び設置角度に応じて規定される射影変換により、監視物体の実在位置を演算してよい。この場合、入力画像を構成するある部分（例えば、ある画素）は、ショベル１００（下部走行体１）と同じ平面上のある位置に１対１で対応づけられる。

また、例えば、カメラ４０Ｘがステレオカメラの場合、２つの撮像画像ごとの監視物体の検出領域における基準位置のズレ（視差）に基づき、監視物体の実在位置を推定する。

安全制御部３０４は、ショベル１００の機能安全に関する制御を行う。

安全制御部３０４は、例えば、物体検出部３０２によって、ショベル１００の周辺の所定範囲内で監視物体が検出される場合に、安全機能を作動させる。具体的には、安全制御部３０４は、位置推定部３０３により推定される、監視物体の実在位置（推定値）がショベル１００の周辺の所定範囲内である場合に、安全機能を作動させてよい。

安全機能には、例えば、キャビン１０の内部、キャビン１０の外部、及びショベル１００の遠隔のオペレータや監視者等の少なくとも一つに対する警報等を出力し、監視物体の検出を報知する報知機能が含まれてよい。これにより、キャビン１０の内部のオペレータ、ショベル１００の周辺の作業者、ショベル１００の遠隔操作や遠隔監視を行うオペレータや監視者等に対して、ショベル１００の周辺の監視エリア内に監視物体が存在していることに関する注意を促すことができる。以下、キャビン１０の内部（オペレータ等）への報知機能を「内部報知機能」、ショベル１００の外部（作業者等）への報知機能を「外部報知機能」、及びショベル１００の遠隔操作や遠隔監視を行うオペレータや監視者への報知機能を「遠隔報知機能」とそれぞれ称し、区別する場合がある。

また、安全機能には、例えば、操作装置２６の操作、遠隔操作、又は自動運転機能に対応する操作指令に対するショベル１００の動作を制限する動作制限機能が含まれてよい。これにより、ショベル１００の動作を強制的に制限し、ショベル１００と周辺の物体との接近や接触等の可能性を低減させることができる。動作制限機能には、操作装置２６の操作、遠隔操作、又は自動運転機能に対応する操作指令に対するショベル１００の動作速度を通常よりも遅くする動作減速機能が含まれてよい。また、動作制限機能には、操作装置２６の操作、遠隔操作、又は自動運転機能に対応する操作指令に関わらず、ショベル１００の動作を停止させ、停止状態を維持させる動作停止機能が含まれてもよい。

安全制御部３０４は、例えば、物体検出部３０２によって、ショベル１００の周辺の所定範囲（以下、「報知範囲」）で監視物体が検出される場合に、報知機能を作動させる。報知範囲は、例えば、ショベル１００の所定の部位からの距離Ｄが閾値Ｄｔｈ１以下の範囲である。ショベル１００の所定の部位は、例えば、上部旋回体３である。また、ショベル１００の所定の部位は、例えば、アタッチメントＡＴの先端部のバケット６やフックであってもよい。閾値Ｄｔｈ１は、ショベル１００の所定の部位から見た方向に依らず一定であってもよいし、ショベル１００の所定の部位から見た方向によって変化してもよい。

安全制御部３０４は、例えば、音出力装置５０Ｂを制御することにより、キャビン１０の内部及び外部の少なくとも一方に対する音（即ち、聴覚的な方法）による内部報知機能や外部報知機能を作動させる。このとき、安全制御部３０４は、各種条件に応じて、出力される音の音高、音圧、音色、音を周期的に吹鳴させる場合の吹鳴周期、音声の内容等を異ならせてもよい。

また、安全制御部３０４は、例えば、視覚的な方法による内部報知機能を作動させる。具体的には、安全制御部３０４は、表示処理部３０１を通じて、キャビン１０の内部の表示装置５０Ａを制御することにより、表示装置５０Ａに周辺画像と共に、監視物体が検出されていることを表す画像を表示させてよい。また、安全制御部３０４は、表示処理部３０１を通じて、キャビン１０の内部の表示装置５０Ａに表示される周辺画像に写っている監視物体や、検出された監視物体に対応する周辺画像上の位置を強調させてもよい。より具体的には、安全制御部３０４は、キャビン１０の内部の表示装置５０Ａに表示されている周辺画像上に、検出されている監視物体を囲む枠を重畳して表示させたり、検出された監視物体の実在位置に対応する周辺画像上の位置にマーカを重畳して表示させたりしてよい。これにより、表示装置５０Ａは、オペレータに対する視覚的な報知機能を実現することができる。また、安全制御部３０４は、キャビン１０の内部の警告灯や照明装置等を用いて、監視物体が検出されていることをキャビン１０の内部のオペレータ等に対して報知してもよい。

また、安全制御部３０４は、例えば、上部旋回体３のハウス部の側面等に設けられる出力装置５０（例えば、前照灯等の照明装置や表示装置５０Ａ）を制御することにより、視覚的な方法による外部報知機能を作動させてもよい。また、安全制御部３０４は、例えば、オペレータが着座する操縦席を振動させる振動発生装置を制御することにより、触覚的な方法で内部報知機能を作動させてもよい。これにより、コントローラ３０は、オペレータやショベル１００の周辺の作業者及び監督者等に対して、ショベル１００の周辺の相対的に近い場所に監視物体（例えば、作業者等の人）が存在することを認識させることができる。そのため、コントローラ３０は、オペレータに対して、ショベル１００の周辺の安全状況の確認を促したり、監視エリア内の作業者等に対して、監視エリアからの退避を促したりすることができる。

また、安全制御部３０４は、例えば、通信装置６０を通じて、報知機能の作動を示す指令信号を管理装置２００に送信することにより、遠隔報知機能を作動させてもよい。この場合、管理装置２００は、通信インタフェース２０６によりショベル１００から指令信号を受信すると、表示装置２０８等を通じて、視覚的な方法や聴覚的な方法による警報を出力してよい。これにより、管理装置２００を通じてショベル１００の遠隔操作や遠隔監視を行うオペレータや監視者は、ショベル１００の周辺の報知範囲内に監視物体が進入したことを把握することができる。

なお、安全制御部３０４の遠隔報知機能は、管理装置２００に移管されてもよい。この場合、管理装置２００は、ショベル１００から物体検出部３０２による監視物体の検出状況や位置推定部３０３による監視物体の実在位置の推定結果に関する情報を受信する。そして、管理装置２００は、受信した情報に基づき、報知範囲内への監視物体の進入の有無を判断し、報知範囲内に監視物体が存在する場合に、外部報知機能を作動させる。

また、安全制御部３０４は、報知範囲内で検出されている監視物体と、上部旋回体３との位置関係に応じて、報知態様（即ち、報知の仕方）を異ならせてもよい。

例えば、安全制御部３０４は、物体検出部３０２により報知範囲内で検出された監視物体がショベル１００の所定の部位に対して相対的に遠い位置に存在する場合、監視物体への注意を促す程度の相対的に緊急度が低い警報（以下、「注意レベルの警報」）を出力してよい。以下、報知範囲のうちのショベル１００の所定の部位に対する距離が相対的に遠い範囲、即ち、注意レベルの警報に対応する範囲を便宜的に「注意報知範囲」と称する場合がある。一方、安全制御部３０４は、物体検出部３０２により報知範囲内で検出された監視物体がショベル１００の所定の部位に対して相対的に近い位置に存在する場合、監視物体がショベル１００の所定の部位に接近し危険度が高まっていることを知らせる相対的に緊急度が高い警報（以下、「警戒レベルの警報」）を出力してよい。以下、報知範囲のうちのショベル１００の所定の部位に対する距離が相対的に近い範囲、即ち、警戒レベルの警報に対応する範囲を「警戒報知範囲」と称する場合がある。

この場合、安全制御部３０４は、注意レベルの警報と警戒レベルの警報との間で、音出力装置５０Ｂから出力される音の音高、音圧、音色、吹鳴周期等を異ならせてよい。また、安全制御部３０４は、注意レベルの警報と警戒レベルの警報との間で、表示装置５０Ａに表示される監視物体が検出されていることを表す画像や、表示装置５０Ａに表示される周辺画像上の監視物体又は監視物体の位置を強調させる画像（例えば、枠やマーカ等）の色、形状、大きさ、点滅の有無、点滅周期等を異ならせてよい。これにより、コントローラ３０は、音出力装置５０Ｂから出力される報知音（警報音）や表示装置５０Ａに表示される報知画像の相違によって、オペレータ等に緊急度、換言すれば、監視物体のショベル１００の所定の部位に対する接近度を把握させることができる。

安全制御部３０４は、報知機能の作動開始後、物体検出部３０２により検出されていた監視物体が報知範囲内で検出されなくなった場合、報知機能を停止させてよい。また、安全制御部３０４は、報知機能の作動開始後、入力装置５２を通じて、報知機能の作動を解除する所定の入力が受け付けられた場合に、報知機能を停止させてもよい。

また、安全制御部３０４は、例えば、物体検出部３０２によりショベル１００の周辺の所定範囲（以下、「動作制限範囲」）内で監視物体が検出される場合に、動作制限機能を作動させる。動作制限範囲は、例えば、上述の報知範囲と同じに設定される。また、動作制限範囲は、例えば、報知範囲よりもその外縁がショベル１００の所定の部位に相対的に近くなるような範囲に設定されてもよい。これにより、安全制御部３０４は、例えば、監視物体が外側から報知範囲に進入すると、まず、報知機能を作動させ、その後に、監視物体が内側の動作制限範囲に進入すると、更に、動作制限機能を作動させることができる。そのため、コントローラ３０は、監視物体の監視エリア内での内側への移動に合わせて、段階的に、報知機能及び動作制限機能を作動させることができる。

具体的には、安全制御部３０４は、ショベル１００の所定の部位からの距離Ｄが閾値Ｄｔｈ２（≦Ｄｔｈ１）以内の動作制限範囲内で監視物体が検出されると、動作制限機能を作動させてよい。閾値Ｄｔｈ２は、ショベル１００の所定の部位から見た方向に依らず一定であってもよいし、ショベル１００の所定の部位から見た方向によって変化してもよい。

また、動作制限範囲には、操作装置２６の操作、遠隔操作、自動運転機能に対応する操作指令に対するショベル１００の動作速度を通常よりも遅くする動作減速範囲、及び操作装置２６の操作、遠隔操作、自動運転機能に対応する操作指令に関わらず、ショベル１００の動作を停止させ、停止状態を維持させる動作停止範囲の少なくとも一方が含まれる。例えば、動作制限範囲に動作減速範囲及び動作停止範囲の双方が含まれる場合、動作停止範囲は、動作制限範囲のうちのショベル１００の所定の部位に近接する範囲である。そして、動作減速範囲は、動作制限範囲のうちの動作停止範囲の外側に設定される範囲である。

安全制御部３０４は、油圧制御弁３１を制御することにより、ショベル１００の動作を制限する動作制限機能を作動させる。この場合、安全制御部３０４は、全ての被駆動要素（即ち、対応する油圧アクチュエータ）の動作を制限してもよいし、一部の被駆動要素（油圧アクチュエータ）の動作を制限してもよい。これにより、コントローラ３０は、ショベル１００の周辺に監視物体が存在する場合に、ショベル１００の動作を減速させたり、停止させたりすることができる。そのため、コントローラ３０は、ショベル１００の周辺の監視物体とショベル１００や吊り荷との接触の発生を抑制することができる。また、安全制御部３０４は、パイロットライン２５の図示しない電磁切換弁を制御し、パイロットライン２５を遮断することにより、動作制限機能（動作停止機能）を作動させてもよい。

また、安全制御部３０４は、動作制限機能の作動開始後、物体検出部３０２により検出されていた監視物体が動作制限範囲内で検出されなくなった場合、動作制限機能を停止させてよい。また、安全制御部３０４は、動作制限機能の作動開始後、入力装置５２を通じて、動作制限機能の作動を解除する所定の入力が受け付けられた場合に、動作制限機能を停止させてもよい。入力装置５２に対する報知機能の作動解除のための入力の内容と、動作制限機能の作動解除のための入力の内容とは、同じであってもよいし、異なっていてもよい。

また、安全制御部３０４は、入力装置５２に対するオペレータ等による所定の入力に応じて、その機能がＯＮ（有効）／ＯＦＦ（無効）の間で切り替えられてもよい。

照射制御部３０５は、照射装置７０に関する制御を行う。

なお、上述の如く、照射装置７０が省略される場合、当然の如く、照射制御部３０５も省略される。

更新制御部３０６は、学習済みモデルＬＭの更新に関する制御を行う。具体的な手順については後述する。

［物体検出方法の概要］
次に、物体検出部３０２による物体検出方法の概要について説明する。図１１は、本実施形態に係る物体検出部３０２における、物体検出手法の一例を示した図である。

図１１に示されるように、物体検出部３０２は、例えば、機械学習を適用された学習済みモデルＬＭを用いて、カメラ４０Ｘの撮像画像から監視物体を検出する。具体的には、物体検出部３０２は、学習済みモデルＬＭを用いて、入力画像（カメラ４０Ｘの撮像画像又はその補正済の撮像画像）から、人（監視物体の一例が写っている領域を表す検出枠、及び人（監視物体の一例）の画像の形状を分類するクラスを出力する。

クラスとしては、例えば、上述したような"正面の人"、"右側の人"、"左側の人"、下半身"、及び"上半身"などが含まれている。

なお、検出された人の画像の形状に設定されるクラスは、１つのみでもよいし、複数でもよい。また、人の他に複数の種類の監視物体が存在する場合、単一の学習済みモデルＬＭが全ての種類の監視物体ごとのクラスを出力可能に、即ち、全ての種類の監視物体を検出可能に構成されてもよいし、全ての種類の監視物体のうちの一部の種類のみを検出可能な学習済みモデルＬＭが複数設けられてもよい。

例えば、物体検出部３０２は、画像に写っている監視物体の画像特徴量の傾向を機械学習済みのサポートベクターマシーン（ＳＶＭ：Support Vector Machine）を用いて、入力画像から監視物体を検出する。この場合、学習済みモデルＬＭには、前段処理として、カメラ４０Ｘの撮像画像から画像特徴量を抽出する処理部が含まれる。画像特徴量は、例えば、ＨＯＧ（Histogram of Oriented Gradients）特徴量である。

物体検出部３０２は、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）用いた機械学習、即ち、深層学習（ディープラーニング）による学習済みモデルＬＭを用いて、入力画像から監視物体を検出する。具体的には、物体検出部３０２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた深層学習による学習済みモデルＬＭを用いて、入力画像から監視物体を検出してもよい。ＣＮＮは、畳み込み処理を行う畳み込み層及びプーリング処理を行うプーリング層の組み合わせを活性化関数により複数繋ぎ合わせることにより構成され、最終段の全結合層によって、特徴量（特徴マップ）に基づく判定を行う。活性化関数は、例えば、ＲｅＬＵ（Rectified Linear Unit）である。これにより、学習済みモデルＬＭは、前段処理を要せずに、入力画像をそのまま取り扱うことができる。

物体検出部３０２は、ＣＮＮをベースとする学習済みモデルＬＭを用いて、入力画像から監視物体の候補の領域を生成し、これらの候補をクラスで分類して、人（監視物体の一例）を検出する。即ち、ＣＮＮをベースとする学習済みモデルＬＭは、例えば、入力画像からの監視物体の検出を分類問題として取り扱い、カメラ４０Ｘの撮像画像から監視物体の候補の領域を生成し、これらの候補をクラスに分類する態様の分類モデルであってよい。分類モデルは、例えば、Ｒ（Region-based）－ＣＮＮやその派生系（Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ等）である。

また、例えば、物体検出部３０２は、ＣＮＮをベースとする学習済みモデルＬＭを用いて、入力画像から、監視物体の認識及びその位置（領域）の特定を同時に実施することにより、監視物体を検出する。即ち、ＣＮＮをベースとする学習済みモデルＬＭは、例えば、カメラ４０Ｘの撮像画像からの監視物体の検出を回帰問題として取り扱い、入力画像から、監視物体の認識及び位置（領域）の特定を同時に実施する態様の回帰モデルであってもよい。回帰モデルは、例えば、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot Detector）等である。

本実施形態に係る物体検出部３０２は、学習済みモデルＬＭから出力されたクラスから導き出される位置情報が、クラスと共に出力された検出枠（学習済みモデルＬＭを用いて出力された位置情報の一例）に対応しているか否かを判定する。クラスから導き出される位置情報とは、当該クラスに対応する撮像画像データ上における人の画像の位置である。例えば、クラスが"右側の人"の位置情報とは、例えば、撮像画像データの中心から所定の距離以上右側の領域となる。

このため、物体検出部３０２は、クラス毎に、当該クラスに対応する領域を示す情報（クラスで示された人の画像の形状から導き出される位置情報の一例）を予め記憶している。例えば、クラス"正面の人"は、撮像画像データの中心から所定の距離内の領域が設定されている。クラス"右側の人"は、撮像画像データの中心から右方向に所定の距離以上離れた領域が設定されている。クラス"左側の人"は、撮像画像データの中心から左方向に所定の距離以上離れた領域が設定されている。なお、所定の距離は、実施態様に応じて定められる。

そして、物体検出部３０２は、学習済みモデルＬＭから出力されたクラスに対応する領域に、当該クラスと共に出力された検出枠が存在しているか否かを判定する。物体検出部３０２は、クラスに対応する領域に、検出枠が存在すると判定した場合には、適切に人が検出されたものして、検出枠及びクラスが出力される。

一方、物体検出部３０２は、クラスに対応する領域に、検出枠が存在しないと判定した場合には、誤検出、換言すれば人が写っていなかったと判定して、検出枠及びクラスを出力するのを抑制する。そして、物体検出部３０２は、誤検出と判定された撮像画像データ、検出枠、及びクラスを、補助記憶装置３０Ａに記憶する。当該撮像画像等は、学習済みモデルＬＭの再学習用に用いられる。

本実施形態では、物体検出部３０２が、学習済みモデルＬＭを用いて、人が存在していると判定した後、さらに、クラスに対応する領域に、出力された検出枠が存在するか否かに基づいた判定を行う。これにより、学習済みモデルＬＭによる誤検出を抑制して、人が存在するか否かの判定精度をより向上させることができる。

［物体検出方法の具体例］
次に、図１２～図１７を参照して、物体検出部３０２による監視物体の検出方法の具体例について説明する。

＜第１例＞
第１例のクラスは、入力画像を横方向に応じて分類したクラスであって、例えば、"正面の人"、"右側の人"、及び"左側の人"等が含まれる。さらに、第１例のクラスは、人が見切れた場合として、"下半身"、及び"下半身"等が含まれる。本例では、横方向で分類するクラスを出力することで、当該横方向の位置の違いによって生じる魚眼レンズのひずみを考慮した、人の検知を行うことができるので、当該人の検出精度を向上させることができる。

例えば、図１２は、本実施形態に係る物体検出部３０２が撮像装置４０から取得した撮像画像の一例を示した図である。図１２は、撮像画像データ１２０１には、カメラ４０Ｘの正面に直立姿勢の作業者Ｗ１が写った例を示している。なお、撮像画像データ１２０１には、ショベル１００の上部旋回体３の側面が写りこんでいる。

物体検出部３０２は、学習済みモデルＬＭに、図１２に示される撮像画像データ１２０１を入力することで、検出枠１２０２と、クラス"正面の人"と、を取得する。

その後、物体検出部３０２は、取得した検出枠１２０２と、クラス"正面の人"に対応付けられた領域と、が対応しているか判定する。図１２に示される例では、物体検出部３０２は、クラス"正面の人"に対応付けられた領域（撮像画像データ１２０１の中心から所定の距離内）に、検出枠１２０２が存在しているので、対応していると判定する。

他の例としては、図１３は、本実施形態に係る物体検出部３０２が撮像装置４０から取得した撮像画像の一例を示した図である。図１３は、撮像画像データ１３０１には、カメラ４０Ｘの光軸中心から左側に直立姿勢の作業者Ｗ２が写った例を示している。

物体検出部３０２は、学習済みモデルＬＭに、図１３に示される撮像画像データ１３０１を入力することで、検出枠１３０２と、クラス"左側の人"と、を取得する。

その後、物体検出部３０２は、取得した検出枠１３０２と、クラス"左側の人"に対応付けられた領域と、が対応しているか判定する。図１３に示される例では、物体検出部３０２は、クラス"左側の人"に対応付けられた領域（撮像画像データ１３０１の中心から左方向に所定の距離より遠くの領域）に、検出枠１３０２が存在しているので、対応していると判定する。

他の例としては、図１４は、本実施形態に係る物体検出部３０２が撮像装置４０から取得した撮像画像の一例を示した図である。図１４は、撮像画像データ１４０１の撮像領域の右端近傍に存在するため上半身が見切れ、下半身のみ写った作業者Ｗ３が写った例を示している。

このように、カメラ４０Ｘの撮像画像では、左右方向の撮像範囲の両端部に位置する監視物体としての人（例えば、作業者Ｗ３）の全体（全身）うちの下部（下半身）を含む一部分のみが写っている場合がある。カメラ４０Ｘが上部旋回体３の上面から地面に向かって斜め下向きの光軸を有し、監視物体としての作業者Ｗ（人）の上半身がカメラ４０Ｘの三次元的な撮像範囲から外れてしまうためである。

物体検出部３０２は、学習済みモデルＬＭに、図１４に示される撮像画像データ１４０１を入力することで、検出枠１４０２と、クラス"下半身"と、を取得する。

その後、物体検出部３０２は、取得した検出枠１４０２と、クラス"下半身"に対応する領域と、が対応しているか判定する。図１４に示される例では、物体検出部３０２は、クラス"下半身"に対応付けられた領域（撮像画像データ１４０１の右端部又は左端部に隣接している領域）に、検出枠１４０２が存在しているので、対応していると判定する。

また、監視物体である人がカメラ４０Ｘに近づいてきた場合に、上部旋回体３で下半身が隠れて、カメラ４０Ｘの撮像画像には、監視物体の全体のうちの上部（上半身）を含む一部分のみが写っている場合がある。また、カメラ４０Ｘと監視物体との間に障害物が存在する場合、監視物体（人）の下部（下半身）が障害物で隠れる場合を含めてもよい。

これに対して、本例では、物体検出部３０２は、入力画像から監視物体（人）の全体（全身）のうちの所定の一部のみを検出（認識）することにより、監視物体（人）を検出（認識）する。所定の一部は、例えば、監視物体（人）の下部（下半身）や上部（上半身）等である。これにより、物体検出部３０２は、入力画像に監視物体の全体のうちの所定の一部を含む一部分のみしか写っていない場合であっても、監視物体を検出することができる。そのため、物体検出部３０２は、監視物体をより精度良く検出することができる。

つまり、物体検出部３０２は、監視物体の全体が写っている画像、及び監視物体の全体のうちの所定の一部を含む一部分のみが写っている画像を含む教師データセットに基づく学習済みモデルＬＭを用いて、監視物体の全体、及び監視物体の所定の一部の双方を検出する。教師データセットとしては、例えば、カメラ４０Ｘと同機種のカメラによって撮像され、監視物体（例えば人）の下部（下半身）などの一部分のみが左端部及び右端部の少なくとも一方に写っている画像が利用される。さらに、教師データセットとしては、例えば、カメラ４０Ｘと同機種のカメラによって撮像され、監視物体（例えば人）の上部（上半身）などの一部分のみが下端部近傍に写っている画像が利用される。

また、物体検出部３０２は、監視物体の検出に際して、複数のクラスを出力してもよい。例えば、物体検出部３０２は、撮像画像データ１４０１の右端に隣接して、上半身が見切れている人を検出した場合に、"右側の人"と"下半身"とを組み合わせて出力してもよい。この場合、学習済みモデルＬＭの機械学習に用いる教師データとして、１枚の撮像画像データに対して複数のクラスを設定してもよい。

他の例としては、図１５は、本実施形態に係る物体検出部３０２が撮像装置４０から取得した撮像画像の一例を示した図である。図１５は、撮像画像データ１５０１には、カメラ４０Ｘの撮像領域の左端近傍に存在する物体（例えば人が写りこんだ水たまり等）Ｗ４が写った例を示している。図１５に示される例では、物体Ｗ４が人として誤検出される場合について説明する。

物体検出部３０２は、学習済みモデルＬＭを用いて、図１５に示される撮像画像データ１５０１を入力することで、検出枠１５０２と、クラス"右側の人"と、を取得する。これは、例えば、学習済みモデルＬＭが、右側に傾いている人は"右側の人"の可能性が高いと学習したため、物体Ｗ４を"右側の人"と判定している。

その後、物体検出部３０２は、取得した検出枠１５０２と、クラス"右側の人"と対応付けられた領域と、が対応しているか判定する。図１５に示される例では、物体検出部３０２は、クラス"右側の人"と対応付けられた領域（撮像画像データ１５０１の中心から右方向に所定の距離より遠くの領域）に、検出枠１５０２が存在していないので、対応していないと判定する。物体検出部３０２は、当該判定結果に基づいて、誤検出であった、換言すれば、撮像画像データ１３０１に人が写っていないと判定する。

物体検出部３０２は、撮像画像データ１３０１を、当該撮像画像データ１３０１の判定結果と共に、補助記憶装置３０Ａに記憶する。

また、カメラ４０Ｘには、互いに撮像範囲の一部が重複する領域が存在する。そこで、物体検出部３０２は、２つのカメラ４０Ｘが撮像した撮像画像データのうち、互いに撮像範囲の一部が重複する領域について、複数の撮像画像データで監視物体を検出し、複数の撮像画像データの検出結果を比較し、比較結果を出力してもよい。例えば、物体検出部３０２は、２つのカメラ４０Ｘの重複する撮像範囲の一部の領域において、一方のカメラ４０Ｘに基づき監視物体の所定の一部を誤検出しても、他方のカメラ４０Ｘに基づき監視物体の所定の一部を検出していない場合に、未検出と判断する。なお、互いに撮像範囲の一部が重複する２つのカメラ４０Ｘは、例えば、カメラ４０Ｆ，４０Ｒ、カメラ４０Ｒ，４０Ｂ、カメラ４０Ｂ，４０Ｌ、及びカメラ４０Ｌ，４０Ｆの何れか一つの組み合わせに相当する。これにより、物体検出部３０２は、監視物体の全体のうちの所定の一部を検出する場合の誤検出を抑制できる。

第１例では、"右側の人"、"正面の人"、及び"左側の人"と、横方向において３個のクラスに分類する例について説明した。しかしながら、第１例は、横方向において３個のクラスに分類する手法に制限するものではなく、例えば２個、又は４個以上に分類してもよい。例えば、魚眼レンズのひずみ度合いに応じて横方向に５個のクラスに分類してもよい。

＜第２例＞
第１例は、クラスが、撮像画像データの横方向の位置に従って、魚眼レンズでひずんだ人の画像の形状を分類した情報の場合を示している。しかしながら、第１例は、クラスを、人の画像の形状を横方向の位置のみに従って分類する情報に制限するものではない。

そこで第２例では、クラスが、撮像画像データの横方向及び縦方向の位置に従って、魚眼レンズの略１８０度の画角で撮像したためにひずんだ人の画像の形状を分類した情報を含む場合について説明する。第２例のクラスは、例えば、"正面の前側の人"、"右側の前側の人"、"左側の前側の人"、"正面の後側の人"、"右側の後側の人"、及び"左側の後側の人"等が含まれる。つまりクラスに"前側"と"後側"を含めることで、検知結果として縦方向の位置を含めた。また、第２例のクラスは、人が見切れた場合として、"下半身"、及び"下半身"等も含まれる。なお、第２例では、縦方向及び横方向の位置で分類する例について説明するが、当該分類に制限するものではなく、例えば、クラスが縦向の位置のみで分類する情報であってもよい。

本実施形態に係る撮像装置４０は、ショベル１００の上面等に設けられている。このような位置から、魚眼レンズを有する撮像装置４０が、見下ろすように、ショベル１００近傍の人を撮影すると、魚眼レンズのパース効果によって、頭が大きく足が小さく写るようなひずみが生じている。一方、当該撮像装置４０が人を撮影する際に、ショベル１００から離れるに従って、頭が大きく足が小さく写るようなひずみは抑制される。

そこで、第２例では、管理装置２００が、このような距離の違いに基づいたひずみを機械学習して、学習済みモデルＬＭを生成する。このために、管理装置２００は、教師データセットとして、"正面の前側の人"、"右側の前側の人"、"左側の前側の人"、"正面の後側の人"、"右側の後側の人"、及び"左側の後側の人"の各々のクラスに対応する撮像データを読み込む。

例えば、図１６は、本実施形態に係る物体検出部３０２が撮像装置４０から取得した撮像画像の一例を示した図である。図１６は、撮像画像データ１６０１には、カメラ４０Ｘ近傍に直立姿勢の作業者Ｗ５が写った例を示している。作業者Ｗ５の画像の形状は、頭が大きく足が小さく写るようなひずみ（人の画像の上部（例えば頭）が人の画像の下部（足等）と比べて大きく写るようなひずみの一例）が生じている。図１６に示される例では、領域Ｆ内に足をつけている人を、前側の人とし、領域Ｒ内に足をつけている人を、後側の人とする。

物体検出部３０２は、学習済みモデルＬＭに、図１６に示される撮像画像データ１６０１を入力することで、検出枠１６０２と、クラス"正面の前側の人"と、を取得する。

その後、物体検出部３０２は、取得した検出枠１６０２と、クラス"正面の前側の人"と対応付けられた領域と、が対応しているか判定する。図１６に示される例では、物体検出部３０２は、クラス"正面の前側の人"と対応付けられた領域に、検出枠１６０２が存在しているため、対応していると判定する。具体的には、検出枠１６０２が、横方向において、撮像画像データ１６０１の中心から所定の距離内に存在し、縦方向において、前側を示す領域Ｆ内に存在しているため、対応していると判定される。

図１７は、本実施形態に係る物体検出部３０２が撮像装置４０から取得した撮像画像の一例を示した図である。図１７は、撮像画像データ１７０１には、カメラ４０Ｘ遠方且つ正面に立姿勢の作業者Ｗ６が写った例を示している。作業者Ｗ６の画像の形状は、図１６の作業者Ｗ５と比べて、頭が大きく足が小さく写るようなひずみが抑制されている。

そこで、物体検出部３０２は、学習済みモデルＬＭに、図１７に示される撮像画像データ１７０１を入力することで、検出枠１７０２と、クラス"正面の後側の人"と、を取得する。

その後、物体検出部３０２は、取得した検出枠１７０２と、クラス"正面の後側の人"と対応付けられた領域と、が対応しているか判定する。図１７に示される例では、物体検出部３０２は、クラス"正面の後側の人"と対応付けられた領域に、検出枠１７０２が存在しているため、対応していると判定する。具体的には、検出枠１７０２が、横方向において、撮像画像データ１７０１の中心から所定の距離内に存在し、後側を示す領域Ｒ内に足をつけて存在しているため、対応していると判定される。

さらに、物体検出部３０２は、高視認性安全服を着用する人（作業者）が写っている画像を多数含む教師データセットに基づく学習済みモデルＬＭを用いることで、高視認性安全服の形状、色、及び再帰性反射材の輝度の少なくとも一つを認識し、高視認性安全服を着用する人に対応するクラス（例えば、"正面の作業者"、"左側の作業者"、"右側の作業者"）等を認識してもよい。

さらに、撮像装置４０（カメラ４０Ｘ）は、照射装置７０から可視光が照射されている状態で、ショベル１００の周辺の撮像画像を取得してよい。この場合、照射装置７０は、コントローラ３０（照射制御部３０５）の制御下で、カメラ４０Ｘの稼働中（電源オン中）に可視光を常時照射してもよいし、カメラ４０Ｘの撮像タイミングに同期して、可視光を照射してもよい。これにより、撮像装置４０の撮像範囲に高視認性安全服を着用する人（作業者）が存在する場合、高視認性安全服の再帰性反射材や蛍光色がより明瞭にカメラ４０Ｘの撮像画像に映る。そのため、物体検出部３０２は、入力画像（カメラ４０Ｘの撮像画像）から高視認性安全服を検出（認識）し易くなり、その結果、監視物体としての人をより精度良く検出することができる。

また、本例では、撮像装置４０（カメラ４０Ｘ）は、照射装置７０から赤外光が照射されている状態で、ショベル１００の周辺の撮像画像を取得してもよい。この場合、照射装置７０は、コントローラ３０（照射制御部３０５）の制御下で、カメラ４０Ｘの稼働中（電源オン中）に赤外光を常時照射してもよいし、カメラ４０Ｘの撮像タイミングに同期して、赤外光を間欠的に（周期的に）照射してもよい。これにより、撮像装置４０の撮像範囲に高視認性安全服を着用する人（作業者）が存在する場合、高視認性安全服の再帰性反射材の輪郭がより明瞭にカメラ４０Ｘの撮像画像に映る。そのため、物体検出部３０２は、入力画像から高視認性安全服を検出（認識）し易くなり、その結果、監視物体としての人をより精度良く検出することができる。また、赤外光の場合、可視光の場合のように、人の目が直接感知することができないことから、ショベル１００の周辺の人への影響を抑制することができる。

また、照射装置７０は、コントローラ３０の制御下で、赤外光を常時（継続して）照射する状態と、カメラ４０Ｘの撮像タイミングに同期して赤外光を間欠的に照射する状態とを切り換えてもよい。例えば、照射制御部３０５は、表示装置５０Ａや表示装置２０８に表示される周辺画像に赤外光の影響があるか否かを判定する。そして、照射制御部３０５は、その判定結果に応じて、照射装置７０からの赤外光の照射状態の切り換えを行ってよい。赤外光の影響とは、例えば、カメラ４０Ｘが被写体（例えば、高視認性安全服）から反射された近赤外光を捉えることにより、表示装置５０Ａの周辺画像が赤みを帯びた状態になることを意味する。照射制御部３０５は、画像解析によって、赤外光の影響の有無を判定してよい。また、照射制御部３０５は、入力装置５２や通信装置６０を通じて、ユーザ（オペレータや監視者）からの所定の入力を受け付けることにより、赤外光の影響があると判定してもよい。これにより、オペレータや監視者は、表示装置５０Ａや表示装置２０８の周辺画像が赤みを帯びた状態にあると認識すると、入力装置５２や入力装置２０７を通じて所定の入力を行うことで、その状態をコントローラ３０に通知することができる。

具体的には、照射制御部３０５は、通常、即ち、表示装置５０Ａや表示装置２０８に表示される周辺画像に赤外光の影響がない状態で、照射装置７０から赤外光を継続して照射させる。一方、照射制御部３０５は、表示装置５０Ａや表示装置２０８に表示される周辺画像に赤外光の影響がある状態になると、カメラ４０Ｘの撮像タイミングに同期して赤外光を間欠的に照射させる。これにより、コントローラ３０による照射装置７０の制御負荷の抑制と、表示装置５０Ａ等の周辺画像への赤外光への影響の抑制とのバランスを図ることができる。

［学習済みモデルの更新手法の例］
図１８は、建設機械管理システムＳＹＳにおける学習済みモデルの更新手法を示したシーケンス図である。図１８に示される例では、クラスで示された人の画像の形状から導き出される領域と、検出枠で示される位置と、が不一致と判定されたため、既に補助記憶装置３０Ａが記憶されている。

図１８に示されるように、ショベル１００の更新制御部３０６は、補助記憶装置３０Ａに記憶されている撮像画像データを、クラスと検出枠を示す情報と共に、管理装置２００に送信する。つまり、物体検出部３０２が、学習済みモデルＬＭから出力された検出枠の位置が、クラスで示された人の画像の形状から導き出される領域に存在しないと判定した場合、更新制御部３０６が、判定対象となった撮像画像データ、当該クラス、及び、当該検出枠を、管理装置２００に送信する。

管理装置２００の画像データ取得部２１１は、ショベル１００からクラスと検出枠を示す情報と共に送信された撮像画像データを取得した場合に、オペレータが、クラスと検出枠と共に撮像画像データを参照し、学習済みモデルＬＭの判定結果を確認する。その結果、オペレータが、学習済みモデルＬＭの判定結果は誤検出であって再学習を行うべきと判断した場合、オペレータが、当該撮像画像データに対して、正しい検出結果であるクラスと検出枠とを設定する。教師データセット生成部２１２は、当該設定結果に基づいて、教師データを生成し、教師データセットに追加する（Ｓ１８０２）。

そして、管理装置２００の学習部２１３が、生成された教師データセットを読み込んで再度の機械学習を行い、学習済みモデルを更新する（Ｓ１８０３）。

管理装置２００の出力部２１４が、更新された学習済みモデルを、ショベル１００に送信する（Ｓ１８０４）。

そして、ショベル１００の更新制御部３０６は、補助記憶装置３０Ａに記憶されている、学習済みモデルＬＭを再登録して、次回以降に人の検知に用いる学習済みモデルを更新する（Ｓ１８０５）。本実施形態においては、誤検出の元となった撮像画像データを教師データセットに追加した上で、再び機械学習を行う。当該機械学習による学習済みモデルＬＭを搭載したショベル１００が人の検知を行うことで、より検出精度を向上させることができる。

上述した処理手順によって、誤検知が生じた撮像画像データに基づいて再学習が行われた学習済みモデルに更新される。

［監視物体の実在位置の推定方法の具体例］
次に、図１９～図２１を参照して、検出された監視物体（人）の検出方法の具体例について説明する。

図１９は、実施形態に係る物体検出部３０２による監視物体（人）の検出状態の一例を示した図である。図１９は、物体検出部３０２によって、撮像画像データ１９０１から、作業者Ｗ７としてクラス"正面の人"と、検出枠１９０２と、が出力された例である。

図２０は、実施形態に係る物体検出部３０２による人の検出状態の一例を示した図である。図２０は、物体検出部３０２によって、撮像画像データ２００１から、作業者Ｗ８としてクラス"上半身"と、検出枠２００２と、が出力された例である。

図１９～図２０の画像は、例えば、物体検出部３０２により監視物体（作業者Ｗ７、Ｗ８）が検出された場合に、表示装置５０Ａや遠隔操作用表示装置に表示されてもよい。これにより、オペレータや監視者は、ショベル１００の周辺の監視物体の検出状況を、周辺画像（カメラ４０Ｘの撮像画像）を見ながら把握することができる。

例えば、図１９の状況では、物体検出部３０２は、入力画像に写っている作業者Ｗ７を人として検出（認識）している。そのため、検出枠１９０２は、作業者Ｗを囲むような矩形状として表される。

例えば、図２０の状況では、物体検出部３０２は、入力画像に写っている作業者Ｗ８の上部（上半身の部分）のみを人として検出（認識）している。そのため、検出枠２００２は、作業者Ｗ８の上半身を囲むような矩形状として表される。

物体検出部３０２は、人を検出（認識）する場合、入力画像における人の着用物に相当する一部分の領域のみを監視物体の検出範囲と判断する可能性がある。また、監視物体の背景やそのときの天候によっては、入力画像における監視物体の形状等の特徴が不鮮明となり、物体検出部３０２は、監視物体の全体の一部分しか監視物体として認識できない可能性がある。そのため、物体検出部３０２は、入力画像上で監視物体の全体のうちの上下方向の一部のみを検出（認識）する場合がある。

例えば、図２０の状況で、入力画像上の検出（認識）された監視物体の大きさ（検出枠ＦＲの上下方向の大きさ）に基づき、作業者Ｗの実在位置が推定されると、実際よりも上部旋回体３から遠い位置に作業者が存在すると判断される可能性がある。具体的には、図２０の状況は、図１９の状況と比べて、ショベル１００に近い位置に作業者Ｗ８が存在するにも関わらず、図１９の状況で推定される実在位置よりも上部旋回体３から離れた実在位置が推定される可能性がある。

これに対して、位置推定部３０３は、撮像画像データで特定された検出枠の位置座標、検出枠に対応するクラス、大きさ、及び形状に基づいて、監視物体の実在位置を推定する。検出枠の位置座標とは、検出枠で示された範囲の下端、上端、及び中心の少なくとも一つの座標を含む。検出枠の大きさ及び形状とは、検出範囲の高さ（上下方向の寸法）、幅（左右方向の寸法）、縦横比、対角線、及び面積のいずれか一つ以上に関する情報等が含まれる。検出枠に対応するクラスとは、例えば"上半身"、"下半身"、又はそれ以外か否かを示す情報が含まれる。

位置推定部３０３は、実在位置を推定する前に、物体検出部３０２によって検出されたクラスを用いて、監視物体の全体が検出されているか否かを判定する。例えば、位置推定部３０３は、クラスが"上半身"又は"下半身"の場合には、監視物体の全体が写っていないと認識する。

さらに、位置推定部３０３は、クラスと検出枠との整合性が一致しているか否かを判定してもよい。クラスが"上半身"又は"下半身"と、クラスがそれ以外の場合とでは、検出枠の縦横比が異なる。そこで、位置推定部３０３は、クラスと、当該クラスに対応する検出枠の縦横比と、が対応しているか否かによって、誤検出か否かを特定できる。

誤検出ではないと判定した後、位置推定部３０３は、撮像画像データで特定されたクラス、検出枠の位置座標、大きさ及び形状に基づいて、監視物体の実在位置を推定する。監視物体の実在位置を推定手法は、周知手法を問わず、どのような手法を用いてもよいため、説明を省略する。

このように、位置推定部３０３は、物体検出部３０２により入力画像上での監視物体の全体のうちの一部（特に、上下方向の上側の一部）のみが検出される状態を把握し、その状態を考慮して、監視物体の実在位置を推定することができる。そのため、位置推定部３０３は、例えば、監視物体の実在位置を実際よりも上部旋回体３から相対的に離れた位置として推定するような事態を抑制し、監視物体の実在位置をより適切に推定することができる。よって、コントローラ３０（安全制御部３０４）は、より適切に安全機能を作動させることができ、その結果、ショベル１００の安全性を向上させることができる。

［ショベルの機能構成の他の例］
次に、図２１を参照して、ショベル１００の機能構成の他の例について説明する。以下、上述の一例（図１０）と異なる部分を中心に説明を行い、上述の一例と同じ又は対応する説明を省略する場合がある。当該他の例とは、撮像装置４０内で物体の検出も行う場合である。

図２１は、本実施形態に係るショベル１００の機能構成の他の例を示す機能ブロック図である。

図２１に示すように、コントローラ３０は、上述の一例の場合と同様、表示処理部３０１と、物体検出部３０２と、位置推定部３０３と、安全制御部３０４と、照射制御部３０５と更新制御部３０６とを含む。また、コントローラ３０は、上述の一例と異なり、検出判断部３０７を含む。

撮像装置４０は、物体検出部４０２を含む。

物体検出部４０２は、物体検出部３０２と同様、撮像装置４０の撮像画像に対して、学習済みモデルＬＭに基づき、監視物体を検出する。物体検出部４０２は、物体検出部４０２Ｆ，４０２Ｂ，４０２Ｌ，４０２Ｒを含む。以下、物体検出部４０２Ｆ，４０２Ｂ，４０２Ｌ，４０２Ｒを包括的に、又は、任意の一つを個別に「物体検出部４０２Ｘ」と称する場合がある。

物体検出部４０２Ｆは、カメラ４０Ｆの撮像画像から監視物体を認識し、その監視物体が写っている検出枠（領域）、及びクラスを特定する。物体検出部４０２Ｆの機能は、任意のハードウェア又は任意のハードウェア及びソフトウェアの組み合わせ等により実現される。例えば、物体検出部４０２Ｆの機能は、例えば、カメラ４０Ｆの画像処理エンジン４２の補助記憶装置にインストールされるプログラムがメモリ装置にロードされＣＰＵ上で実行されることにより実現される。物体検出部４０２Ｂ，４０２Ｌ，４０２Ｒの機能も同様として説明を省略する。

カメラ４０Ｆは、撮像画像生成機能で生成される撮像画像に加えて、物体検出部４０２Ｆにより特定された検出枠、及びクラスをコントローラ３０に出力する。同様に、カメラ４０Ｂ、４０Ｌ、４０Ｒも、撮像画像に加えて、特定された検出枠、及びクラスをコントローラ３０に出力する。

物体検出部４０２Ｘは、互いに同じアルゴリズムを用いて、入力画像から監視物体を検出する。一方、物体検出部３０２，４０２Ｘは、物体検出部３０２と異なるアルゴリズムを用いて、入力画像から監視物体を検出する。これにより、例えば、物体検出部３０２，４０２Ｘのうちの何れか一方が監視物体を検出できない場合でも、何れか他方が監視物体を検出する可能性を高めることができる。その結果、ショベル１００の周辺の監視物体を検出できない事態の発生を抑制することができる。また、例えば、物体検出部３０２，４０２Ｘのうちの何れか一方が存在しない監視物体を検出してしまっても、他方が監視物体を検出していないことを以て、監視物体を検出しないようにすることもできる。

例えば、物体検出部３０２，４０２Ｘは、何れか一方が画像処理技術及び機械学習技術のうちの前者のみを利用し、何れか他方が画像処理技術及び機械学習技術の双方、即ち、学習済みモデルＬＭを利用して、監視物体を検出してもよい。

また、例えば、物体検出部３０２，４０２Ｘは、何れか一方が学習済みモデルＬＭとして監視物体の画像特徴量を機械学習済みのＳＶＭを利用し、何れか他方が深層学習による学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。また、物体検出部３０２，４０２Ｘは、例えば、互いに異なるネットワーク（ＤＮＮ）による学習済みモデルＬＭを用いて、入力画像から監視物体を検出してもよい。また、例えば、物体検出部３０２，４０２Ｘは、互いに異なる教師データセットで機械学習された学習済みモデルＬＭを利用して、入力画像から監視物体を検出してもよい。

検出判断部３０７は、物体検出部３０２の検出結果、及び物体検出部４０２Ｘに基づき、監視物体を検出する。具体的には、検出判断部３０７は、物体検出部３０２の検出結果、及び物体検出部４０２Ｘの検出結果に基づき、監視物体の検出に関する最終判断を行う。

位置推定部３０３は、検出判断部３０７により監視物体が検出された場合に、検出された監視物体の実在位置を推定する。また、検出判断部３０７により複数の監視物体が検出されている場合、位置推定部３０３は、複数の監視物体ごとの実在位置を推定する。

例えば、物体検出部３０２，４０２Ｘの何れか一方で、監視物体が検出されている場合、位置推定部３０３は、その何れか一方により特定される入力画像上での検出範囲等に基づき、上述の方法を任意に適用することで、監視物体の位置を推定する。

また、例えば、物体検出部３０２，４０２Ｘの双方で、同じ監視物体が検出されている場合、位置推定部３０３は、物体検出部３０２，４０２Ｘの検出結果のそれぞれに対して、監視物体の実在位置を推定し、それぞれの推定結果から監視物体の実在位置を推定してもよい。例えば、物体検出部３０２，４０２Ｘの検出結果のそれぞれに対する監視物体の実在位置の推定結果の平均を取ることにより、検出された監視物体の実在位置を推定してもよい。

安全制御部３０４は、例えば、検出判断部３０７によって、ショベル１００の周辺の所定範囲内で監視物体が検出される場合に、安全機能を作動させる。具体的には、安全制御部３０４は、位置推定部３０３により推定される、監視物体の実在位置（推定値）がショベル１００の周辺の所定範囲内である場合に、安全機能を作動させてよい。

なお、物体検出部３０２，４０２の何れか一方の機能は、表示装置５０Ａに移管されてもよい。また、物体検出部３０２，４０２に加えて、更に、入力画像から監視物体を検出する、１以上の物体検出部がショベル１００に設けられてもよい。追加される物体検出部は、表示装置５０Ａに設けられてもよいし、コントローラ３０に設けられてもよいし、コントローラ３０とは異なるコントローラに設けられてもよい。この場合、追加分を含む３以上の物体検出部は、互いに異なるアルゴリズムを用いて、入力画像から監視物体を検出してもよい。

［物体検出方法の具体例］
次に、検出判断部３０７による監視物体の検出方法、即ち、監視物体の検出に関する最終判断の方法について説明する。

検出判断部３０７は、例えば、物体検出部３０２及び物体検出部４０２Ｘの少なくとも一方で監視物体が検出されている場合、その監視物体がショベル１００の周辺に存在すると判断し、その監視物体を検出してよい。これにより、コントローラ３０は、例えば、物体検出部３０２，４０２Ｘのうちの何れか一方で実在する監視物体を検出されなくても、何れか他方でその監視物体が検出されれば、その監視物体を検出することができる。そのため、コントローラ３０は、例えば、監視物体の検出失敗が発生し易い状況や監視物体の検出失敗を防止する必要性が高い状況で、実在する監視物体をより確実に検出し、その結果、ショベル１００の安全機能の作動に伴って、安全性をより向上させることができる。

また、検出判断部３０７は、例えば、物体検出部３０２及び物体検出部４０２Ｘの双方で監視物体が検出されている場合、その監視物体がショベル１００の周辺に存在すると判断し、その監視物体を検出してもよい。これにより、コントローラ３０は、例えば、物体検出部３０２，４０２Ｘの何れか一方で実在しない監視物体が誤検出されてしまっても、何れか他方でその監視物体が検出されなければ、その監視物体を検出しないようにすることができる。そのため、コントローラ３０は、例えば、監視物体の誤検出が発生し易い状況や監視物体の誤検出による作業効率の低下を防止する必要性が高い状況で、監視物体の誤検出を抑制することができる。

なお、上述の如く、ショベル１００に３以上の物体検出部が設けられる場合、検出判断部３０７は、例えば、全ての物体検出部のうちの所定数（２以上の整数）以上の物体検出部で監視物体が検出されている場合に、その監視物体を検出してよい。所定数は、固定であってもよいし、可変されてもよい。例えば、所定数は、入力装置５２や通信装置６０を通じて受け付けられるユーザ（オペレータや監視者）からの所定の入力に応じて可変されてよい。

また、検出判断部３０７は、入力装置５２や通信装置６０を通じて受け付けられるユーザ（オペレータや監視者）からの所定の入力に応じて、上記の２つの方法を切り換えてもよい。

上述した実施形態に係る管理装置２００は、魚眼レンズ（広角レンズの一例）を有する撮像装置で撮像された、人が写っている位置にばらつきが生じている複数の学習用画像を用いて機械学習した学習済みモデルを生成している。

そして、ショベル１００は、撮像装置４０が有する魚眼レンズ（広角レンズの一例）によって撮像画像データにひずみが生じている場合でも、上述した学習済みモデルを用いて、撮像装置４０によって撮像された撮像画像データに人が写っているか否かを判定し、判定結果として検出枠及びクラスを出力する。このように、魚眼レンズのひずみを考慮した人の検知を行えるので、検出精度の向上を実現できる。また、このような人の検知を行うため、撮像画像データに対してひずみ補正を行わなくてよいため、処理負担の軽減及び検出速度の向上を実現できる。

以上、実施形態について詳述したが、本開示はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された要旨の範囲内において、種々の変形・変更が可能である。

例えば、上述した実施形態では、ショベル１００に搭載される撮像装置４０の撮像画像に基づく監視物体の検出方法について説明したが、同様の方法は、他の作業機械に搭載される撮像装置の撮像画像に基づく監視物体の検出方法に適用されてもよい。他の作業機械は、例えば、アタッチメントＡＴの先端にバケット６に代えてリフティングマグネットが装着されるリフマグ機、ブルドーザ、林業機械（例えば、ハーベスタ）、道路機械（例えば、アスファルトフィニッシャ）等である。

１ 下部走行体
１Ｃ クローラ
１ＭＬ 走行油圧モータ
１ＭＲ 走行油圧モータ
２ 旋回機構
２Ｍ 旋回油圧モータ
３ 上部旋回体
４ ブーム
５ アーム
６ バケット
７ ブームシリンダ
８ アームシリンダ
９ バケットシリンダ
１０ キャビン
１１ エンジン
１３ レギュレータ
１４ メインポンプ
１５ パイロットポンプ
１７ コントロールバルブ
２５ パイロットライン
２５Ａ パイロットライン
２５Ｂ パイロットライン
２６ 操作装置
２７ パイロットライン
２７Ａ パイロットライン
２７Ｂ パイロットライン
２９ 操作圧センサ
３０ コントローラ
３０Ａ 補助記憶装置
３０Ｂ メモリ装置
３０Ｃ ＣＰＵ
３０Ｄ インタフェース装置
３１ 油圧制御弁
３２ シャトル弁
３３ 油圧制御弁
４０ 撮像装置
４０Ｂ カメラ
４０Ｆ カメラ
４０Ｌ カメラ
４０Ｒ カメラ
５０ 出力装置
５０Ａ 表示装置
５０Ｂ 音出力装置
５２ 入力装置
６０ 通信装置
７０ 照射装置
１００ ショベル
２００ 管理装置
２０１ 外部インタフェース
２０１Ａ 記録媒体
２０２ 補助記憶装置
２０３ メモリ装置
２０４ ＣＰＵ
２０５ 高速演算装置
２０６ 通信インタフェース
２０７ 入力装置
２０８ 表示装置
２１１ 画像データ取得部
２１２ 教師データセット生成部
２１３ 学習部
２１４ 出力部
３０１ 表示処理部
３０２ 物体検出部
３０３ 位置推定部
３０４ 安全制御部
３０５ 照射制御部
３０６ 更新制御部
３０７ 検出判断部
４０２，４０２Ｂ，４０２Ｆ，４０２Ｌ，４０２Ｒ 物体検出部
ＡＴ アタッチメント
ＨＡ 油圧アクチュエータ
ＬＭ 学習済みモデル
ＮＷ 通信回線
Ｓ１ ブーム角度センサ
Ｓ２ アーム角度センサ
Ｓ３ バケット角度センサ
Ｓ４ 機体姿勢センサ
Ｓ５ 旋回角度センサ
ＳＹＳ 建設機械管理システム

Claims (11)

1. 所定の画角を有する広角レンズによって、建設機械の周辺を撮像する撮像装置と、
   前記所定の画角で撮像したため光軸から離れるに従ってひずみが生じている学習用画像であり且つ人が写っている位置にばらつきが生じている複数の学習用画像とともに、当該学習用画像の各々に写っている人の画像の位置を示した位置情報を読み込んで機械学習し、入力された画像に対して人が写っているか否かを判断結果として出力するよう機能させるための学習済みモデルを記憶する記憶装置と、
   前記学習済みモデルを用いて、前記撮像装置によって撮像された撮像画像に人が写っているか否かを判定し、判定結果を出力する制御装置と、
   を備える建設機械。
2. 前記学習済みモデルは、複数の前記学習用画像と、当該学習用画像毎の人の画像の前記位置情報と、写っている人の画像の位置に従って人の画像の形状を分類した分類情報と、を読み込んで機械学習し、前記入力された撮像画像に基づいて、前記撮像画像に写っている人の画像の形状に基づいた前記分類情報及び当該人の画像の位置を示した前記位置情報を出力するよう前記制御装置に機能させる、
   請求項１に記載の建設機械。
3. 前記制御装置は、前記学習済みモデルを用いて出力された前記位置情報が、前記位置情報と共に出力された前記分類情報で示された人の画像の形状から導き出される位置情報と対応していない場合、前記撮像画像に人が写っていないと判定する、
   請求項２に記載の建設機械。
4. 前記学習済みモデルによって前記制御装置が出力する前記位置情報とは、前記撮像画像に写っている人の画像の位置を示すために、当該人の画像を囲んだ枠情報である、
   請求項２又は３に記載の建設機械。
5. 前記記憶装置に記憶された前記学習済みモデルの機械学習に用いた前記位置情報とは、前記学習用画像に写っている人の画像の位置を示すために、当該人の画像を囲んだ枠情報である、
   請求項１乃至４のいずれか一つに記載の建設機械。
6. 前記学習済みモデルは、前記位置情報で示された人の画像の位置に対応する、当該人の画像の形状を機械学習している、
   請求項１乃至５のいずれか一つに記載の建設機械。
7. 前記分類情報は、前記撮像画像に人の画像が写っている横方向の位置に応じた当該人の画像の形状の分類として、人の画像が左側に傾いている若しくは左側に湾曲した形状、及び人の画像が右側に傾いている若しくは右側に湾曲した形状のうちいずれか一つ以上を分類している、又は前記撮像画像に人の画像が写っている縦方向の位置に応じた当該人の画像の分類として、人の画像のうち上部が下部と比べて大きく写るようにひずんでいるか否かを分類している、
   請求項２乃至４のいずれか一つに記載の建設機械。
8. 前記分類情報は、前記撮像画像に写っている人の画像に対して、当該人の全体が写っているか否かに基づいて、当該人の画像の形状を分類した情報を含んでいる、
   請求項２乃至４のいずれか一つに記載の建設機械。
9. 前記分類情報は、当該人の画像の形状として、当該人の全体であること、当該人の上半身であること、又は当該人の下半身であることを分類している、
   請求項８に記載の建設機械。
10. 前記記憶装置が記憶する前記学習済みモデルは、出力された前記位置情報が、前記位置情報と共に出力された前記分類情報で示された人の画像の形状から導き出される位置情報と対応していないと前記制御装置によって判定された場合に、判定対象となった前記撮像画像を読み込んで再び機械学習した前記学習済みモデルに更新される、
    請求項３に記載の建設機械。
11. 建設機械に設けられた、所定の画角を有する広角レンズによって撮像装置が撮像した、人が写っている位置にばらつきが生じている複数の学習用画像を取得する取得部と、
    前記学習用画像の各々に写っている人の画像の位置を示す位置情報を読み込んで機械学習して、入力された画像に基づいて、当該画像に対して人が写っているか否かを判断結果として出力するよう機能させる学習済みモデルを生成する生成部と、
    を有する情報処理装置。

Images