JP2023151642A - ショベル、ショベルの支援システム - Google Patents

Abstract

【課題】作業内容や作業現場に応じて、適切な検知対象物をショベルに検知させて、安全性を向上させることができるショベルを提供する。【解決手段】ショベル１００と、ショベルを支援する支援装置３００と、ショベルを管理する管理装置２００とを含むショベルの支援システムであって、ショベルは、下部走行体１と、下部走行体に旋回自在に搭載される上部旋回体３と、エンドアタッチメントとしてのバケット６と、支援装置において選択された対象物を、検知対象物として設定するコントローラ３０とを有する。【選択図】図１

Description

本発明は、ショベル、ショベルの支援システムに関する。

従来では、ショベルに対して仮想壁を設定し、仮想壁とショベルとの位置関係に基づいて、ショベルの動きを制限する技術が知られている。

国際公開２０１９／１８９０３０号

ショベルが接触を回避すべき対象物は、作業内容や作業現場によって異なり、仮想壁の内側に障害物等が配置される場合もあり得る。しかしながら、上述した従来の技術では、仮想壁の内側に配置された障害物等については考慮されていない。

そこで、上記課題に鑑み、安全性を向上させることを目的とする。

本発明の実施形態に係るショベルは、下部走行体と、前記下部走行体に旋回自在に搭載される上部旋回体と、エンドアタッチメントと、支援装置において選択された対象物を検知対象物として設定する制御部と、を有するショベルである。

本発明の実施形態に係るショベルの支援システムは、ショベルと、ショベルを支援する支援装置と、ショベルを管理する管理装置とを含むショベルの支援システムであって、前記ショベルは、下部走行体と、前記下部走行体に旋回自在に搭載される上部旋回体と、エンドアタッチメントと、前記支援装置において選択された対象物を、検知対象物として設定する制御部と、を有する、ショベルの支援システムである。

安全性を向上させることができる。

ショベルの支援システムのシステム構成の一例を示す図である。 管理装置のハードウェア構成の一例を示す図である。 第一の実施形態の支援装置とショベルの機能構成を説明する図である。 第一の実施形態のショベルの動作を説明するフローチャートである。 ショベルにおける表示例を示す図である。 第二の実施形態の支援システムの有する各装置の機能を説明する図である。 対応付け記憶部の一例を示す図である。 第二の実施形態の支援システムの動作を説明するシーケンス図である。 第二の実施形態のショベルの動作を示すフローチャートである。 判定モデルについて説明する図である。 管理装置による判定モデルの学習について説明するシーケンス図である。

以下に、図面を参照して実施形態について説明する。図１は、ショベルの支援システムのシステム構成の一例を示す図である。

本実施形態のショベルの支援システムＳＹＳは、ショベル１００と、管理装置２００と、支援装置３００とを含む。以下の説明では、ショベルの支援システムＳＹＳを、単に支援システムＳＹＳと表現する。

本実施形態の支援システムＳＹＳにおいて、ショベル１００と、管理装置２００と、支援装置３００とは、ネットワーク等を介して接続される。

本実施形態のショベル１００は、自機の稼働状況を示す稼働情報を取得し、管理装置２００に送信し、管理装置２００から各種の情報を受信する。

ショベル１００の稼働情報とは、具体的には、自機の現在位置を示す位置情報、自機の向きを示す向き情報、自機の姿勢を示す姿勢情報、作業内容を示す作業内容情報、負荷率を記す負荷率情報、稼働時間の累積時間を示す累積時間情報、燃料噴射量を含む燃料情報、ＣＯ_２排出量、作業量等を含む。

管理装置２００は、ショベル１００から、稼働情報を受信し、稼働情報に含まれる状態情報が示すショベル１００の作業内容毎に、稼働情報を集計する。そして、管理装置２００は、ショベル１００に関する各種の情報をショベル１００の表示装置４０に表示させてもよい。

また、本実施形態の管理装置２００は、支援装置３００が有する撮像装置や、ショベル１００が有するカメラ等によって撮像された画像データを収集する。そして、管理装置２００は、収集した画像データを用いた機械学習等によって、ショベル１００が回避すべき対象物の有無を判定する判定モデルを生成してもよい。生成された判定モデルは、ショベル１００に出力されてもよい。

本実施形態の支援装置３００は、主に、作業現場に存在する作業者や、ショベル１００を操作するオペレータ等によって利用される可搬型の端末装置であって、例えば、スマートフォン等である。

本実施形態の支援装置３００は、作業者等によってショベル１００に検知させる対象物の画像が撮像されると、この画像を示す画像データをショベル１００や管理装置２００に送信する。

なお、図１の例では、支援装置３００は、支援システムＳＹＳに含まれるものとしたが、これに限定されない。支援装置３００は、支援システムＳＹＳに含まれなくても良い。

また、図１の例では、管理装置２００は１台の情報処理装置により実現されるものとしたが、これに限定されない。管理装置２００は、複数の情報処理装置により実現されてもよい。言い換えれば、管理装置２００により実現される機能は、複数の情報処理装置により実現されてもよい。

次に、本実施形態のショベル１００について説明する。図１では、ショベル１００の側面図を示す。

ショベル１００は、下部走行体１、旋回機構２、上部旋回体３を有する。ショベル１００において、下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはエンドアタッチメントとしてのバケット６が取り付けられている。

ブーム４、アーム５、バケット６は、アタッチメントの一例としての掘削アタッチメントを構成している。そして、ブーム４は、ブームシリンダ７により駆動され、アーム５は、アームシリンダ８により駆動され、バケット６は、バケットシリンダ９により駆動される。ブーム４にはブーム角度センサＳ１が取り付けられ、アーム５にはアーム角度センサＳ２が取り付けられ、バケット６にはバケット角度センサＳ３が取り付けられている。

ブーム角度センサＳ１はブーム４の回動角度を検出するように構成されている。本実施形態では、ブーム角度センサＳ１は加速度センサであり、上部旋回体３に対するブーム４の回動角度（以下、「ブーム角度」とする。）を検出できる。ブーム角度は、例えば、ブーム４を最も下げたときに最小角度となり、ブーム４を上げるにつれて大きくなる。

アーム角度センサＳ２はアーム５の回動角度を検出するように構成されている。本実施形態では、アーム角度センサＳ２は加速度センサであり、ブーム４に対するアーム５の回動角度（以下、「アーム角度」とする。）を検出できる。アーム角度は、例えば、アーム５を最も閉じたときに最小角度となり、アーム５を開くにつれて大きくなる。

バケット角度センサＳ３はバケット６の回動角度を検出するように構成されている。本実施形態では、バケット角度センサＳ３は加速度センサであり、アーム５に対するバケット６の回動角度（以下、「バケット角度」とする。）を検出できる。バケット角度は、例えば、バケット６を最も閉じたときに最小角度となり、バケット６を開くにつれて大きくなる。

ブーム角度センサＳ１、アーム角度センサＳ２、及び、バケット角度センサＳ３はそれぞれ、可変抵抗器を利用したポテンショメータ、対応する油圧シリンダのストローク量を検出するストロークセンサ、連結ピン回りの回動角度を検出するロータリエンコーダ、ジャイロセンサ、又は、加速度センサとジャイロセンサの組み合わせ等であってもよい。

ブームシリンダ７にはブームロッド圧センサＳ７Ｒ及びブームボトム圧センサＳ７Ｂが取り付けられている。アームシリンダ８にはアームロッド圧センサＳ８Ｒ及びアームボトム圧センサＳ８Ｂが取り付けられている。

バケットシリンダ９にはバケットロッド圧センサＳ９Ｒ及びバケットボトム圧センサＳ９Ｂが取り付けられている。ブームロッド圧センサＳ７Ｒ、ブームボトム圧センサＳ７Ｂ、アームロッド圧センサＳ８Ｒ、アームボトム圧センサＳ８Ｂ、バケットロッド圧センサＳ９Ｒ及びバケットボトム圧センサＳ９Ｂは、集合的に「シリンダ圧センサ」とも称される。

ブームロッド圧センサＳ７Ｒはブームシリンダ７のロッド側油室の圧力（以下、「ブームロッド圧」とする。）を検出し、ブームボトム圧センサＳ７Ｂはブームシリンダ７のボトム側油室の圧力（以下、「ブームボトム圧」とする。）を検出する。アームロッド圧センサＳ８Ｒはアームシリンダ８のロッド側油室の圧力（以下、「アームロッド圧」とする。）を検出し、アームボトム圧センサＳ８Ｂはアームシリンダ８のボトム側油室の圧力（以下、「アームボトム圧」とする。）を検出する。

バケットロッド圧センサＳ９Ｒはバケットシリンダ９のロッド側油室の圧力（以下、「バケットロッド圧」とする。）を検出し、バケットボトム圧センサＳ９Ｂはバケットシリンダ９のボトム側油室の圧力（以下、「バケットボトム圧」とする。）を検出する。

上部旋回体３には運転室であるキャビン１０が設けられ且つエンジン１１等の動力源が搭載されている。また、エンジン１１の排出機構の近傍には、ＣＯ_２排出量を検出するためのセンサが設けられていてもよい。

さらに、上部旋回体３には、コントローラ３０、表示装置４０、入力装置４２、音声出力装置４３、記憶装置４７、測位装置Ｐ１、機体傾斜センサＳ４、旋回角速度センサＳ５、撮像装置Ｓ６及び通信装置Ｔ１が取り付けられている。

上部旋回体３には、電力を供給する蓄電部、及び、エンジン１１の回転駆動力を用いて発電する電動発電機等が搭載されていてもよい。蓄電部は、例えば、キャパシタ、又は、リチウムイオン電池等である。電動発電機は、電動機として機能して機械負荷を駆動してもよく、発電機として機能して電気負荷に電力を供給してもよい。

コントローラ３０は、ショベル１００の駆動制御を行う主制御部として機能する。本実施形態では、コントローラ３０は、ＣＰＵ、ＲＡＭ及びＲＯＭ等を含むコンピュータで構成されている。コントローラ３０の各種機能は、例えば、ＲＯＭに格納されたプログラムをＣＰＵが実行することで実現される。各種機能は、例えば、オペレータによるショベル１００の手動操作をガイド（案内）するマシンガイダンス機能、及び、オペレータによるショベル１００の手動操作を自動的に支援するマシンコントロール機能の少なくとも１つを含んでいてもよい。

表示装置４０は、各種情報を表示するように構成されている。表示装置４０は、ＣＡＮ等の通信ネットワークを介してコントローラ３０に接続されていてもよく、専用線を介してコントローラ３０に接続されていてもよい。

入力装置４２は、オペレータが各種情報をコントローラ３０に入力できるように構成されている。入力装置４２は、キャビン１０内に設置されたタッチパネル、ノブスイッチ及びメンブレンスイッチ等の少なくとも１つを含む。

音声出力装置４３は、音声を出力するように構成されている。音声出力装置４３は、例えば、コントローラ３０に接続される車載スピーカであってもよく、ブザー等の警報器であってもよい。本実施形態では、音声出力装置４３は、コントローラ３０からの音声出力指令に応じて各種情報を音声出力するように構成されている。

記憶装置４７は、各種情報を記憶するように構成されている。記憶装置４７は、例えば、半導体メモリ等の不揮発性記憶媒体である。記憶装置４７は、ショベル１００の動作中に各種機器が出力する情報を記憶してもよく、ショベル１００の動作が開始される前に各種機器を介して取得する情報を記憶してもよい。

記憶装置４７は、例えば、通信装置Ｔ１等を介して取得される目標施工面に関するデータを記憶していてもよい。目標施工面は、ショベル１００のオペレータが設定したものであってもよく、施工管理者等が設定したものであってもよい。

測位装置Ｐ１は、上部旋回体３の位置を測定するように構成されている。測位装置Ｐ１は、上部旋回体３の向きを測定できるように構成されていてもよい。本実施形態では、測位装置Ｐ１は、例えばＧＮＳＳコンパスであり、上部旋回体３の位置及び向きを検出し、検出値をコントローラ３０に対して出力する。そのため、測位装置Ｐ１は、上部旋回体３の向きを検出する向き検出装置としても機能し得る。向き検出装置は、上部旋回体３に取り付けられた方位センサであってもよい。

機体傾斜センサＳ４は上部旋回体３の傾斜を検出するように構成されている。本実施形態では、機体傾斜センサＳ４は仮想水平面に対する上部旋回体３の前後軸回りの前後傾斜角及び左右軸回りの左右傾斜角を検出する加速度センサである。上部旋回体３の前後軸及び左右軸は、例えば、ショベル１００の旋回軸上の一点であるショベル中心点で互いに直交する。

旋回角速度センサＳ５は、上部旋回体３の旋回角速度を検出するように構成されている。旋回角速度センサＳ５は、上部旋回体３の旋回角度を検出或いは算出するように構成されていてもよい。本実施形態では、旋回角速度センサＳ５は、ジャイロセンサである。旋回角速度センサＳ５は、レゾルバ、ロータリエンコーダ等であってもよい。

撮像装置Ｓ６は、空間認識装置の一例であり、ショベル１００の周辺の画像を取得するように構成されている。本実施形態では、撮像装置Ｓ６は、ショベル１００の前方の空間を撮像する前カメラＳ６Ｆ、ショベル１００の左方の空間を撮像する左カメラＳ６Ｌ、ショベル１００の右方の空間を撮像する右カメラＳ６Ｒ、及び、ショベル１００の後方の空間を撮像する後カメラＳ６Ｂを含む。また、撮像装置Ｓ６は、キャビン１０内に配置されたカメラを含む。

撮像装置Ｓ６は、例えば、ＣＣＤ又はＣＭＯＳ等の撮像素子を有する単眼カメラであり、撮像した画像を表示装置４０に出力する。撮像装置Ｓ６は、ステレオカメラ、距離画像カメラ等であってもよい。また、撮像装置Ｓ６は、３次元距離画像センサ、超音波センサ、ミリ波レーダ、ＬＩＤＡＲ又は赤外線センサ等の他の空間認識装置で置き換えられてもよく、他の空間認識装置とカメラとの組み合わせで置き換えられてもよい。

前カメラＳ６Ｆは、例えば、キャビン１０の天井、すなわちキャビン１０の内部に取り付けられている。但し、前カメラＳ６Ｆは、キャビン１０の屋根、ブーム４の側面等、キャビン１０の外部に取り付けられていてもよい。左カメラＳ６Ｌは、上部旋回体３の上面左端に取り付けられ、右カメラＳ６Ｒは、上部旋回体３の上面右端に取り付けられ、後カメラＳ６Ｂは、上部旋回体３の上面後端に取り付けられている。

通信装置Ｔ１は、ショベル１００の外部にある外部機器との通信を制御するように構成されている。本実施形態では、通信装置Ｔ１は、衛星通信網、携帯電話通信網又はインターネット網等を介した外部機器との通信を制御する。外部機器は、例えば、外部施設に設置されたサーバ等の管理装置２００であってもよく、ショベル１００の周囲の作業者が携帯しているスマートフォン等の支援装置３００であってもよい。

次に、本実施形態の管理装置２００について説明する。図２は、管理装置のハードウェア構成の一例を示す図である。

本実施形態の管理装置２００は、それぞれバスＢで相互に接続されている入力装置２０１、出力装置２０２、ドライブ装置２０３、補助記憶装置２０４、メモリ装置２０５、演算処理装置２０６及びインターフェース装置２０７を含むコンピュータである。

入力装置２０１は、各種の情報の入力を行うための装置であり、例えばタッチパネル等により実現される。出力装置２０２は、各種の情報の出力を行うためものであり、例えばディスプレイ等により実現される。インターフェース装置２０７は、ネットワークに接続する為に用いられる。

後述する各部により実現される管理プログラムは、管理装置２００を制御する各種プログラムの少なくとも一部である。管理プログラムは、例えば、記憶媒体２０８の配布やネットワークからのダウンロード等によって提供される。管理プログラムを記録した記憶媒体２０８は、情報を光学的、電気的或いは磁気的に記録する記憶媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記憶媒体を用いてもよい。

また、管理プログラムは、管理プログラムを記録した記憶媒体２０８がドライブ装置２０３にセットされると、記憶媒体２０８からドライブ装置２０３を介して補助記憶装置２０４にインストールされる。ネットワークからダウンロードされた管理プログラムは、インターフェース装置２０７を介して補助記憶装置２０４にインストールされる。

補助記憶装置２０４は、管理装置２００にインストールされた管理プログラムを格納すると共に、管理装置２００による各種の必要なファイル、データ等を格納する。メモリ装置２０５は、管理装置２００の起動時に補助記憶装置２０４から管理プログラムを読み出して格納する。そして、演算処理装置２０６はメモリ装置２０５に格納された管理プログラムに従って、後述するような各種処理を実現している。

なお、本実施形態の支援装置３００は、管理装置２００と同様に演算処理装置とメモリ装置とを有するコンピュータであるから、説明を省略する。なお、支援装置３００は、演算処理装置とメモリ装置以外に、撮像装置を有する。また、支援装置３００は入力装置として、タッチパネル等を有してもよい。

（第一の実施形態）
以下に、図面を参照して、第一の実施形態について説明する。第一の実施形態では、支援装置３００において、作業者により撮像された対象物の画像データをショベル１００へ送信し、ショベル１００の撮像装置Ｓ６によって撮像された画像データと照合することで、ショベル１００に対象物を検知させる。

次に、図３を参照して、本実施形態の支援装置３００とショベル１００の機能構成について説明する。図３は、第一の実施形態の支援装置とショベルの機能構成を説明する図である。

はじめに、支援装置３００の機能について説明する。後述する支援装置３００の各部は、支援装置３００の演算処理装置が、メモリ装置に格納された支援プログラムを読み出して実行することで実現される。

本実施形態の支援装置３００は、入力受付部３１０、撮像制御部３２０、通信制御部３３０を有する。入力受付部３１０は、支援装置３００に対する各種の入力を受け付ける。具体的には、例えば、入力受付部３１０は、支援装置３００に対する画像データの撮像指示や、画像データの送信指示を受け付ける。

撮像制御部３２０は、入力受付部３１０が受け付けた画像データの撮像指示に応じて、撮像装置に画像データを撮像させる。

ここで、本実施形態の支援装置３００では、ショベル１００による検知の対象物の画像データが撮像されるものとする。ショベル１００による検知の対象物とは、言い換えれば、ショベル１００が回避すべき障害物である。以下の説明では、ショベル１００による検知の対象物を検知対象物と呼ぶ。

具体的には、例えば、検知対象物とは、ロードコーンや土管等のように、作業現場に配置された物体であってよい。以下の説明では、支援装置３００により撮像される画像データを、対象物画像データと呼ぶ。

また、本実施形態では、支援装置３００を所持している作業者等によって、回避すべき障害物と判断された対象物の画像データが、対象物画像データとして撮像される。したがって、本実施形態における対象物画像データは、支援装置３００において、回避すべき障害物として選択された対象物の画像データと言える。

さらに、本実施形態では、支援装置３００において撮像された作業現場の画像データの一部が対象物画像データとして切り出され、ショベル１００に送信されてもよい。

通信制御部３３０は、入力受付部３１０が受け付けた画像データの送信指示に応じて、対象物画像データをショベル１００に送信する。

次に、ショベル１００の機能について説明する。後述するショベル１００の各部は、コントローラ３０が記憶装置４７等に格納されたプログラムを読み出して実行することで実現される。

本実施形態のショベル１００は、画像取得部３１、検知対象物設定部３２、照合部３３、対象物検知部３４、動作制御部３５を有する。

画像取得部３１は、支援装置３００から送信される、対象物画像データを取得する。また、画像取得部３１は、撮像装置Ｓ６によって撮像された画像データを取得する。

ここで、撮像装置Ｓ６によって撮像された画像データとは、ショベル１００の周辺を撮像した画像データである。言い換えれば、撮像装置Ｓ６によって撮像された画像データとは、ショベル１００が作業を行っている作業現場を撮像した画像データである。以下の説明では、撮像装置Ｓ６によって撮像された画像データを、周辺画像データと呼ぶ。

検知対象物設定部３２は、支援装置３００から対象物画像データを取得すると、この対象物画像データを、検知すべき対象物を示す画像データとして、コントローラ３０に保持させる。言い換えれば、検知対象物設定部３２は、支援装置３００において撮像された対象物画像データが示す対象物を、検知対象物としてコントローラ３０に設定する。

照合部３３は、対象物画像データと、周辺画像データとを照合する。具体的には、照合部３３は、対象物画像データが示す画像の特徴量と、周辺画像データが示す画像の特徴量とを比較してもよい。

対象物検知部３４は、照合部３３による照合結果に応じて、対象物検知部３４は、対象物画像データを検知する。言い換えれば、対象物検知部３４は、周辺画像データが示す画像中に、対象物画像データが示す対象物画像と対応する画像が含まれるか否かを判定する。

ここで、対象物検知部３４は、例えば、周辺画像データが示す周辺画像に含まれる様々な形状の画像のうち、対象物画像データが示す対象物画像と形状が類似する画像が含まれる場合に、周辺画像に、対象物画像と対応する画像が含まれるものとしてもよい。

動作制御部３５は、対象物検知部３４により検知された対象物が、ショベル１００から所定の範囲内に検知された場合に、その旨を示す通知を出力する。

なお、本実施形態では、ショベル１００は、支援装置３００から対象物画像データを取得すると、この対象物画像データを、検知対象物の一覧を示す情報として保持する。

以下に、図４を参照して、本実施形態のショベル１００の動作について説明する。図４は、第一の実施形態のショベルの動作を説明するフローチャートである。

本実施形態のショベル１００は、画像取得部３１により、支援装置３００から対象物画像データを取得する（ステップＳ４０１）。

つづいて、画像取得部３１は、対象物画像データを、検知すべき対象物を示す画像データとしてコントローラ３０に設定する（ステップＳ４０２）。なお、このとき取得した対象物画像データは、ショベル１００の記憶装置４７やコントローラ３０内に設けられたメモリ等に格納されてよい。

続いて、ショベル１００は、画像取得部３１により、周辺画像データを取得し、照合部３３により、周辺画像データと、対象物画像データとを照合する（ステップＳ４０３）。

具体的には、照合部３３は、ショベル１００の有する複数の撮像装置Ｓ６のそれぞれが取得した周辺画像データと、対象物画像データとを照合する。複数の撮像装置Ｓ６とは、ショベル１００の前方の空間を撮像する前カメラＳ６Ｆ、ショベル１００の左方の空間を撮像する左カメラＳ６Ｌ、ショベル１００の右方の空間を撮像する右カメラＳ６Ｒ、及び、ショベル１００の後方の空間を撮像する後カメラＳ６Ｂを含む。

次に、ショベル１００は、照合部３３により、複数の撮像装置Ｓ６のそれぞれが取得した全ての周辺画像データについて、対象物画像データとの照合を行ったか否かを判定する（ステップＳ４０４）。

ステップＳ４０４において、全ての周辺画像データについて、照合が行われていない場合は、ステップＳ４０３に戻る。

ステップＳ４０４において、全ての周辺画像データについて、照合が行われた場合、ショベル１００は、対象物検知部３４により、周辺画像データが示す周辺画像から、対象物画像データが示す対象物画像と対応する画像が検知されたか否かを判定する（ステップＳ４０５）。

ステップＳ４０５において、対象物画像と対応する画像が検知されない場合、ショベル１００は、処理を終了する。

ステップＳ４０５において、対象物画像と対応する画像が検知された場合、ショベル１００は、動作制御部３５により、検知対象物がショベル１００から所定範囲内で検知されたか否かを判定する（ステップＳ４０６）。

なお、本実施形態では、周辺画像から検知対象物の画像が検知された場合、表示装置４０において、検知対象物の画像を特定するためのマーカ等を表示させてもよい。表示例の詳細は後述する。

ステップＳ４０６において、検知対象物が所定範囲内で検知されていない場合、ショベル１００は、処理を終了する。

ステップＳ４０６において、検知対象物が所定範囲内で検知された場合、ショベル１００は、動作制御部３５により、検知対象物が所定範囲内で検知されたことを示す通知を出力し（ステップＳ４０７）、処理を終了する。

なお、ステップＳ４０７で出力される通知は、表示装置４０に表示されるものであってもよいし、音声等によってショベル１００の周辺の作業者等に通知するものであってもよい。

また、本実施形態では、ショベル１００は、支援装置３００から取得した対象物画像データが、ショベル１００に保持されていない場合には、その旨を示す通知を表示装置４０や支援装置３００に対して出力してもよい。このような通知を出力することで、新たな検知対象物が設定されることを、作業者やオペレータに認識させることができる。

次に、図５を参照して、本実施形態のショベル１００の表示装置４０における表示例について説明する。図５は、ショベルにおける表示例を示す図である。

ここでは、支援装置３００において、検知対象物をロードコーンと、トラックの２種類が選択され、対象物画像データとして、ロードコーンの画像データと、トラックの画像データとが撮像された場合について説明する。

この場合、ショベル１００は、支援装置３００から、対象物画像データとして、ロードコーンの画像データと、トラックの画像データとを取得し、ロードコーンとトラックとを検知対象物に設定する。そして、ショベル１００は、撮像装置Ｓ６によって撮像された周辺画像データと、２種類の対象物画像データとをそれぞれ照合し、周辺画像において、ロードコーンと対応する形状の画像と、トラックと対応する形状の画像の有無を検知する。

図５では、撮像装置Ｓ６に含まれる後カメラＳ６Ｂにより撮像された周辺画像データと、対象物画像データとの照合において、ロードコーンと対応する画像と、トラックと対応する画像と、が検知されたものとする。

図５では、表示装置４０にメイン画面４１Ｖが表示された場合の一例を示す。メイン画面４１Ｖの中のカメラ画像表示領域４１ｍには、撮像装置Ｓ６により撮像された撮像画像が表示されている。ここで、カメラ画像表示領域４１ｍに表示される撮像画像は、例えば、ショベル１００の周辺画像データが示す周辺画像である。

また、メイン画面４１Ｖには、カメラ画像表示領域４１ｍの他、日時表示領域４１ａ、走行モード表示領域４１ｂ、アタッチメント表示領域４１ｃ、平均燃費表示領域４１ｄ、エンジン制御状態表示領域４１ｅ、エンジン作動時間表示領域４１ｆ、冷却水温表示領域４１ｇ、燃料残量表示領域４１ｈ、回転数モード表示領域４１ｉ、尿素水残量表示領域４１ｊ、作動油温表示領域４１ｋが含まれる。

日時表示領域４１ａは、メイン画面４１Ｖの中で、現在の日時を表示する領域である。

走行モード表示領域４１ｂは、メイン画面４１Ｖの中で、ショベル１００の現在の走行モードを表す図形を表示する領域である。

アタッチメント表示領域４１ｃは、メイン画面４１Ｖの中で、ショベル１００に現在装着されているアタッチメントの種類を模擬的に表す図形を表示する領域である。

平均燃費表示領域４１ｄは、メイン画面４１Ｖの中で、ショベル１００の現在の平均燃費を表示する領域である。平均燃費は、例えば、所定時間における燃料消費量である。

エンジン制御状態表示領域４１ｅは、メイン画面４１Ｖの中で、エンジン１１の制御状態を模擬的に表す図形を表示する領域である。

エンジン作動時間表示領域４１ｆは、メイン画面４１Ｖの中で、所定のタイミングからのエンジン１１の総作動時間を表示する領域である。

冷却水温表示領域４１ｇは、メイン画面４１Ｖの中で、現在のエンジン１１の冷却水の温度状態を表示する領域である。

燃料残量表示領域４１ｈは、メイン画面４１Ｖの中で、ショベル１００の燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。

回転数モード表示領域４１ｉは、現在のエンジン１１の設定回転数に関するモード（回転数モード）を表示する領域である。

尿素水残量表示領域４１ｊは、メイン画面４１Ｖの中で、尿素水タンクに貯蔵されている尿素水の残量状態を表示する領域である。

本実施形態では、カメラ画像表示領域４１ｍに、撮像装置Ｓ６のうちの後カメラＳ６Ｂの撮像画像が表示されており、この撮像画像には、ショベル１００の後方に配置されたロードコーンＲＣと、ショベル１００の後方に駐車されたトラックＴＫが映っている。

本実施形態のショベル１００では、対象物検知部３４により、ロードコーンＲＣが検知されると、ロードコーンＲＣを取り囲む態様のボックスアイコン５０１と、検知対象物がロードコーンであることを表す文字情報アイコン５０２とを撮像画像に重畳して表示させる。

また、本実施形態のショベル１００では、対象物検知部３４により、トラックＴＫが検知されると、トラックＴＫを取り囲む態様のボックスアイコン５０３と、検知対象物がトラックであることを表す文字情報アイコン５０４とを撮像画像に重畳して表示させる。

本実施形態では、このようにボックスアイコンを撮像画像（周辺画像）に重畳させて表示させることで、オペレータ等に対し、検知対象物の存在を容易に認識させることができる。また、本実施形態では、検知対象物の種類を示す文字表示アイコンを撮像画像（周辺画像）に重畳させて表示させることで、オペレータ等に対し、検知対象物の種類を把握させることができる。

なお、図５の例では、カメラ画像表示領域４１ｍには、後カメラＳ６Ｂにより撮像された画像データが表示されるものとしたが、これに限定されない。表示装置４０のカメラ画像表示領域４１ｍには、例えば、撮像装置Ｓ６に含まれる複数のカメラによって撮像された画像データを合成した俯瞰画像が、後カメラＳ６Ｂにより撮像されたショベル１００の後方画像と共に表示されてもよい。

さらに、本実施形態では、カメラ画像表示領域４１ｍに、撮像装置Ｓ６の位置と上部旋回体３のアタッチメントの向きとの相対的関係を表すアイコン画像が表示されてもよい。

このアイコン画像は、ショベル１００のアイコン画像と、ショベル１００の前方を示すアイコン画像、ショベル１００の後方を示すアイコン画像を含む。また、このアイコン画像は、ショベル１００の左側を示すアイコン画像、ショベル１００の右側を示すアイコン画像、キャビン１０内を示すアイコン画像を含む。

言い換えれば、撮像装置Ｓ６の位置と上部旋回体３のアタッチメントの向きとの相対的関係を表すアイコン画像は、撮像装置Ｓ６に含まれる複数のカメラのそれぞれが配置された位置と対応するアイコン画像を含む。

具体的には、複数のカメラのそれぞれが配置された位置と対応するアイコン画像は、それぞれが、ショベル１００の前方を撮像する前カメラＳ６Ｆ、ショベル１００の後方を撮像する後カメラＳ６Ｂ、ショベル１００の左方を撮像する左カメラＳ６Ｌ、ショベル１００の右方を撮像する右カメラＳ６Ｒ、キャビン１０内部のカメラに対応している。

本実施形態では、撮像装置Ｓ６の位置と上部旋回体３のアタッチメントの向きとの相対的関係を表すアイコン画像において、各カメラと対応付けられた画像が選択されると、選択された画像と対応するカメラによって撮像された画像データがカメラ画像表示領域４１ｍに表示されてよい。

また、撮像装置Ｓ６の位置と上部旋回体３のアタッチメントの向きとの相対的関係を表すアイコン画像では、カメラ画像表示領域４１ｍに撮像した画像データが表示されているカメラと対応するアイコン画像の表示態様を、他のカメラと対応するアイコン画像の表示態様と異ならせてもよい。このように、各アイコン画像を表示させることで、カメラ画像表示領域４１ｍに表示されている画像が、とのカメラで撮像した画像であるかを、オペレータに容易に把握させることができる。

このように、本実施形態では、作業現場の状態を把握している作業者によって選択された検知対象物を、ショベル１００が回避すべき対象物を検知対象物に設定することができる。したがって、本実施形態によれば、作業内容や作業現場に応じて、適切な検知対象物をショベル１００に検知させることができ、安全性を向上させることができる。

（第二の実施形態）
以下に第二の実施形態について説明する。第二の実施形態では、管理装置２００において、周辺画像に検知対象物の画像が含まれるか否かを判定する判定モデルを生成し、生成された判定モデルをショベル１００に保持させる点が、第一の実施形態と相違する。

以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図６は、第二の実施形態の支援システムの有する各装置の機能を説明する図である。本実施形態の支援システムＳＹＳにおいて、支援装置３００は、ショベル１００の作業内容と作業地域の入力を受け付けると、管理装置２００に対して、作業内容と作業地域とを示す情報を送信する。

管理装置２００は、この情報を受け付けて、作業内容と作業地域に対応した判定モデルを特定し、特定した判定モデルをショベル１００に出力（送信）する。ショベル１００は、管理装置２００から出力された判定モデルを用いて、周辺画像に検知対象物が含まれるか否かを判定する。

このように、本実施形態では、支援装置３００において、作業内容と作業地域を入力する操作によって、ショベル１００において検知される検知対象物が特定される。言い換えれば、本実施形態では、ショベル１００において検知される検知対象物は、支援装置３００において選択される。

はじめに、管理装置２００の機能について説明する。本実施形態の管理装置２００の有する各記憶部は、メモリ装置２０５や補助記憶装置２０４によって実現されてよい。また、管理装置２００の有する各機能部は、演算処理装置２０６が、メモリ装置２０５や補助記憶装置２０４に格納された管理プログラムを読み出して実行することで実現される。

本実施形態の管理装置２００は、判定モデル記憶部２１０、対応付け記憶部２２０、画像データ記憶部２３０を有する。また、管理装置２００は、モデル特定部２４０、モデル出力部２５０、画像データ収集部２６０、教師データ生成部２７０、学習部２８０を有する。

判定モデル記憶部２１０は、学習部２８０による機械学習等によって生成された、判定モデルが格納される。判定モデル記憶部２１０に格納される判定モデルは、学習済みモデルであって、ショベル１００の周辺画像データを入力とし、周辺画像データに、ある検知対象物が含まれるか否かを判定した結果を出力とするモデルである。したがって、判定モデルは、検知対象物の種類毎に存在してよい。判定モデルの詳細は後述する。

対応付け記憶部２２０は、作業内容及び作業地域と、判定モデルとを対応付けた対応付け情報が格納される。対応付け情報の詳細は後述する。

画像データ記憶部２３０は、画像データ収集部２６０により、支援装置３００から収集された対象物画像データが格納される。画像データ記憶部２３０に格納された対象物画像データは、判定モデルを学習させるための教師データを生成する際に用いられる。

モデル特定部２４０は、対応付け記憶部２２０を参照し、支援装置３００において入力された作業内容と作業地域と対応する判定モデルを特定する。

モデル出力部２５０は、モデル特定部２４０により特定された判定モデルをショベル１００に送信する。

画像データ収集部２６０は、支援装置３００から対象物画像データを収集し、画像データ記憶部２３０に格納する。また、画像データ収集部２６０は、ショベル１００から、ショベル１００の撮像装置Ｓ６により撮像された周辺画像データを取得してもよい。

教師データ生成部２７０は、画像データ記憶部２３０に格納された対象物画像データを用いて、判定モデルの学習に用いる教師データを生成する。学習部２８０は、教師データ生成部２７０により生成された教師データに基づく機械学習を行い、判定モデルを生成する。生成された判定モデルは、判定モデル記憶部２１０に格納される。

次に、ショベル１００の機能について説明する。本実施形態のショベル１００は、画像取得部３１、対象物検知部３４Ａ、動作制御部３５、モデル取得部３６を有する。

本実施形態の対象物検知部３４Ａは、管理装置２００から送信された判定モデル３７を保持しており、この判定モデル３７に対して、画像取得部３１が取得した周辺画像データを入力して、検知対象物の有無を判定する。

モデル取得部３６は、管理装置２００から判定モデル３７を取得し、対象物検知部３４Ａに保持させる。

次に、図７を参照して、本実施形態の管理装置２００の対応付け記憶部２２０について説明する。図７は、対応付け記憶部の一例を示す図である。

本実施形態の対応付け記憶部２２０では、作業内容と判定モデルとが対応付けられた対応付け情報２２０－１と、作業地域と判定モデルとを対応付けた対応付け情報２２０－２とが含まれる。

対応付け情報２２０－１では、作業内容「掘削作業」と対応する判定モデルとして、ロードコーン判定モデルが対応付けられている。この対応付けは、掘削作業を行う際には、多くの場合は作業現場にロードコーンが設置されることを示す。なお、ロードコーン判定モデルとは、ロードコーンを検知対象物とした判定モデルである。

また、対応付け情報２２０－１では、作業内容「積み込み作業」と対応する判定モデルとして、トラック判定モデルが対応付けられている。この対応付けは、積み込み作業を行う際には、多くの場合は作業現場にトラックが配置されることを示す。なお、トラック判定モデルは、トラックを検知対象物とした判定モデルである。

また、対応付け情報２２０－２では、作業地域「都市部」と対応する判定モデルとして、電柱判定モデルが対応付けられている。電柱判定モデルとは、電柱を検知対象物とした判定モデルである。この対応付けは、都市部で作業を行う際には、多くの場合は電柱が存在して、電柱を回避する必要があることを示す。

これらの対応付け情報は、例えば、管理装置２００を管理する施工管理者等によって、予め管理装置２００の対応付け記憶部２２０に格納されていてよい。

また、本実施形態では、検知対象物毎の判定モデルが、作業内容と、作業地域とに対応付けられるものとしたが、これに限定されない。本実施形態の検知対象物毎の判定モデルは、作業現場毎に対応付けられていてもよい。この場合には、支援装置３００において、ショベル１００の作業現場を特定する情報が入力されると、管理装置２００から、作業現場と対応した判定モデルがショベル１００に送信される。このため、例えば、支援装置３００を操作する作業者が、ショベル１００の作業内容等を把握していない場合であっても、作業現場の環境に適した検知対象物をショベル１００に検知させることができる。

次に、図８を参照して、本実施形態の支援システムＳＹＳの動作について説明する。図８は、第二の実施形態の支援システムの動作を説明するシーケンス図である。

本実施形態の支援システムＳＹＳにおいて、支援装置３００は、検知対象物を選択する操作を受け付ける（ステップＳ８０１）。具体的には、支援装置３００は、ショベル１００の作業内容と、ショベル１００の作業現場の地域（作業地域）との入力を受け付ける。

続いて、支援装置３００は、入力された作業内容と作業地域とを管理装置２００へ送信する（ステップＳ８０２）。

管理装置２００は、作業内容と作業地域との入力を受け付けると、対応付け記憶部２２０を参照し、モデル特定部２４０により、作業内容と作業地域に対応した判定モデルを特定する（ステップＳ８０３）。

続いて、管理装置２００は、モデル出力部２５０により、ステップＳ８０３で特定された判定モデルを判定モデル記憶部２１０から取得し（ステップＳ８０４）、ショベル１００に送信する（ステップＳ８０５）。

ショベル１００は、モデル取得部３６により、管理装置２００から送信された判定モデル３７を取得する（ステップＳ８０６）。言い換えれば、ショベル１００は、対象物検知部３４Ａに判定モデル３７を保持させる。

続いて、ショベル１００は、対象物検知部３４により、周辺画像データを入力として、判定モデル３７を用いた対象物の検知を行う（ステップＳ８０７）。

以下に、図９を参照して、本実施形態のショベル１００により対象物の検知について説明する。図９は、第二の実施形態のショベルの動作を示すフローチャートである。なお、図９では、図８のステップＳ８０７の処理の詳細を示している。

ショベル１００は、画像取得部３１により、周辺画像データを取得する（ステップＳ９０１）。続いて、ショベル１００は、対象物検知部３４Ａが保持する判定モデル３７に対して、周辺画像データを入力する（ステップＳ９０２）。言い換えれば、ショベル１００は、対象物検知部３４Ａにより、周辺画像データから検知対象物を検知する。

続いて、対象物検知部３４Ａは、周辺画像データから検知対象物が検知されたか否かを判定する（ステップＳ９０３）。具体的には、対象物検知部３４Ａは、判定モデル３７の出力が、検知対象物を検知したことを示す出力であるか否かを判定する。

ステップＳ９０３において、検知対象物が検知されない場合、ショベル１００は、処理を終了する。

ステップＳ９０４において、検知対象物が検知された場合、ショベル１００は、ステップＳ９０４へ進む。図９のステップＳ９０４とステップＳ９０５の処理は、図４のステップＳ４０６とステップＳ４０７の処理と同様であるから、説明を省略する。

ここで、例えば、支援装置３００において、作業内容「掘削作業」と作業地域「都市部」が入力された場合について説明する。

この場合、管理装置２００は、対応付け記憶部２２０において、作業内容「掘削作業」と対応付けられている判定モデルは、ロードコーン判定モデルである。また、対応付け記憶部２２０において、作業地域「都市部」と対応付けている判定モデルは、電柱判定モデルである。

したがって、管理装置２００は、ロードコーン判定モデルと、電柱判定モデルとを判定モデル記憶部２１０から読み出して、ショベル１００に送信する。

ショベル１００は、ロードコーン判定モデルと、電柱判定モデルとを、判定モデル３７として対象物検知部３４Ａに保持する。

そして、ショベル１００は、周辺画像データを取得すると、ロードコーン判定モデルと、電柱判定モデルとのそれぞれに対し、取得した周辺画像データを入力し、各判定モデルの判定結果を取得する。

ここで、例えば、ロードコーン判定モデルによる判定結果が、「検知対象物なし」であり、電柱判定モデルによる判定結果が、「検知対象物あり」であったとする。

この場合、ショベル１００は、電柱判定モデルにおいて検知対象物とされた「電柱」が、ショベル１００から所定範囲内に存在するか否かを判定する。そして、ショベル１００が、電柱が所定範囲内である場合には、その旨をショベル１００のオペレータや支援装置３００の利用者である作業者等に通知する。このとき、ショベル１００は、ショベル１００の動作を停止させる、等の動作制御を行ってもよい。

また、ショベル１００は、電柱は検知されたが、所定範囲内ではない場合には、何もしない。言い換えれば、ショベル１００は、検知対象物が、ショベル１００の動作に影響しないと想定される位置で検知された場合には、動作制限等を行わない。

このように、本実施形態によれば、ショベル１００の作業内容や作業地域に応じて、個別に検知対象物を設定することができる。したがって、本実施形態によれば、安全性を向上させることができる。

また、本実施形態では、ショベル１００は、作業現場が変わる度に、対象物検知部３４Ａにおいて保持された判定モデル３７を削除してもよい。また、本実施形態のショベル１００は、一日の作業が終了すると、判定モデル３７を削除してもよい。

この場合、支援装置３００では、ショベル１００が一日の作業を開始する前に、その日のショベル１００の作業内容と作業地域が入力され、管理装置２００に対して入力された作業内容と作業地域を示す情報を送信する。管理装置２００は、支援装置３００において入力された作業内容と作業地域とに対応した判定モデルを特定し、特定された判定モデルをショベル１００に送信する。

このようにすれば、作業を行う日毎に、ショベル１００に対して適切な検知対象物を検知させることができる。

また、本実施形態のショベル１００は、例えば、管理装置２００から受信した判定モデル３７が既に保持されている場合には、その旨を示す通知を管理装置２００や支援装置３００に対して出力してもよい。

次に、図１０及び図１１を参照して、本実施形態の判定モデル３７について説明する。図１０は、判定モデルについて説明する図である。

本実施形態の判定モデル３７は、管理装置２００の学習部２８０によって学習された学習済みモデルである。

判定モデル３７は、例えば、ニューラルネットワーク（Neural Network）４０１を中心に構成される。

本実施形態では、ニューラルネットワーク４０１は、入力層及び出力層の間に一層以上の中間層（隠れ層）を有する、いわゆるディープニューラルネットワークである。ニューラルネットワーク４０１では、それぞれの中間層を構成する複数のニューロンごとに、下位層との間の接続強度を表す重みづけパラメータが規定されている。そして、各層のニューロンは、上位層の複数のニューロンからの入力値のそれぞれに上位層のニューロンごとに規定される重み付けパラメータを乗じた値の総和を、閾値関数を通じて、下位層のニューロンに出力する態様で、ニューラルネットワーク４０１が構成される。

管理装置２００では、ニューラルネットワーク４０１を対象とし、学習部２８０により機械学習、具体的には、深層学習（ディープラーニング：Deep Learning）が行われ、上述の重み付けパラメータの最適化が図られる。

これにより、例えば、図１０に示すように、ニューラルネットワーク４０１は、入力信号ｘとして、撮像装置Ｓ６により撮像された撮像画像を示す周辺画像データが入力され、出力信号ｙとして、周辺画像において、予め規定される検知対象物に対応する物体が存在する確率（予測確率）を出力することができる。なお、図１０に示す撮像画像（入力信号ｘ）は、検知対象物に対応する物体が存在するか否かを判定する前の画像である。図１０の例では、予め規定された検知対象物をロードコーン（ＲＣ）としている。

なお、本実施形態の判定モデル３７は、検知対象物の種類毎に学習されるものとしたが、これに限定されない。判定モデル３７は、例えば、予め規定される複数の検知対象物の種名に対応する物体が存在する確率を個々に出力してもよい。

具体的には、例えば、判定モデル３７において、予め規定される複数の検知対象物が、ロードコーンとトラックであったとする。この場合、判定モデル３７は、周辺画像において、ロードコーンとトラックと対応する物体が存在する確率を個々に出力してよい。

ニューラルネットワーク４０１は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。ＣＮＮは、既存の画像処理技術（畳み込み処理及びプーリング処理）を適用したニューラルネットワークである。具体的には、ＣＮＮは、撮像装置Ｓ６の撮像画像に対する畳み込み処理及びプーリング処理の組み合わせを繰り返すことにより撮像画像よりもサイズの小さい特徴量データ（特徴マップ）を取り出す。そして、取り出した特徴マップの各画素の画素値が複数の全結合層により構成されるニューラルネットワークに入力され、ニューラルネットワークの出力層は、例えば、物体の種類ごとの物体が存在する予測確率を出力することができる。

また、ニューラルネットワーク４０１は、入力信号ｘとして撮像装置Ｓ６の撮像画像が入力され、撮像画像における物体の位置及び大きさ（つまり、撮像画像上の物体の占有領域）及びその物体の種類を出力信号ｙとして出力可能な構成であってもよい。

つまり、ニューラルネットワーク４０１は、撮像画像上の物体の検出（撮像画像上で物体の占有領域部分の判定）と、その物体の分類の判定とを行う構成であってもよい。また、この場合、出力信号ｙは、入力信号としての撮像画像に対して物体の占有領域及びその分類に関する情報が重畳的に付加された画像データ形式で構成されていてもよい。

これにより、対象物検知部３４Ａは、判定モデル３７から出力される、撮像装置Ｓ６の撮像画像の中の物体の占有領域の位置及び大きさに基づき、当該物体のショベル１００からの相対位置（距離や方向）を特定することができる。

また、ショベル１００では、複数の撮像装置Ｓ６を有するため、判定モデル３７により検出された物体の位置が所定範囲（監視領域）内であり、且つ、検知対象物に規定された物体に分類されている場合、監視領域内で、監視対象の物体が検出されたと判定できる。

また、例えば、ニューラルネットワーク４０１は、撮像画像の中の物体が存在する占有領域（ウィンドウ）を抽出する処理、及び、抽出された領域の物体の種類を特定する処理のそれぞれに相当するニューラルネットワークを有する構成であってよい。つまり、ニューラルネットワーク４０１は、検知対象物の検出と、検知対象物の分類とを段階的に行う構成であってよい。

また、例えば、ニューラルネットワーク４０１は、撮像画像の全領域が所定数の部分領域に区分されたグリッドセルごとに物体の分類と物体の占有領域（バウンディングボックス：Bounding box）を規定する処理と、グリッドセルごとの物体の分類に基づき、種類ごとの物体の占有領域を結合し、最終的な物体の占有領域を確定させる処理とのそれぞれに対応するニューラルネットワークを有する構成であってもよい。つまり、ニューラルネットワーク４０１は、物体の検出と、物体の分類とを並列的に行う構成であってもよい。

次に、図１１を参照して、本実施形態の管理装置２００の学習部２８０による判定モデルの学習について説明する。

本実施形態の管理装置２００では、画像データ収集部２６０により、支援装置３００によって撮像された対象物画像データを収集して画像データ記憶部２３０に格納し、判定モデルに学習させるための教師データとする。

図１１は、管理装置による判定モデルの学習について説明するシーケンス図である。

本実施形態の支援システムＳＹＳにおいて、支援装置３００は、検知対象物を撮像した画像データ（対象物画像データ）を管理装置２００に送信する（ステップＳ１１０１）。

ここで、支援装置３００により撮像される対象物画像データは、様々な角度から検知対象物を撮像した画像データ、様々な時間帯（日中、夜間等）において検知対象物を撮像した画像データ、様々な気象条件（晴天、雨天等）において検知対象物を撮像した画像データ等が含まれてよい。また、対象物画像データを管理装置２００に送信する支援装置３００は、複数あってよい。

続いて、管理装置２００は、画像データ収集部２６０により、ショベル１００の撮像装置Ｓ６によって撮像された周辺画像データを取得する（ステップＳ１１０２）。

なお、図１１の例では、管理装置２００は、ショベル１００から周辺画像データを受信するものとしたが、これに限定されない。管理装置２００は、ショベル１００から定期的に収集されるショベル１００の稼働情報を格納している。ステップＳ１１０２で取得される周辺画像データは、ショベル１００の稼働情報として、予め管理装置２００に格納された画像データであってもよい。

続いて、管理装置２００は、ステップＳ１１０２で取得した周辺画像データを、学習対象の判定モデルに入力し、検知対象物の有無を判定させる（ステップＳ１１０３）。ここでは、例えば、検知対象物がロードコーンに規定されたロードコーン判定モデルに対し、周辺画像データを入力したものとする。

次に、管理装置２００では、管理装置２００の管理者や作業者等により、判定モデルによる判定結果を検証が行われ、判定結果の正誤が入力される（ステップＳ１１０４）。

管理装置２００は、判定結果の正誤が入力されると、教師データ生成部２７０により、判定モデルに入力された周辺画像データと、画像データ記憶部２３０に格納された対象物画像データと、判定結果の正誤を示す情報とを、含む教師データセットを生成する（ステップＳ１１０５）。

具体的には、例えば、教師データ生成部２７０は、ロードコーン判定モデルに入力された周辺画像データと、画像データ記憶部２３０に格納されたロードコーンの画像データと、判定結果の正誤を示す情報とを、教師データセットとする。

続いて、管理装置２００は、学習部２８０により、教師データセットを用いて判定モデルを追加学習させ、判定モデルを更新する（ステップＳ１１０６）。

このように、本実施形態によれば、ショベル１００の作業現場等において、支援装置３００により実際に撮像された検知対象物の画像データを用いて、判定モデルを更新することができる。したがって、本実施形態によれば、判定モデルによる検知対象物の有無の判定精度を向上させることができる。

なお、本実施形態では、検知対象物の画像データは、支援装置３００により撮像されるものとしたが、これに限定されない。教師データとして利用される検知対象物の画像データは、支援装置３００以外の撮像装置によって撮像された画像データであってもよい。具体的には、例えば、ショベル１００の撮像装置Ｓ６によって撮像された画像データであってもよい。また、本実施形態において、教師データとされる検知対象物の画像データは、例えば、インターネット上にアップロードされている検知対象物の画像データ等であってもよい。

以上、本発明を実施するための形態について説明したが、上記内容は、発明の内容を限定するものではなく、本発明の範囲内で種々の変形及び改良が可能である。

１ 下部走行体
２ 旋回機構
３ 上部旋回体
３０ コントローラ
３１ 画像取得部
３２ 検知対象物設定部
３３ 照合部
３４ 対象物検知部
３５ 動作制御部
３６ モデル取得部
３７ 判定モデル
１００ ショベル
２００ 管理装置
３００ 支援装置

Claims (10)

1. 下部走行体と、
   前記下部走行体に旋回自在に搭載される上部旋回体と、
   エンドアタッチメントと、
   支援装置において選択された対象物を検知対象物として設定する制御部と、を有するショベル。
2. 前記対象物は、
   前記支援装置において前記対象物の画像データを撮像することで選択され、
   前記制御部は、
   前記支援装置から受信した前記対象物の画像データに基づき、前記検知対象物を設定する、請求項１記載のショベル。
3. 前記制御部は、
   前記支援装置において選択された検知対象物毎の判定モデルを取得して、前記検知対象物を特定する、請求項１又は２記載のショベル。
4. 前記検知対象物毎の判定モデルは、前記支援装置において、前記ショベルの作業内容、若しくは、作業地域を入力することにより、選択される、請求項３記載のショベル。
5. 前記検知対象物毎の判定モデルは、前記支援装置において撮像された前記対象物の画像データを用いて更新される、請求項２乃至４の何れか一項に記載のショベル。
6. 前記制御部は、
   前記検知対象物が所定範囲内において検知された場合に、前記検知対象物が前記所定範囲内に存在することを示す通知を出力する、請求項１乃至５の何れか一項に記載のショベル。
7. ショベルと、ショベルを支援する支援装置と、ショベルを管理する管理装置とを含むショベルの支援システムであって、
   前記ショベルは、
   下部走行体と、
   前記下部走行体に旋回自在に搭載される上部旋回体と、
   エンドアタッチメントと、
   前記支援装置において選択された対象物を、検知対象物として設定する制御部と、を有する、ショベルの支援システム。
8. 前記支援装置は、
   前記対象物を撮像した画像データを前記ショベルに送信し、
   前記制御部は、
   前記支援装置から受信した前記対象物の画像データに基づき、前記検知対象物を設定する、請求項７記載のショベルの支援システム。
9. 前記管理装置は、
   前記ショベルの作業内容、若しくは、作業地域と対応付けられた、前記検知対象物毎の判定モデルを記憶する記憶部と、
   前記支援装置において、前記ショベルの作業内容、若しくは、作業地域が入力されると、入力された前記作業内容、若しくは、作業地域と対応する、前記検知対象物毎の判定モデルを前記ショベルに出力する、モデル出力部と、を有する、請求項７又は８記載のショベルの支援システム。
10. 前記管理装置は、
    前記ショベルの有する撮像装置により撮像された前記ショベルの周辺画像データと、前記支援装置において撮像された前記対象物の画像データと、を用いて、前記検知対象物毎の判定モデルを学習させる学習部を有する、請求項７乃至９の何れか一項に記載のショベルの支援システム。

Images