JP2022150641A - 物体認識システム - Google Patents

Abstract

【課題】作業機械の作業現場の環境が変化しても画像認識精度の低下を抑制できる物体認識システムを提供すること。【解決手段】制御装置２１と通信可能に接続された送信指令出力装置８を有し，送信指令出力装置はカメラ１９により撮影された所定期間の映像（学習用映像）を学習サーバ９に送信する指示である送信指令を作業現場１の地形変化に基づいて制御装置２１に出力し，学習サーバは，制御装置から送信指令を受信し，制御装置から送信される学習用映像に基づいて第２画像認識モデルを生成し，生成した第２画像認識モデルを制御装置２１に送信し，制御装置２１は，第２画像認識モデルを学習サーバから受信した場合には，カメラの映像と第２画像認識モデルとに基づいて作業現場１における物体（作業員４)を認識する。【選択図】 図２

Description

本発明は作業機械の周囲に存在する物体を認識する物体認識システムに関する。

近年，計算機性能の向上より，ディープニューラルネットワーク等を用いた機械学習の画像認識技術が著しく発展している。そのため，土木・建築の作業現場においても，現場に設置されたサイト設置装置や作業機械の車載装置で，機械学習を用いて取得画像から物体を認識するなどの周辺環境の認識を行うソリューションの導入が進んでいる。さらに，サイト設置装置や作業機械の車載装置の出荷後においても，画像認識精度を向上させることに対して大きな期待が向けられている。特に，作業現場においては，それぞれの現場の環境（地形や現場周囲の物体）が大きく異なるため，作業現場が変わった際に，画像認識精度が悪くなることが考えられ，現場が変わっても利用可能な画像認識技術に大きな期待が向けられている。

特許文献１は，自動車の車載装置と学習サーバからなる学習システムを提案している。当該学習システムは，自動車の走行位置と走行時の取得映像とを車載装置から学習サーバに送信し，学習サーバで学習を行って，学習結果を車載装置に反映することができるように構成されており，製品の出荷後にも，認識精度が向上できるシステムとなっている。具体的には，車載装置は，車載装置に保存されているパラメータを用いて画像認識処理を行い，使用した画像データを学習データとして学習サーバに送信する。学習サーバは，各車載装置からの学習データに基づき画像認識処理についての学習処理を行ってパラメータを更新し，更新後のパラメータを各車載装置に提供する。また，各車載装置は自動車の走行地域のデータを画像データと一緒にサーバに送ることによって，学習サーバは走行地域毎にパラメータを更新することができ，走行地域に適合したパラメータを更新することができる。

特開２０１５－１３５５５２号公報

特許文献１は自動車の車載装置を前提とした技術であり，画像認識処理に用いるパラメータを走行地域を基準にして更新する。一方で，作業現場のような例えば地形が時々刻々変化する場所では，地形変化の前と後で，現場で取得した画像（主に背景）が大きく変わってしまうことがある。そのため，地形変化の前と後では同じ場所でも画像認識処理に用いられるパラメータの最適値が異なる可能性があり，画像認識精度が悪化する可能性がある。この点に関して，特許文献１の技術は道路を走行する自動車を想定しており，自動車での利用に関連性の低い周囲の地形変化の問題は考慮されていない。

本発明は上記事情に鑑みてなされたものであり，その目的は作業機械の作業現場の環境が変化しても画像認識精度の低下を抑制できる物体認識システムを提供することにある。

本願は上記課題を解決する手段を複数含んでいるが，その一例を挙げるならば，記憶装置に保存されている作業現場の映像に基づいて第１画像認識モデルを生成する学習サーバと，前記作業現場の映像を撮影するカメラと，前記カメラ及び前記学習サーバと通信可能に接続され，前記カメラの映像を記憶し，前記学習サーバで生成された前記第１画像認識モデルと前記カメラの映像とに基づいて前記作業現場における物体を認識する処理を行う制御装置と，を備えた物体認識システムにおいて，前記制御装置と通信可能に接続された送信指令出力装置をさらに有し，前記送信指令出力装置は，前記カメラにより撮影された所定期間の映像を前記学習サーバへ送信指示する送信指令を、前記作業現場の地形変化に基づき前記制御装置に出力し，前記学習サーバは，前記制御装置より前記送信指令を受信して前記所定期間の映像に基づき第２画像認識モデルを生成し，生成した前記第２画像認識モデルを前記制御装置に送信し，前記制御装置は，前記第２画像認識モデルを前記学習サーバから受信した場合には，前記カメラの映像と前記第２画像認識モデルとに基づいて前記作業現場における物体を認識する処理を行うことを特徴とする。

本発明によれば，作業現場の環境が変化しても，その環境に適した画像認識モデルを利用できるので精度良く物体を認識できる。

実施形態１の物体認識システムが導入される作業現場１の概略図。 実施形態１に係る物体認識システムの要素を示す構成図。 実施形態１における作業機械２の概略図。 作業機械２の車載装置７のシステム構成図。 画像認識処理部３２ａ（第１制御装置２１）が行う処理のフローチャート。 画像認識処理のプロセスの一例を示す図。 映像保存処理部３２ｂ（第１制御装置２１）が行う処理のフローチャートの一例。 学習サーバ９の概略構成図。 送信指令出力装置８の概略構成図。 実施形態１における送信指令出力装置８の外観図。 ３つの場所（平地，土砂を盛った場所，構造物が立てられた場所）で撮影されたカメラの画像例を示す図。 作業現場１に設置された現場監視装置２２の概略図。 実施形態２の物体認識システムが導入される作業現場１の概略図。 実施形態２に係る物体認識システムの要素を示す構成図。 現場監視装置２２の概略構成図。 実施形態３に係る物体認識システムの要素を示す構成図。 実施形態３の現場地形管理システム２４の概略構成図。 画面生成部９２ｄ（第３制御装置８３）によって生成される表示装置８２の表示画面１０１の一例を示す図。 実施形態３の送信指令出力装置８Ａの概略構成図。 実施形態４に係る物体認識システムの要素を示す構成図。 実施形態４の作業機械２に搭載された車載装置７Ａのシステム構成図。 実施形態４の作業機械２の側面図。 実施形態４の表示装置８２の表示画面の一例を示す図。 実施形態５に係る物体認識システムの要素を示す構成図。 実施形態５の作業機械２の側面図。 実施形態５の送信指令出力装置８Ｂの概略構成図。

以下，本発明の実施形態について図面を用いて説明する。

（実施形態１）
本発明の第１実施形態（実施形態１）に係る作業現場の物体認識システムについて図１から図１１を用いて説明する。

図１は，本実施形態の物体認識システムが導入される作業現場１の概略図である。作業現場１には，作業機械２，運搬機械３，作業員４，現場管理者５などが存在する。

作業機械２は，例えば油圧ショベルであって，予め決められた場所において，整地作業や掘削作業，運搬機械３へ作業対象物６の積込み作業などを行う。運搬機械３は，例えばダンプトラックであって，作業現場１を出入りしながら作業対象物（例えば土砂）６等を運搬する。

作業員４は，作業機械２の周辺で各種機械の誘導作業や作業機械２からこぼれた作業対象物６の清掃，各種小道具の運搬など細かい作業を行う。現場管理者５は，作業現場１の管理責任を負う作業員であって，作業現場１或いは作業現場１に設定された事務所などで，作業進捗管理等を行う。

作業機械２には，当該作業機械２の周辺を撮影可能なカメラ（映像取得装置）１９が搭載されており，カメラ１９で撮影された映像に基づいて画像認識を利用することで作業員４や現場管理者５など人物の認識を行う。すなわち，作業機械２は，作業機械２の周辺の画像を用いて，作業機械２の周辺に人が存在するか否かの認識を行っている。

＜作業現場における物体認識システム＞
図２は，本実施形態に係る物体認識システムの要素を示す構成図である。物体認識システムは，作業機械２に搭載されたカメラ１９及び第１制御装置２１と，学習サーバ９と，送信指令出力装置８を備えている。第１制御装置２１，学習サーバ９，送信指令出力装置８は，例えば無線通信装置を介して同じネットワークに繋がっており，相互に通信可能である。なお，各装置２１，９，８が同じネットワークに接続されていれば，その通信形式は無線通信に限定されず，例えば銅線や光ファイバーによる有線通信でも良い。

＜作業機械＞
図３は，本実施形態における作業機械２の概略図である。作業機械２には，車載装置７（図４参照）として，上部旋回体１２上に搭載されたカメラ（映像取得装置）１９と，ネットワークを介して学習サーバ９や送信指令出力装置８と通信するための通信装置２０と，カメラ１９の映像を記憶し，学習サーバ９で生成された画像認識モデルと当該記憶したカメラ１９の映像とに基づいて作業現場１における物体を認識する処理を行う第１制御装置（コントローラ）２１とが搭載されている。

作業機械２は，下部走行体１１と，下部走行体１１の上に左右に旋回可能に設けられた上部旋回体１２と，上部旋回体１２に回動可能に設けられたブーム１５と，ブーム１５の先端に回動可能に設けられたアーム１６と，アーム１６の先端に回動可能に設けられたバケット１７と，オペレータが乗り込み作業機械２を操作する運転席１８とを備えている。これらのうちブーム１５，アーム１６及びバケット１７は多関節型のフロント作業装置１３を構成している。

図４は，作業機械２の車載装置７のシステム構成図である。車載装置７には，カメラ１９と，通信装置２０と，第１制御装置２１とが含まれる。図中，第１制御装置２１の処理装置３２の内部には，第１制御装置２１で実行される処理が機能ごとに複数のブロックに分割されて示されている。

＜カメラ（映像取得装置）１９＞
カメラ１９は，例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを備えたデジタルカメラが用いられる。少ないカメラ１９で作業機械２の周囲を漏れなく撮影するためには，カメラ１９のレンズは広角のものを選択することが好ましい。

カメラ１９は，上部旋回体１２に搭載され，例えば図３に示すように上部旋回体１２の後方を映すように設置される。なお，カメラ１９の向きは上部旋回体１２の後方のみに限らない。上部旋回体１２に搭載されるカメラ１９の台数は一台でも複数台でも良い。そのため，例えば上部旋回体１２の左右や前方にカメラ１９を搭載し，作業機械２の周囲に死角が無くなるように各カメラ１９の向きを設定しても良い。

＜通信装置２０＞
通信装置２０としては，種類の限定はしないが，例えばＬＴＥ－Ａｄｖａｎｃｅｄに対応可能なアンテナや，ＷｉＦｉアンテナなどを備えた無線通信装置が用いられる。

＜第１制御装置２１＞
第１制御装置２１は，例えばコントローラであり，処理装置３２（例えば，ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の組み合わせ）と，処理装置３２によって実行されるプログラムや各種データが格納される記憶装置３３（例えば，半導体メモリ（ＲＯＭ，ＲＡＭ），磁気記憶装置（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ））と，カメラ１９や通信装置２０などの入出力装置と制御装置２１とを通信可能に接続するための入出力インターフェース３１とを備えている。

第１制御装置２１は，処理装置３２によってプログラムが実行されることで，画像認識処理部３２ａ，映像保存処理部３２ｂ，認識モデル更新部３２ｃとして機能する。

＜画像認識処理部３２ａ＞
画像認識処理部３２ａは，カメラ１９で撮影され記憶装置３３に格納された映像と，学習サーバ９で生成された画像認識モデルとに基づいて物体の認識を行う処理を行う。認識対象の種類は限定しないが，例えば現場管理者５を含む作業員４である。

図５は，画像認識処理部３２ａ（第１制御装置２１）が行う処理のフローチャートである。

フローが開始されると，ステップＳ１０１で画像認識処理部３２ａは，カメラ１９からの映像入力の有無の確認を行う。映像入力が有る場合には処理をステップＳ１０２へ進め，映像入力が無い場合には再びステップＳ１０１の処理を実行する。

ステップＳ１０２で画像認識処理部３２ａは，カメラ１９が撮影した映像の中から１枚の画像を取得する。例えば，カメラ１９が取得した映像の最新のフレームを取得することができる。画像の取得が完了したら，ステップＳ１０３に処理を進める。

ステップＳ１０３で画像認識処理部３２ａは，ステップＳ１０２で取得した画像と，記憶装置３３に格納されている画像認識モデルとを用いて，取得した画像内に認識対象が存在するか否かを推論する認識処理を行う。認識処理のプロセスの一例を図６に示す。例えば，ステップＳ１０２で作業員の映っている画像４１が取得された場合には，ステップＳ１０３で認識処理を行うことで，画像４１における認識対象（作業員）の存在有無と，画像４１における認識対象（作業員）の位置を求めることができる。画像認識処理部３２ａは，ステップＳ１０３において画像４１内に認識対象（作業員）を検出したら，当該認識対象（作業員）を取り囲むように長方形のバウンディングボックス４４を生成する。画像認識処理部３２ａは，バウンディングボックス４４の左上の点Ｐｌｔの座標値（ｘ０，ｙ０）と右下の点Ｐｒｂの座標値（ｘ１，ｙ１）によって検出された認識対象（作業員）の位置を演算できる。なお，この２点Ｐｌｔ，Ｐｒｂの座標値は画像４１の左上の点を原点（０，０）にして決定される。画像認識処理部３２ａは，作業員が映っている画像４１にバウンディングボックス４４を重畳表示した画像（バウンディングボックス付き画像）４３を生成することもできる。

＜映像保存処理部３２ｂ＞
映像保存処理部３２ｂは，カメラ１９の映像の学習サーバ９への送信を第１制御装置２１に対して指示する送信指令を送信指令出力装置８から受信したら，学習サーバ９が新たな画像認識モデルを生成する際に利用する学習用映像（カメラ１９による所定期間の映像）をカメラ１９の映像から生成する処理と，その生成した学習用映像を学習サーバ９に送信する処理を行う。映像保存処理部３２ｂ（第１制御装置２１）が行う処理のフローチャートの一例を図７に示す。

フローが開始されると，ステップＳ２０２で，映像保存処理部３２ｂは，送信指令出力装置８から送信指令と映像取得時間データを受信したか否かを判定する。映像保存処理部３２ｂは，ステップＳ２０２で送信指令を受信した場合には地形変化があったと判断し，送信指令を受信しなかった場合には地形変化はなかったと判断する。映像取得時間データは，学習サーバ９に送信される学習用映像の時間（所定期間）を規定するデータである。ただし，学習用映像の時間を第１制御装置２１側で予め決定しておけば，映像取得時間データを送信指令出力装置８から第１制御装置２１に送信する必要はない。すなわち，この場合にはステップＳ２０２では送信指令出力装置８から送信指令を受信したか否かが判定される。

映像保存処理部３２ｂは，ステップＳ２０２で送信指令を受信した場合（地形変化があった場合）には処理をステップＳ２０３に進め，送信指令を受信しなかった場合（地形変化がなかった場合）にはステップＳ２０２に戻る。

ステップＳ２０３で，映像保存処理部３２ｂは，受信した映像取得時間データに基づき，映像取得時間の設定を行う。例えば映像取得時間データに１０分と規定されている場合には，映像保存処理部３２ｂは映像取得時間として当該時間（１０分）を設定する。

ステップＳ２０４で，映像保存処理部３２ｂは，ステップＳ２０３で設定した時間分の学習用映像をカメラ１９の映像から生成する。映像保存処理部３２ｂは，ステップＳ２０４の処理が始まった時を時刻０とし，その時刻からステップＳ２０３の設定時間分だけ映像を取得し，取得した映像を学習用映像とする。その後，映像保存処理部３２ｂは，生成した学習用映像を第１制御装置２１内の記憶装置３３に保存する。

なお，学習用映像の開始時刻は，ステップＳ２０４の処理が始まった時刻に設定する必要は無く，ステップＳ２０４の開示時刻の前又は後に設定しても良い。例えば，カメラ１９の映像データを所定時間過去に遡って記憶装置３３等に記憶しておき，その映像データに基づいてステップＳ２０４の開始時刻よりも前の時刻から学習用映像が開始するようにしても良い。また，ステップＳ２０４から所定時間経過後に学習用映像が開始するようにしても良い。

ステップＳ２０５で，映像保存処理部３２ｂは，ステップＳ２０４で記憶装置３３に保存した学習用映像を，通信装置２０を介して学習サーバ９に送信する。送信した後は，記憶装置３３に保存した学習用映像の削除処理を行い，ステップＳ２０２に戻る。

＜認識モデル更新部３２ｃ＞
認識モデル更新部３２ｃは，学習サーバ９の画像認識モデルに更新があった場合には，通信装置２０経由して学習サーバ９から新しい画像認識モデルを受信し，当該新しい画像認識モデルを記憶装置３３に格納する更新処理を行う。これ以後，画像認識処理部３２ａは，当該新しい画像認識モデルとカメラ１９の映像とに基づいて作業現場１における物体認識処理を行う。

＜記憶装置３３＞
記憶装置３３は，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリと，ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージの利用可能である。記憶装置３３は，処理装置３２によるデータの書き込み処理と読み出し処理が可能なように，処理装置３２と接続されている。

＜学習サーバ９＞
次に図８を用いて，学習サーバ９について説明する。図８は学習サーバ９の概略構成図である。図中，学習サーバ９の処理装置５２の内部には，学習サーバ９で実行される処理が機能ごとに複数のブロックに分割されて示されている。

学習サーバ９は，例えばサーバ用コンピュータであり，処理装置５２（例えば，ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の組み合わせ）と，処理装置５２によって実行されるプログラムや各種データが格納される記憶装置５３（例えば，半導体メモリ（ＲＯＭ，ＲＡＭ），磁気記憶装置（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ））と，通信装置４１などの入出力装置と学習サーバ９とを通信可能に接続するための入出力インターフェース５１とを備えている。なお，学習サーバ９の設置場所は，限定はしない。作業現場１外に設置されても，作業現場１内に設置されても良い。

学習サーバ９は，処理装置５２によってプログラムが実行されることで，学習用映像受信部５２ａ，認識モデル生成部５２ｂとして機能する。

＜通信装置４１＞
通信装置４１は，種類の限定はしないが，例えばＬＴＥ－Ａｄｖａｎｃｅｄに対応可能なアンテナや，ＷｉＦｉアンテナなどを備えた無線通信装置が用いられる。

＜学習用映像受信部５２ａ＞
学習用映像受信部５２ａは，第１制御装置２１から学習用映像が送信された場合に，通信装置４１を介して当該学習用映像を受信する処理と，受信した当該学習用映像を学習サーバ９内の記憶装置５３に格納する処理を行う。

＜認識モデル生成部５２ｂ＞
認識モデル生成部５２ｂは，記憶装置５３に格納されている学習用映像を活用して，機械学習を行って新しい画像認識モデルを生成し，生成した画像認識モデルを記憶装置５３に格納する処理を行う。学習用映像を活用した画像認識モデルの生成方法の種類は限定しないが，例えば，学習サーバ９のオペレータが手動で学習用映像内の認識対象（作業員）にバウンディングボックスを付けて教師データを生成し，当該教師データに基づいて新たな画像認識モデルを生成するものがある。教師データを学習して新たな画像認識モデルを生成するタイミングとしては，学習用映像受信部５２ａが新たな学習用映像を受信する度に行うものがある。但し，タイミングも限定はせず，新たな学習用映像の更新状況を一定周期で確認し，新規学習用映像が存在する場合に学習を行うことにしても良い。

＜記憶装置５３＞
記憶装置５３は，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリと，ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージの利用可能である。記憶装置５３は，処理装置５２によるデータの書き込み処理と読み出し処理が可能なように，処理装置５２と接続されている。

＜送信指令出力装置８＞
図９は送信指令出力装置８の概略構成図である。送信指令出力装置８は，入力装置６１と，通信装置６２と，第２制御装置６３とを備えている。図中，第２制御装置６３の処理装置５２の内部には，第２制御装置６３で実行される処理が機能ごとに複数のブロックに分割されて示されている。

図１０は本実施形態における送信指令出力装置８の外観図であり，この図に示すように本実施形態の送信指令出力装置８はリモコンであり，その入力装置６１はスイッチ（地形変化判定ボタン）で構成されている。送信指令出力装置８を所持する人は限定しないが，図１で示したように，現場管理者５が所持しても良いし，作業機械２のオペレータが所持しても，作業現場１の作業員４が所持しても良い。送信指令出力装置８の所持者は，作業現場１の地形に変化があったと認識した場合には入力装置６１を操作する（押下する）。これにより送信指令（これに映像取得時間データが加わる場合もある）が送信指令出力装置８から第１制御装置２１に対して出力される。

作業現場１では，例えば平地であった場所に，土砂を盛ったり，構造物を建てたりする作業が進むことによって，地形が大きく変化する。地形の変化によって，カメラ１９で取得される映像の背景も大きく変化する。平地で取得した画像例，土砂を盛った場所で取得した画像例，構造物が立てられた場所で取得した画像例をそれぞれ図１１の（ａ），（ｂ），（ｃ）に示す。各々の画像において，背景は大きく異なる。そのため，それぞれの画像から作業員を認識する場合，画像ごとに最適な画像認識モデルが異なると考えられる。

＜入力装置６１＞
入力装置６１は，所持者の操作に応じて送信指令が出力可能な装置であればその種類は限定しないが，例えば図１０で示すように，押しボタン式のスイッチであり，送信指令出力装置８を所持者が任意のタイミングで押下できるようになっている。スイッチ６１は，所持者に押下された後にその手が離れると，速やかに押下前の基準位置に戻るようになっている。

＜通信装置６２＞
通信装置６２は，種類の限定はしないが，例えばＬＴＥ－Ａｄｖａｎｃｅｄに対応可能なアンテナや，ＷｉＦｉアンテナなどを備えた無線通信装置が用いられる。

＜第２制御装置６３＞
第２制御装置６３は，例えばマイクロコントローラであり，処理装置７２（例えば，ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））と，処理装置７２によって実行されるプログラムや各種データが格納される記憶装置７３（例えば，半導体メモリ（ＲＯＭ，ＲＡＭ），磁気記憶装置（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ））と，入力装置６１や通信装置６２などの入出力装置と第２制御装置６３とを通信可能に接続するための入出力インターフェース７１とを備えている。

第２制御装置７１は，処理装置７２によってプログラムが実行されることで，映像取得時間設定部７２ａ，地形変化判定部７２ｂ，送信指令送信部７２ｃとして機能する。

＜映像取得時間設定部７２ａ＞
映像取得時間設定部７２ａは，第１制御装置２１が送信指令を受信した場合に生成する学習用映像の時間を設定する部分であり，設定した時間を映像取得時間データとして記憶装置７３に保存する。学習用映像の時間（設定時間）は例えば，「１０分」のような固定値で設定され得る。

＜地形変化判定部７２ｂ＞
地形変化判定部７２ｂは，作業現場１において，作業機械２周辺の地形が変化したか否かの判定を行う。本実施形態では，入力装置６１の押しボタンが押された場合に，地形が変化したと判断する。また，入力装置６１の押しボタンが押されていない場合は，地形変化はないと判定する。地形変化判定部７２ｂはその判定結果（地形変化の有無）を記憶装置７３に地形変化データとして保存する。

送信指令送信部７２ｃは，記憶装置７３に保存されている地形変化データに基づいて地形変化の有無を監視し，地形変化が有った場合には，送信指令と映像取得時間データを作業機械２の第１制御装置２１に送信する。

＜記憶装置７３＞
記憶装置７３は，ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリと，ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージの利用可能である。記憶装置７３は，処理装置７２によるデータの書き込み処理と読み出し処理が可能なように，処理装置７２と接続されている。

＜動作＞
上記のように構成される物体認識システムにおいて，作業機械２による作業が進展して送信指令出力装置８の所持者（例えば作業員４）が作業機械２の周囲の地形に変化があったと認識した場合には，当該所持者は送信指令出力装置８の入力装置６１（押しボタン）を操作する。この操作により送信指令出力装置８から送信指令と映像取得時間データが作業機械２の第１制御装置２１に送信される。

送信指令と映像取得時間データを受信した作業機械２の第１制御装置２１は，映像取得時間データで規定された設定時間（例えば１０分）の分だけカメラ１９の映像から学習用映像を生成し，当該学習用映像を学習サーバ９に送信する。

学習サーバ９が学習用映像を受信した場合，例えば学習サーバ９のオペレータが当該学習用映像にバウンディングボックスを付与して教師データを生成する。学習サーバ９は当該教師データに基づいて新たな画像認識モデル（第２画像認識モデル）を生成し，当該新たな画像認識モデルを通信装置４１を介して第１制御装置２１に送信する。

新たな画像認識モデルを受信した第１制御装置２１は，当該新たな画像認識モデルを記憶装置３３に保存し，当該新たな画像認識モデルとカメラ１９で撮影された映像とに基づいて物体（作業員４）の認識を行う。つまりそれまでに利用していた画像認識モデル（第１画像認識モデル）の利用を中断し，当該新たな画像認識モデル（第２画像認識モデル）の利用を開始する。これにより作業機械２の周囲の地形が変化した後には，その変化後の地形を撮影した学習用映像に基づいて新たな画像認識モデルが生成され，その新たな画像認識モデルに基づいて物体認識を行うことができるので，地形変化に伴う物体認識精度の低下を抑制できる。

＜効果＞
実施形態１の物体認識システムを用いれば，作業現場１の地形が時々刻々変化した場合においても，その作業現場１にいる人（例えば作業員４）の判断によって，作業機械２に搭載されたカメラ１９の映像を基に新たな画像認識モデル（第２画像認識モデル）が学習サーバ９で生成される。そして，第１制御装置２１は当該新たな画像認識モデルに基づいて物体認識を行うことができるので，地形変化後も物体認識精度の低下を抑制できる。すなわち本実施形態によれば，作業現場１の環境が変化しても，その環境に適した画像認識モデルを利用できるので精度良く物体を認識できる。

＜その他＞
上記の説明では，送信指令出力装置８はリモコン（図１０参照）であったが，この他にも例えば作業員４が携帯するスマートフォンやタブレット端末等が利用できる。また，運転室１８に例えば図１０に示したようなスイッチを搭載し，当該スイッチを操作することで送信指令を出力するように構成しても良い。運転室１８に送信指令出力装置８を設けた場合，通常，その操作者は作業機械２のオペレータとなる。作業機械２のオペレータは第１制御装置２１による物体認識を運転室１８内に設置されたモニタ等を介して実際に利用しているため，作業の進捗状況によって物体認識精度が低下したことを実際に知覚できる。そのため作業員４よりも適切なタイミングで送信指令出力装置８を操作することができる。

（実施形態２）
次に本発明の第２実施形態（実施形態２）について，図１２から図１５を用いて説明する。本実施形態は，図１２に示すように，作業現場１における所定の場所に現場監視装置２２を設置し，そこにカメラ１９と第１制御装置２１を搭載した点に特徴がある。

図１２は，作業現場１に設置された現場監視装置２２の概略図である。現場監視装置２２の設置場所の限定はしないが，例えば現場監視装置２２は，長いポールの上などの高所に設置される。なお，現場監視装置２２を電動の回転台（雲台）を介してとポールに設置することで，カメラ１９が適宜パン，チルト，ロールのうち少なくとも１つをできるようにしても良い。

現場監視装置２２の第１制御装置２１は，実施形態１の第１制御装置２１と同じように，カメラ１９で取得した映像から認識対象物を認識する処理，学習用映像を生成する処理，認識モデルを更新する処理を行う。

図１３は，本実施形態の物体認識システムが導入される作業現場１の概略図である。この図の作業現場１には，図１で示した作業現場と比較して，現場監視装置２２が追加されている。なお，作業機械２及び運搬機械３は図示していないが，これらは存在していても良い。

図１４は，本実施形態に係る物体認識システムの要素を示す構成図である。本実施形態の物体認識システムでは，カメラ１９及び第１制御装置２１は作業機械２ではなく現場監視装置２２に搭載されている。

＜現場監視装置＞
現場監視装置２２の概略構成図を図１５に示す。現場監視装置２２は，実施形態１の車載装置７（図４参照）と同様な構成となっており，同等な機能を備えている。

＜効果＞
実施形態２の物体認識システムを用いれば，作業現場１の地形が変化した場合にはその作業現場１にいる人（例えば作業員４）の判断によって，現場監視装置２２に搭載されたカメラ１９の映像を基に新たな画像認識モデル（第２画像認識モデル）が学習サーバ９で生成され，第１制御装置２１は当該新たな画像認識モデルに基づいて物体認識を行うことができる。すなわち本実施形態によれば，カメラを搭載した作業機械２が無くても，作業現場１の環境の変化に適した画像認識モデルを利用できるので精度良く物体を認識できる。

（実施形態３）
次に本発明の第３実施形態（実施形態３）について，図面１６から１９を用いて説明する。

図１６は，本実施形態に係る物体認識システムの要素を示す構成図である。本実施形態の物体認識システムは，作業機械２に搭載されたカメラ１９及び第１制御装置２１と，学習サーバ９と，送信指令出力装置８Ａと，現場地形管理システム２４とを備えている。本実施形態のシステムは，送信指令出力装置８Ａと，現場地形管理システム２４とを備えている点で実施形態１のシステムと異なる。特に，送信指令出力装置８Ａが，現場地形管理システム２４から入力される作業現場１の地形情報（地形データ）に基づいて作業機械２の周囲の地形の変化の有無を自動的に判断し，作業機械２の周囲の地形に変化が有ったと判断した場合に送信指令を第１制御装置２１に出力する点に特徴がある。

＜現場地形管理システム２４＞
図１７は本実施形態の現場地形管理システム２４の概略構成図である。図中，第３制御装置８３の処理装置９２の内部には，第３制御装置８３で実行される処理が機能ごとに複数のブロックに分割されて示されている。

現場地形管理システム２４は，第３制御装置８３と，オペレータの操作や第３制御装置８３の外部の情報をデータとして第３制御装置８３に入力するための入力装置８１と，モニタなどの表示装置８２と，外部の端末と通信を行うための通信装置８４とを備えている。

入力装置８１には，第３制御装置８３の外部から作業現場１の地形データを入力するためのデータ入力装置（例えば作業現場１の地形データが記憶されたフラッシュメモリ（ＵＳＢメモリ）用の接続端子）が少なくとも含まれる。その他に，マウス，キーボード，表示装置８２と兼用のタッチパネルなどが含まれることもある。

なお，作業現場１の地形データは，入力装置８１を介して第３制御装置８３に入力される場合に限らず，通信装置８４を介して他の端末やインターネットから入力される場合もある。また，作業現場の地形データには，作業現場１の施工前に測量により得られた当初の地形データ，作業現場１の施工中に適宜得られた施工中の地形データ，地形データの完成形を示す設計図データなどが含まれることがある。最新の作業現場１の地形データは好ましくは定期的に第３制御装置８３に入力されるものとする。

第３制御装置８３は，例えばコンピュータであり，処理装置９２（例えば，ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の組み合わせ）と，処理装置９２によって実行されるプログラムや各種データが格納される記憶装置９３（例えば，半導体メモリ（ＲＯＭ，ＲＡＭ），磁気記憶装置（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ））と，入力装置８１，表示装置８２及び通信装置８４などの入出力装置と第３制御装置８３とを通信可能に接続するための入出力インターフェース９１とを備えている。なお，第３制御装置８３の設置場所は，限定はしない。作業現場１外に設置されても，作業現場１内に設置されても良い。

第３制御装置８３は，処理装置９２によってプログラムが実行されることで，作業現場情報収集部９２ａ，グリッド分割部９２ｂ，地形変化量演算部９２ｃ，画面生成部９２ｄとして機能する。

作業現場情報収集部９２ａは，入力装置８１や通信装置８４から入出力インターフェース９１を経由して入力される作業現場１の一部または全部の地形データを収集する処理を行う部分である。

グリッド分割部９２ｂは，作業現場１を一定距離間隔のグリッドに分割する処理を行う部分である。グリッド分割部９２ｂによって作業現場１がどのようなグリッドで分割されたかはグリッドデータとして記憶装置９３に格納される。

地形変化量演算部９２ｃは，作業現場情報収集部９２ａによって収集された地形データと，グリッド分割部９２ｂによって生成されたグリッドデータとを用いて，ある時点を基準とした各グリッドの地形の高さの変化量（地形高さ変化量）を演算する処理を行う部分である。ある時点としては，まず，施工開始前の作業現場１の地形の状態を基準にできる。次のある時点としては，地形変化指標値データ（後述）が示す数値がはじめて所定値に達したときを基準にできる。以後は，地形変化指標値データ（後述）が示す数値が所定値に達するごとにそのタイミングを基準にすることができる。

また，本実施形態の地形変化量演算部９２ｃは，作業現場１の全グリッド数に対して或る時点を基準として地形高さが１ｍ以上変化したグリッド数の割合を演算することができ，ここで演算された当該数値は地形変化指標値データとして送信指令出力装置８Ａに送信され得る。なお，ここでは地形高さが１ｍ以上変化したグリッドを変化有りとカウントしているが，１ｍに代えて他の任意の数値を選択可能であることはいうまでもない。

画面生成部９２ｄは，地形変化量演算部９２ｃで演算されたグリッド毎の地形高さ変化量のデータに基づいて表示装置８２の表示画面を生成する処理を行う部分である。

図１８は，画面生成部９２ｄ（第３制御装置８３）によって生成される表示装置８２の表示画面１０１の一例を示す図である。図１８の表示画面１０１には或る作業現場Ａの地形変化図（平面図）が表示されている。この図に示すように，現場地形管理システム２４は，作業現場１の地形データ１０２を一定距離間隔のグリッド１０３を単位として管理することができるようになっており，地形変化量演算部９２ｃによって各グリッドに含まれる地形の高さを演算・管理することによって，作業現場１の地形変化の有無を演算できる。例えば，図１８の表示画面１０１で斜線が付されたグリッド１０４は，地形変化量演算部９２ｃによってある時点を基準にして１ｍ以上変化したと演算されたグリッドである。当該グリッドを画面生成部９２ｄが斜線を付して表示することで，現場地形管理システム２４（第３制御装置８３）のオペレータは表示装置８２の画面上で地形高さが１ｍ以上変化したグリッドを容易に特定できる。

＜送信指令出力装置８Ａ＞
図１９は本実施形態の送信指令出力装置８Ａの概略構成図である。本実施形態の送信指令出力装置８Ａは，作業現場１において地形高さが１ｍ以上変化したグリッドの割合を示す地形変化指標値データを現場地形管理システム２４から受信し，当該地形変化指標値データが示す割合が所定値（例えば１０％）以上の場合に地形変化があったと判定して送信指令を自動的に出力する点に主な特徴がある。そのため，本実施形態の送信指令出力装置８Ａは，第２制御装置６３Ａと通信装置６２とを備えており，図９に示した実施形態１のものから入力装置６１（押しボタン）が省略されている。送信指令出力装置８Ａの設置場所は限定しない。作業現場１内の作業機械２と通信可能であれば，作業現場１外に設置されても作業現場１内に設置されても良い。なお，図９と同じ部分には同じ符号を付して説明を省略する。

第２制御装置６３Ａは，例えばマイクロコントローラであり，処理装置７４（例えば，ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））と，処理装置７４によって実行されるプログラムや各種データが格納される記憶装置７３（例えば，半導体メモリ（ＲＯＭ，ＲＡＭ），磁気記憶装置（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ））と，通信装置６２などの入出力装置と第２制御装置６３とを通信可能に接続するための入出力インターフェース７１とを備えている。

実施形態３の送信指令出力装置８Ａの処理装置７４は，映像取得時間設定部７４ａ，地形変化判定部７４ｂ，送信指令送信部７４ｃとして機能する。

地形変化判定部７４ｂは，作業現場１において，作業機械２周辺の地形が変化したか否かの判定を行う。本実施形態では，地形変化判定部７４ｂは，現場地形管理システム２４から通信装置６２を経由して地形変化指標値データを受信し，そのデータが示す割合が所定値（１０％）以上の場合に，地形が変化したと判定する。それ以外の場合には地形変化は無いと判定する。地形変化判定部７４ｂはその判定結果（地形変化の有無）を記憶装置７３に地形変化データとして保存する。

映像取得時間設定部７４ａは，記憶装置７３に保存されている地形変化データに基づいて地形変化の有無を監視し，地形変化が有った場合には，第１制御装置２１が送信指令を受信した場合に生成する学習用映像の時間を設定し，その設定した時間を映像取得時間データとして記憶装置７３に保存する。映像取得時間データで規定される設定時間は，一定値でも良いし，地形変化指標値データが示す割合に比例して設定しても良い。後者の場合，例えば，受信した割合をｐ［％］，映像取得時間データで規定される設定時間をｔとすると，映像取得時間設定部７４ａは以下の式（１）によって映像取得時間を算出する。

ｔ［分］＝１０＋ｐ・・・ 式（１）
この例では，地形変化指標値データが示す割合が２０％の場合には，設定時間ｔは３０分となる。なお，本実施形態では，地形の変化が大きいほど学習用映像の時間ｔが長くなる設定としたが，地形の変化と時間ｔとの間に明確な相関関係はなく，大きな地形変化があった場合であっても比較的短時間の学習用映像で新たな画像認識モデルが生成できる場合もある。

送信指令送信部７４ｃは，記憶装置７３に保存されている地形変化データに基づいて地形変化の有無を監視し，地形変化が有った場合には，送信指令と映像取得時間データを作業機械２の第１制御装置２１に送信する。

＜動作＞
上記のように構成される物体認識システムでは，作業機械２による作業（施工）の進展とともに現場地形管理システム２４の第３制御装置８３に対して作業現場１の地形データが都度入力され，それにより現場地形管理システム２４から送信指令出力装置８Ａに送信される地形変化指標値データの示す割合（地形高さ変化量が１ｍ以上のグリッドの割合）が徐々に増加していく。

その後，作業機械２による施工開始前の作業現場１の地形の状態を基準にして地形変化指標値データが示す数値が１０％以上に達したときに，送信指令出力装置８Ａは，作業現場１に地形変化が有ったと判定して，送信指令と映像取得時間データを作業機械２の第１制御装置２１に送信する。

これ以後は，第１実施形態などと同様に，第１制御装置２１から送信される学習用映像に基づいて学習サーバ９によって新たな画像認識モデル（第２画像認識モデル）が生成され，当該新たな画像認識モデルに基づいて第１制御装置２１の物体認識が行われる。これにより作業現場１の地形が変化した場合には，新たな画像認識モデルに基づいて物体認識を行うことができるので，地形変化に伴う物体認識精度の低下を抑制することができる。

＜効果＞
実施形態３の物体認識システムを用いれば，実施形態１，２と異なり入力装置６１を操作しなくても送信指令出力装置８Ａから送信指令を出力できるので，作業員４が入力装置６１の操作を失念して画像認識モデルの更新タイミングが遅くなるような事態が発生することを回避できる。すなわち本実施形態によれば，作業現場１の環境が変化した場合には，その環境に適した画像認識モデルを速やかに利用でき，物体認識精度の低下を継続的に抑制できる。

＜その他＞
上記の実施形態では，現場地形管理システム２４と送信指令出力装置８Ａを異なる装置で構成したが，両者は一体化した装置としても良い。すなわち，例えば，第３制御装置８３に第２制御装置６３Ａの処理機能を追加したものに，入力装置８１，表示装置８２及び通信装置８４を接続した装置（システム）を構成しても良い。

上記の実施形態では，作業現場１の高さ変化を格子状に分割したグリッド単位で管理したが，格子以外の他の形状で作業現場１を分割してその高さ変化を管理しても良い。また，上記の実施形態では，作業現場全体のグリッドに対して地形高さ変化量が１ｍ以上になったグリッドが占める割合から地形変化の有無を判定したが，作業機械２が位置するグリッド及びその周辺の所定のグリッドの地形高さ変化量だけを監視して地形変化の有無を判定しても良い。

上記の実施形態では，表示装置８２の画面上に地形高さ変化量が１ｍ以上になったグリッドを明示したが（図１８参照），送信指令出力装置８Ａによる地形変化指標値データに基づく地形変化の有無の判定には，当該画面表示は必須ではない。そのため，表示装置８２は現場地形管理システム２４から省略することも可能である。

現場地形管理システム２４は，複数の作業現場の地形を管理するものとして構成しても良い。この場合，各作業現場の地形データは各作業現場の識別データとともに主に通信装置８４を介して第３制御装置８３に入力されることとなる。また，地形変化量演算部９２ｃで演算された各作業現場の地形変化指標値データは，作業現場の識別データに基づいて，対応する作業現場の送信指令出力装置８Ａに送信されることになる。

（実施形態４）
次に発明の第４実施形態（実施形態４）について，図２０から図２３を用いて説明する。

図２０は，本実施形態に係る物体認識システムの要素を示す構成図である。本実施形態の物体認識システムは，作業機械２に搭載されたカメラ１９，第１制御装置２１Ａ，衛星測位用のアンテナ２５及び受信機２６と，学習サーバ９と，送信指令出力装置８Ａと，現場地形管理システム２４とを備えている。

本実施形態のシステムは，衛星測位用のアンテナ２５と受信機２６を作業機械２に搭載して衛星測位システム（例えば，ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ））を利用することで作業機械２の高さを計測し，その高さの変化から作業機械２の周辺の作業現場１の地形変化の状況を把握するものであり，実施形態３のように施工の進捗とともに最新の地形データをその都度準備し，それを現場地形管理システム２４に入力する必要の無い点が主な特徴である。

＜車載装置７Ａ＞
図２１は，本実施形態の作業機械２に搭載された車載装置７Ａのシステム構成図である。本実施形態の車載装置７Ａは，実施形態１の車載装置７のシステム構成に対して，作業機械２の位置取得装置としてＧＮＳＳ用のアンテナ２５及び受信機２６が追加された構成となっている。車載装置７Ａの制御装置２１Ａは，実施形態１の第１制御装置２１が備える各部３２ａ，３２ｂ，３２ｃに加えて，さらに位置演算部１１１ａとして機能する。

位置演算部１１１ａは，受信機２６の出力する作業機械２の測位データを用いて作業現場１における作業機械２の位置を演算し，その演算結果を作業機械２の位置データとして現場地形管理システム２４に送信する。当該位置データには作業機械２の高さ方向の位置も含まれている。

＜作業機械２＞
図２２は本実施形態の作業機械２の側面図である。この図において，複数の測位衛星から送信される衛星信号を受信するためのアンテナ２５が上部旋回体１２の上面に取り付けられており，アンテナ２５に接続され，アンテナ２５で受信された衛星信号に基づいて作業機械２の位置（高さを含む３次元位置）を演算する受信機２６が上部旋回体１２に搭載されている。

＜現場地形管理システム２４＞
本実施形態の現場地形管理システム２４のハードウェア構成は実施形態３（図１７参照）と同じであるので図示は省略する。

地形変化量演算部９２ｃは，第１制御装置２１Ａから送信される作業機械２の位置データを受信し，当該位置データが示す作業機械２の水平位置に最も近いグリッドの交点を１つ選択する。地形変化量演算部９２ｃは，選択された交点に隣接する４つのグリッドの地形高さを，受信した位置データの高さに設定する。すなわち，作業機械２の高さデータが作業現場の地形の高さデータとなる。図２３は本実施形態の表示装置８２の表示画面の一例を示す図である。この図の例では，作業機械２と最も近いグリッドの交点に隣接する４つのグリッド４６に斜線を付して表示しており，さらに当該交点に作業機械２の画像４４を描画している。なお，これらの表示は画面生成部９２ｄによって行われる。

次に，地形変化量演算部９２ｃは，ある時点を基準とした各グリッドの地形の高さの変化量（地形高さ変化量）を演算する。ある時点としては，まず，施工開始前の作業現場１の地形の状態を基準にできる。次のある時点としては，地形変化指標値データが示す数値がはじめて所定値に達したときを基準にできる。以後は，地形変化指標値データが示す数値が所定値に達するごとにそのタイミングを基準にすることができる。

また，本実施形態の地形変化量演算部９２ｃは，選択されたグリッドに隣接する４つのグリッドの地形高さ変化量の合計値を演算できる。ここで演算された合計値は地形変化指標データとして送信指令出力装置８Ａに送信され得る。

＜送信指令出力装置８Ａ＞
本実施形態の送信指令出力装置８Ａは，受信機２６で演算した作業機械２の高さデータ（具体的には作業機械２の高さデータに基づいて演算された地形変化指標値データ）に基づいて作業機械２の周囲の地形に変化が有ったと判断した場合に送信指令を出力する。送信指令出力装置８Ａの構成は，図１９に示した実施形態３の構成と同様である。本実施形態の処理装置７４も，映像取得時間設定部７４ａ，地形変化判定部７４ｂ，送信指令送信部７４ｃとして機能する。

地形変化判定部７４ｂは，作業現場１において，作業機械２周辺の地形が変化したか否かの判定を行う。本実施形態では，地形変化判定部７４ｂは，現場地形管理システム２４から通信装置６２を経由して地形変化指標値データを受信し，そのデータが示す地形高さ変化量の合計値が所定値（例えば３ｍ）以上の場合に，地形が変化したと判定する。それ以外の場合には地形変化は無いと判定する。地形変化判定部７４ｂはその判定結果（地形変化の有無）を記憶装置７３に地形変化データとして保存する。

映像取得時間設定部７４ａは，記憶装置７３に保存されている地形変化データに基づいて地形変化の有無を監視し，地形変化が有った場合には，第１制御装置２１Ａが送信指令を受信した場合に生成する学習用映像の時間を設定し，その設定した時間を映像取得時間データとして記憶装置７３に保存する。映像取得時間データで規定される設定時間は，一定値でも良いし，地形変化指標値データが示す地形高さ変化量の合計値に比例して設定しても良い。後者の場合，例えば，受信した地形高さ変化量の合計値をΣΔｈ［ｍ］，映像取得時間データで規定される設定時間をｔとすると，映像取得時間設定部７４ａは以下の式（２）によって映像取得時間を算出する。

ｔ［分］＝１０×ΣΔｈ ・・・ （式２）
この例では，地形変化指標値データが示す割合が５ｍの場合には，設定時間ｔは１５分となる。なお，本実施形態では，地形の変化が大きいほど学習用映像の時間ｔが長くなる設定としたが，地形の変化と時間ｔとの間に明確な相関関係はなく，大きな地形変化があった場合であっても比較的短時間の学習用映像で新たな画像認識モデルが生成できる場合もある。

送信指令送信部７４ｃは，記憶装置７３に保存されている地形変化データに基づいて地形変化の有無を監視し，地形変化が有った場合には，送信指令と映像取得時間データを作業機械２の第１制御装置２１Ａに送信する。

＜効果＞
本実施形態の物体認識システムでは，作業機械２の衛星測位により作業現場１の高さ変化を演算でき，それにより実施形態３のように現場地形管理システム２４にオペレータが地形データを入力しなくても最新の地形の高さ変化データを取得できる。これによりオペレータ等が現場地形管理システム２４への地形データの入力を失念して画像認識モデルの更新タイミングが遅くなるような事態が発生することを回避できる。すなわち本実施形態によれば，作業現場１の環境が変化した場合には，その環境に適した画像認識モデルを速やかに利用でき，物体認識精度の低下を継続的に抑制できる。

＜その他＞
本実施形態においても，現場地形管理システム２４と送信指令出力装置８Ａは一体化した装置としても良い。

上記の実施形態では，作業現場１の高さ変化を格子状に分割したグリッド単位で管理したが，格子以外の他の形状で作業現場１を分割してその高さ変化を管理しても良い。

（実施形態５）
以下，発明の第５実施形態（実施形態５）について，図２４から図２６を用いて説明する。

図２４は，本実施形態に係る物体認識システムの要素を示す構成図である。本実施形態の物体認識システムは，作業機械２に搭載されたカメラ１９，第１制御装置２１Ａ，２本のアンテナ２５ａ，２５ｂ，受信機２６，地形計測装置２８，傾斜角センサ３０及び送信指令出力装置８Ｂと，学習サーバ９とを備えている。本実施形態では送信指令出力装置８Ｂが作業機械２に搭載されている。

図２５は，本実施形態の作業機械２の側面図である。上部旋回体１２の上面には，衛星測位用の２本のアンテナ２５ａ，２５ｂが取り付けられている。受信機２６により２本のアンテナ２５ａ，２５ｂの測位を行うことで上部旋回体１２の位置だけでなく方位（ヨー角）も演算できる。上部旋回体１２には，その傾斜角度（上部旋回体１２のピッチ角及びロール角）を検出するための傾斜角センサ３０（例えば，慣性計測装置）が取り付けられている。また，上部旋回体１２の前後左右の４箇所の側面には，作業現場１において作業機械２の周囲の地形データを取得するための地形計測装置２８（例えば，ステレオカメラやＬｉＤＡＲ）が取り付けられている。これらの装置２６，２８，３０は図２６に示すように第２制御装置６３Ｂと通信可能に接続されている。

＜送信指令出力装置８Ｂ＞
図２６は，本実施形態の送信指令出力装置８Ｂの概略構成図である。送信指令出力装置８Ｂのハードウェア構成は図１９に示した実施形態３と同じであるが，処理装置７６の機能としては，映像取得時間設定部７６ａ，地形変化判定部７４ｂ，送信指令送信部７４ｃに加えて，位置演算部７６ａ，姿勢演算部７６ｂ，地形演算部７６ｃを備えている。

位置演算部７６ａは，受信機２６から入力されるアンテナ２５ａ，２５ｂの位置データに基づいて上部旋回体１２の位置（例えば地理座標系における上部旋回体の３次元位置）を求める。なお，２本あるアンテナ２５ａ，２５ｂのいずれか一方の位置データを用いることで上部旋回体１２の位置を求めることができる。

姿勢演算部７６ｂは，受信機２６から入力されるアンテナ２５ａ，２５ｂの位置データに基づいて上部旋回体１２の方位角（例えば地理座標系における上部旋回体１２の方位角）を演算する。また姿勢演算部７６ｂは，傾斜角センサ３０から入力されるデータに基づいて上部旋回体１２の傾斜角（例えばピッチ角及びロール角）を演算する。

地形演算部７６ｃは，地形計測装置２８から取得した作業機械２周囲の地形データと，位置演算部７６ａで演算した上部旋回体１２（作業機械２）の位置データと，姿勢演算部７６ｂで演算した上部旋回体（作業機械２）の方位及び姿勢データとを用いることで，作業機械２の周囲の地形データを生成する。次に，地形演算部７６ｃは，生成した地形データを例えば一定間隔のグリッドに分割して各グリッドの高さを演算する。上部旋回体１２の位置，方位及び姿勢が判明すれば，上部旋回体１２に取り付けられている各地形計測装置２８の位置，方位及び姿勢も判明するので，各地形計測装置２８で計測された地形データを所定の座標系（例えば地理座標系）上に精度良く配置することができ，それに基づいて各グリッドの高さを精度良く演算できる。

次に，地形演算部７６ｃは，ある時点を基準とした各グリッドの地形の高さの変化量（地形高さ変化量）を演算する。ある時点としては，まず，施工開始前の作業現場１の地形の状態を基準にできる。次のある時点としては，地形変化指標値データが示す数値がはじめて所定値に達したときを基準にできる。以後は，地形変化指標値データが示す数値が所定値に達するごとにそのタイミングを基準にすることができる。

また，本実施形態の地形演算部７６ｃは，作業機械２を基準にした所定範囲に含まれるグリッド（例えば，作業機械２に最も近い４つのグリッド）の地形高さ変化量の合計値を演算できる。ここで演算された合計値は地形変化指標データとして地形変化判定部７４ｂに送信され得る。

地形変化判定部７４ｂは，作業現場１において，作業機械２周辺の地形が変化したか否かの判定を行う。本実施形態では，地形変化判定部７４ｂは，地形演算部７６ｃから送信される地形変化指標値データを受信し，そのデータが示す地形高さ変化量の合計値が所定値（例えば３ｍ）以上の場合に，地形が変化したと判定する。それ以外の場合には地形変化は無いと判定する。地形変化判定部７４ｂはその判定結果（地形変化の有無）を記憶装置７３に地形変化データとして保存する。

映像取得時間設定部７４ａは，記憶装置７３に保存されている地形変化データに基づいて地形変化の有無を監視し，地形変化が有った場合には，第１制御装置２１Ａが送信指令を受信した場合に生成する学習用映像の時間を設定し，その設定した時間を映像取得時間データとして記憶装置７３に保存する。映像取得時間データで規定される設定時間は，一定値でも良いし，地形変化指標値データが示す地形高さ変化量の合計値に比例して設定しても良い。後者の場合，例えば，受信した地形高さ変化量の合計値をΣΔｈ［ｍ］，映像取得時間データで規定される設定時間をｔとすると，映像取得時間設定部７４ａは上記の式（２）によって映像取得時間を算出する。

なお，本実施形態では，地形の変化が大きいほど学習用映像の時間ｔが長くなる設定としたが，地形の変化と時間ｔとの間に明確な相関関係はなく，大きな地形変化があった場合であっても比較的短時間の学習用映像で新たな画像認識モデルが生成できる場合もある。

送信指令送信部７４ｃは，記憶装置７３に保存されている地形変化データに基づいて地形変化の有無を監視し，地形変化が有った場合には，送信指令と映像取得時間データを作業機械２の第１制御装置２１Ａに送信する。

＜効果＞
実施形態５の物体認識システムを用いれば，実施形態１，２と異なり入力装置６１を操作しなくても送信指令出力装置８Ｂから送信指令を出力できるので，作業員４が入力装置６１の操作を失念して画像認識モデルの更新タイミングが遅くなるような事態が発生することを回避できる。すなわち本実施形態によれば，作業現場１の環境が変化した場合には，その環境に適した画像認識モデルを速やかに利用でき，物体認識精度の低下を継続的に抑制できる。特に本実施形態では実施形態３，４のような現場地形管理システム２４が不要なので，小規模な作業現場でも適用が容易であることがメリットとなる。

＜その他＞
上記の実施形態では，第１制御装置２１Ａと送信指令出力装置８Ｂを異なる装置で構成したが，両者は一体化した装置としても良い。

上記の実施形態では，作業現場１の高さ変化を格子状に分割したグリッド単位で管理したが，格子以外の他の形状で作業現場１を分割してその高さ変化を管理しても良い。

なお，本発明は，上記の各実施の形態で説明した全ての構成を備えるものに限定されず，その構成の一部を削除したものも含まれる。また，ある実施の形態に係る構成の一部を，他の実施の形態に係る構成に追加又は置換することが可能である。

また，上記の制御装置２１，２１Ａ，６３，６３Ａ，６３Ｂ，８３やサーバ９に係る各構成や当該各構成の機能及び実行処理等は，それらの一部又は全部をハードウェア（例えば各機能を実行するロジックを集積回路で設計する等）で実現しても良い。また，上記の制御装置やサーバに係る構成は，処理装置（例えばＣＰＵ）によって読み出し・実行されることで当該制御装置やサーバの構成に係る各機能が実現されるプログラム（ソフトウェア）としてもよい。当該プログラムに係る情報は，例えば，半導体メモリ（フラッシュメモリ，ＳＳＤ等），磁気記憶装置（ハードディスクドライブ等）及び記録媒体（磁気ディスク，光ディスク等）等に記憶することができる。

また，上記の各実施の形態の説明では，制御線や情報線は，当該実施の形態の説明に必要であると解されるものを示したが，必ずしも製品に係る全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えて良い。

１…作業現場，２…作業機械，３…運搬機械，４…作業員，５…現場管理者，６…作業対象物，８…送信指令出力装置，９…学習サーバ，１１…下部走行体，１２…上部旋回体，１３…フロント作業装置，１９…カメラ（映像取得装置），２１…第１制御装置（コントローラ），２２…現場監視装置，２４…現場地形管理システム，２５…アンテナ，２６…受信機，２８…地形計測装置，３０…傾斜角センサ，５２…処理装置，５２ａ…学習用映像受信部，５２ｂ…認識モデル生成部，５３…記憶装置，６１…入力装置（スイッチ），６２…通信装置，６３…第２制御訴追，７１…第２制御装置，７１…入出力インターフェース，７２…処理装置，７２ａ…映像取得時間設定部，７２ｂ…地形変化判定部，７２ｃ…送信指令送信部，７３…記憶装置，７４…処理装置，７４ａ…映像取得時間設定部，７４ｂ…地形変化判定部，７４ｃ…送信指令送信部，７６…処理装置，７６ａ…映像取得時間設定部，７６ａ…位置演算部，７６ｂ…姿勢演算部，７６ｃ…地形演算部，８３…第３制御装置，９２…処理装置，９２ａ…作業現場情報収集部，９２ｂ…グリッド分割部，９２ｃ…地形変化量演算部，９２ｄ…画面生成部，９３…記憶装置，１０１…表示画面，１１１ａ…位置演算部

Claims (8)

1. 記憶装置に保存されている作業現場の映像に基づいて第１画像認識モデルを生成する学習サーバと，
   前記作業現場の映像を撮影するカメラと，
   前記カメラ及び前記学習サーバと通信可能に接続され，前記カメラの映像を記憶し，前記学習サーバで生成された前記第１画像認識モデルと前記カメラの映像とに基づいて前記作業現場における物体を認識する処理を行う制御装置と，
   を備えた物体認識システムにおいて，
   前記制御装置と通信可能に接続された送信指令出力装置をさらに有し，
   前記送信指令出力装置は，前記カメラにより撮影された所定期間の映像を前記学習サーバへ送信指示する送信指令を、前記作業現場の地形変化に基づき前記制御装置に出力し，
   前記学習サーバは，前記制御装置より前記送信指令を受信して前記所定期間の映像に基づき第２画像認識モデルを生成し，生成した前記第２画像認識モデルを前記制御装置に送信し，
   前記制御装置は，前記第２画像認識モデルを前記学習サーバから受信した場合には，前記カメラの映像と前記第２画像認識モデルとに基づいて前記作業現場における物体を認識する処理を行うことを特徴とする作業現場の物体認識システム。
2. 請求項１の物体認識システムにおいて，
   前記送信指令出力装置は，前記作業現場における作業員の操作によって前記送信指令を出力することを特徴とする物体認識システム。
3. 請求項２の物体認識システムにおいて，
   前記送信指令出力装置は，前記作業現場における作業員が携帯するスマートフォン，タブレット端末，リモコン，及び前記作業現場で稼働する作業機械の運転席に搭載されたスイッチのいずれかであることを特徴とする物体認識システム。
4. 請求項２の物体認識システムにおいて，
   前記カメラと前記制御装置とを有し，前記作業現場に設置された現場監視装置を備えることを特徴とする物体認識システム。
5. 請求項１の物体認識システムにおいて，
   前記カメラと前記制御装置とが搭載された作業機械をさらに備え，
   前記送信指令出力装置は，前記作業現場の地形データに基づいて前記作業機械の周囲の地形の変化の有無を判断し，前記作業機械の周囲の地形に変化が有ったと判断した場合に前記送信指令を出力することを特徴とする物体認識システム。
6. 請求項５の物体認識システムにおいて，
   前記作業機械には，複数の測位衛星から送信される衛星信号を受信するためのアンテナと，前記作業現場の地形データとして，前記アンテナで受信された衛星信号に基づいて前記作業機械の高さデータを演算する受信機と，前記送信指令出力装置とが搭載されており，
   前記送信指令出力装置は，前記作業機械の高さデータに基づいて前記作業機械の周囲の地形に変化が有ったと判断した場合に前記送信指令を出力することを特徴とする物体認識システム。
7. 請求項５の物体認識システムにおいて，
   前記作業機械には，作業機械の周囲の地形データを取得する地形計測装置と，前記送信指令出力装置とが搭載されており，
   前記送信指令出力装置は，前記地形データに基づいて前記作業機械の周囲の地形に変化が有ったと判断した場合に前記送信指令を出力することを特徴とする物体認識システム。
8. 請求項７の物体認識システムにおいて，
   前記地形計測装置は，ステレオカメラ，またはＬｉＤＡＲであることを特徴とする物体認識システム。

Images