JP2020173150A - 土質判定装置、土質判定用学習モデル生成装置および土質判定方法 - Google Patents

Abstract

【課題】作業現場で建設機械が作動中に、建設機械付近の土質をリアルタイムで判定する。【解決手段】土質判定装置１は、建設機械１００に搭載される。土質判定装置１は、画像に写された土の土質を判定するための、機械学習によって構築された学習モデルＬＭを記憶する記憶部４１と、建設機械１００に搭載されたカメラ２−１〜２−４が撮影している土のカメラ画像（第１の画像ＩＭ１〜第４の画像ＩＭ４）と、学習モデルＬＭとを用いて、カメラ画像に写された土の土質を、カメラ２−１〜２−４の撮影中にリアルタイムで判定する判定部４２と、を備える。【選択図】図２

Description

本発明は、建設機械が作業する現場の土質を判定する技術に関する。

建設機械の作業現場（例えば、土木工事現場、建設工事現場）に地盤が弱い箇所があると、この箇所で建設機械が立ち往生したり、転倒したりするおそれがある。このため、作業の効率性および安全性を確保するために、地盤が弱い箇所を認識する必要がある。

地盤が弱い箇所を認識できる技術として、例えば、特許文献１に開示された地形情報収集システムがある。このシステムは、地形に関する情報を収集する情報収集装置と、情報収集装置とネットワークを介して接続されたサーバと、を備える。情報収集装置は、地面を撮像することで、地形を３次元的に示す３次元地形情報を取得する撮像部と、情報収集装置の位置を示す自己位置情報を計測する位置センサと、地面に含まれる水分を計測することで水分情報を取得する水分情報取得部と、撮像部により取得された３次元地形情報と、位置センサにより計測された自己位置情報と、水分情報取得部により取得された水分情報とを対応付けて、サーバに送信する第１通信部と、を備える。サーバは、第１通信部により送信された、３次元地形情報と自己位置情報と水分情報とを受信する第２通信部と、第２通信部により受信された、３次元地形情報と自己位置情報と水分情報とに基づいて、３次元地形情報が示す３次元地形画像上に、水分情報が重畳された合成画像を生成する画像合成部と、画像合成部で生成された合成画像を表示する表示部と、を備える。

特開２０１７−１５６１０８号公報

特許文献１に開示された地形情報収集システムによれば、作業現場で建設機械が作動する前に、地形情報を収集し、かつ、３次元地形情報が示す３次元地形画像上に、水分情報が重畳された合成画像を生成する必要があり、これらのための期間が発生する。

作業現場において、地盤が弱い箇所か否かは、この箇所の土質を判定することにより認識することができる。作業現場で建設機械の作動中にリアルタイムで、建設機械付近の土質を判定できれば、上記期間が不要となる。

本発明の目的は、作業現場で建設機械が作動中に、建設機械付近の土質をリアルタイムで判定することができる、土質判定装置、土質判定用学習モデル生成装置および土質判定方法を提供することである。

本発明の第１局面に係る土質判定装置は、建設機械に搭載された土質判定装置であって、画像に写された土の土質を判定するための、機械学習によって構築された学習モデルを記憶する記憶部と、前記建設機械に搭載されたカメラが撮影している土のカメラ画像と、前記学習モデルとを用いて、前記カメラ画像に写された土の土質を、前記カメラの撮影中にリアルタイムで判定する判定部と、を備える。

土質の判定結果は、例えば、土質名、土の水分量（含水比、含水率）、土を構成する主な鉱物、または、これらの組み合わせである。

本発明の第１局面に係る土質判定装置は、建設機械に搭載されたカメラが撮影している土のカメラ画像と、機械学習によって構築された学習モデルとを用いて、カメラ画像に写された土の土質を、カメラの撮影中にリアルタイムで判定する。従って、作業現場で建設機械が作動中に、建設機械付近の土質をリアルタイムで判定することができる。

上記構成において、表示部と、前記判定部が判定した前記土質の判定結果を前記表示部に表示させる表示制御部と、をさらに備える。

この構成によれば、建設機械のキャブ室に搭乗しているオペレータに土質の判定結果を知らせることができる。

上記構成において、前記建設機械は、前記建設機械のオペレータが搭乗するキャブ室と、前記キャブ室の右側または左側に配置された作業アタッチメントと、を備え、前記カメラ画像には、前記キャブ室の後方にある土が写された第１の画像と、前記キャブ室の右方または左方のうち、前記作業アタッチメントが配置されている方にある土が写された第２の画像と、前記キャブ室の右方または左方のうち、前記作業アタッチメントが配置されていない方にある土が写された第３の画像と、前記キャブ室の前方にある土が写された第４の画像とがあり、前記判定部は、前記第１の画像に写された土、前記第２の画像に写された土、前記第３の画像に写された土、前記第４の画像に写された土の順番で、土質を判定する。

キャブ室の後方、および、キャブ室の右方または左方のうち、作業アタッチメント（例えば、ブーム、アーム、バケット）が配置されている方は、オペレータの死角となる。通常、オペレータにとって一番の死角は、前者（キャブ室の後方）である。

キャブ室の前方、および、キャブ室の右方または左方のうち、作業アタッチメントが配置されていない方は、オペレータの視界に入る。オペレータにとって見やすいのは前者（キャブ室の前方）である。

オペレータの視界にある土の土質は、オペレータが推定することができる。オペレータは、オペレータの視界にある土の土質よりも、オペレータの死角にある土の土質を先に知りたい。

以上より、土質の判定の優先順位は、キャブ室の後方にある土、キャブ室の右方または左方のうち、作業アタッチメントが配置されている方にある土、キャブ室の右方または左方のうち、作業アタッチメントが配置されていない方にある土、キャブ室の前方にある土となる。そこで、判定部は、第１の画像に写された土、第２の画像に写された土、第３の画像に写された土、第４の画像に写された土の順番で、土質を判定する。従って、上記優先順位で、土質の判定結果をオペレータに知らせることができる。

上記構成において、前記カメラ画像を複数のパッチに分割する分割部をさらに備え、前記判定部は、前記複数のパッチのそれぞれに写された土の土質について、前記カメラの撮影中にリアルタイムで判定する。

この構成は、カメラの撮影範囲において、土質が一定でない場合に有効である。カメラ画像として、第１の画像〜第４の画像がある場合、第１の画像〜第４の画像のそれぞれについて、複数のパッチに分割される。

上記構成において、前記複数のパッチにおいて、第１のパッチに写された土の土質の判定結果が、前記第１のパッチを囲む複数の第２のパッチに写された土の土質の判定結果のいずれとも一致しないとき、前記複数の第２のパッチに写された土の土質の判定結果を基にして、前記第１のパッチに写された土の土質の判定結果を補正する補正部をさらに備える。

第１のパッチに写された土の土質の判定結果が、第１のパッチを囲む複数の第２のパッチに写された土の土質の判定結果のいずれとも一致しないとき、第１のパッチに写された土の土質の判定結果は、間違いの可能性が高い。この構成によれば、複数の第２のパッチに写された土の土質の判定結果を基にして、第１のパッチに写された土の土質の判定結果を補正する。例えば、多数決を基にして補正する。具体的には、第１のパッチの周囲に８つの第２のパッチがあり、第１のパッチに写された土の土質の判定結果がシルトであり、５つの第２のパッチに写された土の土質の判定結果が砂であり、３つの第２のパッチに写された土の土質の判定結果が礫とする。この場合、補正部は、第１のパッチに写された土の土質の判定結果を砂に補正する。

上記構成において、前記学習モデルは、カラー画像に写された土の土質を判定するためのモデルであり、前記カメラ画像は、カラーである。

この構成によれば、カメラに写された土の土質を判定するのに、土の色も考慮することができる。

本発明の第２局面に係る土質判定用学習モデル生成装置は、前記土質判定装置に備えられる前記記憶部に記憶される前記学習モデルを生成する、土質判定用学習モデル生成装置であって、土の画像のデータセットである第１のデータセットを記憶する第１のデータセット記憶部と、前記第１のデータセットに含まれる前記土の画像同士を合成した合成画像のデータセットである第２のデータセットを生成する第２のデータセット生成部と、前記第１のデータセットおよび前記第２のデータセットを用いて前記機械学習をすることにより、前記学習モデルを構築する学習モデル構築部と、を備える。

本発明の第２局面に係る土質判定用学習モデル生成装置によれば、学習モデルの構築に用いるデータセットの数を増やすことができるので（第１のデータセット＋第２のデータセット）、学習モデルの精度を向上させることができる。

本発明の第３局面に係る土質判定方法は、建設機械に搭載されたカメラで土のカメラ画像を撮影する撮影ステップと、画像に写された土の土質を判定するための、機械学習によって構築された学習モデルと、前記カメラ画像とを用いて、前記カメラ画像に写された土の土質を、前記カメラの撮影中にリアルタイムで判定する判定ステップと、を備える。

本発明の第３局面に係る土質判定方法は、本発明の第１局面に係る土質判定装置を方法の観点から規定しており、本発明の第１局面に係る土質判定装置と同様の作用効果を有する。

本発明によれば、作業現場で建設機械が作動中に、建設機械付近の土質をリアルタイムで判定することができる。

実施形態に係る土質判定装置が搭載された建設機械の一例の平面模式図である。 実施形態に係る土質判定装置の構成を示すブロック図である。 土質判定用学習モデル生成装置の構成を示すブロック図である。 学習モデルを生成する工程を説明するフローチャートである。 教師データの一例である教師データＴＤ−１を説明する説明図である。 第１のデータセットに含まれる２つの教師データＴＤ−１，ＴＤ−２と、これらを用いて生成された教師データＴｄ−１と、を説明する説明図である。 第１のデータセットに含まれる２つの教師データＴＤ−１，ＴＤ−３と、これらを用いて生成された教師データＴｄ−２と、を説明する説明図である。 実施形態に係る土質判定装置の動作を説明するフローチャートである。 変形例に係る土質判定装置の構成を示すブロック図である。 複数のパッチに分割されたカメラ画像の一例を示す画像図である。 第１のパッチに写された土の土質の判定結果が、第１のパッチを囲む複数の第２のパッチに写された土の土質の判定結果のいずれとも一致しない例を説明する説明図である。 変形例に係る土質判定装置の動作を説明するフローチャートである。

以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合にはハイフンを省略した参照符号で示し（例えば、土の画像ＩＭ）、個別の構成を指す場合にはハイフンを付した参照符号で示す（例えば、土の画像ＩＭ−１）。

図１は、実施形態に係る土質判定装置１が搭載された建設機械１００の一例の平面模式図である。建設機械１００は、左走行クローラ１０１Ｌおよび右走行クローラ１０１Ｒを有する下部走行体１０１と、下部走行体１０１上に旋回可能に設けられたアッパーフレーム１０２と、アッパーフレーム１０２上に起伏可能に設けられた作業アタッチメント１０４と、作業機械１００を操作するオペレータが乗車するキャブ室１０５（キャビン）と、を備える。

作業アタッチメント１０４は、ブーム１４１と、ブーム１４１の先端部に連結されたアーム１４２と、アーム１４２の先端部に揺動可能に取り付けられたバケット１４３とを有する。

キャブ室１０５には、４つのカメラ２−１〜２−４が取り付けられている。カメラ２−１は、キャブ室１０５の背面に取り付けられ、キャブ室１０５の後方２０１（言い換えれば、オペレータの後方２０１）にある土（地面）を撮影する。この撮影がされたカメラ画像が第１の画像ＩＭ１（図２）である。カメラ２−２は、キャブ室１０５の右側面に取り付けられ、キャブ室１０５の右方２０２（言い換えれば、オペレータの右方２０２）にある土（地面）を撮影する。この撮影がされたカメラ画像が第２の画像ＩＭ２（図２）である。カメラ２−３は、キャブ室１０５の左側面に取り付けられ、キャブ室１０５の左方２０３（言い換えれば、オペレータの左方２０３）にある土（地面）を撮影する。この撮影がされたカメラ画像が第３の画像ＩＭ３（図２）である。カメラ２−４は、キャブ室１０５の正面に取り付けられ、キャブ室１０５の前方２０４（言い換えれば、オペレータの前方２０４）にある土（地面）を撮影する。この撮影がされたカメラ画像が第４の画像ＩＭ４（図２）である。第１の画像ＩＭ１〜第４の画像ＩＭ４は、カラー動画である。

オペレータの視界にあるのは、左方２０３および前方２０４である。オペレータの死角は、後方２０１および右方２０２である。右方２０２が死角になるのは、キャブ室１０５の右側に作業アタッチメント１０４が配置されているからである。キャブ室１０５の左側に作業アタッチメント１０４が配置されている場合、オペレータの視界にあるのは、右方２０２および前方２０４であり、オペレータの死角は、後方２０１および左方２０３である。

土質判定装置１は、建設機械１００に搭載されており、キャブ室１０５内に配置されている。図２は、土質判定装置１の構成を示すブロック図である。土質判定装置１は、画像入力部３と、制御処理部４と、表示部５と、操作部６と、を備える。

画像入力部３は、入力インターフェース（入力インターフェース回路）により実現される。画像入力部３は、カメラ２−１が撮影している第１の画像ＩＭ１（カメラ画像）、カメラ２−２が撮影している第２の画像ＩＭ２（カメラ画像）、カメラ２−３が撮影している第３の画像ＩＭ３（カメラ画像）、カメラ２−４が撮影している第４の画像ＩＭ４（カメラ画像）を入力する。

制御処理部４は、土質判定装置１の各種制御および各種処理をするハードウェアプロセッサであり、機能ブロックとして、記憶部４１と、判定部４２と、表示制御部４３と、を備える。制御処理部４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等のハードウェア、上記機能ブロックの機能を実行するためのプログラムおよびデータ等によって実現される。

記憶部４１は、学習モデルＬＭを予め記憶している。学習モデルＬＭは、画像に写された土の土質を判定するための、機械学習によって構築されたモデルである。

判定部４２は、建設機械１００に搭載されたカメラ２−１〜２−４が撮影している第１の画像ＩＭ１〜第４の画像ＩＭ４（土のカメラ画像）と、学習モデルＬＭとを用いて、第１の画像ＩＭ１〜第４の画像ＩＭ４にそれぞれ写された土の土質を、カメラ２−１〜２−４の撮影中にリアルタイムで判定する。

表示制御部４３は、各種の画像、各種の情報等を表示部５に表示させる。例えば、表示制御部４３は、建設機械１００の作動中にカメラ２−１〜２−４が撮影している第１の画像ＩＭ１〜第４の画像ＩＭ４をリアルタイムで表示部５に表示させる。

表示部５は、液晶ディスプレイ、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ ｄｉｓｐｌａｙ）等によって実現される。

操作部６は、土質判定装置１のユーザー（キャブ室１０５に搭乗しているオペレータ）が、土質判定装置１を操作する入力したり、土質判定装置１の設定に必要な情報を入力したりする装置である。操作部６は、タッチパネル、ハードキー等によって実現される。

なお、建設機械１００が遠隔操作される場合、土質判定装置１は、遠隔操作される場所に配置され、カメラ２−１〜２−４のそれぞれが撮影した第１の画像ＩＭ１〜第４の画像ＩＭ４は、ネットワークを利用して土質判定装置１に送信される。

図３は、土質判定用学習モデル生成装置７の構成を示すブロック図である。学習モデルＬＭ（図２）は、土質判定用学習モデル生成装置７によって予め生成され、土質判定装置１の記憶部４１に記憶される。土質判定用学習モデル生成装置７は、演算処理部８と、入力部９と、出力部１０と、を備える。

演算処理部８は、ハードウェア（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等）、及び、ソフトウェア等によって実現される。演算処理部８は、機能ブロックとして、第１のデータセット記憶部８１と、第２のデータセット生成部８２と、第２のデータセット記憶部８３と、学習モデル構築部８４と、を備える。

第１のデータセット記憶部８１は、土の画像のデータセットである第１のデータセットを記憶する。第１のデータセットについては後で説明する。第２のデータセット生成部８２は、第１のデータセットに含まれる土の画像同士を合成した合成画像のデータセットである第２のデータセットを生成する。第２のデータセット記憶部８３は、第２のデータセットを記憶する。第２のデータセットについては後で説明する。学習モデル構築部８４は、第１のデータセットおよび第２のデータセットを用いて機械学習をすることにより、学習モデルＬＭを構築する。なお、学習モデルＬＭがクラウドコンピューティングを用いて構築される場合、学習モデル構築部８４は、演算処理部８とインターネット等のネットワークを介して通信可能にされている。

入力部９は、外部からコマンド（命令）やデータ等を演算処理部８に入力するための装置であり、例えば、タッチパネルやキーボード等である。

出力部１０は、入力部９から入力されたコマンドやデータ及び演算処理部８で演算された結果等を出力するための装置であり、例えば、ＬＣＤ（液晶ディスプレイ）の表示装置である。

学習モデルＬＭを生成する工程を説明する。図４は、これを示すフローチャートである。学習モデル作成者は、第１のデータセットを用意する（ステップＳ１）。第１のデータセットは、土の画像のデータセット、すなわち、土の画像の教師データのセットである。第１のデータセットを用意する方法は、以下の通りである。

学習モデル作成者は、土の画像を多数用意する。土の画像は、建設機械１００が使用される地域（例えば、日本、関東）の土の画像が好ましい。例えば、日本で使用される建設機械１００の場合、学習モデル作成者は、日本の各地の土の画像を用意し、関東で使用される建設機械１００の場合、学習モデル作成者は、関東の各地の土の画像を用意する。土の画像は、カラーが好ましい。土の色も次に説明する土質の分類に影響するからである。

学習モデル作成者は、用意した土の画像にそれぞれ、土質の分類を示すラベルを付与する。ラベルが付与された土の画像が教師データとなる。図５は、教師データの一例である教師データＴＤ−１を説明する説明図である。教師データＴＤ−１は、土の画像ＩＭ−１とラベルＬＢ−１とを備える。土の画像ＩＭ−１は含水率が低い砂の画像であり、ラベルＬＢ−１はこれを示している。

土質の分類は、例えば、土質名、土の水分量（含水比、含水率）、土を構成する主な鉱物、または、これらの組み合わせである。土質名は、例えば、地盤工学会基準の分類（ＪＧＳ ００５１）で定められた名称である。これは、土粒子の大きさを基にして分類された名称（粘度、シルト、砂、礫）である。土の水分量は、数値でもよいし、数値以外の表現（例えば、水分量が多い、中くらい、少ない）でもよい。土を構成する主な鉱物は、例えば、石英、長石、雲母である。

土質名の場合、学習モデル作成者は、土の画像に写された土のサンプルに対して、実際に測定された土粒子の大きさを基にして土質を分類してもよいし、そのサンプルを目視して土質を分類してもよいし、土の画像を目視して土質を分類してもよい。

土の水分量の場合、学習モデル作成者は、土の画像に写された土のサンプルに対して、実際に測定された水分量を基にして土質を分類してもよいし、そのサンプルを目視して土質を分類してもよいし、土の画像を目視して土質を分類してもよい。

教師データの数が多い方が、学習モデルＬＭの精度を高くできる。そこで、学習モデル作成者は、用意した土の画像を、ＰＣを用いて、上下反転、左右反転、拡大、縮小、回転、および、これらを組み合わせる処理をし、土の画像の数を増やす。増やした土の画像のラベルは、元の土の画像と同じラベルを使用することができる。

図３を参照して、学習モデル作成者は、以上のようにして用意した第１のデータセットを、入力部９を用いて演算処理部８に入力し、演算処理部８は、第１のデータセットを第１のデータセット記憶部８１に記憶させる（ステップＳ２）。

第２のデータセット生成部８２は、第２のデータセットを生成する（ステップＳ３）。詳しく説明する。第２のデータセット生成部８２は、第１のデータセットに含まれる２つの土の画像ＩＭを合成した土の合成画像Ｉｍを生成し、これらの土の画像ＩＭに付与されたラベルＬＢを基にして、合成画像Ｉｍを示すラベルＬｂを生成し、教師データＴｄを生成する。第２のデータセット生成部８２は、第１のデータセットに含まれる２つの土の画像ＩＭの組み合わせを変えることにより、多数の教師データＴｄを生成する。これらの教師データＴｄのセットが第２のデータセットとなる。

教師データＴｄの生成について具体的に説明する。図６は、第１のデータセットに含まれる２つの教師データＴＤ−１，ＴＤ−２と、これらを用いて生成された教師データＴｄ−１と、を説明する説明図である。教師データＴＤ−１は、上述した通りである。教師データＴＤ−２は、第１のデータセットに含まれ、土の画像ＩＭ−２とラベルＬＢ−２とを備える。土の画像ＩＭ−２は含水率が高い砂の画像であり、ラベルＬＢ−２はこれを示している。教師データＴｄ−１は、土の合成画像Ｉｍ−１とラベルＬｂ−１とを備える。土の合成画像Ｉｍ−１は含水率が中程度の砂の画像であり、ラベルＬｂ−１はこれを示している。

第２のデータセット生成部８２は、土の画像ＩＭ−１と土の画像ＩＭ−２とを合成した土の合成画像Ｉｍ−１を生成し、ラベルＬＢ−１，ＬＢ−２を基にして、合成画像Ｉｍ−１を示すラベルＬｂ−１を生成し、教師データＴｄ−１を生成する。

図７は、第１のデータセットに含まれる２つの教師データＴＤ−１，ＴＤ−３と、これらを用いて生成された教師データＴｄ−２と、を説明する説明図である。教師データＴＤ−１は、上述した通りである。教師データＴＤ−３は、第１のデータセットに含まれ、土の画像ＩＭ−３とラベルＬＢ−３とを備える。土の画像ＩＭ−３は礫の画像であり、ラベルＬＢ−３はこれを示している。教師データＴｄ−２は、土の合成画像Ｉｍ−２とラベルＬｂ−２とを備える。土の合成画像Ｉｍ−２は含水率が低い砂と、礫と、が混在した土の画像であり、ラベルＬｂ−２はこれを示している。

第２のデータセット生成部８２は、土の画像ＩＭ−１と土の画像ＩＭ−３とを合成した土の合成画像Ｉｍ−２を生成し、ラベルＬＢ−１，ＬＢ−３を基にして、合成画像Ｉｍ−２を示すラベルＬｂ−２を生成し、教師データＴｄ−２を生成する。

なお、土質の分類を％で示すラベルＬＢ，Ｌｂでもよい。例えば、ラベルＬＢ−１は、含水率が低い確率ｐ１％、含水率が中程度の確率ｐ２％、含水率が高い確率ｐ３％を示し、ラベルＬＢ−２は、含水率が低い確率ｐ４％、含水率が中程度の確率ｐ５％、含水率が高い確率ｐ６％を示すとする。これらを基にして、ラベルＬｂ−１について、含水率が低い確率、含水率が中程度の確率、含水率が高い確率が算出されてもよい。

教師データＴｄは、例えば、ｍｉｘｕｐ法で生成することができる。ｍｉｘｕｐ法は、以下の式で、合成画像ＩｍとラベルＬｂとを生成する。
ｘ＝λｘ１＋（１−λ）ｘ２
ｙ＝λｙ１＋（１−λ）ｙ２

ｘは合成画像Ｉｍを示す。ｙはラベルＬｂを示す。ｘ１は合成画像Ｉｍの基になる一方の画像ＩＭを示し、ｙ１はこの画像ＩＭに付与されたラベルＬＢを示す。ｘ２は合成画像Ｉｍの基になる他方の画像ＩＭを示し、ｙ２はこの画像ＩＭに付与されたラベルＬＢを示す。λはベータ分布Ｂｅ（α、β）から、学習モデル作成者がランダムに取得した数値である。

２つの画像ＩＭ−４，ＩＭ−５（不図示）について、λ＝０．４が取得されたとする。第２のデータセット生成部８２は、画像ＩＭ−４と画像ＩＭ−５において、同じ順番に位置する画素が示す値に所定の演算をして求められた値を、合成画像Ｉｍ−３（不図示）のその順番に位置する画素の値として設定して合成画像Ｉｍ−３を生成する。ここでは、（画像ＩＭ−４に含まれるｎ番目の画素の値）×０．４＋（画像ＩＭ−５に含まれるｎ番目の画素の値）×０．６が示す値が、合成画像Ｉｍ−３に含まれるｎ番目の画素の値となる。ｎ番目の画素のＲ値、Ｇ値、Ｂ値のそれぞれについて、この計算がされる。

図３を参照して、第２のデータセット生成部８２は、生成した第２のデータセットを第２のデータセット記憶部８３に記憶させる（ステップＳ４）。

学習モデル構築部８４は、第１のデータセット記憶部８１に記憶されている第１のデータセットおよび第２のデータセット記憶部８３に記憶されている第２のデータセットを用いて、機械学習し、学習モデルＬＭを構築する（ステップＳ５）。機械学習として、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。

学習モデル構築部８４は、教師データＴＤに含まれる画像ＩＭをＲデータ、Ｇデータ、Ｂデータに分けて、それぞれのデータに対して、畳み込み演算とプーリング処理をし、画像ＩＭの特徴点を抽出し、抽出した特徴点を基にして、土質を判定する。土質名を例に説明すると、学習モデル構築部８４は、画像ＩＭに写された土が粘土の確率、シルトの確率、砂の確率、礫の確率を学習結果として出力部１０に出力する。土の含水率を例に説明すると、学習モデル構築部８４は、画像ＩＭに写された土の含水率を学習結果として出力する。含水率は相対値でもよいし（例えば、高、中、低）、絶対値でもよい（例えば、３０％）。学習モデル構築部８４は、学習結果が画像ＩＭに付与されたラベルＬＢと一致するように、学習を繰り返す。学習モデル構築部８４は、第１のデータセットに含まれる各教師データＴＤに対して上述した学習を実行する。学習モデル構築部８４は、第２のデータセットに含まれる各教師データＴｄに対しても、同様にして学習を実行する。

学習モデル作成者は、学習モデルＬＭが所望の精度を得られるまで、学習モデル構築部８４に機械学習をさせる。所望の精度が得られた学習モデルＬＭは、図１に示す記憶部４１に記憶される。

土質判定装置１の動作を説明する。図８はこれを説明するフローチャートである。図２および図８を参照して、建設機械１００の作業現場において、カメラ２−１〜２−４を用いて、第１の画像ＩＭ１〜第４の画像ＩＭ４を撮影する（ステップＳ１１）。これらの画像には、建設機械１００の周囲の土が写されている。

カメラ２−１で撮影された第１の画像ＩＭ１（カメラ画像）、カメラ２−２で撮影された第２の画像ＩＭ２（カメラ画像）、カメラ２−３で撮影された第３の画像ＩＭ３（カメラ画像）、カメラ２−４で撮影された第４の画像ＩＭ４（カメラ画像）が、画像入力部３に入力される（ステップＳ１２）。

制御処理部４は、第１の画像ＩＭ１、第２の画像ＩＭ２、第３の画像ＩＭ３および第４の画像ＩＭ４を判定部４２に送る。判定部４２は、第１の画像ＩＭ１と学習モデルＬＭとを用いて、第１の画像ＩＭ１に写された土の土質を判定する（ステップＳ１３）。表示制御部４３は、この判定結果を表示部５の第１の領域に表示させる（ステップＳ１４）。例えば、学習モデルＬＭの構築において、土質の分類が土質名でされている場合、判定結果は、粘度の確率、シルトの確率、砂の確率、礫の確率をそれぞれ示す。

次に、判定部４２は、第２の画像ＩＭ２と学習モデルＬＭとを用いて、第２の画像ＩＭ２に写された土の土質を判定する（ステップＳ１５）。表示制御部４３は、この判定結果を表示部５の第２の領域に表示させる（ステップＳ１６）。

次に、判定部４２は、第３の画像ＩＭ３と学習モデルＬＭとを用いて、第３の画像ＩＭ３に写された土の土質を判定する（ステップＳ１７）。表示制御部４３は、この判定結果を表示部５の第３の領域に表示させる（ステップＳ１８）。

最後に、判定部４２は、第４の画像ＩＭ４と学習モデルＬＭとを用いて、第４の画像ＩＭ４に写された土の土質を判定する（ステップＳ１９）。表示制御部４３は、この判定結果を表示部５の第４の領域に表示させる（ステップＳ２０）。

表示部５には、第１の画像ＩＭ１〜第４の画像ＩＭ４のそれぞれに写された土の土質の判定結果が表示されている。

実施形態の主な効果を説明する。図１および図２を参照して、実施形態に係る土質判定装置１は、建設機械１００に搭載されたカメラ２−１〜２−４が撮影している土のカメラ画像（第１の画像ＩＭ１〜第４の画像ＩＭ４）と、機械学習によって構築された学習モデルＬＭとを用いて、カメラ画像（第１の画像ＩＭ１〜第４の画像ＩＭ４）に写された土の土質を、カメラ２−１〜２−４の撮影中にリアルタイムで判定する。従って、作業現場で建設機械１００が作動中に、建設機械１００付近の土質をリアルタイムで判定することができる。

図１および図２を参照して、キャブ室１０５の後方２０１（オペレータの後方２０１）、および、キャブ室１０５の右方２０２（オペレータの右方２０２）は、オペレータの死角となる。通常、オペレータにとって一番の死角は、前者（キャブ室１０５の後方２０１）である。キャブ室１０５の前方２０４、および、キャブ室１０５の左方２０３は、オペレータの視界に入る。オペレータにとって見やすいのは前者（キャブ室１０５の前方２０４）である。

オペレータの視界にある土の土質は、オペレータが推定することができる。オペレータは、オペレータの視界にある土の土質よりも、オペレータの死角にある土の土質を先に知りたい。

以上より、土質の判定の優先順位は、キャブ室１０５の後方２０１にある土、キャブ室１０５の右方２０２にある土、キャブ室１０５の左方２０３にある土、キャブ室１０５の前方２０４にある土となる。そこで、判定部４２は、第１の画像ＩＭ１に写された土、第２の画像ＩＭ２に写された土、第３の画像ＩＭ３に写された土、第４の画像ＩＭ４に写された土の順番で、土質を判定する（図８）。従って、上記優先順位で、土質の判定結果をオペレータに知らせることができる。

なお、表示部５が４つある場合、表示制御部４３は、第１の画像ＩＭ１を表示する第１の表示部に、第１の画像ＩＭ１に写された土の土質の判定結果を表示させ、次に、第２の画像ＩＭ２を表示する第２の表示部に、第２の画像ＩＭ２に写された土の土質の判定結果を表示させ、次に、第３の画像ＩＭ３を表示する第３の表示部に、第３の画像ＩＭ３に写された土の土質の判定結果を表示させ、最後に第４の画像ＩＭ４を表示する第４の表示部に、第４の画像ＩＭ４に写された土の土質の判定結果を表示させる。

土質判定装置１の変形例を説明する。図９は、変形例に係る土質判定装置１ａの構成を示すブロック図である。土質判定装置１ａは、一台のカメラ２ａで撮影された土のカメラ画像ＩＭａを複数のパッチに分割し、各パッチに写された土の土質を、カメラ２ａの撮影中にリアルタイムで判定する。カメラ２ａの撮影範囲において、土質が一定でない場合があるからである。

土質判定装置１ａについて土質判定装置１（図２）と異なる点を説明する。カメラ２ａは、建設機械１００（図１）に取り付けられており、建設機械１００の周囲の土（地面）のカメラ画像ＩＭａを撮影する。カメラ画像ＩＭａは、画像入力部３に入力する。

制御処理部４は、分割部４４と補正部４５をさらに備える。分割部４４は、カメラ画像ＩＭａを複数のパッチＰに分割する。図１０は、複数のパッチＰに分割されたカメラ画像ＩＭａの一例を示す画像図である。カメラ画像ＩＭａは、縦横それぞれ４つに分けられ、１６個のパッチＰに分割されている。１つのパッチＰの拡大画像がカメラ画像ＩＭａの隣りに示されている。

カメラ画像ＩＭａについて、分割されるパッチＰの数は、土質判定装置１ａの画像処理能力に応じて予め決められている。土質判定装置１ａのユーザーは、土質判定装置１ａの画像処理能力が低いとき、操作部６を操作して、分割されるパッチＰの数を少なく設定する。これにより、各パッチＰに写された土の土質の判定をリアルタイムで実行することができる。土質判定装置１ａの画像処理能力が高いとき、分割されるパッチＰの数が多くても、各パッチＰに写された土の土質の判定をリアルタイムで実行することができる。そこで、土質判定装置１ａの画像処理能力が高いとき、ユーザーは、操作部６を操作して、分割されるパッチＰの数を多く設定する。これにより、きめ細かい範囲で土質を判定することができる。

判定部４２は、複数のパッチＰ（図１０では１６個のパッチＰ）のそれぞれに写された土の土質について、学習モデルＬＭを用いて、カメラ２ａの撮影中にリアルタイムで判定する。

補正部４５は、複数のパッチＰにおいて、第１のパッチに写された土の土質の判定結果が、第１のパッチを囲む複数の第２のパッチに写された土の土質の判定結果のいずれとも一致しないとき、複数の第２のパッチに写された土の土質の判定結果を基にして、第１のパッチに写された土の土質の判定結果を補正する。

詳しく説明する。図１１は、第１のパッチに写された土の土質の判定結果が、第１のパッチを囲む複数の第２のパッチに写された土の土質の判定結果のいずれとも一致しない例を説明する説明図である。３×３の行列状に位置する９個のパッチＰにおいて、中央のパッチＰ−９が第１のパッチであり、この周囲に位置する８個のパッチＰ−１〜Ｐ−８が第２のパッチである。

パッチＰ−９（第１のパッチ）に写された土の土質の判定結果が、８個のパッチＰ−１〜Ｐ−８（複数の第２のパッチ）に写された土の土質の判定結果のいずれとも一致しないとき、パッチＰ−９に写された土の土質の判定結果は、間違いの可能性が高い。補正部４５は、８個のパッチＰ−１〜Ｐ−８に写された土の土質の判定結果を基にして、パッチＰ−９に写された土の土質の判定結果を補正する。例えば、多数決を基にして補正する。具体的には、パッチＰ−９に写された土の土質の判定結果がシルトであり、パッチＰ−１，Ｐ−２，Ｐ−３，Ｐ−４，Ｐ−５に写された土の土質の判定結果が砂であり、パッチＰ−６，Ｐ−７，Ｐ−８に写された土の土質の判定結果が礫とする。この場合、補正部４５は、パッチＰ−９に写された土の土質の判定結果を砂に補正する。補正は、多数決に限らず、例えば、９個のパッチＰ−１〜Ｐ−９の判定結果を基にして、ロジステック回帰で実行してもよい。

土質判定装置１ａの動作を説明する。図１２はこれを説明するフローチャートである。図９および図１２を参照して、建設機械１００の作業現場において、カメラ２ａを用いて、カメラ画像ＩＭａを撮影する（ステップＳ３１）。カメラ画像ＩＭａには、建設機械１００の周囲の土が写されている。カメラ画像ＩＭａが、画像入力部３に入力される（ステップＳ３２）。

制御処理部４は、カメラ画像ＩＭａを分割部４４に送る。分割部４４は、カメラ画像ＩＭａを複数のパッチＰに分割する（ステップＳ３３）。判定部４２は、複数のパッチＰのそれぞれに写された土の土質について、学習モデルＬＭを用いて判定する（ステップＳ３４）。

補正部４５は、複数のパッチＰのそれぞれに写された土の土質の判定結果について、判定結果の補正が必要なパッチＰがあるか否かを判断する（ステップＳ３５）。補正部４５は、判定結果の補正が必要なパッチＰがないと判断したとき（ステップＳ３５でＮｏ）、表示制御部４３は、複数のパッチＰのそれぞれに写された土の土質の判定結果を表示部５に表示させる（ステップＳ３７）。

補正部４５は、判定結果の補正が必要なパッチＰがあると判断したとき（ステップＳ３５でＹｅｓ）、そのパッチＰの判定結果を補正する（ステップＳ３６）。そして、表示制御部４３は、複数のパッチＰのそれぞれに写された土の土質の判定結果を表示部５に表示させる（ステップＳ３７）。

１，１ａ 土質判定装置
２−１〜２−４，２ａ カメラ
７ 土質判定用学習モデル生成装置
１００ 建設機械
１０４ 作業アタッチメント
１０５ キャブ室
２０１ 後方
２０２ 右方
２０３ 左方
２０４ 前方
ＩＭ１ 第１の画像（カメラ画像）
ＩＭ２ 第２の画像（カメラ画像）
ＩＭ３ 第３の画像（カメラ画像）
ＩＭ４ 第４の画像（カメラ画像）
ＩＭａ カメラ画像
ＩＭ−１〜ＩＭ−３ 土の画像
Ｉｍ−１，Ｉｍ−２ 土の合成画像
ＬＢ−１〜ＬＢ−３ ラベル
Ｌｂ−１，Ｌｂ−２ ラベル
ＬＭ 学習モデル
Ｐ パッチ
ＴＤ−１〜ＴＤ−３ 教師データ
Ｔｄ−１，Ｔｄ−２ 教師データ

Claims (8)

1. 建設機械に搭載された土質判定装置であって、
   画像に写された土の土質を判定するための、機械学習によって構築された学習モデルを記憶する記憶部と、
   前記建設機械に搭載されたカメラが撮影している土のカメラ画像と、前記学習モデルとを用いて、前記カメラ画像に写された土の土質を、前記カメラの撮影中にリアルタイムで判定する判定部と、を備える、土質判定装置。
2. 表示部と、
   前記判定部が判定した前記土質の判定結果を前記表示部に表示させる表示制御部と、をさらに備える、請求項１に記載の土質判定装置。
3. 前記建設機械は、前記建設機械のオペレータが搭乗するキャブ室と、前記キャブ室の右側または左側に配置された作業アタッチメントと、を備え、
   前記カメラ画像には、前記キャブ室の後方にある土が写された第１の画像と、前記キャブ室の右方または左方のうち、前記作業アタッチメントが配置されている方にある土が写された第２の画像と、前記キャブ室の右方または左方のうち、前記作業アタッチメントが配置されていない方にある土が写された第３の画像と、前記キャブ室の前方にある土が写された第４の画像とがあり、
   前記判定部は、前記第１の画像に写された土、前記第２の画像に写された土、前記第３の画像に写された土、前記第４の画像に写された土の順番で、土質を判定する、請求項１または２に記載の土質判定装置。
4. 前記カメラ画像を複数のパッチに分割する分割部をさらに備え、
   前記判定部は、前記複数のパッチのそれぞれに写された土の土質について、前記カメラの撮影中にリアルタイムで判定する、請求項１〜３のいずれか一項に記載の土質判定装置。
5. 前記複数のパッチにおいて、第１のパッチに写された土の土質の判定結果が、前記第１のパッチを囲む複数の第２のパッチに写された土の土質の判定結果のいずれとも一致しないとき、前記複数の第２のパッチに写された土の土質の判定結果を基にして、前記第１のパッチに写された土の土質の判定結果を補正する補正部をさらに備える、請求項４に記載の土質判定装置。
6. 前記学習モデルは、カラー画像に写された土の土質を判定するためのモデルであり、
   前記カメラ画像は、カラーである、請求項１〜５のいずれか一項に記載の土質判定装置。
7. 請求項１〜請求項６のいずれか一項に記載の土質判定装置に備えられる前記記憶部に記憶される前記学習モデルを生成する、土質判定用学習モデル生成装置であって、
   土の画像のデータセットである第１のデータセットを記憶する第１のデータセット記憶部と、
   前記第１のデータセットに含まれる前記土の画像同士を合成した合成画像のデータセットである第２のデータセットを生成する第２のデータセット生成部と、
   前記第１のデータセットおよび前記第２のデータセットを用いて前記機械学習をすることにより、前記学習モデルを構築する学習モデル構築部と、を備える、土質判定用学習モデル生成装置。
8. 建設機械に搭載されたカメラで土のカメラ画像を撮影する撮影ステップと、
   画像に写された土の土質を判定するための、機械学習によって構築された学習モデルと、前記カメラ画像とを用いて、前記カメラ画像に写された土の土質を、前記カメラの撮影中にリアルタイムで判定する判定ステップと、を備える、土質判定方法。

Images