JP2021080790A - 路面状況監視システム、作業車両、路面状況監視方法およびプログラム - Google Patents

Abstract

【課題】オペレータが容易に路面状況を監視することができるようにする。【解決手段】本発明の一態様は、タイヤが装着された作業車両の走行機構の駆動により前記作業車両が進行する方向の路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得する路面状況取得部と、前記タイヤが損傷を受けるかどうかの判断を行うための基準情報を保存する記憶部と、前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記基準情報に基づき判断する損傷判断部と、前記損傷判断部が判断した結果を出力する出力部とを備える路面状況監視システムである。【選択図】図１２

Description

本発明は、路面状況監視システム、作業車両、路面状況監視方法およびプログラムに関する。

鉱山や砕石場で稼働するホイールローダは、爆落石などの掘削作業を行う。そのような作業の際、例えば、タイヤが鋭利な岩に接触してタイヤ破損を引き起こす場合がある。タイヤ破損とは、例えば、タイヤに傷を与えたりパンクさせたりするものである。オペレータはタイヤ破損の原因となるような岩が路面にないか確認しながらホイールローダを走行させているが、オペレータ席からは路面の状況を視認しづらい場合もある。そこで、特許文献１に記載されている作業車両は、フロントタイヤ前方の路面状況をフロントアクセル前方に設置したカメラで撮影し、キャブ内に設けられたモニタで当該路面状況をオペレータが確認できるようにしている。

国際公開第２０１７／０７７７２３号

特許文献１に記載されている作業車両によれば、オペレータはモニタを見ることで、タイヤ破損の原因となるような岩が進行方向に存在するかどうかを視認することができる。ただし、この構成では、タイヤ破損に留意すべき岩の存否に関わらず、オペレータがモニタでタイヤ破損の原因となるような岩を視認することが最初に必要であり、視認した岩がタイヤ破損を引き起こしそうか否かをオペレータが判断できた場合にだけ、タイヤ破損を回避することができる。掘削作業の際は、オペレータの視線は前方にあり、常時、オペレータがモニタを見続けることは難しいという課題がある。また、モニタを見る頻度を上げると作業車両の動作が緩慢となり生産性が低下するという課題がある。

本発明は、上記事情に鑑みてなされたものであり、オペレータが容易に路面状況を監視することができる路面状況監視システム、作業車両、路面状況監視方法およびプログラムを提供することを目的とする。

上記課題を解決するため、本発明の一態様は、タイヤが装着された作業車両の走行機構の駆動により前記作業車両が進行する方向の路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得する路面状況取得部と、前記タイヤが損傷を受けるかどうかの判断を行うための基準情報を保存する記憶部と、前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記基準情報に基づき判断する損傷判断部と、前記損傷判断部が判断した結果を出力する出力部とを備える路面状況監視システムである。

本発明の態様によれば、オペレータが容易に路面状況を監視することができる。

本実施形態に係る作業車両の一例を示す斜視図である。 図１に示すホイールローダ１の側面図である。 図１に示すホイールローダ１の側面図である。 図３に示すホイールローダ１の正面図である。 図３に示すホイールローダ１を斜め下から見た図である。 図１に示すタイヤ６の斜視図である。 本実施形態に係るカメラの撮影領域を説明するための模式図である。 本実施形態に係る路面状況監視システムの一例を示すブロック図である。 図８に示す路面状況監視システム１００の動作例を示すフローチャートである。 本実施形態に係る学習用画像の例を示す模式図である。 本実施形態に係るカメラ画像の例を示す模式図である。 本発明の実施形態の基本的構成例を示すブロック図である。

以下、図面を参照して本発明の実施形態について説明する。なお、各図において同一または対応する構成には同一の符号を用いて説明を適宜省略する。

［ホイールローダ（作業車両）］
図１は、本実施形態に係る作業車両の一例としてのホイールローダ１を示す斜視図である。図２は、図１に示すホイールローダ１の側面図である。図３は、図１に示すホイールローダ１（バケット１２を上方向に移動した場合）の側面図である。図４は、図３に示すホイールローダ１の正面図である。図５は、図３に示すホイールローダ１を斜め下から見た図である。図６は、図１に示すタイヤ６の斜視図である。図７は、本実施形態に係るカメラの撮影領域を説明するための模式図である。

図１等に示すように、ホイールローダ１は、車両本体２と、車両本体２に支持される作業機１０とを備える。なお、図１は、ホイールローダ１の作業対象である岩山２０１と、岩山２０１から離れて位置し、かつタイヤ６を破損する可能性がある岩石２０２を模式的に示している。

車両本体２は、運転室３と、走行機構４と、走行機構４を駆動するための動力を発生するエンジン（不図示）とを有する。運転室３には、運転席（不図示）が備えられている。ホイールローダ１は、運転室３に搭乗し運転席に着座したオペレータによって操作される。運転席の周囲には、オペレータによって操作される運転操作装置が配置される。運転操作装置は、例えば、シフトレバー、アクセルペダル、ブレーキペダル、および作業機１０を操作するための作業機レバーを含む。オペレータは、運転操作装置を操作して、ホイールローダ１の走行速度の調整、前進または後進の切替え、および作業機１０の操作を実施する。

走行機構４は、回転軸ＤＸを中心に回転可能な車輪５を有する。車輪５にタイヤ６が装着される。車輪５は、２つの前輪５Ｆと、２つの後輪５Ｒとを含む。タイヤ６は、前輪５Ｆに装着される右前タイヤ６ＦＲおよび左前タイヤ６ＦＬと、後輪５Ｒに装着される右後タイヤ６ＲＲおよび左後タイヤ６ＲＬとを含む。なお、以下では、右前タイヤ６ＦＲと左前タイヤ６ＦＬを総称して前タイヤ６Ｆと言い、右後タイヤ６ＲＲと左後タイヤ６ＲＬを総称して後タイヤ６Ｒと言う場合がある。走行機構４は、路面ＲＳを走行可能である。

以下の説明においては、ホイールローダ１が直進状態で走行するときの回転軸ＤＸと平行な方向を適宜、車両本体２の車幅方向、と称し、路面ＲＳと直交する鉛直軸と平行な方向を適宜、車両本体２の上下方向、と称し、回転軸ＤＸおよび鉛直軸の両方と直交する方向を適宜、車両本体２の前後方向、と称する。

なお、タイヤ６は、例えば、図６に示すようなブロックパターン（トレッドパターンとも呼ばれる）６Ｐを有している。ブロックパターン６Ｐは、タイヤ６が路面ＲＳと接する部分であるトレッド６Ｓに刻まれる溝６Ｇ等で形成される模様である。図６に示す例では、ブロックパターン６Ｐは、タイヤ６の周方向に対してほぼ直角に複数の溝６Ｇを左右互い違いに刻んだパターン（ラグ型パターン）である。

本実施形態においては、運転室３の運転席に着座したオペレータを基準として作業機１０が存在する方向が前方であり、前方の逆方向が後方である。車幅方向の一方が右方であり、右方の逆方向が左方である。前輪５Ｆは、後輪５Ｒよりも前方に配置される。前輪５Ｆは、車両本体２の車幅方向両側に配置される。後輪５Ｒは、車両本体２の車幅方向両側に配置される。

作業機１０は、車両本体２に移動可能に連結されるアーム１１と、アーム１１に移動可能にリンク１６を介して連結される掘削部材であるバケット１２と、ベルクランク１５とを有する。

アーム１１は、リフトシリンダ１３（図３）が発生する動力によって作動する。リフトシリンダ１３は、アーム１１を移動するための動力を発生する油圧シリンダである。リフトシリンダ１３の一端部は車両本体２に連結され、リフトシリンダ１３の他端部はアーム１１に連結される。リフトシリンダ１３は、２つ設けられる。一方のリフトシリンダ１３は、車幅方向中心よりも右方に設けられ、他方のリフトシリンダ１３は、車幅方向中心よりも左方に設けられる。オペレータが作業機レバーを操作するとリフトシリンダ１３が伸縮する。これにより、アーム１１は上下方向に移動する。

バケット１２は、刃先１２Ｂを有する掘削部材である。なお、掘削部材は、刃先を有するブレードでもよい。バケット１２は、アーム１１の先端部と連結され、アーム１１を介して車両本体２に連結される。バケット１２は、バケットシリンダ１４が発生する動力によって作動する。バケットシリンダ１４は、バケット１２を移動するための動力を発生する油圧シリンダである。ベルクランク１５の中央部がアーム１１に回転可能に連結される。バケットシリンダ１４の一端部は車両本体２に連結され、バケットシリンダ１４の他端部はベルクランク１５の一端部に連結される。ベルクランク１５の他端部は、リンク１６（図３）を介してバケット１２に連結される。バケットシリンダ１４は、１つ設けられる。バケットシリンダ１４は、車幅方向の中央部に配置される。オペレータが作業機レバーを操作するとバケットシリンダ１４が伸縮する。これにより、バケット１２は揺動する。バケット１２は、車両本体２の前方において揺動する。

図４および図５に示すように、車幅方向におけるバケット１２の両側の端部１２Ｅは、車幅方向においてタイヤ６よりも外側に配置される。すなわち、バケット１２の右側の端部１２Ｅと左側の端部１２Ｅとの車幅方向の距離は、右側のタイヤ６の外側面と左側のタイヤ６の外側面との車幅方向の距離よりも大きい。

図４は、本実施形態に係るホイールローダ１を示す正面図であって、バケット１２を上方に移動させた状態を示す。本実施形態において、走行機構４は、エンジンで発生した動力を前輪５Ｆに伝達する動力伝達機構７と、動力伝達機構７の少なくとも一部を収容するハウジング８（アクスルケースとも呼ばれる）とを有する。エンジンは、車両本体２の後部に配置される。エンジンで発生した動力は、動力伝達機構７のデファレンシャルギアを介して、左右の前輪５Ｆに伝達される。デファレンシャルギアは、ハウジング８の球状部分８Ｂに収容される。以下の説明においては、デファレンシャルギアを収容するハウジング８の球状部分８Ｂを適宜、アクスルボール８Ｂ、と称する。アクスルボール８Ｂは、車幅方向の中央部に配置される。また、アクスルボール８Ｂは、バケットシリンダ１４よりも下方に配置される。アクスルボール８Ｂの上方にはアクスルボール８Ｂ（ハウジング８）のカバーであるアクスルハウジング８Ｃが設けられている。ハウジング８は、前輪５Ｆ用のハウジング８Ｆと後輪５Ｒ用のハウジング８Ｒを含む（図５）。

［路面状況監視システムの設置位置］
図１に示すように、本実施形態に係る路面状況監視システム１００は、カメラ２０と、計算機（コンピュータ）３０と、ブザー４０と、モニタ５０を備える。カメラ２０は、例えば、図４および図５に示すように、アクスルハウジング８Ｃに設置されている。計算機３０と、ブザー４０と、モニタ５０は、運転室３に設置されている。

［カメラの撮影領域］
カメラ２０は、図７に示すように、バケット１２と前タイヤ６Ｆとの間の領域４０１の画像データを取得する。本実施形態において、カメラ２０の撮影領域は、路面ＲＳに接触した接地状態のバケット１２と前タイヤ６Ｆとの間の路面ＲＳの領域４０１である。なお、カメラ２０の設置については、アクスルハウジング８Ｃに設置することに限定されず、例えば図５に示すブームコネクタ１７に設置してもよい。ブームコネクタ１７は、左右のアーム１１の間を溶接によって連結する部材である。また、カメラ２０の個数は、１個に限定されず、複数個としてもよい。例えば、図７に示すように、バケット１２の裏側（バケットの上面であって運転室３に対向する面）に取り付けたり（カメラ２０ａ）、フロントフェンダー１８の上（カメラ２０ｂ）や後（カメラ２０ｅ）に取り付けたり、照明１９の上、下または横に取り付けたり（カメラ２０ｃ）、運転室３の天井の上３ａに取り付けたり（カメラ２０ｄ）、ハウジング８Ｒのカバーに取り付けたり（カメラ２０ｆ）することができる。カメラ２０、２０ａ〜２０ｆは、例えばブラケットを介してホイールローダ１に搭載することができ、ブラケットは撮影方向を調整することができる調整機構を備えていてもよい。なお、図７に示すカメラ２０、２０ａ〜２０ｆは２個の矩形で表され、各カメラの撮影方向は大きい矩形から小さい矩形への方向である。

また、撮影領域は、領域４０１に限定されず、例えば、領域４０２、領域４０３、および領域４０４の一部または全部を撮影領域としてもよい。領域４０２は、前タイヤ６Ｆの後方の一定の領域である。領域４０３は、後タイヤ６Ｒの前方の一定の領域である。領域４０４は、後タイヤ６Ｒの後方の一定の領域である。なお、各領域４０１〜４０４は、タイヤ６の一部と路面ＲＳの一部とを含む領域とすることができる。また、左右のタイヤ６毎にカメラの撮影領域を設けてもよい。

［路面状況監視システムの構成］
次に、図８〜図１１を参照して、図１に示す路面状況監視システム１００について説明する。図８は、本実施形態に係る路面状況監視システム１００の一例を示すブロック図である。図９は、図８に示す路面状況監視システム１００の動作例を示すフローチャートである。図１０は、本実施形態に係る学習用画像の例を示す模式図である。図１１は、本実施形態に係るカメラ画像の例を示す模式図である。

図８に示すように、路面状況監視システム１００は、図１等を参照して設置位置について説明した、カメラ２０と、計算機３０と、ブザー４０と、モニタ５０を備える。

計算機３０は、処理装置３１と、記憶装置３２と、入出力装置３３を有する。処理装置３１は、内部にＣＰＵ（中央処理装置）、記憶装置、入出力装置等のハードウェアを備え、例えば内部の記憶装置に記憶したプログラムを実行することで動作する。処理装置３１は、ハードウェアとプログラム等のソフトウェアとの組み合わせで構成される機能的構成要素として、画像処理部３１１と画像認識部３１２を有する。記憶装置３２は、画像認識部３１２が画像認識処理で用いる学習済みモデル３２１等を記憶する。入出力装置３３は、カメラ２０が撮影した画像信号を入力するとともに、入力した画像信号を所定の記憶装置へ記憶したり、あるいは画像処理部３１１へ出力したり、入力した画像信号に例えば画像認識部３１２の所定の判断結果を示す画像信号を重畳させてモニタ５０へ出力したり、画像認識部３１２の所定の判断結果を示す信号をブザー４０へ出力したりする。つまり、入出力装置３３は、画像信号の伝送制御、画像信号に基づいてモニタ５０に表示される表示内容の制御、画像信号に基づいてブザー４０に出力される音声内容の制御を実行する装置である。

画像処理部３１１は、カメラ２０が撮影した画像信号を受信する。画像信号は、入出力装置３３を介して画像処理部３１１に入力され、所定の画像処理（例えば、解像度変換、画質調整等）を施し、画像処理した画像信号を所定の記憶装置に記憶する。画像認識部３１２には、画像処理部３１１が画像処理した画像信号が入力され、カメラ２０が撮影した画像にタイヤ６を破損するおそれがあるような留意すべき岩石等が含まれているか否かを判断し、判断した結果に基づいて、ブザー４０やモニタ５０から出力する情報を決定する。

カメラ２０は、撮影領域４０１の動画データを取得するビデオカメラ機能を有する。カメラ２０で取得された画像データ（動画データ）は、入出力装置３３へ入力される。

音声出力装置としてのブザー４０は、入出力装置３３から出力された制御信号に応じて情報を出力する。ブザー４０は、例えば運転室３内のオペレータが可聴できる警報音を発生する。なお、ブザー４０に代えてスピーカーを用いてもよく、スピーカーから情報としての警報音に変えて音声を出力するようにしてもよい。

モニタ５０は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等の表示装置であり、入出力装置３３から出力された画像信号に応じて、例えば運転室３内のオペレータが視認できる画像（動画あるいは静止画）を表示する。なお、モニタ５０は、運転室３のフロントガラスに画像や情報を表示できるヘッドアップディスプレイといった表示装置を用いてもよい。モニタ５０は、単一の表示装置でもよく、複数の表示装置により構成されてもよい。また、表示装置と音声出力装置は、一体のものを用いてもよい。例えば、液晶ディスプレイとスピーカーを一体化したものを用いてもよい。

なお、図１に示すように、モニタ５０は、車両本体２の運転室３に配置される。モニタ５０は、例えば、カメラ２０で取得された動画データをリアルタイムに表示したり、画像認識部３１２の判断結果に応じた情報を表示したりする。運転室３のオペレータは、フロントガラス５３を介して、バケット１２、アーム１１およびバケットシリンダ１４などを視認可能であるものの、路面ＲＳの状況を視認することは困難である。特に、前タイヤ６Ｆの前方の路面ＲＳの状況を直接的に目視することは困難である。また、バケット１２を接地させた状態では、バケット１２の下面にある路面ＲＳの状況やバケット１２の前方の路面ＲＳの状況も運転室３のオペレータからは視認しづらい。いずれにしても、前タイヤ６の前方の状況は、前タイヤ６に近くなるほど視認しづらくなる。一方、モニタ５０がカメラ２０で取得された動画データをリアルタイムに表示する場合、運転室３のオペレータは、運転室３に設けられているモニタ５０を見て、例えば、バケット１２と前タイヤ６Ｆとの間の路面ＲＳ（領域４０１）の状況を視認することができる。

［路面状況監視システムの動作］
次に、図９を参照して、図８に示す路面状況監視システム１００の動作例について説明する。図９に示す処理は、計算機３０が所定の周期で繰り返し実行する。図９に示す処理が開始されると、入出力装置３３はカメラ２０が出力した画像信号を１または複数フレーム分取得し、所定の記憶装置に記憶する（ステップＳ１１）。なお、ステップＳ１１において入出力装置３３は、例えば画像認識部３１２からの指示に応じて、カメラ２０から入力した画像信号をそのままモニタ５０へ出力する処理を行ってもよい。この場合、画像認識部３１２からの指示に応じて、モニタ５０にカメラ２０が撮影した画像をリアルタイムで表示することができる。

次に、画像処理部３１１は、ステップＳ１１で所定の記憶装置に記憶された画像信号を入力し、所定の画像処理を行った後、再び所定の記憶装置に記憶する（ステップＳ１２）。

次に、画像認識部３１２は、所定の記憶装置に記憶されている１または複数フレームの画像信号に対し画像認識処理を実行し、領域４０１にタイヤ６に損傷を与える可能性があるような留意すべき岩石２０２を含んでいるか否かを判断する（ステップＳ１３）。ステップＳ１３において画像認識部３１２は、留意すべき岩石２０２を含んでいると判断した場合（ステップＳ１３で「ＹＥＳ」の場合）、判断結果を示す情報（警報音）をブザー４０から発報したり、判断結果を示す情報（警報画像）をモニタ５０で表示したりする指示を入出力装置３３へ出力し（ステップＳ１４）、オペレータに注意喚起を図り、図９に示す処理を終了する。一方、ステップＳ１３において画像認識部３１２は、留意すべき岩石２０２を含んでいると判断しなかった場合（ステップＳ１３で「ＮＯ」の場合）、図９に示す処理を終了する。

ここで、ステップＳ１３における判断処理（画像認識処理）の一例について説明する。画像認識部３１２に判断処理は、記憶装置３２に記憶されている学習済みモデル３２１を用いて、判断の対象とする画像信号が、留意すべき岩石を含む画像または留意すべき岩石を含まない画像のどちらに分類されるのかを判断する処理とすることができる。学習済みモデル３２１は、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のニューラルネットワークを要素とする学習済みモデルであり、入力される多数のデータに対して求める解が出力されるよう、機械学習によりニューラルネットワークの各層のニューロン間の重み付け係数が最適化されている。学習済みモデル３２１は、例えば、入力から出力までの演算を行うプログラムと当該演算に用いられる重み付け係数（パラメータ）の組合せで構成される。

［学習済みモデルの生成］
なお、学習済みモデル３２１は例えば次のように生成することができる。すなわち、例えば、図１０に示すように、岩山２０１と留意すべき岩石２０２を含む複数の画像データ３０１と、留意すべき岩石２０２を含まず岩山２０１を含む複数の画像データ３０２と、岩山２０１も留意すべき岩石２０２も含まない複数の画像データ３０３とを用意する。そして、複数の画像データ３０１を、留意すべき岩石２０２と岩山２０１を含むデータであると定義する。また、複数の画像データ３０２を、留意すべき岩石２０２を含まず岩山２０１を含むデータであると定義する。また、複数の画像データ３０３を、留意すべき岩石２０２も岩山２０１も含まないデータであると定義する。そして、定義された複数の画像データ３０１、３０２および３０３を学習用データセット３１０として用意する。学習用データセット３１０は、上記のように各画像データについて留意すべき岩石２０２の有無といった分類（ラベリング）を付帯情報として紐づけて持たせる。学習用データセット３１０を用い、教師あり学習による機械学習によって学習済みモデル３２１を生成する。図１０に示す例では、画像データ３１１〜３１３は、いずれもタイヤ６（ブロックパターン６Ｐ）の一部を含む画像である。この場合、タイヤ６（ブロックパターン６Ｐ）の一部を含まない場合と比較すると、タイヤ６（ブロックパターン６Ｐ）を基準として岩石２０２の大きさや向きの把握が容易になると考えられ、学習精度の向上を図ることができる。なお、学習用データセット３１０に含まれる画像データの当初の分類（ラベリング）は、後述する条件に基づいて例えば手作業で行ったり、パターンマッチング等の画像認識処理で行ったりすることができる。

なお、留意すべき岩石２０２は、例えば、一定以上の大きさの岩石やエッジ角度の鋭い岩石であって、かつ、タイヤ６に対する相対位置と相対向きからすると、その岩石に向かって走行した場合にタイヤ６が破損する可能性が高いと想定される場合と定義することができる。また、留意すべき岩石２０２は、一定以上の大きさの岩石やエッジ角度の鋭い岩石であって、かつ、岩石２０２の存在位置が、岩山２０１の斜面上に存在しない場合（あるいは平面上に存在する場合）であると定義することができる。

一定未満の大きさの岩石ではタイヤ６の柔軟性によって損傷を回避できる可能性が高く留意すべき岩石ではないが、一定以上の大きさの岩石では岩石を乗り越えたときにホイールローダ１の重量によって損傷が発生する可能性が高い。また、丸い形状の岩石についてタイヤ６を破損する可能性をみたとき、丸い形状の岩石は、タイヤ６に突き刺さったりタイヤ６を切断したりする可能性が低く、留意すべき岩石とはならない。

岩山２０１は、複数の岩石や土砂等が集積した物体であり、作業機１０が作業対象とするエリアなので、通常はタイヤ６が踏み入ることはない。したがって、岩山２０１の斜面に位置している岩石は、路面ＲＳに転がっているわけではないので留意すべき岩石２０２から除外することができる。ただし、「岩山」は「作業車両のタイヤが踏み入ることはないエリア」の一態様にすぎない。例えば、「ダンプに積み込み済みの岩」等も「岩山」と同等に「作業車両のタイヤが踏み入ることはないエリア」であると定義してもよい。岩山２０１の斜面上に存在しないことを、留意すべき岩石２０２と判断する条件とする。こうすることで、例えば、鉱山において、あたり一面に岩石が散在する場合、それら岩石を留意すべき岩石２０２であると判断してしまうことを回避することができ、その結果、不要な警報を発することを抑止することができる。

以上のように、学習済みモデル３２１を機械学習によって構築する際に用いる学習用データセット３１０において、留意すべき岩石２０２を含む画像データであるか否かを定義する情報に、岩石（監視対象）の大きさや岩石の形状（エッジ角度が鋭い形状）に関する条件を含ませることで、画像認識部３１２（損傷判断部）は、カメラ２０が撮影した画像に含まれる岩石（監視対象）の形状または大きさに関する情報を判断の要素とすることが可能となる。

また、学習済みモデル３２１を機械学習によって構築する際に用いるデータセットに対して、留意すべき岩石２０２を含む画像データであるか否かを定義する情報に、タイヤ６に対する岩石（監視対象）の監視対象情報（相対位置と相対向き、あるいは岩山２０１の斜面上にあるか否かの位置）に関する条件を含ませることで、画像認識部３１２（損傷判断部）は、カメラ２０が撮影した画像に含まれるタイヤ６に対する岩石（監視対象）の相対位置と相対向き、斜面上にあるか否かに関する情報を判断の要素とすることが可能となる。

また、学習済みモデル３２１を機械学習によって構築する際に用いるデータセットにおいて、タイヤ６（ブロックパターン６Ｐ）の一部を含ませておくことで、画像認識部３１２（損傷判断部）は、タイヤ６のブロックパターン６Ｐの形状またはブロックパターン６Ｐの大きさに関するタイヤ情報を判断の要素とすることが可能となる。

なお、学習用データセット３１０については、夜間作業時、作業車両に搭載したライトの光源により岩が照らされた画像が取得されても判断処理ができるように、夜間時の学習用データセット３１０を用意しておくことが望ましい。この場合、夜間作業においても本システムが有効に機能する。また、夜間時の学習用データセット３１０は、昼間に取得した画像を基に色調補正などの画像処理を行って夜間時の見え方を再現した画像を基に作成してもよい。

また、タイヤの材料特性上、雨天時のほうが晴天時よりもタイヤの損傷を受けやすい。例えば、雨天時の学習用データセット３１０による第１の学習済みモデル３２１と、雨天時以外の学習用データセット３１０による第２の学習済みモデル３２１を用意し、雨天時（例えば雨滴センサ）に、第２の学習済みモデル３２１から第１の学習済みモデル３２１へ切り替えたりしてもよい。例えば、雨滴センサを運転室３の外部に設置し、雨滴センサが降雨を検知した場合、検知信号を計算機３０に出力し、検知信号の入力に応じて入出力装置３３が第２の学習済みモデルから第１の学習済みモデルに切り替えるようにしてもよい。

また、学習用データセット３１０になる画像は、コンピュータグラフィック作成用のソフトウェア等を用い人工的に作成されたものでもよい。また、学習用データセット３１０になる画像にはタイヤが映り込んでいなくてもよい。

なお、画像認識技術としては、ＣＮＮ等の学習済みモデル以外にも、パターンマッチング等の任意の画像認識技術を用いることができる。また、学習用データセットにおいては、例えば、ＡＣＧＡＮ（Ａｕｘｉｌｉａｒｙ Ｃｌａｓｓｉｆｉｅｒ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）等の画像生成技術を用いて生成した画像を用いることができる。

［カメラの撮影画像］
図１１は、本実施形態に係るカメラ２０の撮影画像の例を示す模式図である。図１１（ａ）に示す画像５０１は、鎖線の枠で囲んで示す岩山２０１と破線の枠で囲んで示す１個の岩石２０２を含む。この撮影画像の例に示された岩山２０２は、タイヤ６の破損に留意すべき岩石であって平面（路面ＲＳ）に存在する岩石である。画像認識部３１２は、学習済みモデル３２１に画像５０１（画像処理後）を入力することで、学習済みモデル３２１を用いて、留意すべき岩石２０２を含む画像であるとの判断結果を得ることができる。また、図１１（ｂ）に示す画像５０２は、鎖線の枠で囲んで示す岩山２０１と破線の枠で囲んで示す４個の岩石２０２を含む。この撮影画像の例に示された岩石２０２は、タイヤ６の破損に留意すべき岩石であって平面（路面ＲＳ）に存在する岩石である。画像認識部３１２は、学習済みモデル３２１に画像５０２（画像処理後）を入力することで、学習済みモデル３２１を用いて、留意すべき岩石２０２を含む画像であるとの判断結果を得ることができる。

［路面状況監視システムの作用効果］
以上のように、路面状況監視システム１００は、車載カメラ２０に映った画像を計算機３０への入力として、画像認識技術によって監視対象が留意すべき岩石かどうかを識別することができる。本実施形態において留意すべき岩石とは一定以上の大きさの岩石、エッジ角度の鋭い岩石、岩山斜面上にない平面上に存在する岩石等とすることができる。本実施形態によれば、留意すべき岩石であれば、ブザー４０が発報し、モニタ５０に警告が表示され、オペレータに注意喚起を図ることができる。オペレータは、注意喚起を受けた場合、モニタ５０に表示される動画データを見て、前タイヤ６Ｆの破損を抑制するための措置を講じることができる。オペレータは、受けた注意喚起にしたがって、モニタ５０に表示される動画データを見て、前タイヤ６Ｆの前方に岩石２０２が転がっていることを確認し、その留意すべき岩石２０２に前タイヤ６Ｆが乗り上げないように、ブレーキを操作してホイールローダ１を停止させたり、ステアリングを操作してホイールローダ１の進行方向を変更させたりするなど、前タイヤ６Ｆの破損を抑制するための措置を講じることができる。

本実施形態によれば、オペレータは、常時あるいは頻繁にモニタ５０を見ていなくても、留意すべき岩石２０２がタイヤ６の近傍に存在する時にのみ、モニタ５０を見るだけでよく、タイヤ６の破損を確実に回避する操作を行うことができる。すなわち、本実施形態によれば、オペレータは、通常はカメラ２０の映像に集中することなく掘削作業等を実行でき、留意すべき岩石２０２がタイヤ６に近づいたときのみ、走行操作を慎重に実行し、タイヤ破損を回避するための必要な措置を講じることができる。本実施形態によれば、オペレータが常時あるいは頻繁にモニタ５０を見ていなくても路面状況を監視することができ、作業性や生産性の向上を図ることができる。

［路面状況監視システムの基本的構成例］
次に、図１２を参照して、前述の実施形態を含めた実施形態の基本的構成例について説明する。図１２は、前述の実施形態を含めた実施形態の基本的構成例を示すブロック図である。なお、図１〜図１１に示す構成と同一または対応する構成には適宜同一の符号を用いている。以下、前述の実施形態の変形例を含めた実施形態の基本的構成例を説明する。

図１２に示す路面状況監視システム６００は、例えばコンピュータとその周辺装置等のハードウェアとプログラム等のソフトウェアとを用いて構成される機能的構成要素として、路面状況取得部６０１と、記憶部６０２と、損傷判断部６０３と、出力部６０４を備える。また、記憶部６０２は、基準情報６０５を記憶する。

路面状況取得部６０１は、タイヤ６が装着された作業車両１の走行機構４の駆動により作業車両１が進行する方向の路面ＲＳが含まれる範囲に存在する監視対象２００について監視対象２００の少なくとも形状または大きさに関する監視対象情報を取得する。作業車両１は、ホイールローダ、モータグレーダ、ダンプトラック等、タイヤ系作業車両とすることができる。なお、監視対象情報は、タイヤ６に対する監視対象の相対位置と相対向きに関する情報をさらに含んでいてもよい。監視対象情報は、タイヤ６に対する監視対象の存在位置に関する情報をさらに含んでいてもよい。路面状況取得部６０１は、カメラ（単眼、ステレオ、赤外線）、レーダスキャナ等とすることができる。監視対象は、例えば、岩（岩石）である。ただし、タイヤ破損の原因になる路面の穴も監視対象とすることができる。また、産業廃棄物処理場でホイールローダが稼働する場合、監視対象たるものは鋭利な金属物となる場合がある。当然ながらそのような金属物でもタイヤ破損のおそれがある。さらに、路面は、土の路面に限らずアスファルトやコンクリートで舗装された路面であってもよい。

記憶部６０２は、タイヤ６が損傷を受ける可能性があるか否かの判断を行うための基準情報６０５を保存する。基準情報６０５は、人工知能（ＡＩ）による判断を行うのであれば学習済みモデル、画像処理（パターンマッチング）による判断を行うのであればパターンデータ、レーダスキャナであれば波形データ等々である。

損傷判断部６０３は、走行機構４の駆動によりタイヤ６が監視対象２００に接触した場合、タイヤ６が損傷を受けるかどうかについての判断を路面状況取得部６０１が取得した監視対象情報と記憶部６０２が記憶する基準情報に基づき判断する。なお、損傷判断部６０３は、タイヤのブロックパターンの形状またはブロックパターンの大きさに関するタイヤ情報も用いてタイヤが損傷を受けるかどうかについての判断を行ってもよい。損傷判断部６０３は、人工知能（ＡＩ）による判断、画像処理によるパターンマッチングによる判断、レーダスキャナの受信信号の解析による判断等々のいずれかよって判断を行う。

そして、出力部６０４は、損傷判断部６０３が判断した結果を出力する。なお、出力部６０４は、タイヤ６が複数ある場合、いずれのタイヤ６が損傷を受けるかどうかについて示す情報も損傷判断部６０３が判断した結果に含ませて出力してもよい。その場合、路面状況取得部６０１は、タイヤ６の数に応じた個数を備えていてもよい。出力部６０４は、運転室（キャブ）内のスピーカーによる音声出力、モニタへの画像出力、ヘッドアップディスプレイへの出力、操作レバーの振動による出力等々とすることができる。

作業車両１の遠隔操作においては、作業車両１から離れた場所に、損傷判断部６０３が判断した結果を出力するようにしてもよい。出力部６０４が出力する結果は、物体によってタイヤ損傷の恐れがないことを示す結果であってもよい。すなわち、出力部６０４は、路面ＲＳに物体があることだけでなく路面ＲＳに物体がない（タイヤを破損する恐れがあるような鋭利な岩あるいは、穴、もしくは金属物が無い）ことを出力するものであってもよく、出力部６０４は「路面状況監視」の結果を出力するものである。

図１２に示す路面状況監視システム６００によれば、オペレータが常時あるいは頻繁にモニタを見ていなくても路面状況を監視することができる。

なお、出力部６０４は、作業車両１のブレーキ制御を行うための信号を出力してもよい。損傷判断部６０３が、監視対象はタイヤ６を破損させるおそれがあると判断した場合、出力部６０４からブレーキ装置に送信された信号に基づいて作業車両１のブレーキを自動で動作させることができる。

また、出力部６０４は、作業車両１のステアリング制御を行うための信号を出力してもよい。損傷判断部６０３が、監視対象はタイヤ６を破損させるおそれがあると判断した場合、出力部６０４からアクチュエータに送信された信号に基づいて、アクチュエータがステアリングを制御させる。作業車両１のステアリングを制御させ、タイヤ６の破損を回避する方向に自動で作業車両１を旋回動作させることができる。

また、出力部６０４は、作業車両１のエンジン回転数の制御を行うための信号を出力してもよい。損傷判断部６０３が、監視対象はタイヤ６を破損させるおそれがあると判断した場合、出力部６０４からエンジン回転数を低下させることを指示する信号を出力する。その信号は、エンジン制御を実行するコントローラに送信され、コントローラはエンジンの出力を低下させ作業車両１の速度を低下させることができる。

また、出力部６０４は、作業車両１のバケット姿勢の制御を行うための信号を出力してもよい。損傷判断部６０３が、監視対象はタイヤ６を破損させるおそれがあると判断した場合、出力部６０４から、作業機１２の動作を制御する油圧バルブに送信された信号に基づいて、油圧バルブが作業車両１のバケットを自動で降下させる等させて監視対象とタイヤ６との接触を回避させることができる。

なお、路面状況監視システム６００は、全ての構成が作業車両１に設けられていてもよいが、例えば作業車両１が遠隔操作可能な機器を備え、作業車両１を遠隔操作する場合には、路面状況監視システム６００を構成するもののうち、路面状況取得部６０１を除く出力部６０４等の一部の構成（例えば、出力部６０４に接続される表示装置や音声出力装置）が遠隔地に設けられていてもよい。例えば、出力部６が遠隔地にある表示装置（不図示）を含むとする。出力部６から出力される情報を、無線通信などを介して遠隔地の表示装置（不図示）に送信させ、表示装置に留意すべき監視対象についての注意喚起に関する情報（警報）を表示あるいは出力させる。遠隔操作を実行するオペレータが表示装置の表示あるいは出力を認識し、監視対象を確認した場合、作業車両１のタイヤ６が監視対象に接触しないように、遠隔操作で作業車両１のステアリング操作やブレーキ操作を実行することができる。

なお、車速センサを設け、車速センサから作業車両の車両速度を示す信号を受けた出力部６０４は、車両速度に応じて注意喚起の情報を切り替えるようにしてもよい。例えば、作業車両が所定の速度より速い高速で走行している時は、出力部６０４は高い警報レベルの警告等を出力し、作業車両１が所定の速度より低い低速で走行している時は、出力部６０４は低いレベルの警告等を出力するようにしてもよい。

なお、図１および図８等を参照して説明した実施形態の構成と、図１２に示す構成との対応関係は以下のとおりである。図１および図８に示す路面状況監視システム１００と、図１２に示す路面状況監視システム６００が対応する。図８に示すカメラ２０と入出力装置３３の一部の組み合わせが、図１２に示す路面状況取得部６０１に対応する。図８に示す画像認識部３１２が、図１２に示す損傷判断部６０３に対応する。図８に示す記憶装置３２が、図１２に示す記憶部６０２に対応する。図８に示す学習済みモデル３２１が、図１２に示す基準情報６０５に対応する。図８に示す入出力装置３３の一部とブザー４０とモニタ５０の組み合わせが、図１２に示す出力部６０４に対応する。図１に示す留意すべき岩石２０２が、図１２に示す監視対象２００に対応する。

以上、この発明の実施形態について図面を参照して説明してきたが、具体的な構成は上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

また、上記実施形態でコンピュータが実行するプログラムの一部または全部は、コンピュータ読取可能な記録媒体や通信回線を介して頒布することができる。

１ ホイールローダ（作業車両）、２ 車両本体、３ 運転室、４ 走行機構、５ 車輪、６ タイヤ、７ 動力伝達機構、１０ 作業機、１１ アーム、１２ バケット（掘削部材）、１２Ｂ 刃先、１３ リフトシリンダ（油圧シリンダ）、１４ バケットシリンダ（油圧シリンダ）、１５ ベルクランク、１６ リンク、２０ カメラ、３０ 計算機、３１ 処理装置、３１１ 画像処理部、３１２ 画像認識部、３２ 記憶装置。３２１ 学習済みモデル、３３ 入出力装置、４０ ブザー、５０ モニタ、ＲＳ 路面、２００ 監視対象、１００、６００ 路面状況監視システム、６０１ 路面状況取得部、６０２ 記憶部、６０３ 損傷判断部、６０４ 出力部、６０５ 基準情報

Claims (7)

1. タイヤが装着された作業車両の走行機構の駆動により前記作業車両が進行する方向の路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得する路面状況取得部と、
   前記タイヤが損傷を受けるかどうかの判断を行うための基準情報を保存する記憶部と、
   前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記基準情報に基づき判断する損傷判断部と、
   前記損傷判断部が判断した結果を出力する出力部と
   を備える路面状況監視システム。
2. 前記監視対象情報は、前記タイヤに対する前記監視対象の相対位置と相対向きに関する情報をさらに含む
   請求項１に記載の路面状況監視システム。
3. 前記損傷判断部は、前記タイヤのブロックパターンの形状または前記ブロックパターンの大きさに関するタイヤ情報も用いて前記タイヤが損傷を受けるかどうかについての判断を行う
   請求項１または２に記載の路面状況監視システム。
4. 前記タイヤが複数であり、
   前記出力部が出力する前記結果は、いずれの前記タイヤが損傷を受けるかどうかについて示す情報も含む
   請求項１から３のいずれか１項に記載の路面状況監視システム。
5. 走行機構と、
   前記走行機構に装着されるタイヤと、
   前記走行機構の駆動により前記作業車両が進行する方向の路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得する路面状況取得部と、
   前記タイヤが損傷を受けるかどうかの判断を行うための基準情報とを保存する記憶部と、
   前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記基準情報に基づき判断する損傷判断部と、
   前記損傷判断部が判断した結果を出力する出力部と
   を備える作業車両。
6. 作業車両の走行機構に装着されるタイヤが接する路面の状況を監視する方法であって、
   前記走行機構の駆動により前記作業車両が進行する方向の前記路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得するステップと、
   前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記タイヤが損傷を受けるかどうかの判断を行うための基準情報とに基づき判断するステップと、
   前記判断した結果を出力するステップと
   を含む路面状況監視方法。
7. 作業車両の走行機構に装着されるタイヤが接する路面の状況を監視するためのコンピュータに、
   前記走行機構の駆動により前記作業車両が進行する方向の前記路面が含まれる範囲に存在する監視対象について前記監視対象の少なくとも形状または大きさに関する監視対象情報を取得するステップと、
   前記走行機構の駆動により前記タイヤが前記監視対象に接触した場合、前記タイヤが損傷を受けるかどうかについての判断を前記監視対象情報と前記タイヤが損傷を受けるかどうかの判断を行うための基準情報とに基づき判断するステップと、
   前記判断した結果を出力するステップと
   を実行させるプログラム。

Images