JP2022145208A - 作業機械の異常判定システム及び作業機械の異常判定方法 - Google Patents

Abstract

【課題】作業機械の作業機の位置の計測に使用するステレオカメラが正常であるか否かを適切に判定すること。【解決手段】作業機械の異常判定システムは、作業機１０を有するホイールローダに搭載されたステレオカメラ２２と、ステレオカメラ２２によって撮影したときの作業機１０の姿勢に基づいてステレオカメラ２２の撮像画像における作業機１０の位置を推定する位置データ算出部８３と、推定された作業機１０の位置に基づいて、ステレオカメラ２２が正常であるか否かを判定する判定部９１と、を備える。【選択図】図４

Description

本開示は、作業機械の異常判定システム及び作業機械の異常判定方法に関する。

作業機械による作業の自動化を実現するために、作業対象との相対位置を良好に計測できる作業機械の一例が特許文献１に開示されている。特許文献１では、三次元計測装置の計測データに基づいて、ホイールローダと作業対象との相対位置を計測する。

特開２０１９－１３２０６８号公報

作業の自動化においては、作業機械において作業機の位置を高精度に計測することが望まれる。そこで、作業機械での作業開始時に、作業機の位置の計測に使用する三次元計測装置が正常であるか否かを適切に判定することが望まれる。

本開示の態様は、作業機械の作業機の位置の計測に使用する三次元計測装置が正常であるか否かを適切に判定することを目的とする。

本開示の態様に従えば、作業機を有する作業機械に搭載されたカメラと、前記カメラによって撮影したときの前記作業機の姿勢に基づいて前記カメラの撮像画像における前記作業機の位置を推定する位置算出部と、推定された前記作業機の位置に基づいて、前記カメラが正常であるか否かを判定する判定部と、を備える作業機械の異常判定システムが提供される。

本開示の態様に従えば、作業機を有する作業機械に搭載されたカメラによって撮影したときの前記作業機の姿勢に基づいて前記カメラの撮像画像における前記作業機の位置を推定し、推定された前記作業機の位置に基づいて、前記カメラが正常であるか否かを判定することを含む作業機械の異常判定方法が提供される。

本開示の態様によれば、作業機械の作業機の位置の計測に使用する三次元計測装置が正常であるか否かを適切に判定できる。

図１は、本実施形態に係る作業機械の一例を示す側面図である。 図２は、本実施形態に係る作業機械の動作を示す模式図である。 図３は、本実施形態に係る作業機械の積込作業モードを示す模式図である。 図４は、本実施形態に係る作業機械の制御システムを示す機能ブロック図である。 図５は、本実施形態に係る作業機械の作業機の寸法データの一例を説明する図である。 図６は、ステレオカメラにより取得された画像データの一例を示す図である。 図７は、作業機械の作業機の所定領域及び所定角度範囲を説明する図である。 図８は、本実施形態に係る作業機械の異常判定方法を示すフローチャートである。 図９は、コンピュータシステムの一例を示すブロック図である。

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。作業機械の異常判定システムは、作業機械の始業時に、作業機１０の位置の計測に使用するカメラが正常であるか否かを適切に判定するシステムである。作業機械の異常判定システムは、作業機械の各部を組み合わせて実装されている。

（実施形態）
［ホイールローダ］
図１は、本実施形態に係るホイールローダ１の一例を示す側面図である。作業機械１は、作業現場において作業対象に対して所定の作業を実施する。本実施形態においては、作業機械１がアーティキュレート式の作業機械の一種であるホイールローダ１であるとして説明する。所定の作業は、掘削作業及び積込作業を含む。作業対象は、掘削対象、及び、掘削された掘削物が積み込まれる積込対象を含む。ホイールローダ１は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。積込作業は、掘削物を排出対象に排出する排出作業を含む概念である。掘削対象として、地山、岩山、石炭、及び壁面の少なくとも一つが例示される。地山は、土砂により構成される山であり、岩山は、岩又は石により構成される山である。積込対象として、運搬車両、作業現場の所定エリア、ホッパ、ベルトコンベヤ、及びクラッシャの少なくとも一つが例示される。

図１に示すように、ホイールローダ１は、車体２と、運転席が設けられる運転台３と、車体２を走行させる走行装置４と、トランスミッション装置３０と、車体２に支持される作業機１０と、作業機１０の角度を検出する角度センサ５０と、車体２よりも前方の作業対象を計測する三次元計測装置２０と、運転台３の周辺に設けられるブザー７と、運転台３の周辺に設けられるランプ８と、制御装置８０とを備える。角度センサ５０は、角度検出部の一例である。三次元計測装置２０は、カメラの一例である。

車体２は、車体前部２Ｆと車体後部２Ｒとを含む。車体前部２Ｆと車体後部２Ｒとは、関節機構９を介して屈曲可能に連結される。

運転台３は、車体２に支持される。ホイールローダ１の少なくとも一部は、運転台３に搭乗した運転者によって操作される。

走行装置４は、車体２を支持する。走行装置４は、地面ＲＳを走行可能である。走行装置４は、車輪５を有する。車輪５は、車体２に搭載されているエンジンが発生する駆動力により回転する。車輪５は、車体前部２Ｆに装着される２つの前輪５Ｆと、車体後部２Ｒに装着される２つの後輪５Ｒとを含む。車輪５には、タイヤ６が装着される。タイヤ６は、前輪５Ｆに装着される前タイヤ６Ｆと、後輪５Ｒに装着される後タイヤ６Ｒとを含む。前輪５Ｆ及び前タイヤ６Ｆは、回転軸ＦＸを中心に回転可能である。後輪５Ｒ及び後タイヤ６Ｒは、回転軸ＲＸを中心に回転可能である。車体２が直進状態で走行するとき、回転軸ＦＸと回転軸ＲＸとは平行である。

以下の説明においては、前輪５Ｆの回転軸ＦＸと平行な方向を適宜、車幅方向、と称する。地面ＲＳと接触する前タイヤ６Ｆの接地面と直交する方向を適宜、上下方向、と称する。車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。

走行装置４は、駆動装置４Ａと、ブレーキ装置４Ｂと、操舵装置４Ｃとを有する。駆動装置４Ａは、ホイールローダ１を加速させるための駆動力を発生する。駆動装置４Ａは、例えばディーゼルエンジンのような内燃機関を含む。駆動装置４Ａで発生した駆動力がトランスミッション装置３０を介して車輪５に伝達され、車輪５が回転する。ブレーキ装置４Ｂは、ホイールローダ１を減速又は停止させるための制動力を発生する。操舵装置４Ｃは、ホイールローダ１の走行方向を調整可能である。ホイールローダ１の走行方向は、車体前部２Ｆの向きを含む。操舵装置４Ｃは、油圧シリンダによって車体前部２Ｆを屈曲させることによって、ホイールローダ１の走行方向を調整する。

本実施形態において、走行装置４は、運転台３に搭乗した運転者によって操作される。運転台３には、走行装置４を操作する走行操作装置４０が配置される。運転者は、走行操作装置４０を操作して、走行装置４を作動させる。走行操作装置４０は、アクセルペダル、ブレーキペダル、ステアリングレバー、及び前後進を切り換えるためのシフトレバー４１を含む。アクセルペダルが操作されることにより、ホイールローダ１の走行速度が増大する。ブレーキペダルが操作されることにより、ホイールローダ１の走行速度が減少したり走行が停止したりする。ステアリングレバーが操作されることにより、ホイールローダ１が旋回する。シフトレバー４１が操作されることにより、ホイールローダ１の前進又は後進が切り換えられる。

トランスミッション装置３０は、駆動装置４Ａで発生した駆動力を車輪５に伝達する。

作業機１０は、制御装置８０によって制御される。作業機１０は、車体前部２Ｆに回動可能に連結されるブーム１１と、ブーム１１に回動可能に連結されるバケット１２とを有する。

ブーム１１は、ブームシリンダ１３が発生する動力によって作動する。ブームシリンダ１３が伸縮することにより、ブーム１１は上げ動作又は下げ動作する。ブームシリンダ１３は、図示しない油圧ポンプから供給される作動油の流量及び方向を制御する図示しないブーム制御弁を有する。

バケット１２は、刃先を含む先端部１２Ｂを有する作業部材である。バケット１２は、前輪５Ｆよりも前方に配置される。バケット１２は、ブーム１１の先端部に連結される。バケット１２は、ベルクランク１５とリンク１６とを介して、バケットシリンダ１４に連結される。バケット１２は、バケットシリンダ１４が発生する動力によって作動する。バケットシリンダ１４は、油圧ポンプから供給される作動油の流量及び方向を制御する図示しないバケット制御弁を有する。バケットシリンダ１４が伸縮することにより、バケット１２はダンプ動作又はチルト動作する。ダンプ動作によって、バケット１２内の掘削物がバケット１２から排出される。チルト動作によって、バケット１２が掘削物をすくい取る。

角度センサ５０は、作業機１０に搭載され、作業機１０の姿勢を検出する。角度センサ５０は、作業機１０の角度を検出する。角度センサ５０は、ブーム１１の角度を検出するブーム角度センサ５１と、バケット１２の角度を検出するバケット角度センサ５２とを含む。ブーム角度センサ５１は、例えば車体前部２Ｆに規定された車体座標系の基準軸に対するブーム１１の角度を検出する。バケット角度センサ５２は、ブーム１１に対するバケット１２の角度を検出する。角度センサ５０は、ポテンショメータでもよいし、油圧シリンダのストロークを検出するストロークセンサでもよいし、慣性計測装置でもよいし、傾斜計でもよい。作業機１０の角度を示す角度データは、後述する位置データ算出部８３及び判定部９１に出力される。

三次元計測装置２０は、ホイールローダ１に搭載される。三次元計測装置２０は、車体前部２Ｆよりも前方の作業対象を計測する。三次元計測装置２０は、三次元計測装置２０から作業対象の表面の複数の各計測点までの相対位置を計測して、作業対象の三次元形状を計測する。制御装置８０は、計測された作業対象の三次元形状に基づいて、作業対象に関するパラメータを算出する。後述するように、作業対象が積込対象である場合、積込対象に関するパラメータは、積込対象までの距離、積込対象の上端部の位置、及び積込対象の高さの少なくとも一つを含む。

三次元計測装置２０は、写真計測装置の一種であるステレオカメラ２２を含む。ステレオカメラ２２は、車体２の車幅方向の右側方及び左側方にそれぞれ配置されている。以下の説明においては、片側のステレオカメラ２２について説明する。

ステレオカメラ２２は、前方を撮影する。ステレオカメラ２２は、作業対象を撮像して、作業対象を計測する。本実施形態では、ステレオカメラ２２は、少なくとも運搬車両ＬＳなどの積込対象を含む作業対象を計測する。ステレオカメラ２２の計測データは、作業対象の画像データを含む。画像データは、複数の画素により構成される。画像データは、計測データの一例である。

ステレオカメラ２２は、第１カメラ２２Ａと第２カメラ２２Ｂとを一対として有する。第１カメラ２２Ａと第２カメラ２２Ｂとは、間隔を空けて配置されている。第１カメラ２２Ａに取得された第１画像データ及び第２カメラ２２Ｂに取得された第２画像データは、制御装置８０に出力される。第１画像データ及び第２画像データは、二次元の画像データである。

ブザー７は、運転台３の近傍に配置されている。ブザー７は、警報音を出力するブザー装置である。ブザー７は、判定部９１の判定結果を出力する。ブザー７は、判定部９１によって異常があると判定された場合、警報音を出力する。

ランプ８は、運転台３の近傍に配置されている。ランプ８は、判定部９１の判定結果を出力する。ランプ８は、判定部９１によって正常であると判定された場合、警報灯を点灯する。ランプ８は、判定部９１によって異常があると判定された場合、警報灯を点滅する。

［動作］
図２は、本実施形態に係るホイールローダ１の動作を示す模式図である。ホイールローダ１は、複数の作業モードで作業する。作業モードは、作業機１０のバケット１２で掘削対象を掘削する掘削作業モードと、掘削作業モードによりバケット１２ですくい取った掘削物を積込対象に積み込む積込作業モードとを含む。掘削対象は、例えば地面ＲＳ上の地山ＤＳである。積込対象は、例えば地面ＲＳを走行可能な運搬車両ＬＳのベッセルＢＥである。運搬車両ＬＳは、例えばダンプトラックである。

掘削作業モードにおいて、ホイールローダ１は、バケット１２に掘削物が保持されていない状態で、地山ＤＳに向かって前進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ１で示すように、ホイールローダ１を前進させて地山ＤＳに接近させる。制御装置８０は、バケット１２で地山ＤＳが掘削されるように、作業機１０を制御する。地山ＤＳがバケット１２により掘削され、掘削物がバケット１２にすくい取られる。

ホイールローダ１は、バケット１２に掘削物が保持されている状態で、地山ＤＳから離れるように後進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ２で示すように、ホイールローダ１を後進させて地山ＤＳから離間させる。

次に、積込作業モードが実施される。積込作業モードにおいて、ホイールローダ１は、バケット１２に掘削物が保持されている状態で、運搬車両ＬＳに向かって前進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ３で示すように、ホイールローダ１を旋回させながら前進させて運搬車両ＬＳに接近させる。このとき、ホイールローダ１に搭載されている三次元計測装置２０は、運搬車両ＬＳを計測する。制御装置８０は、三次元計測装置２０の計測データに基づいて、バケット１２に保持されている掘削物が運搬車両ＬＳのベッセルＢＥに積み込まれるように、作業機１０を制御する。すなわち、制御装置８０は、ホイールローダ１が運搬車両ＬＳに接近するように前進している状態において、ブーム１１が上げ動作するように、作業機１０を制御する。ブーム１１が上げ動作し、バケット１２がベッセルＢＥの上方に配置された後、制御装置８０は、バケット１２がチルト動作するように、作業機１０を制御する。チルト動作されたバケット１２から掘削物が排出され、ベッセルＢＥに積み込まれる。

掘削物がベッセルＢＥに積み込まれた後、ホイールローダ１は、バケット１２に掘削物が保持されていない状態で、運搬車両ＬＳから離れるように後進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ４で示すように、ホイールローダ１を旋回させながら後進させて運搬車両ＬＳから離間させる。

運転者及び制御装置８０は、ベッセルＢＥに掘削物が満載されるまで、又は、地山ＤＳの掘削が完了するまで、上述の動作を繰り返す。

図３は、本実施形態に係るホイールローダ１の積込作業モードを示す模式図である。運転者は、走行操作装置４０を操作して、ホイールローダ１を旋回させながら前進させて運搬車両ＬＳに接近させる。図３（Ａ）に示すように、三次元計測装置２０は、運搬車両ＬＳの三次元形状及び運搬車両ＬＳとの相対位置を計測する。制御装置８０は、三次元計測装置２０の計測データに基づいて、ホイールローダ１と運搬車両ＬＳとの距離Ｄｂ及びベッセルＢＥの上端部ＢＥｔの高さＨｂを検出する。

図３（Ｂ）に示すように、制御装置８０は、ホイールローダ１が運搬車両ＬＳに接近するように前進している状態で、三次元計測装置２０の計測データに基づいて、バケット１２がベッセルＢＥの上端部ＢＥｔよりも上方に配置され、かつ、バケット１２に保持されている掘削物がバケット１２からこぼれないように、バケット１２の角度を制御しながら、ブーム１１を上げ動作させる。

図３（Ｃ）に示すように、ブーム１１が上げ動作し、バケット１２がベッセルＢＥの上方に配置された後、制御装置８０は、バケット１２がダンプ動作するように、作業機１０を制御する。これにより、バケット１２から掘削物が排出され、ベッセルＢＥに積み込まれる。

図３（Ｃ）の後、運転者は、走行操作装置４０を操作して、ホイールローダ１を旋回させながら後進させて運搬車両ＬＳから離間させる。

［制御装置］
図４は、本実施形態に係るホイールローダ１の制御システム２００を示す機能ブロック図である。制御装置８０は、コンピュータシステムを含む。制御装置８０は、ホイールローダ１を制御する。制御装置８０に、作業機１０、三次元計測装置２０、角度センサ５０、走行操作装置４０、ブザー７、及びランプ８が接続される。制御装置８０は、計測データ取得部８１と、記憶部８２と、位置データ算出部８３と、対象算出部８６と、作業機制御部８７と、判定部９１と、出力制御部９２とを有する。ブザー７は、出力部の一例である。ランプ８は、出力部の一例である。位置データ算出部８３は、位置算出部の一例である。

制御システム２００は、異常判定システムの一例である。制御システム２００は、作業機１０、三次元計測装置２０、角度センサ５０、走行操作装置４０、ブザー７、ランプ８、及び制御装置８０を含む。

計測データ取得部８１は、三次元計測装置２０の計測データを取得する。本実施形態において、計測データ取得部８１は、ステレオカメラ２２の第１カメラ２２Ａから第１画像データを取得し、第２カメラ２２Ｂから第２画像データを取得する。計測データ取得部８１により取得された作業対象の画像データは、対象算出部８６及び判定部９１に出力される。

記憶部８２は、作業機データを記憶する。作業機データは、例えば作業機１０のＣＡＤ（Computer Aided Design）データを含む設計データ、又は、諸元データを含む。作業機データは、作業機１０の寸法データを含む外形データを含む。

本実施形態において、作業機データは、ブーム長さ、バケット長さ、及びバケット外形を含む。ブーム長さとは、ブーム回転軸とバケット回転軸との距離をいう。バケット長さとは、バケット回転軸とバケット１２の先端部１２Ｂとの距離をいう。ブーム回転軸とは、車体前部２Ｆに対するブーム１１の回転軸をいい、車体前部２Ｆとブーム１１とを連結する連結ピンを含む。バケット回転軸とは、ブーム１１に対するバケット１２の回転軸をいい、ブーム１１とバケット１２とを連結する連結ピンを含む。バケット外形は、バケット１２の形状及び寸法を含む。バケット１２の寸法は、バケット１２の左端と右端との距離を示すバケット幅、バケット１２の開口部の高さ、及びバケット底面長さなどを含む。

バケット１２の寸法データは、バケット１２の外形を規定するデータである。本実施形態では、寸法データは、バケット１２の外周上の複数の位置の位置データである。寸法データは、例えばバケット１２の外周上の５か所の位置の位置データである。

図５は、本実施形態に係るホイールローダ１のバケット１２の寸法データの一例を説明する図である。本実施形態では、バケット１２の寸法データは、バケット１２の外周上の５つの点ＰＡ_０、点ＰＢ_０、点ＰＣ_０、点ＰＤ_０、及び点ＰＥ_０の位置データである。点ＰＡ_０、点ＰＢ_０、点ＰＣ_０、点ＰＤ_０、及び点ＰＥ_０を結んだ形状は五角形である。各点の測定誤差を考慮して、五角形を拡大して、点ＰＡ、点ＰＢ、点ＰＣ、点ＰＤ、及び点ＰＥが設定される。点ＰＡ、点ＰＢ、点ＰＣ、点ＰＤ、及び点ＰＥで囲まれた五角形の内側に、バケット１２は位置する。

位置データ算出部８３は、角度センサ５０の検出結果に基づいて、作業機１０の姿勢を示す位置データを算出する。より詳しくは、位置データ算出部８３は、角度センサ５０により検出された作業機１０の角度データと、記憶部８２に記憶されている作業機１０の作業機データとに基づいて、作業機１０の位置データを算出する。作業機１０の位置データは、例えば車体座標系におけるバケット１２の各部位の位置データを含む。位置データ算出部８３により算出された作業機１０の位置データは、判定部９１に出力される。

位置データ算出部８３は、ステレオカメラ２２によって撮影したときの作業機１０の姿勢に基づいてステレオカメラ２２の撮像画像における作業機１０の位置を推定する。

撮像画像における作業機１０の位置を推定する方法の一例を説明する。位置データ算出部８３は、ブーム１１の角度を検出するブーム角度センサ５１と、バケット１２の角度を検出するバケット角度センサ５２と作業機１０の寸法データから、車体座標系における作業機１０の３次元の位置を算出する。位置データ算出部８３は、車体座標系における作業機１０の３次元の位置を座標変換して、カメラ座標系における作業機１０の３次元の位置を算出する。なお、カメラ座標系は、ステレオカメラ２２の第１カメラ２２Ａと第２カメラ２２Ｂのそれぞれについて規定される。カメラ座標系は、第１カメラ２２Ａと第２カメラ２２Ｂのそれぞれに固定された原点を基準とする座標系である。位置データ算出部８３は、カメラ座標系における作業機１０の３次元の位置をステレオカメラ２２の取り付け位置から求まる第１カメラ２２Ａ、及び第２カメラ２２Ｂの投影面に変換することで、撮像画像における作業機１０の位置を推定することができる。投影面に変換する方法として、例えば、透視投影を用いることができる。なお、第１カメラ２２Ａと第２カメラ２２Ｂのいずれか一方の撮像画像における作業機１０の位置を推定するようにしてもよい。

対象算出部８６は、計測データ取得部８１により取得された計測データに基づいて、ステレオカメラ２２により計測された作業対象の三次元データを算出する。作業対象は、ベッセルＢＥを含む運搬車両ＬＳのことである。作業対象の三次元データは、運搬車両ＬＳの三次元形状を示す。

対象算出部８６は、第１カメラ２２Ａに取得された画像データと第２カメラ２２Ｂに取得された画像データを三角測量の原理に基づいて画像処理を実施して、作業対象の三次元形状を計測する。対象算出部８６は、画像データである第１画像データ及び第２画像データをステレオ処理して、ステレオカメラ２２から各画素に写る作業対象の表面における複数の計測点までの距離を算出する。対象算出部８６は、各計測点までの距離に基づいて、例えば車体座標系における三次元データを算出する。

本実施形態では、対象算出部８６は、運搬車両ＬＳの三次元データに基づいて、運搬車両ＬＳに関するパラメータを算出する。運搬車両ＬＳに関するパラメータは、地面ＲＳを基準とした運搬車両ＬＳ（ベッセルＢＥ）の上端部ＢＥｔの位置（高さ）、及びホイールローダ１から運搬車両ＬＳまでの距離Ｄｂを含む。ホイールローダ１から運搬車両ＬＳまでの距離Ｄｂは、例えばバケット１２の先端部１２Ｂと、水平方向においてバケット１２の先端部１２Ｂに最も近い運搬車両ＬＳの部位を示す最近接点との距離である。

作業機制御部８７は、対象算出部８６により算出された作業対象の三次元データに基づいて、作業対象に掘削物を積み込む作業機１０の動作を制御する。本実施形態では、作業機制御部８７は、算出された運搬車両ＬＳの三次元データに基づいて、ベッセルＢＥに掘削物を積み込む作業機１０の動作を制御する。作業機制御部８７は、ベッセルＢＥの上端部ＢＥｔの高さＨｂを示す高さデータ及びホイールローダ１から運搬車両ＬＳまでの距離Ｄｂを示す距離データに基づいて、ベッセルＢＥに掘削物を積み込む作業機１０の動作を制御する。

作業機制御部８７による作業機１０の動作の制御は、ブームシリンダ１３及びバケットシリンダ１４の少なくとも一方の動作の制御を含む。より詳しくは、作業機制御部８７は、ブーム制御弁及に制御信号を出力して、ブームシリンダ１３に供給される作動油の流量及び方向を制御して、ブーム１１の上げ下げ動作を制御する。作業機制御部８７は、バケット制御弁に制御信号を出力して、バケットシリンダ１４に供給される作動油の流量及び方向を制御して、バケット１２の上げ下げ動作を制御する。

本実施形態において、ホイールローダ１は、トランスミッション制御部８８と、走行制御部８９とを有する。

トランスミッション制御部８８は、トランスミッション装置３０を制御する制御信号を出力する。

走行制御部８９は、運転者による走行操作装置４０の操作に基づいて、走行装置４の動作を制御する。走行制御部８９は、走行装置４を作動するための運転指令を出力する。走行制御部８９は、駆動装置４Ａを作動するためのアクセル指令を出力する。走行制御部８９は、ブレーキ装置４Ｂを作動するためのブレーキ指令を出力する。走行制御部８９は、操舵装置４Ｃを作動するためのステアリング指令を出力する。

判定部９１は、位置データ算出部８３によって推定された作業機１０の位置に基づいて、ステレオカメラ２２が正常であるか否かを判定する。より詳しくは、判定部９１は、位置データ算出部８３によって推定された撮像画像における作業機１０の位置と、ステレオカメラ２２が撮像した撮像画像の作業機１０の実際の位置とからステレオカメラ２２が正常であるか否かを判定する。判定部９１は、推定した撮像画像における作業機１０の位置と、ステレオカメラ２２が撮像した撮像画像の作業機１０の実際の位置とが一致する場合、又は、ずれが所定範囲内である場合、ステレオカメラ２２が正常であると判定する。判定部９１は、推定した撮像画像における作業機１０の位置と、ステレオカメラ２２が撮像した撮像画像の作業機１０の実際の位置とが一致しない場合、又は、ずれが所定範囲外である場合、ステレオカメラ２２が正常ではないと判定する。

判定部９１における、他の判定方法について説明する。ステレオカメラ２２が撮像した撮像画像における作業機１０の位置を作業機１０の姿勢に対応させて記憶部８２に記憶しておく。位置データ算出部８３は、ステレオカメラ２２が撮像したときの作業機１０の姿勢から、撮像画像における作業機１０の位置を記憶部８２から取得する。撮像画像における作業機１０の位置を記憶部８２から取得することは、作業機の位置の推定の一例である。判定部９１は、ステレオカメラ２２が撮像したときの作業機１０の姿勢から、記憶部８２から取得された撮像画像における作業機１０の位置と、ステレオカメラ２２が撮像した撮像画像における作業機１０の実際の位置を比較し、ステレオカメラ２２が正常であるか否かを判定してもよい。なお、ステレオカメラ２２が撮像した撮像画像における作業機１０の位置を、作業機１０の各部位の寸法データと作業機１０の位置との組み合わせに対応させて記憶部８２に記憶しておいてもよい。

図６を用いて、判定部９１による判定方法について詳しく説明する。図６は、ステレオカメラ２２により撮像された画像データ１００の一例を示す図である。バケット１２の位置に応じて、画像データ１００においてバケット１２が写される範囲が規定可能である。より詳しくは、まず、判定部９１は、画像データ１００にパターンマッチングなどの画像処理を行って、バケット１２を認識する。そして、判定部９１は、位置データ算出部８３によって推定された作業機１０の位置の範囲のバケット１２の画素の数と、推定された作業機１０の位置から外れた範囲のバケット１２の数をカウントする。判定部９１は、範囲内のバケット１２の画素の数が閾値以上である場合、正常であると判定する。判定部９１は、範囲内のバケット１２の画素の数が閾値未満である場合、異常であると判定する。例えば、図６に示す画像データ１００において、バケット１２の推定位置は領域１０１内である。言い換えると、画像データ１００において、バケット１２は、領域１０１内の画素で示される。

本実施形態では、判定部９１は、作業機１０が所定領域Ａ１内及び所定角度Ａ２内に存在する場合に判定を行ってもよい。画像データ１００には、例えば地面ＲＳ、周囲の物体又は作業機１０が写されている。作業機１０以外の物体を検出したときの画像データに基づいて、誤った判定を行わないようにするためである。

図７は、ホイールローダ１の作業機１０の所定領域Ａ１及び所定角度範囲Ａ２を説明する図である。本実施形態では、判定部９１は、バケット１２が所定領域Ａ１内及び所定角度範囲Ａ２内に存在する場合に判定を行う。判定部９１は、バケット１２がホイールローダ１より前側の所定領域Ａ１内に存在し、バケット１２の角度が所定角度範囲Ａ２内である場合、判定を行う。所定領域Ａ１よりホイールローダ１側は、車体２を誤検出するおそれがある。所定領域Ａ１より遠方側は、作業現場の周辺の建物及び障害物などを誤検出するおそれがある。バケット１２の角度が所定角度範囲Ａ２外である場合、画像データにバケット１２が写らない。

本実施形態では、判定部９１は、ステレオカメラ２２及び角度センサ５０に基づく作業機１０の位置関係が正常であるか否かを判定してもよい。言い換えると、判定部９１は、ステレオカメラ２２及び角度センサ５０に基づく作業機１０の位置関係が正常であるか否かを判定してもよい。

例えば、ステレオカメラ２２及び角度センサ５０に基づく作業機１０の位置関係が正常であると判定された場合、ステレオカメラ２２のユニットとしての取り付け姿勢が適切であり、ステレオカメラ２２の第１カメラ２２Ａと第２カメラ２２Ｂとの相対的な姿勢が適切であり、角度センサ５０のブーム角度センサ５１及びバケット角度センサ５２の取り付け姿勢が適切であり、さらに、寸法データが適切に入力されている、ことをすべて満たしている。

例えば、ステレオカメラ２２及び角度センサ５０に基づく作業機１０の位置関係が異常であると判定された場合、その原因は、ステレオカメラ２２のユニットとしての取り付け姿勢がずれている、ステレオカメラ２２の第１カメラ２２Ａと第２カメラ２２Ｂとの相対的な姿勢がずれている、角度センサ５０のブーム角度センサ５１又はバケット角度センサ５２の取り付け姿勢がずれている、又は、寸法データが間違っている、の少なくともいずれか１つに該当する。

判定部９１は、右側方のステレオカメラ２２と、左側方のステレオカメラ２２とについて、それぞれ上述した判定処理を行う。右側方のステレオカメラ２２及び左側方のステレオカメラ２２についてどちらも異常があると判定された場合、ステレオカメラ２２以外に異常があると判定可能である。右側方のステレオカメラ２２又は左側方のステレオカメラ２２のどちらか一方について異常があると判定された場合、ステレオカメラ２２に異常があると判定可能である。

出力制御部９２は、判定部９１の判定結果を出力するよう制御する。出力制御部９２は、判定部９１によって異常であると判定された場合、ブザー７から警報音を出力するよう制御する。出力制御部９２は、判定部９１によって異常であると判定された場合、ランプ８を点滅するよう制御する。出力制御部９２は、判定部９１によって正常であると判定された場合、ランプ８を点灯するよう制御する。

［始業点検における異常判定方法］
図８は、本実施形態に係るホイールローダ１の異常判定方法を示すフローチャートである。ホイールローダ１を使用した作業の始業時に、運転者によって、図示しない操作部を介して始業点検モードでホイールローダ１が起動される。

制御装置８０は、図示しない操作受付部によって、始業点検モード指示を受け付ける（ステップＳ１１）。制御装置８０は、ステップＳ１２へ進む。

運転者は、始業点検モードを行う際、ホイールローダ１の作業機１０を上げ下げする操作を行う。

作業機１０を撮像する（ステップＳ１２）。より詳しくは、ステレオカメラ２２は、前方を計測する。ステレオカメラ２２の計測データは、制御装置８０の計測データ取得部８１に出力される。制御装置８０は、計測データ取得部８１によって、ステレオカメラ２２が撮像した作業機１０を含む、車体２の前方を撮影した画像データを取得する。計測データ取得部８１により取得された作業機１０を含む画像データは、判定部９１に出力される。制御装置８０は、ステップＳ１３へ進む。

作業機１０の角度を検出する（ステップＳ１３）。角度センサ５０は、ステレオカメラ２２によって撮像した際の作業機１０の角度を検出する。作業機１０の角度を示す角度データは、制御装置８０の位置データ算出部８３及び判定部９１に出力される。制御装置８０は、位置データ算出部８３によって、角度センサ５０が検出した角度データに基づいて、作業機１０の姿勢を示す位置データを算出する。位置データ算出部８３が算出した位置データは、判定部９１に出力される。制御装置８０は、ステップＳ１４へ進む。

このようなステップＳ１２及びステップＳ１３の処理は、作業機１０を上げ下げしている間に行われる。例えば、作業機１０の上げ下げ中に、所定時間間隔で繰り返し行ってもよい。例えば、作業機１０の上げ下げ中に、作業機１０が所定の位置になった場合に行ってもよい。例えば、作業機１０の上げ下げ中に、図７に示す作業機１０が所定領域Ａ１内及び所定角度Ａ２内に存在する場合に繰り返し行ってもよい。

制御装置８０は、判定部９１によって、異常の有無を判定する（ステップＳ１４）。本実施形態では、制御装置８０は、判定部９１によって、ステレオカメラ２２によって撮像したときの、作業機１０の姿勢から規定される、計測データにおける作業機１０の推定位置と、計測データにおける作業機１０の位置とを比較して、ステレオカメラ２２の取り付け位置が正常であるか否かを判定する。より詳しくは、位置データ算出部８３は、作業機の位置データと、作業機１０の寸法データとに基づいて、画像データ１００においてバケット１２が写される範囲を推定する。そして、判定部９１は、画像データにおけるバケット１２の推定位置にバケット１２が写っている場合、ステレオカメラ２２が正常であると判定する。判定部９１は、画像データにおけるバケット１２の推定位置にバケット１２が写っていない場合、ステレオカメラ２２が正常ではないと判定する。制御装置８０は、ステップＳ１５へ進む。

ステップＳ１２及びステップＳ１３が複数回実行されて、ステレオカメラ２２が複数枚の画像データを撮像していた場合について説明する。この場合、判定部９１は、各画像データについてステレオカメラ２２の取り付け位置が正常であるか否かを判定する。そして、所定割合以上が正常ではないと判定された場合に、判定部９１は、ステレオカメラ２２が正常ではないと判定してもよい。

制御装置８０は、出力制御部９２によって、判定部９１の判定結果を出力する（ステップＳ１５）。本実施形態では、制御装置８０は、出力制御部９２によって、異常であると判定された場合、ブザー７から警報音を出力し、ランプ８を点滅するよう制御する。制御装置８０は、出力制御部９２によって、正常であると判定された場合、ランプ８を点灯するよう制御する。制御装置８０は、処理を終了する。

［コンピュータシステム］
図９は、コンピュータシステム１０００の一例を示すブロック図である。上述の制御装置８０は、コンピュータシステム１０００によって構成される。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置８０の機能は、プログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、プログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

［効果］
以上説明したように、本実施形態は、三次元計測装置２０によって計測したときの、作業機１０の姿勢から規定される、三次元計測装置２０が計測した計測データにおける作業機１０の推定位置に基づいて、三次元計測装置２０が正常であるか否かを判定できる。本実施形態によれば、ホイールローダ１の作業機１０の位置の計測に使用する三次元計測装置２０が正常であるか否かを適切に判定できる。

本実施形態は、三次元計測装置２０及び角度センサ５０に基づく作業機１０の位置関係が正常であるか否かを判定することにより、三次元計測装置２０が正常であるか、角度センサ５０が正常であるか、及び寸法データの入力が適切であるかを判定できる。

例えば、三次元計測装置２０及び角度センサ５０に基づく作業機１０の位置関係が正常であると判定された場合、ステレオカメラ２２のユニットとしての取り付け姿勢が適切であり、ステレオカメラ２２の第１カメラ２２Ａと第２カメラ２２Ｂとの相対的な姿勢が適切であり、角度センサ５０のブーム角度センサ５１及びバケット角度センサ５２の取り付け姿勢が適切であり、さらに、寸法データが適切に入力されている、ことをすべて満たしていることを確認できる。

例えば、三次元計測装置２０及び角度センサ５０に基づく作業機１０の位置関係が異常であると判定された場合、ステレオカメラ２２のユニットとしての取り付け姿勢がずれている、ステレオカメラ２２の第１カメラ２２Ａと第２カメラ２２Ｂとの相対的な姿勢がずれている、角度センサ５０のブーム角度センサ５１又はバケット角度センサ５２の取り付け姿勢がずれている、又は、寸法データが間違っている、の少なくともいずれか１つが原因であると判定できる。

例えば、右側方のステレオカメラ２２及び左側方のステレオカメラ２２についてどちらも異常があると判定された場合、ステレオカメラ２２以外に異常があると判定できる。例えば、右側方のステレオカメラ２２又は左側方のステレオカメラ２２のどちらか一方について異常があると判定された場合、ステレオカメラ２２に異常があると判定できる。

本実施形態は、三次元計測装置２０によって計測したときの、作業機１０の姿勢と作業機１０の寸法データとから規定される、計測データにおける作業機１０の推定位置に基づいて、三次元計測装置２０が正常であるか否かをより適切に判定できる。

本実施形態は、寸法データとして、作業機１０の外周上の複数の位置の位置データを用いる。本実施形態は、作業機１０の外形を適切に規定できる。また、本実施形態は、寸法データとして、作業機１０の外周上の５か所の位置の位置データを用いる。本実施形態は、作業機１０の外形をより適切に規定できる。

本実施形態は、作業機１０が所定領域内及び所定角度内に存在する場合に判定することにより、三次元計測装置２０による車体２、作業現場の周辺の建物及び障害物などの誤検出を抑制できる。本実施形態によれば、三次元計測装置２０が撮影した画像データにバケット１２が写っていないような状態を除いて判定できる。

本実施形態は、三次元計測装置２０によって計測したときの、作業機１０の姿勢から規定される、計測データにおける作業機１０の推定位置と、計測データにおける作業機１０の位置とを比較して、三次元計測装置２０の取り付け位置が正常であるか否かを判定できる。

本実施形態は、角度センサ５０の検出結果に基づいて、作業機１０の姿勢を示す位置データを算出する。本実施形態は、作業機１０の姿勢を適切に算出できる。

本実施形態は、三次元計測装置２０及び角度センサ５０に基づく作業機１０の位置関係が正常であるか否かを判定できる。本実施形態によれば、三次元計測装置２０及び角度センサ５０が正常であるか否かを判定できる。

本実施形態は、三次元計測装置２０によって計測したときの、作業機１０の姿勢と記憶部８２に記憶された作業機データとから規定される、計測データにおける作業機１０の推定位置に基づいて判定できる。本実施形態によれば、より適切に判定できる。

本実施形態は、判定結果を、例えばブザー７又はランプ８によって出力できる。

［その他の実施形態］
上述の各実施形態において、三次元計測装置２０は、ステレオカメラ２２に限定されるものではなく、例えばカメラまたはレーザスキャナでもよい。ステレオカメラ２２は、車体２の右側方及び左側方どちらかに配置されていればよい。図１に示したステレオカメラ２２の配置は一例であり、他の場所に配置されていてもよい。

ホイールローダ１が作業を実施する作業現場は、鉱山の採掘現場でもよいし、施工現場又は建設現場でもよい。

ホイールローダ１は、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。

上述の実施形態において、バケット１２は、複数の刃を有してもよいし、ストレート状の刃先を有してもよい。

ブーム１１の先端部に連結される作業部材は、バケット１２でなくてもよく、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。

角度センサ５０は、ブーム角度センサ５１とバケット角度センサ５２とのどちらか１つを備えるものでもよい。

ランプ８に変えて、ホイールローダ１に設定された、図示しないモニタに判定結果を表示してもよい。ブザー７、ランプ８、モニタは、ホイールローダ１に備えている必要はなく、いずれか１つ以上を備えるものでもよい。また、ブザー７、ランプ８、モニタは、ホイールローダ１の外に備えるようにしてもよい。

上述した実施形態に係る制御システム２００は、制御システム２００を構成する一部の構成が作業機械１の内部に搭載され、他の構成が作業機械１の外部に設けられてもよい。また、上述した実施形態に係る制御システム２００は、作業機１０、三次元計測装置２０、角度センサ５０、走行操作装置４０、ブザー７、ランプ８、及び制御装置８０を含むものとして説明したが、これに限定されず、一部の構成は含まないものであってもよい。一例として、ブザー７、ランプ８を含まない制御システム２００としてもよい。

上述した実施形態に係る制御装置８０は、単独のコンピュータによって構成されるものであってもよいし、制御装置８０の構成を複数のコンピュータに分けて配置し、複数のコンピュータが互いに協働することで制御装置８０として機能するものであってもよい。

作業機械１は、ホイールローダに限定されず、例えば油圧ショベル又はブルドーザのような作業機を有する作業機械に上述の実施形態で説明した制御装置８０及び異常判定方法を適用することができる。

１…ホイールローダ（作業機械）、２…車体、２Ｆ…車体前部、２Ｒ…車体後部、３…運転台、４…走行装置、４Ａ…駆動装置、４Ｂ…ブレーキ装置、４Ｃ…操舵装置、５…車輪、５Ｆ…前輪、５Ｒ…後輪、６…タイヤ、６Ｆ…前タイヤ、６Ｒ…後タイヤ、７…ブザー（出力部）、８…ランプ（出力部）、９…関節機構、１０…作業機、１１…ブーム、１２…バケット、１２Ｂ…先端部、１３…ブームシリンダ、１４…バケットシリンダ、１５…ベルクランク、１６…リンク、２０…三次元計測装置、２２…ステレオカメラ、２２Ａ…第１カメラ、２２Ｂ…第２カメラ、３０…トランスミッション装置、４０…走行操作装置、５０…角度センサ（角度検出部）、５１…ブーム角度センサ、５２…バケット角度センサ、８０…制御装置、８１…計測データ取得部、８２…記憶部、８３…位置データ算出部（位置算出部）、８６…対象算出部、８７…作業機制御部、８８…トランスミッション制御部、８９…走行制御部、９１…判定部、９２…出力制御部、１００…画像データ、２００…制御システム（異常判定システム）、ＢＥ…ベッセル（積込対象）、ＤＳ…地山（掘削対象）、ＦＸ…回転軸、ＬＳ…運搬車両、ＲＸ…回転軸、ＲＳ…地面。

Claims (19)

1. 作業機を有する作業機械に搭載されたカメラと、
   前記カメラによって撮影したときの前記作業機の姿勢に基づいて前記カメラの撮像画像における前記作業機の位置を推定する位置算出部と、
   推定された前記作業機の位置に基づいて、前記カメラが正常であるか否かを判定する判定部と、
   を備える作業機械の異常判定システム。
2. 前記判定部は、推定された前記作業機の位置と前記撮像画像における前記作業機の実際の位置とに基づいて、前記カメラが正常であるか否かを判定する
   請求項１に記載の作業機械の異常判定システム。
3. 前記位置算出部は、前記カメラによって撮影したときの前記作業機の姿勢と前記作業機の寸法データとに基づいて、前記撮像画像における前記作業機の位置を推定する
   請求項１又は請求項２に記載の作業機械の異常判定システム。
4. 前記寸法データは、前記作業機の外周上の複数の位置の位置データである、
   請求項３に記載の作業機械の異常判定システム。
5. 前記寸法データは、前記作業機の外周上の５か所の位置の位置データである、
   請求項４に記載の作業機械の異常判定システム。
6. 前記判定部は、前記作業機が所定領域内及び所定角度内に存在する場合に判定を行う、
   請求項１から請求項５のいずれか一項に記載の作業機械の異常判定システム。
7. 前記判定部は、前記カメラによって撮影したときの前記作業機の姿勢から規定される、推定された前記撮像画像における前記作業機の位置と、前記撮像画像における前記作業機の実際の位置とを比較して、前記カメラが正常であるか否かを判定する、
   請求項２に記載の作業機械の異常判定システム。
8. 前記判定部は、前記カメラの取り付け位置が正常であるか否かを判定する、
   請求項１から請求項７のいずれか一項に記載の作業機械の異常判定システム。
9. 前記作業機に搭載され、前記作業機の姿勢を検出する角度検出部と、
   前記角度検出部の検出結果に基づいて、前記作業機の姿勢を示す位置データを算出する位置データ算出部と、
   を備える、請求項１から請求項８のいずれか一項に記載の作業機械の異常判定システム。
10. 前記判定部は、前記カメラ及び前記角度検出部が正常であるか否かを判定する、
    請求項９に記載の作業機械の異常判定システム。
11. 前記判定部は、前記カメラ及び前記角度検出部に基づく前記作業機の位置関係が正常であるか否かを判定する、
    請求項１０に記載の作業機械の異常判定システム。
12. 前記作業機の寸法データ及び形状データを含む作業機データを記憶する記憶部、
    を備え、
    前記判定部は、前記カメラによって撮影したときの前記作業機の姿勢と前記記憶部に記憶された前記作業機データとから規定される、前記撮像画像における前記作業機の推定位置に基づいて判定する、
    請求項１から請求項１１のいずれか一項に記載の作業機械の異常判定システム。
13. 前記判定部の判定結果を出力する出力部、
    を備える、請求項１から請求項１２のいずれか一項に記載の作業機械の異常判定システム。
14. 前記出力部は、ブザーである、
    請求項１３に記載の作業機械の異常判定システム。
15. 前記出力部は、ランプである、
    請求項１３に記載の作業機械の異常判定システム。
16. 作業機を有する作業機械に搭載されたカメラによって撮影したときの前記作業機の姿勢に基づいて前記カメラの撮像画像における前記作業機の位置を推定し、
    推定された前記作業機の位置に基づいて、前記カメラが正常であるか否かを判定する、
    ことを含む作業機械の異常判定方法。
17. 推定された前記作業機の位置と前記撮像画像における前記作業機の実際の位置とに基づいて、前記カメラが正常であるか否かを判定する
    請求項１６に記載の作業機械の異常判定方法。
18. 前記カメラによって撮影したときの前記作業機の姿勢と前記作業機の寸法データとに基づいて、前記撮像画像における前記作業機の位置を推定する
    請求項１６又は１７に記載の作業機械の異常判定方法。
19. 前記カメラによって撮影したときの前記作業機の姿勢から規定される、推定された前記撮像画像における前記作業機の位置と、前記撮像画像における前記作業機の実際の位置とを比較して、前記カメラが正常であるか否かを判定する
    請求項１６から請求項１８のいずれか一項に記載の作業機械の異常判定方法。

Images