JP2019178599A - 作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法 - Google Patents

Abstract

【課題】作業対象に関するパラメータを取得すること。【解決手段】作業機械の制御装置は、作業機を有する作業機械に搭載され、作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得する計測データ取得部と、作業対象の稜線における計測データに基づいて、作業機械から作業対象までの距離、又は作業対象の安息角を算出し出力する対象算出部と、を備える。【選択図】図１

Description

本発明は、作業機械の制御装置、掘削機械の制御装置、及び作業機械の制御方法に関する。

作業現場において作業機械が使用される。掘削対象及び積込対象までの距離を求めるための計測器を備える自動掘削機の一例が特許文献１に開示されている。

特開平１０−０８８６２５号公報

作業機械による作業の自動化を実現する場合、作業対象に関するパラメータを取得することが要望される。

本発明の態様は、作業対象に関するパラメータを取得することを目的とする。

本発明の態様に従えば、作業機を有する作業機械に搭載され、前記作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得する計測データ取得部と、前記作業対象の前記稜線における計測データに基づいて、前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角を算出し出力する対象算出部と、を備える作業機械の制御装置が提供される。

本発明の態様によれば、作業対象に関するパラメータを取得することができる。

図１は、第１実施形態に係る掘削機械を示す側面図である。 図２は、第１実施形態に係る掘削機械を示す正面図である。 図３は、第１実施形態に係る掘削機械の動作を示す模式図である。 図４は、第１実施形態に係る掘削機械の掘削作業モードを示す模式図である。 図５は、第１実施形態に係る掘削機械の制御装置を示す機能ブロック図である。 図６は、第１実施形態に係る掘削機械の制御方法を示すフローチャートである。 図７は、第１実施形態に係る掘削機械の制御方法を示す模式図である。 図８は、第１実施形態に係る掘削機械の制御方法を示す模式図である。 図９は、第２実施形態に係る掘削機械の制御方法を示す模式図である。 図１０は、第２実施形態に係る掘削機械の制御方法を示す模式図である。 図１１は、第２実施形態に係る掘削機械の制御方法を示すフローチャートである。

以下、本発明に係る実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下で説明する実施形態の構成要素は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

第１実施形態．
［ホイールローダ］
図１は、本実施形態に係る掘削機械１の一例を示す側面図である。掘削機械１は、作業現場において作業対象に対して所定の作業を実施する。本実施形態においては、掘削機械１がアーティキュレート掘削機械の一種であるホイールローダ１であることとする。所定の作業は、掘削作業及び積込作業を含む。作業対象は、掘削対象及び積込対象を含む。ホイールローダ１は、掘削対象を掘削する掘削作業、及び掘削作業により掘削した掘削物を積込対象に積み込む積込作業を実施する。積込作業は、掘削物を排出対象に排出する排出作業を含む概念である。掘削対象として、地山、岩山、石炭、及び壁面の少なくとも一つが例示される。地山は、土砂により構成される山であり、岩山は、岩又は石により構成される山である。なお、掘削対象が、砕石、鉱石、及び石炭の少なくとも一つにより構成される山でもよい。積込対象として、運搬車両、作業現場の所定エリア、ホッパ、ベルトコンベヤ及びクラッシャの少なくとも一つが例示される。

図１に示すように、ホイールローダ１は、車体２と、運転席が設けられる運転台３と、車体２を支持する走行装置４と、車体２に支持される作業機１０と、トランスミッション装置３０と、車体２よりも前方の計測対象を計測する三次元計測装置２０と、制御装置８０とを備える。

車体２は、車体前部２Ｆと車体後部２Ｒとを含む。車体前部２Ｆと車体後部２Ｒとは、関節機構９を介して屈曲可能に連結される。

運転台３は、車体２に支持される。ホイールローダ１の少なくとも一部は、運転台３に搭乗した運転者によって操作される。

走行装置４は、車体２を支持する。走行装置４は、車輪５を有する。車輪５は、車体２に搭載されているエンジンが発生する駆動力により回転する。タイヤ６が車輪５に装着される。車輪５は、車体前部２Ｆに装着される２つの前輪５Ｆと、車体後部２Ｒに装着される２つの後輪５Ｒとを含む。タイヤ６は、前輪５Ｆに装着される前タイヤ６Ｆと、後輪５Ｒに装着される後タイヤ６Ｒとを含む。走行装置４は、地面ＲＳを走行可能である。

以下の説明においては、前輪５Ｆの回転軸ＦＸと平行な方向を適宜、車幅方向、と称し、地面ＲＳと接触する前タイヤ６Ｆの接地面と直交する方向を適宜、上下方向、と称し、車幅方向及び上下方向の両方と直交する方向を適宜、前後方向、と称する。ホイールローダ１の車体２が直進状態で走行するとき、回転軸ＦＸと回転軸ＲＸとは平行である。

また、以下の説明においては、車幅方向において車体２の中心線に近い位置又は方向を適宜、車幅方向の内側又は内方、と称し、車体２の中心線から遠い位置又は方向を適宜、車幅方向の外側又は外方、と称する。また、車幅方向において、車体２の中心線の一方を適宜、右側又は右方、と称し、右側又は右方の逆側又は逆方向を適宜、左側又は左方、と称する。また、前後方向において、運転台３の運転席を基準として作業機１０に近い位置又は方向を適宜、前側又は前方、と称し、前側又は前方の逆側又は逆方向を適宜、後側又は後方、と称する。また、上下方向において前タイヤ６Ｆの接地面に近い位置又は方向を適宜、下側又は下方、と称し、下側又は下方の逆側又は逆方向を適宜、上側又は上方、と称する。

車体前部２Ｆは、車体後部２Ｒよりも前方に配置される。前輪５Ｆ及び前タイヤ６Ｆは、後輪５Ｒ及び後タイヤ６Ｒよりも前方に配置される。前輪５Ｆ及び前タイヤ６Ｆは、車体２の車幅方向の両側に配置される。後輪５Ｒ及び後タイヤ６Ｒは、車体２の車幅方向の両側に配置される。車体前部２Ｆは、車体後部２Ｒに対して左右に屈曲する。

走行装置４は、駆動装置４Ａと、ブレーキ装置４Ｂと、操舵装置４Ｃとを有する。駆動装置４Ａは、ホイールローダ１を加速させるための駆動力を発生する。駆動装置４Ａは、ディーゼルエンジンのような内燃機関を含む。駆動装置４Ａで発生した駆動力がトランスミッション装置３０を介して車輪５に伝達され、車輪５が回転する。

ブレーキ装置４Ｂは、ホイールローダ１を減速又は停止させるための制動力を発生する。

操舵装置４Ｃは、ホイールローダ１の走行方向を調整可能である。ホイールローダ１の走行方向は、車体前部２Ｆの向きを含む。操舵装置４Ｃは、油圧シリンダによって車体前部２Ｆを屈曲させることによって、ホイールローダ１の走行方向を調整する。

本実施形態においては、走行装置４は、運転台３に搭乗した運転者によって操作される。作業機１０は、制御装置８０に制御される。走行装置４を操作する走行操作装置４０が運転台３に配置される。運転者は、走行操作装置４０を操作して、走行装置４を作動させる。走行操作装置４０は、アクセルペダル、ブレーキペダル、ステアリングレバー、及び前後進を切り換えるためのシフトレバーを含む。アクセルペダルが操作されることにより、ホイールローダ１の走行速度が増大する。ブレーキペダルが操作されることにより、ホイールローダ１の走行速度が減少したり走行が停止したりする。ステアリングレバーが操作されることにより、ホイールローダ１が旋回する。シフトレバーが操作されることにより、ホイールローダ１の前進又は後進が切り換えられる。

トランスミッション装置３０は、駆動装置４Ａで発生した駆動力を車輪５に伝達する。

作業機１０は、車体前部２Ｆに回動可能に連結されるブーム１１と、ブーム１１に回動可能に連結されるバケット１２と、ベルクランク１５と、リンク１６とを有する。

ブーム１１は、ブームシリンダ１３が発生する動力によって作動する。ブームシリンダ１３が伸縮することにより、ブーム１１は上げ動作又は下げ動作する。

バケット１２は、刃先を含む先端部１２Ｂを有する作業部材である。バケット１２は、前輪５Ｆよりも前方に配置される。バケット１２は、ブーム１１の先端部に連結される。バケット１２は、バケットシリンダ１４が発生する動力によって作動する。バケットシリンダ１４が伸縮することにより、バケット１２はダンプ動作又はチルト動作する。

バケット１２のダンプ動作が実施されることにより、バケット１２ですくい上げられた掘削物がバケット１２から排出される。バケット１２のチルト動作が実施されることにより、バケット１２は掘削物をすくい取る。

［三次元計測装置］
三次元計測装置２０は、ホイールローダ１に搭載される。三次元計測装置２０は、ハウジング１７に支持される。三次元計測装置２０は、車体前部２Ｆよりも前方の計測対象を計測する。計測対象は、作業機１０による掘削対象を含む。また、計測対象は、作業機１０により掘削された掘削物が積み込まれる積込対象を含む。三次元計測装置２０は、三次元計測装置２０から作業対象の表面の複数の各計測点までの相対位置を計測する。すなわち、三次元計測装置２０は、計測対象の三次元形状を計測する。また、後述する制御装置８０は、計測された作業対象の三次元形状に基づいて、ホイールローダ１の作業機の先端部１２Ｂと作業対象との距離を算出する。

三次元計測装置２０の計測データは、作業対象の三次元形状を示す三次元データである。三次元データは、複数の計測点の点群データを含む。なお、三次元計測装置２０の計測データは、画像データを含んでもよい。

三次元計測装置２０は、レーザ計測装置の一種であるレーザレーダ２１と、写真計測装置の一種であるステレオカメラ２２とを含む。

［動作］
図２は、本実施形態に係るホイールローダ１の動作を示す模式図である。ホイールローダ１は、複数の作業モードで作業する。作業モードは、バケット１２で掘削対象を掘削する掘削作業モードと、掘削作業モードによりバケット１２ですくい取った掘削物を積込対象に積み込む積込作業モードとを含む。掘削対象として、地面ＲＳに置かれた地山ＤＳが例示される。積込対象として、地面を走行可能な運搬車両ＬＳのベッセルＢＥ（ダンプボディ）が例示される。運搬車両ＬＳとして、ダンプトラックが例示される。

掘削作業モードにおいて、ホイールローダ１は、バケット１２に掘削物が保持されていない状態で、バケット１２で地山ＤＳを掘削するために地山ＤＳに向かって前進する。ホイールローダ１の運転者は、走行操作装置４０を操作して、図２の矢印Ｍ１で示すように、ホイールローダ１を前進させて地山ＤＳに接近させる。ホイールローダ１に搭載されている三次元計測装置２０は、地山ＤＳの三次元形状を計測する。制御装置８０は、三次元計測装置２０の計測データに基づいて、ホイールローダ１から地山ＤＳまでの距離を算出し、バケット１２で地山ＤＳが掘削されるように、作業機１０を制御する。すなわち、制御装置８０は、ホイールローダ１が地山ＤＳに接近するように前進している状態で、バケット１２の先端部１２Ｂ及び底面部が地面ＲＳに接触するように、作業機１０を制御する。

バケット１２が地山ＤＳに突入して地山ＤＳがバケット１２により掘削され、掘削物がバケット１２にすくい取られた後、ホイールローダ１は、バケット１２に掘削物が保持されている状態で、地山ＤＳから離れるように後進する。ホイールローダ１の運転者は、走行操作装置４０を操作して、図２の矢印Ｍ２で示すように、ホイールローダ１を後進させて地山ＤＳから離間させる。

次に、積込作業モードが実施される。積込作業モードにおいて、ホイールローダ１は、バケット１２に掘削物が保持されている状態で、バケット１２により掘削された掘削物を積み込むために運搬車両ＬＳに向かって前進する。ホイールローダ１の運転者は、走行操作装置４０を操作して、図２の矢印Ｍ３で示すように、ホイールローダ１を旋回させながら前進させて運搬車両ＬＳに接近させる。ホイールローダ１に搭載されている三次元計測装置２０は、運搬車両ＬＳの三次元形状を計測する。制御装置８０は、三次元計測装置２０の計測データに基づいて、ホイールローダ１から運搬車両ＬＳまでの距離を算出し、バケット１２に保持されている掘削物が運搬車両ＬＳのベッセルＢＥに積み込まれるように、作業機１０を制御する。すなわち、制御装置８０は、ホイールローダ１が運搬車両ＬＳに接近するように前進している状態で、ブーム１１が上げ動作するように、作業機１０を制御する。ブーム１１が上げ動作し、バケット１２がベッセルＢＥの上方に配置された後、制御装置８０は、バケット１２がチルト動作するように、作業機１０を制御する。これにより、バケット１２から掘削物が排出され、ベッセルＢＥに積み込まれる。

バケット１２から掘削物が排出され、ベッセルＢＥに積み込まれた後、ホイールローダ１は、バケット１２に掘削物が保持されていない状態で、運搬車両ＬＳから離れるように後進する。運転者は、走行操作装置４０を操作して、図２の矢印Ｍ４で示すように、ホイールローダ１を後進させて運搬車両ＬＳから離間させる。

運転者及び制御装置８０は、ベッセルＢＥに掘削物が満載されるまで、上述の動作を繰り返す。

図３は、本実施形態に係るホイールローダ１の掘削作業モードを示す模式図である。ホイールローダ１の運転者は、走行操作装置４０を操作して、ホイールローダ１を前進させて地山ＤＳに接近させる。

図３（Ａ）に示すように、ホイールローダ１に搭載されている三次元計測装置２０は、地山ＤＳの三次元形状を計測する。制御装置８０は、三次元計測装置２０の計測データに基づいて、地面ＲＳと地山ＤＳとの境界ＤＰの位置を特定する。

図３（Ｂ）に示すように、制御装置８０は、ホイールローダ１が地山ＤＳに接近するように前進している状態で、三次元計測装置２０の計測データに基づいて、バケット１２の先端部１２Ｂと境界ＤＰとの距離を算出し、バケット１２の先端部１２Ｂが境界ＤＰに接近するように、ブーム１１を下げ動作させるとともに、バケット１２の角度を制御する。

図３（Ｃ）に示すように、ホイールローダ１がさらに前進することにより、バケット１２の先端部１２Ｂが境界ＤＰから地山ＤＳに挿入される。これにより、地山ＤＳがバケット１２により掘削され、バケット１２は、掘削物をすくい取ることができる。

［制御装置］
図４は、本実施形態に係るホイールローダ１の制御装置８０を示す機能ブロック図である。制御装置８０は、コンピュータシステムを含む。

制御装置８０に、作業機１０、三次元計測装置２０、及び角度センサ５０が接続される。

制御装置８０は、計測データ取得部８１と、記憶部８２と、対象算出部８６と、作業機制御部８７とを有する。

計測データ取得部８１は、三次元計測装置２０から計測データを取得する。

記憶部８２は、計測データ取得部８１により取得された計測データを処理するアルゴリズムを記憶する。記憶部８２には、ステレオカメラ２２で計測された地山ＤＳの計測データを処理するためのアルゴリズム、及びレーザレーダ２１で計測された地山ＤＳの計測データを処理するためのアルゴリズムが記憶されている。アルゴリズムとは、計測データ取得部８１により取得された計測データを用いて、所定のデータを出力するための手順、フローチャート、手法、又はプログラムをいう。複数のアルゴリズムに応じて、手順、手法、又はプログラムを異ならせてもよいし、出力されるデータの数又は種類を異ならせてもよい。

対象算出部８６は、計測データ取得部８１により取得された計測データに基づいて、ホイールローダ１から作業対象までの距離を算出する。対象算出部８６は、ホイールローダ１から地山ＤＳまでの距離データに加え、地山ＤＳの安息角の角度データや、その他の地山ＤＳに関するパラメータを算出してもよい。地山ＤＳに関するパラメータは、ホイールローダ１から地山までの距離データ、及び地山ＤＳの安息角の角度データ、地山ＤＳの岩土の質、地山ＤＳを構成する岩土の粒度、地山ＤＳの高さ、地山ＤＳの頂点までの距離、地山ＤＳの形状、地山ＤＳの体積を含む。

作業機制御部８７は、対象算出部８６により算出されたホイールローダ１と境界ＤＰとの距離データに基づいて、地山ＤＳを掘削する作業機１０を制御する。また、作業機制御部８７は、対象算出部８６により算出された地山ＤＳの安息角を示す角度データに基づいて、地山ＤＳを掘削する作業機１０を制御する。

作業機１０の動作の制御は、ブームシリンダ１３及びバケットシリンダ１４の少なくとも一方の動作の制御を含む。ホイールローダ１は、図示しない油圧ポンプと、油圧ポンプからブームシリンダ１３に供給される作動油の流量及び方向を制御する図示しないブーム制御弁と、油圧ポンプからバケットシリンダ１４に供給される作動油の流量及び方向を制御する図示しないバケット制御弁とを有する。作業機制御部８７は、ブーム制御弁に制御信号を出力して、ブームシリンダ１３に供給される作動油の流量及び方向を制御することで、ブーム１１の上げ動作、下げ動作、及びその動作速度を制御できる。また、作業機制御部８７は、バケット制御弁に制御信号を出力して、バケットシリンダ１４に供給される作動油の流量及び方向を制御することでバケット１２のダンプ動作、チルト動作、及びその動作速度を制御できる。

本実施形態において、ホイールローダ１は、トランスミッション制御部８８と、走行制御部８９とを有する。

トランスミッション制御部８８は、ホイールローダ１の運転者による走行操作装置４０の操作に基づいて、トランスミッション装置３０の動作、すなわちシフトチェンジを制御する。

走行制御部８９は、ホイールローダ１の運転者による走行操作装置４０の操作に基づいて、走行装置４の動作を制御する。走行制御部８９は、駆動装置４Ａを作動するためのアクセル指令、ブレーキ装置４Ｂを作動するためのブレーキ指令、及び操舵装置４Ｃを作動するためのステアリング指令を含む運転指令を出力する。

［ステレオカメラの計測データに基づく掘削作業］
図５は、本実施形態に係るホイールローダ１の制御方法を示すフローチャートであって、ステレオカメラ２２による運搬車両ＬＳの計測データに基づく掘削作業を示す。

ホイールローダ１が作業機１０で地山ＤＳを掘削するために地山ＤＳに向かって前進する掘削作業モードにおいて、ステレオカメラ２２は、少なくとも地山ＤＳを含む計測対象を計測する。ステレオカメラ２２の撮像範囲（ステレオカメラ２２の光学系の視野領域）には、計測対象として、地山ＤＳのみならず、例えば地面ＲＳ又は地山ＤＳの周囲の物体も配置される。計測データ取得部８１は、ステレオカメラ２２から計測データを取得する（ステップＳ１０）。

ステレオカメラ２２の計測データは、計測対象の画像データを含む。画像データは、複数の画素により構成される。計測対象の画像データは、第１カメラ２２Ａにより取得された第１画像データと、第２カメラ２２Ｂにより取得された第２画像データとを含む。ステレオカメラ２２は、画像データ（第１画像データ及び第２画像データ）をステレオ処理して、三次元形状データを算出する。

計測データ取得部８１は、ステレオカメラ２２から、ステレオカメラ２２の計測データである三次元形状データを取得する（ステップＳ１０）。

三次元形状データは、ステレオカメラ２２の画像データにおける画素ごとに演算された点データの集合である点群データを含む。点群データは例えばステレオカメラからの距離に関するデータである。

本実施形態において、対象算出部８６は、地山ＤＳの稜線を特定するとともに、稜線における三次元形状データに基づいて、ホイールローダ１から地山ＤＳまでの距離、又は地山ＤＳの安息角を算出し出力する。

ステレオカメラ２２では広範囲の点群データを取得できるため、地山ＤＳの広い領域の地形を計測してしまうため、どの点群データが稜線におけるデータであるか判定できず、後述する図７のような地山の断面を判断できない。そこで、稜線を特定するために、対象算出部８６は、ステレオカメラ２２により取得された三次元形状データを複数の領域ＤＡに分割する（ステップＳ３０）。

図６は、本実施形態に係るステレオカメラ２２により取得された画像データの一例を示す図である。

対象算出部８６は、画像データを複数の領域ＤＡに分割する。本実施形態において、対象算出部８６は、画像データを上下方向に分割して複数の領域ＤＡを生成する。以下の説明においては、画像データを分割することによって生成された領域ＤＡのそれぞれの点群データを適宜、分割点群データ、と称する。

対象算出部８６は、画像データを上下方向に分割して複数の領域ＤＡを生成する。領域ＤＡは、左右方向に長い。複数の領域ＤＡのそれぞれは、ホイールローダ１（ステレオカメラ２２）から地山ＤＳまでの距離を示す分割点群データを含む。

次に、対象算出部８６は、複数の領域ＤＡのそれぞれにおいて、分割点群データに基づいて、地山ＤＳの稜線ＲＤを特定する。稜線ＲＤとは、地山ＤＳの頂点ＤＴから任意の地山と地面の境界ＤＰとを結ぶ線であり、例えば各領域ＤＡ毎に中間点付近の数点を抽出することによって近似的な稜線ＲＤを導出することができる。

図６に示すように、本実施形態において、対象算出部８６は、各領域ＤＡ毎に中間点付近の数点を抽出した場合、斜めの稜線ＲＤ１を特定できる。なお、稜線ＲＤは、正面の稜線ＲＤ２や側面における稜線ＲＤ３でもよい。また、正面の稜線ＲＤ２を特定するためには点群データのうち、中間値ではなく最も距離の近い数点を用いることで抽出できる。

カウンタｎに初期値１が設定される（ステップＳ４０）。対象算出部８６は、第１の領域ＤＡ１から第Ｎの領域ＤＡＮのそれぞれについて、稜線ＲＤに対応する点データを特定する。

対象算出部８６は、領域ＤＡに存在する複数の画素のそれぞれによって示される距離を算出し、その領域ＤＡにおける距離の中間値ＲＰを特定する（ステップＳ５０）。中間値ＲＰは、１つでもよいし、複数でもよい。複数の場合、中間値ＲＰ近傍の数点を特定する。中間値ＲＰは、その領域ＤＡにおいて、ソートしたデータの中央にあるデータをいい、メディアン値又は中央値とも呼ばれる。

以上により、領域ＤＡについて、中間値ＲＰが算出される。対象算出部８６は、複数の領域ＤＡのそれぞれについて、上述のステップＳ５０の処理を実施する。すなわち、対象算出部８６は、全ての領域ＤＡについて、中間値ＲＰを算出する処理が終了したか否かを判定する（ステップＳ６０）。全ての領域ＤＡについて中間値ＲＰを算出する処理が終了していないと判定した場合（ステップＳ６０：Ｎｏ）、カウンタｎがインクリメントされ（ステップＳ７０）、ステップＳ５０の処理に戻る。

全ての領域ＤＡについて中間値ＲＰを算出する処理が終了したと判定した場合（ステップＳ６０：Ｙｅｓ）、対象算出部８６は、複数の領域ＤＡを統合し、領域ＤＡのそれぞれについて算出された中間値ＲＰを直線フィッティング処理する。対象算出部８６は、直線フィティング処理により、近似的な稜線ＲＤを特定する。

図７は、本実施形態に係る複数の中間値ＲＰを直線フィティング処理する例を示す。図８に示すように、対象算出部８６は、複数の中間値ＲＰについて直線フィッティング処理を実施して、複数の中間値ＲＰに基づいて近似的な稜線ＲＥを算出する（ステップＳ８０）。

稜線ＲＥは、地山ＤＳの斜面の形状を示す。また、稜線ＲＥは、地面ＲＳに対する地山ＤＳの斜面の安息角θを示す。対象算出部８６は、稜線ＲＥに基づいて、地山ＤＳの安息角θを算出する（ステップＳ８５）。

地山ＤＳの斜面の位置は、ホイールローダ１の車体座標系において規定される。車体座標系におけるステレオカメラ２２の設置位置は、ホイールローダ１の設計データから導出される既知データである。

対象算出部８６は、タイヤ６の接地面に基づいて、地面ＲＳの位置を算出する（ステップＳ９０）。車体座標系におけるタイヤ６の接地面の位置は、ホイールローダ１の設計データから導出される既知データである。４つのタイヤ６のうち少なくとも３つのタイヤ６の接地面によって、車体座標系における地面ＲＳの位置が特定される。

なお、ステレオカメラ２２の撮像範囲に地面ＲＳが配置される場合、ステレオカメラ２２の画像データに基づいて、地面ＲＳの位置が算出されてもよい。また、ステレオカメラ２２の撮像範囲に地面ＲＳが配置される場合において、タイヤ６の接地面に基づいて地面ＲＳの位置を特定できる場合、ステレオカメラ２２によって計測された地面ＲＳの点群データが除去されてもよい。

地山ＤＳの斜面の位置と地面ＲＳの位置とが算出された後、対象算出部８６は、地山ＤＳの稜線ＲＤと地面ＲＳとの境界ＤＰの位置を算出する（ステップＳ１００）。

対象算出部８６は、ホイールローダ１から地山ＤＳまでの距離、及び地山ＤＳの安息角θを算出し、出力する（ステップＳ１１０）。ホイールローダ１から地山ＤＳまでの距離は、バケット１２の先端部１２Ｂから境界ＤＰまでの距離でもよい。作業機１０の先端部１２Ｂから境界ＤＰまでの距離は、ステレオカメラ２２から境界ＤＰまでの距離に加え、車体座標系におけるステレオカメラ２２の設置位置、作業機１０の設置位置、作業機１０の寸法および角度等を用いて算出する。

作業機制御部８７は、対象算出部８６により算出された境界ＤＰまでの距離、又は地山ＤＳの安息角θに基づいて、作業機１０を制御する（ステップＳ１２０）。

すなわち、図３を参照して説明したように、作業機制御部８７は、ホイールローダ１が地山ＤＳに接近するように前進している状態で、対象算出部８６により算出された境界ＤＰまでの距離に基づいて、バケット１２の先端部１２Ｂが境界ＤＰに接近するように、ブーム１１を下げ動作させるとともに、バケット１２の角度を制御する。ホイールローダ１がさらに前進することにより、バケット１２の先端部１２Ｂが境界ＤＰから地山ＤＳに挿入される。これにより、地山ＤＳがバケット１２により掘削され、バケット１２は、掘削物をすくい取ることができる。

［効果］
以上説明したように、地山ＤＳの三次元形状データに基づいて作業機１０が制御されることにより、ホイールローダ１の作業機１０は、境界ＤＰによって規定される地山ＤＳの掘削開始点に移動することができる。したがって、ホイールローダ１は、地山ＤＳを良好に掘削することができる。

地山ＤＳの三次元形状データは、地山ＤＳの安息角を含む。安息角θに応じて、地山ＤＳへ突入後の牽引力や作業機１０の上昇速度などを制御することができる。

なお、本実施形態においては、画像データ（点群データ）を分割して稜線を特定したが、分割せずに同様の処理を実施して、稜線を特定してもよい。

第２実施形態．
第２実施形態について説明する。以下の説明において、上述の実施形態と同一又は同等の構成要素については同一の符号を付し、その説明を簡略又は省略する。

［レーザレーダの計測データに基づく掘削作業］
上述の実施形態においては、ステレオカメラ２２の計測データに基づく掘削作業について説明した。本実施形態においては、レーザレーダ２１の計測データに基づく掘削作業について説明する。

図８は、本実施形態に係るホイールローダ１の制御方法を示す模式図であって、レーザレーダ２１の動作を示す図である。図８に示すように、レーザレーダ２１は、計測対象の表面の複数の照射点ＰＪのそれぞれにレーザ光を照射して、複数の照射点ＰＪのそれぞれとの距離を計測する。

本実施形態において、対象算出部８６は、ホイールローダ１（レーザレーダ２１）から複数の照射点ＰＪのそれぞれまでの距離に基づいて、照射点ＰＪを複数のグループに分類し、地面ＲＳに対するグループの傾きＫ（傾斜角度）、およびグループの重心高さＨの少なくとも一方に基づいて、計測対象を特定する。

例えば、掘削作業モードにおいて、計測対象は、地面ＲＳ、地山ＤＳ、及び地山ＤＳの周囲の物体の少なくとも一つを含む。対象算出部８６は、グループの傾斜角度Ｋ、およびグループの重心高さＨの少なくとも一方に基づいて、計測対象が、地面ＲＳ、地山ＤＳのいずれであるのかを特定する。

対象算出部８６は、照射点ＰＪまでの距離に基づいて、複数の照射点ＰＪをグルーピングする。グルーピングとは、例えば隣り合う照射点ＰＪの距離の差が予め定められている閾値以下の複数の照射点ＰＪを１つのグループとしてグループ分けすることをいう。図８に示す例では、例えば、計測対象の表面に照射されることによって規定された照射点ＰＪａと、作業機１０の一部に照射されることによって規定された照射点ＰＪｂとの距離の差は大きい。したがって、計測対象の表面に規定された照射点ＰＪａは、１つのグループとなり、作業機１０の表面に規定された照射点ＰＪｂは、別のグループとなる。

対象算出部８６は、作業機１０を示す照射点ＰＪｂのグループを除去し、計測対象を示す照射点ＰＪａのグループをグループ分割して、複数の照射点ＰＪを第１グループと第２グループとに分類する。

図９は、本実施形態に係るホイールローダ１の制御方法を示す模式図であって、グループ分割を説明するための模式図である。グループ分割とは、例えば図９（Ａ）に示すように、複数の照射点ＰＪのうち、最も端の照射点ＰＪを仮想的な直線ＩＭで結び、直線ＩＭからの垂直距離が最も長い照射点ＰＪを分割点ＰＪＫとして規定し、その分割点ＰＪＫを基準として２つのグループに分ける処理をいう。

分割点ＰＪＫは、１つのグループを構成する複数の照射点ＰＪを結ぶ仮想線において変曲点となる照射点ＰＪである。そのため、その分割点ＰＪＫを基準として、図９（Ｂ）に示すように、それぞれ直線状に並ぶ２つのグループに分割することができる。このように、対象算出部８６は、グループ分割して、複数の照射点ＰＪを第１グループと第２グループとに分類することができる。なお、グルーピングの方法として、本形態の手法に限らず、その他のアルゴリズムを用いてグルーピングしてもよい。

対象算出部８６は、第１グループ及び第２グループそれぞれの複数の照射点ＰＪについてフィッティング処理を実施する。対象算出部８６は、フィッティング処理を実施した後、地面ＲＳに対する各グループの傾きＫ、及び各グループの重心高さＨを算出する。図９に示す例において、対象算出部８６は、第１グループに係る傾きＫ１及び重心高さＨ１と、第２グループに係る傾きＫ２及び重心高さＨ２とを算出する。

対象算出部８６は、グループの傾斜角度Ｋ及びグループの重心高さＨの少なくとも一方に基づいて、計測対象が地面ＲＳ、地山ＤＳのいずれであるのかを特定する。

対象算出部８６は、例えばグループの傾斜角度Ｋが角度閾値以下であるとき、計測対象は地面ＲＳであると判定する。対象算出部８６は、グループの傾斜角度Ｋが角度閾値以上であるとき、計測対象は地山ＲＳであると判定する。

一般に、地面ＲＳは、水平面とほぼ平行であるため、グループの傾斜角度Ｋが小さく角度閾値以下である場合、そのグループは地面ＲＳであると判定することができる。地山ＤＳの表面は、地面ＲＳに対して傾斜しているため、グループの傾斜角度Ｋが角度閾値以上である場合、そのグループは地山ＤＳであると判定することができる。

なお、対象算出部８６は、グループの重心高さＨが高さ閾値以上である場合、そのグループは地山ＤＳであると判定してもよい。対象算出部８６は、グループの重心高さＨが高さ閾値未満である場合、そのグループは地面ＲＳであると判定してもよい。

図１０は、本実施形態に係るホイールローダ１の制御方法を示すフローチャートであって、レーザレーダ２１による地山ＤＳの計測データに基づいて処理する方法を示す。

ホイールローダ１が作業機１０で地山ＤＳを掘削するために地山ＤＳに向かって前進する掘削作業モードにおいて、レーザレーダ２１は、地山ＤＳを計測する。レーザレーダ２１による地山ＤＳの計測データは、レーザレーダ２１からレーザ光が照射される地山ＤＳの表面の複数の照射点ＰＪのそれぞれまでの距離を含む。レーザレーダ２１による地山ＤＳの計測データは、制御装置８０に出力される。計測データ取得部８１は、レーザレーダ２１から地山ＤＳの計測データを取得する（ステップＳ２２１）。

また、レーザレーダ２１から射出されるレーザ光は、地山ＤＳのみならず、例えば地面ＲＳ又は地山ＤＳの周辺の物体にも照射される。図８を参照して説明したように、対象算出部８６は、照射点ＰＪまでの距離に基づいて、作業機１０を計測した点群データやはずれ値の点群データを除去する（ステップＳ２２２）。

また、図９（Ａ）を参照して説明したように、対象算出部８６は、計測対象を示す照射点ＰＪにおける点群データをグループ分割する。また、図９（Ｂ）を参照して説明したように、対象算出部８６は、分割した各グループについて、地面ＲＳに対するグループの傾斜角度Ｋ、及び地面ＲＳに対するグループの重心高さＨの少なくとも一方に基づいて、地面ＲＳと地山ＤＳとを特定する。

すなわち、対象算出部８６は、グループ分割して、複数の照射点ＰＪにおける点群データを地山グループと地面グループとに分類する（ステップＳ２２３）。

対象算出部８６は、タイヤ６の接地面に基づいて、地面ＲＳの位置を算出する（ステップＳ２２４）。

なお、対象算出部８６は、ステップＳ２２３において分類した地面グループの照射点ＰＪの点群データに基づいて、地面ＲＳの位置を算出してもよい。

地山グループの点群データを直線フィッティングすることによって地山ＤＳの稜線を算出することができる。地山ＤＳの稜線の位置と地面ＲＳの位置とが算出された後、対象算出部８６は、地山ＤＳの稜線と地面ＲＳとの境界ＤＰの位置を算出する（ステップＳ２２５）。

対象算出部８６は、ホイールローダ１から地山ＤＳまでの距離、及び安息角θを算出し、出力する（ステップＳ２２６）。ホイールローダ１から地山ＤＳまでの距離は、バケット１２の先端部１２Ｂから境界ＤＰまでの距離でもよい。

作業機制御部８７は、対象算出部８６により算出された境界ＤＰまでの距離、又は地山ＤＳの安息角θに基づいて、作業機１０を制御する（ステップＳ２２７）。

［効果］
以上説明したように、本実施形態においても、地山ＤＳの三次元データに基づいて作業機１０が制御されることにより、作業機１０は、掘削開始点である境界ＤＰに移動することができる。

地山ＤＳの三次元形状データは、地山ＤＳの安息角を含む。安息角θに応じて、作業機１０を地山ＤＳへ突入させた後の牽引力や作業機１０の上昇速度などを制御することができる。

上述の実施形態においては、ステレオカメラ２２やレーザレーダ２１を用いて地山ＤＳの境界ＤＰまでの距離を求めるので、ホイールローダ１が地山ＤＳから離れている段階から近づきながら正確な距離を求めることができる。そのため、ホイールローダ１が地山ＤＳに到達する前に作業機１０を所望の位置に制御することができるため、余裕をもって作業機１０を制御できる。

［コンピュータシステム］
図１２は、コンピュータシステム１０００の一例を示すブロック図である。上述の制御装置８０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置８０の機能は、プログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、プログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、プログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

制御装置８０を含むコンピュータシステム１０００は、作業機１０を有する掘削機械１に搭載され、作業機１０により掘削される掘削対象の三次元形状を計測する三次元計測装置２０の計測データを取得することと、掘削対象の稜線を特定するとともに、稜線における計測データに基づいて、掘削機械から掘削対象までの距離、又は掘削対象の安息角を算出し出力することと、を実行することができる。

［その他の実施形態］
上述の実施形態においては、ステレオカメラ２２において点群データを用いて、レーザレーダ２１においてはグルーピングにより地山ＤＳの稜線を特定したが、それに限らず、例えば画像認識技術により地山ＤＳの稜線を特定してもよいし、点群データの配置に基づいて例えば人工知能を用いた手法により稜線ＤＳを特定してもよいし、その他アルゴリズムを用いてもよい。例えば、点群データの中から何らかのアルゴリズムに基づいて地面データを特定して除去し、残りのデータを地山データと判断してもよい。

なお、上述の各実施形態において、対象算出部８６は、地山ＤＳのパラメータとして、ホイールローダ１から地山ＤＳまでの距離、および地山ＤＳの安息角を算出したが、それに限らず、その他の地山ＤＳのパラメータを算出し出力してもよい。

なお、上述の実施形態においては、作業機制御部８７は、ホイールローダ１から境界ＤＰまでの距離データに基づいて、作業機１０を制御することとした。対象算出部８６は、三次元計測装置２０の計測データに基づいて、地山ＤＳの安息角θを示す角度データを算出することができる。作業機制御部８７は、角度データに基づいて、作業機１０を制御してもよい。例えば、作業機制御部８７は、地山ＤＰの安息角θが小さい場合、バケット１２の先端部１２Ｂを境界ＤＰから地山ＤＳに進入させ、地山ＤＰの安息角θが大きい場合、バケット１２の先端部１２Ｂを境界ＤＰよりも上の地山ＤＳの斜面から地山ＤＳに進入させてもよい。

上述の実施形態においては、ホイールローダ１に搭載される計測装置が三次元計測装置２０であり、計測データ取得部８１が取得する計測データが作業対象の三次元形状を示す三次元データであることとしたが、これに限定されない。計測装置として、作業対象を計測する三次元計測装置２０のみならず、作業対象を撮影する写真計測装置であるカメラ、及び作業対象の位置を計測する位置計測装置がホイールローダ１に搭載されてもよい。また、計測装置が、掘削物判定用センサを含んでもよい。この場合、計測データ取得部８１が取得する計測データは、作業対象の三次元データのみならず、カメラによって撮影された作業対象の画像データ、位置計測装置によって計測された作業対象の位置データ、及び掘削物判定用センサの検出データの少なくとも一つを含む。

例えば、計測装置として作業対象を撮像するカメラを用いる場合、対象算出部８６は、掘削対象が撮像された画像データを用いて画像認識技術により掘削対象と地面との境界ＤＰの位置を特定し、ホイールローダ１と境界ＤＰまでの距離を算出してもよい。画像認識技術として、公知の画像認識技術を用いて、掘削対象と地面との境界ＤＰの位置を特定することができる。

上述の実施形態においては、ホイールローダ１から作業対象までの距離として、バケット１２の先端部１２Ｂからの距離を例示したが、それに限られず、バケット１２のその他の部位からの距離であってもよいし、ホイールローダ１の任意の部位からの距離でもよい。

また、作業機制御部８７は、作業機１０を制御するとき、地山ＤＳまでの距離に加えて、ホイールローダ１の走行速度を考慮してもよい。

上述の実施形態において、トランスミッション装置３０及び走行装置４は、運転者による走行操作装置４０の操作により作動することとしたが、トランスミッション制御部８８及び走行制御部８９が、地山ＤＳまでの距離及び安息角θに基づいて、トランスミッション装置３０及び走行装置４を自動制御してもよい。

上述の実施形態において、地山ＤＳまでの距離及び安息角θが表示装置に表示されてもよい。表示装置は、運転台３に設けられてもよい。また、地山ＤＳまでの距離及び安息角θを示すデータがホイールローダ１の外部に存在するサーバに送信されてもよい。

なお、上述の実施形態においては、三次元計測装置２０としてレーザレーダ２１及びステレオカメラ２２の両方がホイールローダ１に設けられることとした。レーザレーダ２１及びステレオカメラ２２の一方がホイールローダ１に設けられてもよい。また、三次元計測装置２０は、作業対象の三次元形状及び作業対象との相対位置を計測できればよく、レーザレーダ２１及びステレオカメラ２２に限定されない。

なお、上述の実施形態においては、地山ＤＳまでの距離及び安息角θが算出されることとしたが、地山ＤＳまでの距離及び安息角θのいずれか一方が算出され、その算出結果に基づいて作業機１０が制御されてもよい。

なお、上述の各実施形態において、作業対象は掘削対象に限られず、例えば積込対象、盛土対象、整地対象、排土対象が含まれてもよい。

なお、上述の各実施形態において、ホイールローダ１が作業を実施する作業現場は、鉱山の採掘現場でもよいし、施工現場又は建設現場でもよい。

なお、ホイールローダ１は、除雪作業に使用されてもよいし、農畜産業における作業に使用されてもよいし、林業における作業に使用されてもよい。

なお、上述の実施形態において、バケット１２は、複数の刃を有してもよいし、ストレート状の刃先を有してもよい。

なお、ブーム１１の先端部に連結される作業部材は、バケット１２でなくてもよく、除雪作業に使用されるスノープラウ又はスノーバケットでもよいし、農畜産業の作業において使用されるベールグラブ又はフォークでもよいし、林業の作業において使用されるフォーク又はバケットでもよい。

なお、作業機械は、ホイールローダに限定されず、例えば油圧ショベル又はブルドーザのような作業機を有する掘削機械も含む。

１…ホイールローダ（掘削機械）、２…車体、２Ｆ…車体前部、２Ｒ…車体後部、３…運転台、４…走行装置、４Ａ…駆動装置、４Ｂ…ブレーキ装置、４Ｃ…操舵装置、５…車輪、５Ｆ…前輪、５Ｒ…後輪、６…タイヤ、６Ｆ…前タイヤ、６Ｒ…後タイヤ、９…関節機構、１０…作業機、１１…ブーム、１２…バケット、１２Ｂ…先端部、１３…ブームシリンダ、１４…バケットシリンダ、１５…ベルクランク、１６…リンク、２０…三次元計測装置、２１…レーザレーダ、２２…ステレオカメラ、２２Ａ…第１カメラ、２２Ｂ…第２カメラ、３０…トランスミッション装置、４０…走行操作装置、５０…角度センサ、８０…制御装置、８１…計測データ取得部、８２…記憶部、８６…対象算出部、８７…作業機制御部、８８…トランスミッション制御部、８９…走行制御部、ＢＥ…ベッセル（積込対象）、ＤＳ…地山（掘削対象）、ＦＸ…回転軸、ＬＳ…運搬車両、ＰＪ…照射点、ＲＸ…回転軸、ＲＳ…地面。

Claims (7)

1. 作業機を有する作業機械に搭載され、前記作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得する計測データ取得部と、
   前記作業対象の前記稜線における計測データに基づいて、前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角を算出し出力する対象算出部と、
   を備える作業機械の制御装置。
2. 出力された前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角に基づいて、前記作業機を制御する作業機制御部を備える、
   請求項１に記載の作業機械の制御装置。
3. 前記対象算出部は、フィッティング処理された前記稜線における計測データと、地面の位置データとに基づいて、前記作業機械から前記作業対象と地面との境界までの距離、又は前記作業対象の安息角を算出する、
   請求項１又は請求項２に記載の作業機械の制御装置。
4. 前記対象算出部は、前記計測データをグループにし、地面に対する前記グループの傾斜角度、及び地面に対する前記グループの重心高さの少なくとも一方に基づいて、前記作業対象における稜線の計測データを特定する、
   請求項１から請求項３のいずれか一項に記載の作業機械の制御装置。
5. 作業機を有する掘削機械に搭載され、前記作業機により掘削される地山を計測する計測装置の計測データを取得する計測データ取得部と、
   前記計測データに基づいて、前記掘削機械から前記地山と地面との境界までの距離を算出する対象算出部と、
   前記距離に基づいて前記作業機を制御する作業機制御部と、
   を備える掘削機械の制御装置。
6. 前記計測データ取得部は、撮像装置が前記地山を撮像した画像データを取得し、
   前記対象算出部は、画像認識技術に基づいて前記掘削機械から前記地山と地面との境界までの距離を算出する、
   請求項５に記載の掘削機械の制御装置。
7. 作業機械の作業機により作業される作業対象の稜線を含む三次元形状を計測する三次元計測装置の計測データを取得することと、
   前記作業対象の前記稜線における計測データに基づいて、前記作業機械から前記作業対象までの距離、又は前記作業対象の安息角を算出し出力することと、
   を含む作業機械の制御方法。

Images