JP2015125760A - 鉱山用作業機械 - Google Patents

Abstract

【課題】一部が隠れた場合であっても車両を検出でき、かつ車両までの距離を計測可能な鉱山用作業機械を提供する。
【解決手段】立体的な画像情報が検出可能な外界環境検出部１２と、外界環境検出部１２にて検出した画像情報から車両の画像局所特徴を検出する画像局所特徴検出部１４と、画像局所特徴検出部１４にて検出した画像局所特徴情報に基づいて、画像情報中に検出された物体が、車両か否かを判定する車両判定部１７と、車両判定部１７にて車両と判定された場合に、外界環境検出部１２にて検出した画像情報に基づいて、画像情報中に検出された車両までの車間距離を検出する車間距離検出部１８とを備えた構成である。
【選択図】図３

Description

本発明は、例えばオフロードダンプトラック等の鉱山用作業機械に関する。

一般に、鉱山においては、土砂の採掘作業および運搬作業として油圧ショベルやダンプトラックなどの建設機械が用いられている。鉱山に用いられる建設機械としては、安全性や低コスト化の観点から無人化が求められる。ダンプトラックにおいては、単位時間当たりの土砂の運搬量が採掘の進捗度に直結するため、効率の良い運用が求められる。したがって、土砂を効率良く採掘現場の外に大量に運搬するためには、連続運転可能な自律走行式のダンプトラックを用いた鉱山システムが必要とされている。

ところが、ダンプトラックを走行させる鉱山の走行路はオフロードであって悪路が多いため、ダンプトラックを自律走行させて無人運転させることにより、他車両等の障害物との衝突が懸念される。仮に、走行路上に障害物が生じ、自律走行式の無人のダンプトラックが障害物と接触して停止した場合には、鉱山の運行を長時間に亘って停止させてしまう。よって、自律走行式のダンプトラックの信頼性を高めるためには、前方車両や走行路上の障害物を早期に検知して、前方車両の追従走行や障害物の回避走行を行わせることが可能な信頼性の高い障害物検知システムが必要となる。

従来、この種の前方車両および障害物検知システムとしては、ミリ波レーダ、レーザセンサまたはステレオカメラ等の障害物検知装置が用いられている。これらの障害物検知装置のうち、ミリ波レーダおよびレーザセンサは、検知範囲が狭く、走行路面や路肩障害物と車両とを区別できないため、登坂時やカーブ走行時などに利用できず、前方車両を認識できる場面が限られてしまう。よって、ミリ波レーダおよびレーザセンサ単体では、自律走行式のダンプトラック用の障害物検出装置としての適用が容易ではない。これに対し、ステレオカメラは、三次元形状を計測できるため、走行路面と障害物とを容易に区別できる。さらに、ステレオカメラは、監視装置や自動車用の障害物検知装置として既に実用化されており、自律走行式のダンプトラック用の障害物検出装置として適している。

一方、自動車用の車両検知システムとしては、ステレオカメラの視差情報と見え情報とを用いた構成が、例えば特許文献１に開示されている。この特許文献１には、物体のエッジ情報を用いて探索範囲を限定し、高精度な距離検出を行うことでステレオカメラの測距精度を向上させている。

特開２００９−１４４４４号公報

上記のように、ステレオカメラは、ミリ波レーダおよびレーザセンサに比べ、前方車両や、走行路面と障害物とを明瞭に区別できるため、自律走行式のダンプトラック用の障害物検出装置として適している。

しかしながら、自律走行式のダンプトラックが運用される鉱山は、ダンプトラックの走行路がオフロードであるため、ステレオカメラにて前方車両を検知する際に、検出する前方車両の一部分が、例えば自車両又は他車両の走行等にて巻き上げられた砂埃によって、ステレオカメラの視界から検出対象である前方車両の全体または一部が隠れてしまう状況が考えられる。特に、単にステレオカメラを用いて前方車両を検出するシステムにおいては、前方車両の一部が砂埃で隠れてまった場合に、前方車両として検出するために必要な情報が不足してしまい、前方車両を検出できないおそれがある。

一方、ステレオカメラは、左右のカメラが撮像した見え画像と、その左右の見え画像の見え方の違い（差分）を利用して、カメラと物体との距離を算出した視差画像を取得できる。このため、視差画像に加え見え画像を利用することにより、隠れてしまった前方車両を検知できるものの、これら視差画像と見え画像とを利用している上記特許文献１に記載の車両検知システムにおいては、測距精度を向上させるためだけに視差画像と見え画像とを用いているものに過ぎず、例えば、車両の一部が砂埃等で隠れた場合の車両検知には応用できない。

本発明は、上述した従来技術における実状からなされたもので、その目的は、一部が隠れた場合であっても所定の物体を検出でき、所定の物体までの距離を計測可能な鉱山用作業機械を提供することにある。

この目的を達成するために、本発明に係る鉱山用作業機械は、三次元の画像情報が検出可能な画像検出部と、前記画像検出部にて検出した画像情報から、予め定めた所定の物体の局所的な特徴部を検出する画像局所特徴検出部と、前記画像局所特徴検出部にて検出した前記局所的な特徴部情報に基づいて、前記画像情報中に検出された物体が、前記所定の物体か否かを判定する物体判定部と、前記物体判定部にて前記所定の物体と判定された場合に、前記画像情報に基づいて、前記画像情報中に検出された前記物体までの距離情報を取得する距離情報取得部と、を備えたことを特徴としている。

このように構成した本発明は、所定の物体の局所的な特徴部（例えば、ダンプトラック等の車両の部分画像やエッジ画像の一部）を検出し、この検出した局所的な特徴部に基づいて、画像情報中に検出された物体が、所定の物体か否かを判定する。このため、例えば砂埃、汚れ、積荷の変化、接近し過ぎて所定の物体の一部のみの画像情報の場合、あるいは壁等によって、所定の物体の一部が隠れてしまい欠けてしまった画像情報が取得された場合であっても、所定の物体を正確に検出することができる。また、所定の物体の正確な検出が可能になることから、この所定の物体までの距離を正確に計測することができる。よって、本発明は、鉱山のような特殊な環境においても、所定の物体の存在とその距離を正確に取得することができるから、例えば、前方車両や走行路上の障害物を早期に検知して、前方車両の追従走行や障害物の回避走行を行わせることが可能な信頼性の高い自律走行式の鉱山用作業機械を実現することが可能となる。

また本発明は、上記発明において、前記画像情報中の前記所定の物体の少なくとも一部に相当する検出対象群を特定する検出対象特定部を備え、前記画像局所特徴検出部は、前記検出対象特定部にて特定された検出対象群中から、前記所定の物体の局所的な特徴部を検出することを特徴としている。

このように構成した本発明は、画像情報全体の中で、所定の物体の少なくとも一部に相当する検出対象群から所定の物体の局所的な特徴部を検出するように、検出対象を絞っている。このため、画像局所特徴検出部による検出対象情報が少なくなるため、物体判定部による所定の物体の判定をより効率良くかつ精度良くできる。

また本発明は、上記発明において、前記所定の物体の特徴部情報を記憶した特徴記憶部を備え、前記物体検出部は、前記特徴記憶部に記憶させた特徴部情報と、前記画像局所特徴検出部にて検出した前記局所的な特徴部情報とに基づいて、前記画像情報中に検出された物体が、前記所定の物体か否かを判定することを特徴としている。

このように構成した本発明は、画像局所特徴検出部にて検出した局所的な特徴部情報に加え、特徴記憶部に記憶させた所定の物体の特徴部情報に基づいて、物体判定部にて所定の物体を判定する。したがって、物体判定部による所定の物体の判定を、特徴記憶部に記憶させた特徴部情報にあてはめる等して対比させて行うことができるから、物体判定部による所定の物体の判定をより精度良くできる。

また本発明は、上記発明において、前記所定の物体は車両であり、前記画像情報中の前記車両が走行可能な領域を検出する走行領域検出部と、前記走行領域検出部にて検出した走行可能領域中の、前記車両が存在する可能性のある領域を算出する車両存在可能領域算出部と、を備え、前記検出対象特定部は、前記物体存在可能領域算出部にて算出した存在可能領域から、前記画像情報中の前記検出対象群を特定することを特徴としている。

このように構成した本発明は、車両が存在する可能性のある領域内で車両の検出対象群を特定するようにしている。したがって、検出対象群の特定から、局所的な特徴部の検出、画像情報中から車両を判定するまでの処理を簡略化できるため、所定の物体として車両を判定する場合に、効率良くかつ精度良く行うことができる。

また本発明は、上記発明において、前記物体判定部にて前記画像情報中に検出された物体が前記所定の物体と判定された場合に、前記画像情報中の前記所定の物体と判定された領域の特徴情報を保存する物体特徴保存部を備え、前記物体判定部は、前記物体特徴保存部に保存された前記特徴情報と、前記距離情報取得部にて取得した距離情報と、前記画像局所特徴検出部にて検出した前記局所的な特徴部情報とに基づいて、前記画像情報中に検出された物体が、前記所定の物体か否かを判定することを特徴としている。

このように構成した本発明は、距離情報取得部にて取得した距離情報、および画像局所特徴検出部にて検出した局所的な特徴部情報に加え、物体特徴保存部に保存された特徴情報に基づいて、画像情報中に検出された物体が所定の物体かを物体判定部にて判定する。すなわち、従前に物体判定部にて画像情報中に検出された物体が所定の物体と判定されて物体特徴保存部に保存された、所定の物体の特徴情報を考慮しながら、物体判定部にて所定の物体か否かを判定できる。よって、所定の物体の特徴情報を更新しながら、更新した特徴情報に基づき、物体判定部にて所定の物体か否かを判定できるから、物体判定部による所定の物体か否かの判定をより精度良くできる。

本発明は、画像検出部にて検出した三次元の画像情報から所定の物体の局所的な特徴部を画像局所特徴検出部にて検出し、この検出した局所的な特徴部情報に基づいて、画像情報中に検出された物体が、所定の物体か否かを物体判定部にて判定するとともに、物体判定部にて所定の物体と判定した場合に、画像検出部にて検出した画像情報に基づいて、画像情報中に検出された物体までの距離情報を距離情報取得部にて取得する構成にしている。この構成により本発明は、例えば砂埃、汚れ、積荷の変化、接近し過ぎて所定の物体の一部のみの画像情報の場合、あるいは壁等によって、所定の物体の一部が隠れてしまい欠けてしまった画像情報が取得された場合であっても、所定の物体を正確に検出することができる。また、所定の物体の正確な検出が可能になることから、この所定の物体までの距離を正確に計測することができる。よって、本発明は、鉱山のような特殊な環境においても、所定の物体の存在とその距離を正確に取得することができる。そして、前述した以外の課題、構成および効果は、以下の実施形態の説明より明らかにされる。

本発明の第１実施形態に係る鉱山用作業機械であるダンプトラックを示す概略図である。 上記鉱山用作業機械が用いられる鉱山システムを示す概略図である。 上記鉱山用作業機械に搭載した前方車両検知システムを示す概略図である。 上記鉱山用作業機械にて前方車両を計測する状況を示す説明図である。 上記鉱山用作業機械にて砂埃発生時に前方車両を計測する状況を示す説明図である。 上記鉱山用作業機械の前方車両検知システムの車両判定部の動作を示す説明図である。 上記鉱山用作業機械の前方車両検知システムによる車両検知処理を示すフローチャートである。 上記鉱山用作業機械の外界環境検出部にて砂埃発生時に前方車両を検出した画像を示す説明図である。 本発明の第２実施形態に係る鉱山用作業機械に搭載した前方車両検知システムを示す概略図である。 上記鉱山用作業機械の前方車両検知システムによる車両検知処理を示すフローチャートである。 上記鉱山用作業機械の積荷を積んだ状態を示す概略図である。 本発明の第３実施形態に係る鉱山用作業機械に搭載した前方車両検知システムを示す概略図である。 上記鉱山用作業機械の外界環境検出部にて砂埃発生時に前方車両を側方から検出した画像を示す説明図である。 本発明の第４実施形態に係る鉱山用作業機械である油圧ショベルを示す概略図である。 本発明の第５実施形態に係る鉱山用作業機械であるグレーダを示す概略図である。

以下、本発明に係る鉱山用運搬機械に用いられる前方車両検知システムを実施するための形態を図に基づいて説明する。

［第１実施形態］
本第１実施形態は、ステレオカメラ装置１１を用いた実施形態である。図１は、本発明の第１実施形態に係る鉱山用作業機械として、鉱山用の車両１であるオフロードダンプトラックを示す概略図である。図２は、車両１が用いられる鉱山システムを示す概略図である。図３は、車両１に搭載した前方車両検知システム１０を示す概略図である。

車両１は、図２に示すように、鉱山に予め設けられた走行路である路面Ｒを自律運転で走行可能な無人走行式とされている。鉱山には、車両１との間で所定の情報を送受信するための情報センタ３が設置されているとともに、車両１に土砂等の積載物を積載させるための油圧ショベル４等が用いられている。

車両１は、図１に示すように、車両本体１ａと、車両本体１ａの前側上方に設けられた運転席１ｂと、車両本体１ａ上に起伏可能に設けられた作業部としての荷台であるベッセル１ｃと、車両本体１ａを走行可能に支持する左右の前輪１ｄおよび後輪１ｅとを備えた構成とされている。車両本体１ａの前側のデッキ１ｆ上には、車両本体１ａの周囲、特に走行方向前方である外界環境を検出するためのステレオカメラ装置１１が取り付けられている。車両１は、ステレオカメラ装置１１にて認識した路面Ａ上の障害物、特に先行して前方を走行する他車両１を検出して回避しながら走行する。

ステレオカメラ装置１１は、一対のカメラ１１ａ，１１ｂを備え、これら２台のカメラ１１ａ，１１ｂを用いて外界の立体的な三次元の画像情報を取得する。この三次元の画像情報としては、２台のカメラにて検出した二次元の画像（見え画像）情報の差分から算出される視差画像情報と、これら見え画像中の各対象までの距離情報が含まれる。ステレオカメラ装置１１は、車両本体１ａの前側の左右方向の中央部である中心位置に、左右のカメラ１１ａ，１１ｂ間の中心が位置するように取り付けられている。これらカメラ１１ａ，１１ｂの焦点距離やレンズの歪みなどの内部パラメータ、および互いの位置関係および車体への設置位置を示す外部パラメータは、互いに同期されている。これらカメラ１１ａ，１１ｂは、各光軸が平行となるように車両１前方とされており、これら各カメラ１１ａ，１１ｂの計測領域１１ｃ，１１ｄの一部が重なり合うように設置されている。

＜前方車両検出システム＞
前方車両検知システム１０は、画像解析装置としてのステレオカメラシステムであって、上記ステレオカメラ装置１１を備えた外界環境検出部１２と、砂埃検出部１３と、視差グルーピング部１４と、画像局所特徴検出部１５と、車両特徴蓄積部１６と、車両判定部１７と、車両距離検出部１８とを備えている。

外界環境検出部１２は、各カメラ１１ａ，１１ｂにて検出される画像情報として、情報を有する視差画像と、視差画像中の物体の色もしくは輝度情報を有する見え画像とを取得する画像検出部である。外界環境検出部１２は、前方車両検知システム１０への電源をオンオフさせるためのスイッチ（図示せず）がオンされた場合に、初期化処理として、各カメラ１１ａ，１１ｂにて見え画像を取得可能としつつ、各カメラ１１ａ，１１ｂのキャリブレーション（較正）データ等を読み込む。砂埃検出部１３は、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて検出した画像情報から外界環境検出部１２にて取得した見え画像に基づいて、これらカメラ１１ａ，１１ｂの前方に存在する砂埃Ｄの発生を検知する。

視差グルーピング部１４は、ステレオカメラ装置１１にて検出した画像情報から外界環境検出部１２にて取得した中の視差画像に基づいて、距離の近い視差を同一物体の視差と判断する検出対象特定部である。具体的に、視差グルーピング部１４は、予め定めた所定サイズのグリッドサイズに視差画像を分割した後、隣り合うグリッド、または距離が設定された任意の閾値以下であり、かつ視差の代表値が近い場合に、それらグリッドは同一物体を示しているとして、車両１の少なくとも一部に相当する検出対象と判断し、同じ視差グループ（検出対象群）に分類する。さらに、視差グルーピング部１４は、視差グループと位置的に対応する見え画像の領域を算出し、この算出した領域を、画像局所特徴を検出する範囲である対象領域群Ｃとする。

画像局所特徴検出部１５は、外界環境検出部１２にて取得した見え画像に基づいて、所定の物体、例えば前方を走行する車両１特有の局所的な特徴部である画像局所特徴を検出する。ここで、画像局所特徴とは、車両１の特徴を示す部分画像、エッジ画像の一部、または画像の一部から算出できる多次元の特徴量を示し、例えば、SIFT（Scale-Invariant Feature Transform）特徴、SURF（Speed-Up Robust Features）特徴、HOG（Histograms of Oriented Gradients）特徴、Haar-likt特徴、あるいはEdgelet特徴等であって、予め定められている。具体的に、画像局所特徴検出部１４は、視差グルーピング部１４にて特定された対象領域群Ｃ中から、画像局所特徴の検出を行う。

車両特徴蓄積部１６は、いわゆるメモリであって、ステレオカメラ装置２１にて車両１を撮像した際に取得できる、車両１特有の画像局所特徴に関する画像局所特徴情報（ダンプデータ）が記憶されて保存されている特徴記憶部である。車両判定部１７は、車両特徴蓄積部１６に蓄積されている画像局所特徴情報と、画像局所特徴検出部１５にて検出した画像局所特徴とを比較し、これら画像局所特徴情報中の画像局所特徴が同一か否かをマッチングする。すなわち、車両判定部１７は、前処理として画像局所特徴検出部１３にて検出した画像局所特徴と、車両特徴蓄積部１６に保存されている画像局所特徴をマッチングする。

具体的には、図７に示すように、各グループが有する画像局所特徴のうちの何点が、車両特徴蓄積部１６に記憶されている車両１の画像局所特徴と一致するか否かを判定し、予め設定した閾値以上の一致した画像局所特徴を判定した場合に、そのグループを車両１と判断する。このとき、油圧ショベルまたは他の建設機械を検出する場合も同様である。なお、ある特定の画像局所特徴Ａが車両１の上方に存在し、ある特定の画像局所特徴Ｂが画像局所特徴Ａの右隣に存在する場合に車両１と判断するといった、画像局所特徴Ａ，Ｂに互いの幾何学的構造に関する情報を持たせてもよい。

車間距離検出部１８は、車両判定部１７にて車両１と判定したグループに対する、そのグループまでの相対的な距離を算出する距離情報取得部である。すなわち、車間距離検出部１８は、車両判定部１７にて判定したグループの視差画像に基づいて、これらグループの視差の代表値が計算され、前方の車両１までの車間距離が算出される。

＜動作＞
次に、上記第１実施形態に係る前方車両検出システム１０の処理について、図４から図７を参照して説明する。図４は、車両１にて前方の他車両１を計測する状況を示す説明図である。図５は、車両１にて砂埃発生時に前方の他車両１を計測する状況を示す説明図である。図６は、車両１の前方車両検知システム１０の車両判定部１７の動作を示す説明図である。図７は、車両１の前方車両検知システム１による車両検知処理を示すフローチャートである。図８は、車両１の外界環境検出部１２にて砂埃発生時に前方の他車両１を検出した画像を示す説明図である。

まず、前方車両検知システム１０の電源がスイッチにてオンされると、外界環境検出部１２にて初期化処理が行われる（ステップＳ１、以下単に「Ｓ１」等と示す。）。Ｓ１の初期化処理では、ステレオカメラ１１の各カメラ１１ａ，１１ｂにて見え画像を取得可能とし、これら各カメラ１１ａ，１１ｂのキャリブレーションデータ等の調整用データを読み込み、これら各カメラ１１ａ，１１ｂにて検出するカメラ画像から、図６に示す視差画像を算出可能とする。

この後、外界環境検出部１２により、各カメラ１１ａ，１１ｂにて検出したカメラ画像から視差画像が算出される（Ｓ２）。次いで、このＳ２にて算出した視差画像が、視差グルーピング部１４にてグルーピング処理される（Ｓ３）。このＳ３のグルーピング処理は、予め定めたグリッドサイズに視差画像を分割する。その後、隣り合うグリッド、または距離が設定された任意の閾値以下であり、かつ視差の代表値が近い場合に、それらグリッドは同一物体を示しているとして、同じ視差グループに分類する。ここで、視差の代表値を選定する方法としては、有効視差の平均値を取る方法や、有効視差の中央値を取る方法などがある。

次いで、砂埃検出部１３により、カメラ画像から砂埃Ｄが検出される（Ｓ４）。ここで、図５および図８に示すように、自車両１の前方に砂埃Ｄが発生している場合は、見え画像内の砂埃Ｄを撮影している領域の輝度値または色がほぼ一定となり、視差画像においては、砂埃Ｄを撮影している領域の視差値がほぼ一定になる性質がある。そこで、Ｓ４の砂埃検出においては、予め定めた任意のサイズ以上に亘って連続して、見え画像内の輝度値または色が一定の場合、または視差画像内の視差値がほぼ一定という特徴が検出された場合に、砂埃検出部１３にて砂埃が検出されたとし、それ以外の場合は、砂埃Ｄが検出されないとする（Ｓ５）。図４に示す状態であって、Ｓ５にて砂埃Ｄが検出されない（Ｎｏの）場合は、後述するＳ１１へ進む。

一方、Ｓ５にて砂埃Ｄが検出された（Ｙｓｅの）場合は、上記Ｓ３でグルーピング処理した各視差グループから、予め定めた任意の基準に基づいて算出された視差画像内の領域に存在し、かつ予め設定した閾値以上の大きさを有するグループを算出してから、図６に示すように、このグループと位置的に対応する見え画像の領域を算出し、この算出した領域を、画像局所特徴を検出する範囲である対象領域群Ｃと特定する（Ｓ６）。

この後、Ｓ６にて算出された見え画像中の対象領域群Ｃに対して、画像局所特徴検出部１４にて画像局所特徴を算出して検出する（Ｓ７）。すなわち、Ｓ７において画像局所特徴を算出する領域は、上記Ｓ６にて定めた対象領域Ｃである。また、Ｓ７で検出する画像局所特徴としては、図６に示すように、任意のサイズに格子状に区切ったエッジ画像Ｅに加え、任意のサイズに格子状に区切った画像、あるいは画像の一部から算出可能な多次元特徴量であるSIFT特徴、SURF特徴、HOG特徴、Haar-like特徴、Edgelet特徴、またはこれらに準ずるものである。

次いで、図６に示すように、Ｓ７にて検出した画像局所特徴と、車両情報蓄積部１６に記憶させた画像局所特徴情報中の画像局所特徴とを比較し、これら画像局所特徴の一致点の個数が車両判定部１７にて算出される（Ｓ８）。そして、Ｓ８にて算出した一致の個数が、予め定めた所定の閾値を越えているかどうかが車両判定部１７にて判断される（Ｓ９）。Ｓ９により、一致した特徴の個数が閾値を越えていると判断された（Ｙｅｓの）場合は、その一致した特徴の個数を有するグループを、前方を走行する車両１と判定する（Ｓ１０）。一方、Ｓ９により、一致した特徴の個数が閾値を越えていないと判断された（Ｎｏの）場合は、本処理を終了させる。

ここで、図４に示す状態であって、上記Ｓ５にて砂埃Ｄが検出されない（Ｎｏの）場合は、上記Ｓ３にてグルーピング処理された視差グループ中で任意のサイズを有するものを、前方を走行する車両１と判定する（Ｓ１１）。そして、上記Ｓ９およびＳ１０にて車両１と判定したグループの視差画像に基づき、車間距離検出部１８にて距離情報が算出され、これらグループの視差の代表値が計算され、判定した車両１までの車間距離が算出される（Ｓ１２）。なお、グループの視差の代表値を算出する方法としては、グループの平均値を取る方法、グループの中央の値を取る方法、またはグループのうちの最近接の距離を算出する方法などがある。

以上により、上記第１実施形態に係る車両１の前方車両検出システム１０においては、ステレオカメラ１１２左右のカメラ１１ａ，１１ｂにて検出したカメラ画像から、外界環境検出部１２にて視差画像と見え画像とが算出される。このため、この見え画像から、車両１特有の画像局所情報を画像局所特徴検出部１５にて検出でき、画像局所特徴検出部１５にて検出した画像局所特徴に基づくことにより、見え画像中の物体が、車両１か否かを車両判定部１７にて判定できる。さらに、物体判定部１７にて車両１と判定した場合に、外界環境検出部１２にて検出した視差画像に基づき、見え画像中に検出された車両１までの車間距離を車間距離検出部１８にて算出できる。

したがって、ステレオカメラ１１の各カメラ１１ａ，１１ｂから外界環境検出部１２にて検出した視差画像および見え画像に基づいて、車両１特有の画像局所特徴を検出できることにより、例えば砂埃、汚れ、積荷の変化、接近し過ぎて所定の物体の一部のみの画像情報の場合、あるいは壁等によって、前方の他車両１の一部が隠れてしまった場合であっても、車両１の隠れていない部分の画像局所特徴を利用することによって、前方の他車両１を検出でき、この他車両１までの車間距離を計測できる。すなわち、ステレオカメラ１１の各カメラ１１ａ、１１ｂにて検出した視差画像と見え画像とから得られた情報を組み合わせて利用することにより、例えば砂埃発生時に一部が隠れてしまった場合においても、前方の他車両１を検出でき、この他車両１までの車間距離を正確に計測できる。

さらに、視差グルーピング部１４にてグルーピング処理した各視差グループから、視差画像内の領域に存在し、かつ所定の閾値以上の大きさを有するグループを算出してから、このグループと位置的に対応する見え画像の領域を算出し、この算出した領域を、画像局所特徴を検出する範囲である対象領域群Ｃとしている。したがって、この対象領域群Ｃについて、画像局所特徴検出部１５にて画像局所特徴を検出することにより、見え画像中に検出された物体が、他車両１か否かを車両判定部１７にて確実に判定できる。すなわち、視差グルーピング部１４による対象領域群Ｃの特定により、画像局所特徴検出部１５にて検出する見え画像中の検出範囲を特定でき、検出範囲を狭くできる。よって、画像局所特徴検出部１５による検出対象情報を少なくできるから、車両判定部１７による車両１か否かの判定をより効率良くかつ精度良くできる。

また、車両判定部１７にて見え画像中の物体が車両１か否かを判定する場合に、画像局所特徴検出部１５にて検出した画像局所特徴と、車両情報蓄積部１６に記憶させた画像局所特徴情報中の画像局所特徴とを比較し、これら画像局所特徴の一致点の個数を算出し、算出した一致の個数が、予め定めた閾値を越えている場合に、その一致した個数を有するグループを、前方の車両１とするようにしている。この結果、車両特徴蓄積部１６に記憶させた画像局所特徴情報中の画像局所特徴にあてはめる等して対比させることによって、車両判定部１７による車両１か否かの判定ができるため、この車両判定部１７による車両１か否かの判定をより精度良くできる。よって、前方車両１や路面Ｒ上の障害物を早期に検知して、前方車両１の追従走行や障害物の回避走行を行わせることが可能な信頼性の高い自律走行式の車両１を実現できる。

［第２実施形態］
図９は、本発明の第２実施形態に係る車両１に搭載した前方車両検知システム１０Ａを示す概略図である。本第２実施形態が前述した第１実施形態と異なるのは、第１実施形態に対し、第２実施形態は、走行路面推定部２１、前方車両特徴一時蓄積部２２および車両存在可能領域算出部２３を備えた点である。なお、本第２実施形態において、第１実施形態と同一又は対応する部分には同一符号を付している。

＜構成＞
本第２実施形態において、走行路面推定部２１は、自車両１および他車両１が走行可能な路面領域（走行路面領域）を判定するための走行領域検出部である。走行路面推定部２１は、外界環境検出部１２にて検出した視差画像および見え画像に基づいて、これら視差画像および見え画像における画像情報中の走行路面領域を算出する。具体的に、走行路面推定部２１は、視差グルーピング部１４にてグルーピング処理した各視差グループから、路面Ｒが平面で構成されているとの仮定に基づき、例えばＲＡＮＳＡＣ（Random sample consensus）やハフ（Hough）変換等を用い、路面Ｒの上方に存在する視差のグループ（路面上方視差グループ）を、視差画像中の平面領域として算出し、その平面領域を路面領域と推定する。

前方車両特徴一時蓄積部２２は、車両判定部１７にて前方を走行する他車両１を検出した場合に、画像局所特徴検出部１５にて検出した画像局所特徴を一時的に保存させための前方車両特徴蓄積部である。前方車両特徴一時蓄積部２２に保存させた画像局所特徴に関する画像局所特徴一時情報は、車両特徴蓄積部１６に記憶されている画像局所特徴情報と、画像局所特徴検出部１５にて検出した画像局所特徴とによる車両判定部１７での比較の際に用いられる。

車両存在可能領域算出部２３は、走行路面推定部２１にて推定した路面領域と、視差グルーピング部１４にてグルーピング処理した視差グループ情報とから、車両１が存在する可能性のある領域（車両存在可能領域）を算出する。車両存在可能領域算出部２３は、車両判定部１７にて車両１を判定する領域（判定エリア、検索範囲）をより特定させて狭くする。

＜動作＞
次に、上記第２実施形態に係る前方車両検出システム１０Ａの処理について、図１０を参照して説明する。図１０は、車両１の前方車両検知システム１０Ａによる車両検知処理を示すフローチャートである。図１１は、車両１の積荷を積んだ状態を示す概略図である。ここで、本前方車両検出システム１０Ａによる処理は、上記第１実施形態に係る前方車両検出システム１０のうちのＳ１〜Ｓ５、Ｓ７、Ｓ９〜Ｓ１２が同一である。

Ｓ５にて砂埃Ｄが検出された（Ｙｅｓの）場合は、Ｓ３でグルーピング処理した各視差グループから、予め定めた任意の基準に基づいて算出された視差画像内の領域に存在し、かつ予め設定した閾値以上の大きさを有するグループを算出するとともに、路面Ｒの上方に存在する路面上方視差グループを走行路面推定部２１にて求め、この路面上方視差グループと位置的に対応する見え画像の平面領域を算出し、この平面領域を路面Ｒ領域と推定する。そして、この路面領域と、視差グルーピング部１４にてグルーピング処理した視差グループ情報とから、車両１が存在する可能性の高い車両存在可能領域を車両存在可能領域算出部２３にて算出し、この車両存在可能領域を、画像局所特徴を検出する範囲である対象領域群Ｃとする（Ｓ２１）。

一方、Ｓ１１にて前方を走行する他車両１を検出できたかどうかが判定される（Ｓ２２）。Ｓ２２にて他車両１を検出できたと判定した（Ｙｅｓの）場合は、上記Ｓ１１にて判定した車両１が属する視差グループ中の任意のサイズ中の画像局所特徴が、画像局所特徴一時情報として前方車両特徴一時蓄積部２２に保存される（Ｓ２３）。また、上記Ｓ２２にて他車両１を検出できないと判定した（Ｎｏの）場合は、本処理を終了する。

Ｓ２３にて前方車両特徴一時蓄積部２２に蓄積された画像局所特徴一時情報は、Ｓ７にて検出した画像局所特徴、および車両情報蓄積部１６に記憶されている画像局所特徴情報中の画像局所特徴と比較され、これら画像局所特徴の一致点の個数が算出される（Ｓ２４）。この後、Ｓ２４にて算出した一致の個数が、予め定めた閾値を越えているかどうかが、Ｓ９にて判断される。

以上の結果、本第２実施形態においては、上記第１実施形態にて奏し得る作用効果に加え、走行路面推定部２１にて車両１が走行可能な路面領域を推定した後、走行路面推定部２１にて推定した路面領域と、視差グルーピング部１４にてグルーピング処理した視差グループ情報とから、車両１が存在する可能性の高い車両存在可能領域を算出し、この車両存在可能領域を、画像局所特徴を検出する範囲である対象領域群Ｃとしている。この結果、車両１の画像局所特徴は、対象領域群Ｃ中に存在することとなるため、この対象領域群Ｃについてのみ、画像局所特徴検出部１４にて車両１の画像局所特徴を検出すれば足りる。

よって、画像局所特徴検出部１４にて検出する画像情報中の検出範囲を、車両１が存在する可能性という観点から特定して狭くでき、画像局所特徴検出部１４による検出対象情報をより少なくできるから、車両判定部１６による車両１か否かの判定をより効率良くかつ精度良くできる。言い換えると、車両判定部１７にて車両１を判定する際の判定エリア、すなわち探索範囲をより特定させて限定でき狭くできる。よって、車両判定部１７での検出精度をより向上できるとともに、検出対象を少なくできるため検出誤差を低下できる。

また、車両１の主な作業内容が土砂の運搬作業であるため、図１１に示すように、車両１のベッセル１ｃに大量の土砂を積荷Ｓとして積載させた場合には、車両特徴蓄積部１６に記憶させている画像局所特徴では、個々の車両１が有する個体差を考慮できない可能性がある。そこで、上記第２実施形態においては、砂埃検出部１３にて砂埃Ｄが検出されない状況で、車両判定部１７にて車両１を検出した場合に、この車両１の画像局所特徴を、前方車両特徴一時蓄積部２２に保存する。この結果、砂埃検出部１３にて砂埃Ｄが検出され、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて車両１の一部が砂埃にて遮られてしまった状況においても、前方車両特徴一時蓄積部２２に保存している画像局所情報を利用することによって、車両検出部１７による車両１の検知が可能となる。

さらに、従前に物体判定部１７にて車両１と判定され前方車両特徴一時蓄積部２２に蓄積された車両１の画像局所特徴情報を考慮しながら、車両判定部１７にて車両１の判定ができるため、他車両１の画像局所特徴情報を更新しながら、更新した画像局所特徴情報に基づき、車両判定部１７にて車両１を判定できる。よって、例えば砂埃Ｄが発生する直前の他車両１情報を前方車両特徴一時蓄積部２２に蓄積でき、この前方車両特徴一時蓄積部２２に蓄積させた他車両１の画像局所特徴を、その後の車両判定部１７での車両判定に利用することにより、車両判定部１７による車両１の判定をより精度良くできる。さらに、例えば異なる画像局所特徴を有する車両１毎の個体差を考慮等した車両１の検知が可能となるため、前方を走行する車両１がいずれの車両１かの特定も可能となる。

［第３実施形態］
図１２は、本発明の第３実施形態に係る車両１に搭載した前方車両検知システム１０Ｂを示す概略図である。図１２は、車両１の外界環境検出部１２にて砂埃Ｄ発生時に前方車両１を側方から検出した画像を示す説明図である。図１３は、車両１の外界環境検出部１２にて砂埃Ｄ発生時に前方車両１を側方から検出した画像を示す説明図である。本第３実施形態が前述した第１実施形態と異なるのは、第１実施形態に対し、第３実施形態は、車両１の車体姿勢を考慮した車両特徴蓄積部１６としている点である。なお、本第３実施形態において、第１実施形態と同一又は対応する部分には同一符号を付している。

本第３実施形態において、車両特徴蓄積部１６には、図１２に示すように、例えば車両１の後方、側方（横向き）および前方等の車両１の姿勢毎の画像局所特徴と、これら画像局所特徴毎の車両１の重心点（積荷を除いた車両１自体の重心点）からの幾何学的な位置に関する画像局所特徴情報が記憶されて蓄積されている。車両判定部１７は、前方を走行する他車両１の判定に加え、車両特徴蓄積部１６に蓄積されている画像局所特徴情報中の車両１の姿勢毎の画像局所特徴にあてはめる等して、判定した他車両１の姿勢を判定する。

さらに、車間距離算出部１８は、車両特徴蓄積部１６に蓄積した画像局所特徴情報中の画像局所特徴と、これら画像局所特徴毎の重心点からの位置に基づいて、車両判定部１７にて判定した車両１の画像局所特徴毎の車間距離を算出する。また同時に、車間距離算出部１８は、車両特徴蓄積部１６に蓄積した画像局所特徴情報中の画像局所特徴のうちの少なくとも２以上の画像局所特徴が、車両判定部１７での比較にて一致した場合に、これら一致した画像局所特徴の幾何学的な位置関係から、車両１の重心点を算出し、この算出した重心点からの距離を車間距離とする。

以上により、本第３実施形態においては、上記第１実施形態にて奏し得る作用効果に加え、車両１の姿勢毎の画像局所特徴に関する画像局所特徴情報を車両特徴蓄積部１６に記憶させ、この車両特徴蓄積部１６に蓄積されている画像局所特徴情報中の車両１の姿勢毎の画像局所特徴に基づき、車両判定部１７にて他車両１の姿勢を判定する。この結果、図１３に示すように、前方の路面Ｒがカーブしている状況で、前方を走行する他車両１が旋回運動され、この他車両１の側方の一部のみがステレオカメラ装置１１の各カメラ１１ａ、１ｂにて検出された場合であっても、車両特徴蓄積部１６に蓄積されている画像局所特徴情報中の車両１の姿勢毎の画像局所特徴に基づいて、車両判定部１７にて車両１を判定でき、その車両１の姿勢を判定できる。

さらに、車両特徴蓄積部１６に蓄積した画像局所特徴情報中の画像局所特徴のうちの少なくとも２以上の画像局所特徴が車両判定部１７での比較で一致した場合に、これら一致した画像局所特徴の幾何学的な位置関係から、車間距離算出部１８にて車両１の重心点が算出され、この算出した重心点からの距離を車間距離として算出する。この結果、検出した車両１の姿勢の変化に伴う車両１の重心点からの車間距離の変動を考慮しつつ、検出した他車両１までの車間距離に基づいて、自車両１の走行制御を行うことができる。よって、検出した他車両１の姿勢に応じた自車両１の走行制御が可能となるため、自車両１の走行制御をより適切かつ精度良く行うことができる。

［その他］
なお、本発明は前述した実施形態に限定されるものではなく、様々な変形態様が含まれる。例えば、前述した実施形態は、本発明を分りやすく説明するために説明したものであり、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。

さらに、上記各実施形態においては、鉱山用のダンプトラックを例として車両１を説明したが、図１４に示す本発明の第４実施形態に係る油圧ショベル４や、図１５に示す本発明の第５実施形態に係るグレーダ５等の鉱山用作業機械に、本発明に係る前方車両検出システム１０，１０Ａ，１０Ｂを搭載させることもできる。

また、上記各実施形態に係る前方車両検出システム１０，１０Ａ，１０Ｂとしては、鉱山用のダンプトラックの他、鉱山を走行する油圧ショベル４や、グレーダ５、パトロールカー等の車両１を検出するシステムとしてもよく、さらには、例えば落下した積荷や、崩れた土砂、落石等の車両１以外の障害物を検出するシステムとしてもよい。

また、上記各実施形態においては、外界環境検出部１２としてステレオカメラ装置１１を用いた構成について説明したが、三次元である立体的な画像（立体画像）を取得できるものであればよく、３Ｄのレーザレンジファインダや、２Ｄのレーザレンジファインダに単眼カメラを組み合わせたもの等を用いても良い。

１ 車両（鉱山用作業機械）
４ 油圧ショベル（鉱山用作業機械）
５ グレーダ（鉱山用作業機械）
１０，１０Ａ，１０Ｂ 前方車両検知システム
１１ ステレオカメラ装置
１１ａ，１１ｂ カメラ
１１ｃ，１１ｄ 計測領域
１２ 外界環境検出部（画像検出部）
１３ 砂埃検出部
１４ 視差グルーピング部（検出対象特定部）
１５ 画像局所特徴検出部
１６ 車両特徴蓄積部（特徴記憶部）
１７ 車両判定部（物体判定部）
１８ 車両距離検出部（距離情報取得部）
２１ 走行路面推定部（走行領域検出部）
２２ 前方車両特徴一時蓄積部（物体特徴保存部）
２３ 車両存在可能領域算出部

Claims (5)

1. 三次元の画像情報が検出可能な画像検出部と、
   前記画像検出部にて検出した画像情報から、予め定めた所定の物体の局所的な特徴部を検出する画像局所特徴検出部と、
   前記画像局所特徴検出部にて検出した前記局所的な特徴部情報に基づいて、前記画像情報中に検出された物体が、前記所定の物体か否かを判定する物体判定部と、
   前記物体判定部にて前記所定の物体と判定された場合に、前記画像情報に基づいて、前記画像情報中に検出された前記物体までの距離情報を取得する距離情報取得部と、
   を備えたことを特徴とする鉱山用作業機械。
2. 請求項１の鉱山用作業機械において、
   前記画像情報中の前記所定の物体の少なくとも一部に相当する検出対象群を特定する検出対象特定部を備え、
   前記画像局所特徴検出部は、前記検出対象特定部にて特定された検出対象群中から、前記所定の物体の局所的な特徴部を検出する
   ことを特徴とする鉱山用作業機械。
3. 請求項２の鉱山用作業機械において、
   前記所定の物体の特徴部情報を記憶した特徴記憶部を備え、
   前記物体検出部は、前記特徴記憶部に記憶させた特徴部情報と、前記画像局所特徴検出部にて検出した前記局所的な特徴部情報とに基づいて、前記画像情報中に検出された物体が、前記所定の物体か否かを判定する
   ことを特徴とする鉱山用作業機械。
4. 請求項１の鉱山用作業機械において、
   前記所定の物体は車両であり、
   前記画像情報中の前記車両が走行可能な領域を検出する走行領域検出部と、
   前記走行領域検出部にて検出した走行可能領域中の、前記車両が存在する可能性のある領域を算出する車両存在可能領域算出部と、を備え、
   前記検出対象特定部は、前記物体存在可能領域算出部にて算出した存在可能領域から、前記画像情報中の前記検出対象群を特定する
   ことを特徴とする鉱山用作業機械。
5. 請求項１の鉱山用作業機械において、
   前記物体判定部にて前記画像情報中に検出された物体が前記所定の物体と判定された場合に、前記画像情報中の前記所定の物体と判定された領域の特徴情報を保存する物体特徴保存部を備え、
   前記物体判定部は、前記物体特徴保存部に保存された前記特徴情報と、前記距離情報取得部にて取得した距離情報と、前記画像局所特徴検出部にて検出した前記局所的な特徴部情報とに基づいて、前記画像情報中に検出された物体が、前記所定の物体か否かを判定する
   ことを特徴とする鉱山用作業機械。