以下、本発明の実施の形態による車両周囲障害物検出装置を搭載したダンプトラックを例に挙げて、添付図面に従って説明する。
図1ないし図9は、本発明の第1の実施の形態を示している。図1に示すダンプトラック1は、例えば鉱山で採掘された鉱物等の運搬作業に用いられる大型のダンプトラックである。このダンプトラック1は、左右の前輪3と左右の後輪4とを有する車体2と、車体2の後方上部に上下方向に回動可能(傾斜可能)に設けられた荷台16とを含んで構成されている。そして、車体2は、フレーム5、建屋7、デッキ8、キャブ12等を含んで構成されている。
フレーム5は、車体2のベースとなるもので、強固な支持構造体として形成されている。このフレーム5は、前後方向に延びるベースフレーム6と、該ベースフレーム6の前後方向の中間部に配置された上部横梁(図示せず)とを含んで構成されている。ベースフレーム6の中央部には、図示しないエンジンが配置されている。ベースフレーム6の前端側には、内部にラジエータ等の熱交換装置(図示せず)が収容される建屋7が設けられている。一方、ベースフレーム6の後端側には、後方に向けて突設された左右一対の荷台取付部6A(左側のみ図示)が設けられている。また、ベースフレーム6の後端側で左右の荷台取付部6A間には、後述の後カメラ22Bが設けられている。
デッキ8は、フレーム5と建屋7とによって下側から支持されることにより、左右の前輪3よりも上方となる位置に配置されている。このデッキ8は、建屋7上に平坦な通路面を形成している。そして、デッキ8上には、コントロールキャビネット9、グリッドボックス(図示せず)、キャブ12等が設置されている。
コントロールキャビネット9内には、走行用モータを制御するインバータと、エンジンに設けられた発電機(図示せず)により発生する電流およびエンジン速度を制御する制御盤とが収容されている。また、グリッドボックス内には、車両の減速時に直流電力を消費する抵抗器とその抵抗器を冷却するブロアとからなる装置が収容されている。
デッキ8の外周には、メンテナンス作業等を行うときの安全性を確保する手摺り10が設けられている。また、建屋7の前側には、階段状に形成された乗降用ステップ11が設けられている。この乗降用ステップ11は、オペレータ等がデッキ8に乗降するときの足場を構成するものである。また、デッキ8の前端側には、後述の前カメラ22Fが設けられ、デッキ8の左右両端側には、右カメラ22Rと、左カメラ22Lとが設けられている。
キャブ12は、内部にオペレータが乗り込む運転室を画成するもので、荷台16の前側に配設されている。図2に示すように、キャブ12内には、操舵用のハンドル13、計器類等を表示するパネル14、図示しない運転席、アクセルペダル、ブレーキペダル、操作レバー等が設けられている。また、キャブ12の左前支柱15には、後述のモニタ39が取付けられている。
荷台16は、車体2上に傾転可能に搭載されている。この荷台16は、例えば油圧ショベル(図示せず)によって採掘された大量の鉱物等を受入れるものである。荷台16は、鉱物等を多量に積載するため、全長が10〜15メートルの大型の容器として形成されている。荷台16の後側底部は、ベースフレーム6の後端側に設けられた左右の荷台取付部6Aに連結ピン17等を介して回動可能に連結されている。また、荷台16の前部側には、その上端部から前方に向けて水平に延びる庇部16Aが一体に設けられ、この庇部16Aは、キャブ12を上側から覆った状態でデッキ8の前端部近傍まで延びている。
ホイストシリンダ18は、車体2に対して荷台16を上下に傾動するためのものである(図1中に1個のみ図示)。ホイストシリンダ18は、例えば多段式の油圧シリンダからなり、ベースフレーム6と荷台16との間に伸縮可能に設けられている。従って、ホイストシリンダ18を伸長または縮小させることにより、荷台16の前部側は、連結ピン17を支点として上下方向に回動(昇降)する。これにより、荷台16に積載された鉱物等を排出させることができる。
次に、ダンプトラック1に搭載された車両周囲障害物検出装置21について説明する。
車両周囲障害物検出装置21は、ダンプトラック1に設けられた複数個(4個)のカメラ22R,22L,22F,22Bにより、ダンプトラック1の周囲の状況をモニタ39に表示して、オペレータがダンプトラック1の周囲の状況を把握し易くするものである。そして、車両周囲障害物検出装置21は、4個のカメラ22R,22L,22F,22B、コントローラ23、モニタ39を含んで構成されている。
4個のカメラ22R,22L,22F,22Bは、ダンプトラック1の外周にそれぞれ設けられている。これら4個のカメラ22R,22L,22F,22Bは、例えばカラー映像を撮像可能なカメラで、ダンプトラック1の四方(周囲)を撮像している。具体的には、右カメラ22Rは、デッキ8の右端側に設けられ、ダンプトラック1の右方を撮像している。一方、左カメラ22Lは、デッキ8の左端側に設けられ、ダンプトラック1の左方を撮像している。
また、前カメラ22Fは、デッキ8の前端側に設けられ、ダンプトラック1の前方を撮像している。後カメラ22Bは、ベースフレーム6の後端側に設けられ、ダンプトラック1の後方を撮像している。各カメラ22R,22L,22F,22Bは、地面から2〜5メートルの高さに配置されている。そして、各カメラ22R,22L,22F,22Bにより撮像されたカメラスルー映像22R1,22L1,22F1,22B1は、コントローラ23に送信される。
コントローラ23は、各カメラ22R,22L,22F,22Bが撮像した映像を処理するものである。このコントローラ23は、例えばキャブ12内に配設され、入力側に各カメラ22R,22L,22F,22Bが接続され、出力側に後述のモニタ39が接続されている。コントローラ23の記憶部24には、ダンプトラック1を上方からみた平面図を車体のシンボル25として記憶されている。なお、図3中に示す車体のシンボル25に対して右方がダンプトラック1の前方となっている。そして、コントローラ23は、映像処理部26、障害物検知部31、マーカ表示処理部33を含んで構成されている。
映像処理部26は、各カメラ22R,22L,22F,22Bにより撮像されたカメラスルー映像22R1,22L1,22F1,22B1を入力している。そして、映像処理部26は、俯瞰映像合成処理部27と、直接映像処理部29とを備えている。
俯瞰映像合成処理部27は、4個のカメラ22R,22L,22F,22Bで撮像した各映像を合成して一つの映像(俯瞰映像)に加工する。俯瞰映像合成処理部27は、本発明の映像合成処理部を構成している。俯瞰映像合成処理部27は、例えば右カメラスルー映像22R1から俯瞰映像に加工するための切出映像22R2(図3中の点線部)を抽出する。
そして、俯瞰映像合成処理部27は、切出映像22R2を180°回転させたり、伸縮させたりすることにより、1エリアとしてのダンプトラック1の右側俯瞰映像28Rを作成する。他のカメラ22L,22F,22Bも同様に切出映像を加工して、それぞれ1エリアとしての左側俯瞰映像28L,前側俯瞰映像28F,後側俯瞰映像28Bを作成する。即ち、右側俯瞰映像28Rは、ダンプトラック1の右側領域を示す右エリアとなり、同様に左側俯瞰映像28Lは、左エリア、前側俯瞰映像28Fは、前エリア、後側俯瞰映像28Bは、後エリアとなっている。なお、切出映像は、入力されたカメラスルー映像22R1,22L1,22F1,22B1からノイズ除去、歪み補正、色調補正等を行って修正した映像から切出してもよい。
そして、俯瞰映像合成処理部27は、中央部に車体のシンボル25を貼り付け、車体のシンボル25の右側に右側俯瞰映像28Rを貼り付け、車体のシンボル25の左側に左側俯瞰映像28Lを貼り付ける。また、俯瞰映像合成処理部27は、車体のシンボル25の前側に前側俯瞰映像28Fを貼り付け、車体のシンボル25の後側に後側俯瞰映像28Bを貼り付ける。これにより、俯瞰映像合成処理部27は、俯瞰映像28を作成することができる。そして、作成された俯瞰映像28は、定期的に(所定の周期で)障害物検知部31に送信される。このとき、モニタ39に表示された俯瞰映像28は、モニタ39上の距離(ピクセル数)の比率と、実際の距離の比率とが等しくなる。このため、オペレータは、モニタ39を目視することによって、容易に障害物までの距離を推測することができる。
直接映像処理部29は、各カメラ22R,22L,22F,22Bにより撮像された直接映像30(右カメラスルー映像22R1を修正したもののみ図示)を処理するものである。この直接映像処理部29は、例えばカメラスルー映像22R1,22L1,22F1,22B1からノイズ除去、歪み補正等を行って修正された直接映像30を定期的に(所定の周期で)障害物検知部31に送信する。なお、以下の説明においては、各直接映像について、右カメラ22Rの直接映像30を代表例として述べるが、他のカメラ22L,22F,22Bの直接映像についても同様である。
障害物検知部31は、車体周囲の障害物を検知するものである。この障害物検知部31は、俯瞰映像合成処理部27および直接映像処理部29から定期的に入力される映像を基に障害物の検知を行う。障害物としては、例えば自動車、人間、巨大な岩石、盛られた残土等のように、ダンプトラック1の走行の妨げになるものが考えられる。障害物検知部31は、俯瞰映像合成処理部27および直接映像処理部29からの映像を定期的に取込み、記憶部32に保存する。
障害物検知部31は、記憶部32に保存された今回の映像と前回の映像とを比較して映像内で動いている映像と動いていない映像とを判断し、動いている映像を動体物である障害物と検知することができる。また、障害物検知部31は、記憶部32に保存された俯瞰映像28および直接映像30から、予め決められた色、形、大きさ等の映像を抽出して、静止している障害物を検知することができる。
マーカ表示処理部33は、障害物検知部31により検知された障害物(例えば、自動車34)に障害物マーカ35を表示するものである。このマーカ表示処理部33は、障害物検知部31により検知された障害物に仮想障害物マーカ35Aを設定する。そして、マーカ表示処理部33は、例えば図5に示すように3台の自動車34がそれぞれ離れているときには、3台の自動車34にそれぞれ障害物マーカ35を表示する。この場合、障害物マーカ35は、各自動車34をそれぞれ囲む枠状に形成されている。また、障害物マーカ35は、オペレータに注意を喚起するために、例えば赤色、太線、点滅等により目立つように表示される。
一方、例えば3台の自動車34が近接しているときには、図6に示すように各自動車34にそれぞれ仮想障害物マーカ35Aが設定され、後述のマーカ減少処理部36により障害物マーカ35の数が減少される。この障害物マーカ35の数を少なくする処理については、後で詳細に説明する。
マーカ減少処理部36は、自動車34に表示する障害物マーカ35の数を少なくするものである。このマーカ減少処理部36は、障害物検知部31が1エリア内(例えば、右側俯瞰映像28R内)に複数個の自動車34を検知し、かつ各自動車34のうち少なくとも2台の自動車34が近接しているときに、障害物マーカ35の数を減少させる。そして、マーカ減少処理部36は、マーカ位置検出部37、枠強調表示処理部38を含んで構成されている。
マーカ位置検出部37は、1エリア内に位置する各障害物マーカ35が近接または重なり合うことを検出するものである。図6に示すように、マーカ位置検出部37は、例えば障害物検知部31により検出された3台の自動車34に仮想障害物マーカ35Aを設定する。そして、俯瞰映像28における直交座標系から各仮想障害物マーカ35Aの位置を検出することにより、各障害物マーカ35が近接または重なり合うか否かを検出する。なお、この仮想障害物マーカ35Aは、モニタ39上には表示されない。
ここで、近接とは、各自動車34および各障害物マーカ35の視認性を悪化させるほど各障害物マーカ35が近くに位置している状態であり、この場合の各障害物マーカ35の距離は、実験的に定められる。一例を挙げると、図8に示すように、例えば各障害物マーカ35の間の寸法Aが、各障害物マーカ35の線の太さBの0〜3倍(好ましくは、0〜1倍)以内であるときに近接していると判定することができる。
枠強調表示処理部38は、1エリア(例えば、右側俯瞰映像28R)の枠を強調表示するものである。この枠強調表示処理部38は、マーカ位置検出部37により各障害物マーカ35が近接または重なり合うことを検出した場合に、これら各障害物マーカ35が位置するエリアの枠を強調表示する。
図6に示すように、例えば各自動車34がダンプトラック1の右側で近接している場合に、各自動車34にそれぞれ障害物マーカ35を表示させると、各障害物マーカ35が重なり合うことになる。各障害物マーカ35は、それぞれ障害物である自動車34の存在をオペレータに分かり易く認識させるためのものである。しかし、各障害物マーカ35が互いに重なり合うと、これら障害物マーカ35と自動車34とが互いに重なり合うのでモニタ39上の映像が乱雑となり、オペレータが適切に複数個の自動車34を認識することができない虞がある。また、障害物マーカ35が近接している場合にも、モニタ39上の映像が乱雑になり、オペレータが煩わしさを感じる虞がある。
そこで、図7に示すように、枠強調表示処理部38は、例えば右側俯瞰映像28R(右エリア内)で障害物マーカ35が近接または重なり合う場合に、各障害物マーカ35に代えて右側俯瞰映像28Rの枠を強調枠38Aとして表示させる。強調枠38Aは、オペレータに注意を喚起するために、例えば赤色、太線、点滅等により目立つように表示される。
これにより、オペレータは、ダンプトラック1の右側に複数個の障害物(自動車34)が近接して存在していることを認識することができる。また、各自動車34には、障害物マーカ35が表示されないので、モニタ39に表示された自動車34の視認性を向上することができる。
モニタ39は、コントローラ23により処理された映像を表示するものである。図2に示すように、モニタ39は、例えばキャブ12内の左前支柱15に取付けられ、オペレータが運転席に着座した状態でモニタ39を操作、確認することができるようになっている。そして、モニタ39は、電源スイッチ40、切替スイッチ41、表示部42を含んで構成されている。
オペレータが電源スイッチ40をON操作すると、モニタ39を起動させると共に各カメラ22R,22L,22F,22Bおよびコントローラ23を起動させる。そして、モニタ39の表示部42には、コントローラ23により処理された俯瞰映像28および/または直接映像30を表示させる。
切替スイッチ41は、表示部42に表示される映像を切替えるもので、各映像を順送りするアップスイッチ41Aと、各映像を逆送りするダウンスイッチ41Bとにより構成されている。これにより、オペレータは、表示部42に所望の映像を表示することができる。具体的には、オペレータが切替スイッチ41を操作すると、図5に示す俯瞰映像28から図3に示す右カメラ22Rの直接映像30に切替えることができる。さらにオペレータが切替スイッチ41を操作すると、左カメラ22Lの直接映像、前カメラ22Fの直接映像、後カメラ22Bの直接映像および俯瞰映像28と各直接映像との2画面表示に順次切替えることができる構成となっている。
第1の実施の形態によるダンプトラック1に搭載された車両周囲障害物検出装置21は、上述のような構成を有するもので、次に車両周囲障害物検出装置21による障害物検知の制御処理について図9を参照して説明する。なお、障害物検知の制御処理は、例えばモニタ39の電源スイッチ40がON操作されている間、所定時間毎に(所定の制御周期で)繰り返し実行される。また、図9に示す流れ図の各ステップは、それぞれ「S」という表記を用い、例えばステップ1を「S1」として示すものとする。
モニタ39の電源スイッチ40がON操作され処理動作が開始されると、各カメラ22R,22L,22F,22Bが撮像を開始する。そして、S1では、映像処理部26に各カメラ22R,22L,22F,22Bで撮像された映像が入力される。次のS2では、合成映像作成処理が行われる。即ち、映像処理部26の俯瞰映像合成処理部27は、4個のカメラ22R,22L,22F,22Bで撮像した各映像を合成して一つの俯瞰映像28に加工する。そして、俯瞰映像合成処理部27は、作成された俯瞰映像28を定期的に(所定の周期で)障害物検知部31に送信する。
次のS3では、障害物検知処理が行われる。即ち、障害物検知部31は、映像処理部26から定期的に送られてくる俯瞰映像28に基づいて障害物の検知を行い、次のS4に進む。
S4では、障害物が有るか否かを判定する。即ち、障害物検知部31が障害物を検知したか否かを判定する。そして、S4で「YES」、即ち障害物が有ると判定された場合には、S5に進む。一方、S4で「NO」、即ち障害物がないと判定された場合には、リターンする。
S5では、障害物に仮想障害物マーカ35Aを設定する。即ち、マーカ表示処理部33は、障害物検知部31により障害物が検知された場合に、例えば図6に示すように3台の自動車34(障害物)にそれぞれ仮想障害物マーカ35Aを設定して、次のS6に進む。
S6では、1エリア内に複数個の障害物が有るか否かを判定する。即ち、マーカ位置検出部37は、各俯瞰映像28R,28L,28F,28B内にそれぞれ複数個の障害物が有るか否かを判定する。そして、S6で「YES」、即ち1エリア内に複数個の障害物が有ると判定された場合には、S7に進む。一方、S6で「NO」、即ち1エリア内に複数個の障害物がないと判定された場合には、S8に進む。
S7では、各仮想障害物マーカ35Aが近接または重なっているか否かを判定する。即ち、マーカ位置検出部37は、1エリア内で2以上の障害物が近接することにより、各仮想障害物マーカ35Aが近接または重なっているか否かを判定する。そして、S7で「YES」、即ち各仮想障害物マーカ35Aが近接または重なっている場合には、S9に進む。一方、S7で「NO」、即ち各仮想障害物マーカ35Aが近接または重なっていない場合には、S8に進む。
S8では、障害物に障害物マーカ35を表示する。即ち、マーカ表示処理部33は、S6で「NO」と判定された場合には、1エリア内に1個の障害物が存在することになるので、この障害物に障害物マーカ35を表示して、次なる状況に備えるためにリターンする。また、S7で「NO」と判定された場合には、各仮想障害物マーカ35Aが近接または重なっていないので、1エリア内に存在する複数個の障害物に個別に障害物マーカ35を表示して、次なる状況に備えるためにリターンする。
S9では、エリアの枠を強調表示する。即ち、枠強調表示処理部38は、複数個の障害物が近接して存在しているエリアの枠を、例えば図7に示すように、赤色、太線、点滅等により強調した強調枠38Aとして表示する。この場合、障害物である各自動車34には、障害物マーカ35を表示させないので、各自動車34の視認性を向上することができる。
かくして、第1の実施の形態では、各カメラ22R,22L,22F,22Bで撮像された1エリア内に複数個の障害物が近接して存在することにより、これら障害物に表示される障害物マーカ35が近接または重なり合う場合に、これら障害物に障害物マーカ35を表示せずにそのエリアの枠を強調表示する。これにより、モニタ39上に表示された障害物の視認性を向上させることができる。また、オペレータは、エリアの枠が強調表示されていることを確認することにより、そのエリア内に複数個(少なくとも2個以上)の障害物が近接して存在していることを認識することができる。これにより、オペレータは、そのエリアに注意してダンプトラック1の作動を行うことができる。
次に、図10ないし図12は、本発明の第2の実施の形態を示している。第2の実施の形態の特徴は、1エリア内で複数個の障害物マーカが近接または重なり合う場合に、複数個の障害物を共通の枠で一緒に囲む構成としたことにある。なお、第2の実施の形態では、前述した第1の実施の形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
マーカ表示処理部33は、第1の実施の形態による枠強調表示処理部38に代えてブロック枠表示処理部51を備えている。このブロック枠表示処理部51は、マーカ位置検出部37により障害物マーカ35が近接または重なり合うことを検出した場合に、複数個の障害物を共通の枠で一緒に囲むものである。
具体的には、図11に示すように、ブロック枠表示処理部51は、例えば障害物である自動車34がダンプトラック1の右エリア内で近接することにより、各自動車34に表示される各障害物マーカ35が近接または重なり合う場合に、各障害物マーカ35に代えて近接している自動車34を共通の枠で囲むブロック枠51Aを表示させる。ブロック枠51Aは、近接している複数の自動車34の外周を囲むように、例えば赤色、太線、点滅等により強調して表示される。ブロック枠51Aは、例えば近接している各自動車34の各仮想障害物マーカ35Aを結合させて、見やすいように凹凸を補正して表示することができる。
次に、車両周囲障害物検出装置21による障害物検知の制御処理について図12を参照して説明する。なお、障害物検知の制御処理は、例えばモニタ39の電源スイッチ40がON操作されている間、所定時間毎に(所定の制御周期で)繰り返し実行される。また、図12に示す流れ図の各ステップは、それぞれ「S」という表記を用い、例えばステップ11を「S11」として示すものとする。
モニタ39の電源スイッチ40がON操作され処理動作が開始されると、各カメラ22R,22L,22F,22Bが撮像を開始する。そして、S11〜S18は、図9中のS1〜S8までと同様の制御処理が行われる。
S19では、複数個の障害物をブロック枠51A表示する。即ち、ブロック枠表示処理部51は、1エリア内で複数個の障害物が近接することにより、障害物マーカ35が近接または重なり合う場合に、例えば図11に示すように、これら複数個の障害物(自動車34)を一纏めにして囲んだブロック枠51Aとして表示する。この場合、障害物である各自動車34には、障害物マーカ35を表示させないので、各自動車34の視認性を向上することができる。
かくして、第2の実施の形態においても第1の実施の形態と同様の作用、効果を得ることができる。また、第2の実施の形態では、ブロック枠51Aにより複数個の障害物を一纏めにして囲んでいるので、複数個の障害物が存在している位置を認識することができる。これにより、オペレータは、複数個の障害物が有る位置を確認しながら作業を行うことができるので、作業性、安全性を向上することができる。
次に、図13ないし図15は、本発明の第3の実施の形態を示している。第3の実施の形態の特徴は、1エリア内に複数個の障害物が検知された場合に、車体2からの距離が近い順に予め定められた数の障害物に障害物マーカを表示する構成としたことにある。なお、第3の実施の形態では、前述した第1の実施の形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
障害物距離算出部61は、障害物検知部31に備えられている。この障害物距離算出部61は、1エリア内に位置する各障害物と車体2との距離を算出するものである。障害物距離算出部61は、例えば俯瞰映像28における直交座標系から障害物の位置(車体2から最も短い距離)を算出して、各障害物の距離を記憶部32に随時記憶(更新)させる。例えば、図14に示すように、右エリア(右側俯瞰映像28R)には、障害物としての3台の自動車62A〜62Cが存在している。この場合、障害物距離算出部61は、自動車62Aと車体2との距離C、自動車62Bと車体2との距離D、自動車62Cと車体2との距離Eを記憶部32に記憶させる。
マーカ選択処理部63は、マーカ減少処理部36に備えられている。このマーカ選択処理部63は、障害物距離算出部61により算出された算出値に基づき、車体2からの距離が近い順に予め定められた数の障害物に障害物マーカ35を表示するものである。この場合、障害物に障害物マーカ35を表示する数(即ち、前記予め定められた数)は、1エリア内に存在する障害物の全個数から1減じた数(障害物全数−1)内で1個以上に設定される。何個の障害物に障害物マーカ35を表示させるかは、マーカ選択処理部63の記憶部(図示せず)に予め記憶されている。
一例を挙げると、マーカ選択処理部63の記憶部(図示せず)に車体2に一番近い障害物に障害物マーカ35を表示させることが予め設定されている場合には、図14に示すように、マーカ選択処理部63は、記憶部32に記憶された各自動車62A〜62Cと車体2との距離を比較して、車体2に一番近い自動車62Bに障害物マーカ35を表示させる。
次に、車両周囲障害物検出装置21による障害物検知の制御処理について図15を参照して説明する。なお、障害物検知の制御処理は、例えばモニタ39の電源スイッチ40がON操作されている間、所定時間毎に(所定の制御周期で)繰り返し実行される。また、図15に示す流れ図の各ステップは、それぞれ「S」という表記を用い、例えばステップ21を「S21」として示すものとする。
モニタ39の電源スイッチ40がON操作され処理動作が開始されると、各カメラ22R,22L,22F,22Bが撮像を開始する。そして、S21〜S26は、図9中のS1〜S6までと同様の制御処理が行われる。
S27では、各障害物と車体2との距離の算出処理を行う。即ち、S27は、S26で「YES」と判定されているので、1エリア内に複数個の障害物が有る場合である。従って、障害物距離算出部61は、例えば俯瞰映像28における直交座標系から障害物の位置(車体2から最も短い距離)を算出する。各障害物における車体2からの距離は記憶部32に記憶され、次のS29に進む。
一方、S28では、障害物に障害物マーカ35を表示する。即ち、S28は、S26で「NO」と判定されているので、1エリア内に1個の障害物しか存在しない場合である。従って、マーカ表示処理部33は、この障害物に障害物マーカ35を表示させて、次なる状況に備えるためにリターンする。
S29では、一番近い障害物から予め定められた数の障害物に障害物マーカ35を表示する。即ち、マーカ選択処理部63は、1エリア内に存在している障害物の総数から1減じた数の範囲内で車体2から近い順に予め定められた数の障害物に障害物マーカ35を表示する。
一例を挙げると、図14に示すように、ダンプトラック1の車体2の右エリア(右側俯瞰映像28R)には、障害物として3台の自動車62A〜62Cが存在している。そして、マーカ選択処理部63の記憶部には、例えば車体2からの距離が一番近い障害物に障害物マーカ35を表示する設定がなされている。この場合、マーカ選択処理部63は、記憶部32に記憶された各自動車62A〜62Cと車体2との距離C〜Eを比較して、車体2に一番近い距離Dである自動車62Bに障害物マーカ35を表示する。一方、その他の自動車62A,62Cには、障害物マーカ35を表示させない。そして、次なる状況に備えるためにリターンする。
かくして、第3の実施の形態では、1エリア内に複数個の障害物が存在している場合に、車体2からの距離が近い順に予め定められた数の障害物に障害物マーカ35を表示させている。これにより、オペレータは、最も注意しなければならない車体2の近くに存在する障害物を認識することができる。また、1エリア内に障害物が複数個ある場合に、障害物に表示させる障害物マーカ35を減少させているので、モニタ39上の視認性を向上させることができる。
次に、図16ないし図19は、本発明の第4の実施の形態を示している。第4の実施の形態の特徴は、上述した第3の実施の形態において、さらに複数個の障害物が近接している場合に、車体から近い順番に障害物マーカを表示させたことにある。なお、第4の実施の形態では、前述した第1の実施の形態および第3の実施の形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
マーカ位置検出部71は、マーカ減少処理部36にさらに設けられたものである。このマーカ位置検出部71は、1エリア内に位置する複数個の障害物マーカ35が近接または重なり合うことを検出するものである。マーカ位置検出部71は、上述した第1の実施の形態のマーカ位置検出部37と同様に、例えば仮想障害物マーカ35Aを設定して、俯瞰映像28における直交座標系から各仮想障害物マーカ35Aの位置を検出することにより、各障害物マーカ35が近接または重なり合うか否かを検出する。そして、マーカ選択処理部63は、近接している障害物の中で車体2から近い順番に予め定められた数の障害物に障害物マーカ35を表示する。
次に、車両周囲障害物検出装置21による障害物検知の制御処理について図18および図19を参照して説明する。なお、障害物検知の制御処理は、例えばモニタ39の電源スイッチ40がON操作されている間、所定時間毎に(所定の制御周期で)繰り返し実行される。また、図18および図19に示す流れ図の各ステップは、それぞれ「S」という表記を用い、例えばステップ31を「S31」として示すものとする。
モニタ39の電源スイッチ40がON操作され処理動作が開始されると、各カメラ22R,22L,22F,22Bが撮像を開始する。そして、S31〜S37は、図9中のS1〜S7までと同様の制御処理が行われる。
S38では、障害物に障害物マーカ35を表示する。即ちマーカ表示処理部33は、S36で「NO」と判定された場合には、1エリア内に1個の障害物が存在することになるので、この障害物に障害物マーカ35を表示して、次なる状況に備えるためにリターンする。また、S37で「NO」と判定された場合には、各仮想障害物マーカ35Aが近接または重なっていないので、1エリア内に存在する複数個の障害物に個別に障害物マーカ35を表示して、次なる状況に備えるためにリターンする。
図19に示すS39では、各障害物と車体2との距離の算出処理を行う。障害物距離算出部61は、図15中のS27と同様に、例えば俯瞰映像28における直交座標系から障害物の位置(車体2から最も短い距離)を算出する。各障害物における車体2からの距離は記憶部32に記憶され、次のS40に進む。
S40では、一番近い障害物から予め定められた数の障害物に障害物マーカ35を表示する。マーカ選択処理部63は、1エリア内に近接して存在している障害物の総数から1減じた数の範囲内で車体2から近い順に予め定められた数の障害物に障害物マーカ35を表示する。
一例を挙げると、図17に示すように、ダンプトラック1の車体2の右エリア(右側俯瞰映像28R)には、障害物として3台の自動車72A〜72Cが近接して存在している。そして、マーカ選択処理部63の記憶部には、例えば車体2からの距離が一番近い障害物に障害物マーカ35を表示する設定がなされている。この場合、マーカ選択処理部63は、記憶部32に記憶された各自動車72A〜72Cと車体2との距離F〜Hを比較して、車体2に一番近い距離Hである自動車72Cに障害物マーカ35を表示する。一方、その他の自動車72A,72Bには、障害物マーカ35を表示させない。そして、次なる状況に備えるためにリターンする。
かくして、第4の実施の形態では、1エリア内に複数個の障害物が近接して存在している場合に、その近接して存在している障害物の中で、車体2からの距離が近い順に予め定められた数の障害物に障害物マーカ35を表示させている。これにより、オペレータは、錯綜している障害物のうち、より注意を払わなければならない障害物を認識することができる。また、障害物マーカ35が他の障害物に干渉するのを可及的に少なくすることができるので、モニタ39上の視認性を向上することができる。
次に、図20ないし図23は、本発明の第5の実施の形態を示している。第5の実施の形態の特徴は、1エリア内に複数個の障害物が検知された場合に、車体2に接触する可能性が高い障害物に障害物マーカを表示させたことにある。なお、第5の実施の形態では、前述した第1の実施の形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
接触時間算出部81は、障害物検知部31にさらに備えられている。この接触時間算出部81は、障害物が車体2に接触するまでの時間を算出するものである。具体的には、接触時間算出部81は、記憶部32に保存された今回の映像と前回の映像とを比較して、動体物である障害物の進行方向、速さ(時速)、および車体2の進行方向、速さから障害物が車体2に接触するまでの推定時間を算出する。そして、各障害物の前記推定時間は、記憶部32に随時記憶(更新)される。
マーカ選択処理部82は、マーカ減少処理部36に備えられている。このマーカ選択処理部82は、接触時間算出部81により算出された算出値に基づき、車体2に一番早く接触する可能性がある障害物から順に予め定められた数の障害物に障害物マーカ35を表示するものである。この場合、障害物は、動体物とは限らない。即ち、車体2が走行している場合には、静止している障害物が車体2との間で相対的に動いていることになる。従って、マーカ選択処理部82は、車体2に向かって一番早く近付いている障害物から順に予め定められた数の障害物に障害物マーカ35を表示する。
この場合、障害物に障害物マーカ35を表示する数(即ち、前記予め定められた数)は、1エリア内に存在する障害物の全個数から1減じた数(障害物全数−1)内で1個以上に設定される。何個の障害物に障害物マーカ35を表示させるかは、マーカ選択処理部82の記憶部(図示せず)に予め記憶されている。
また、マーカ選択処理部82は、障害物マーカ35を表示させた障害物に軌跡83を表示させる。この軌跡83は、例えば図21に示すように、黒点表示とすることができる。この場合、例えば隣合う黒点の間隔が大きいときには障害物の速さが早く、間隔が小さいときには障害物の速さが遅い等とすることにより、障害物の速さを感覚的に表すことができる。なお、軌跡83は、黒点表示に限らず、例えば矢印(ベクトル表示)や線等を用いてもよい。
一例を挙げると、マーカ選択処理部82の記憶部(図示せず)には、車体2に一番早く接触する可能性が高い障害物に障害物マーカ35を表示させる設定が記憶されている。この場合、図21に示すように、マーカ選択処理部82は、記憶部32に記憶された各自動車84A〜84Cと車体2とが接触する推定時間を比較して、車体2に一番早く接触する可能性の高い自動車84Bに障害物マーカ35を表示させる。
次に、車両周囲障害物検出装置21による障害物検知の制御処理について図22を参照して説明する。なお、障害物検知の制御処理は、例えばモニタ39の電源スイッチ40がON操作されている間、所定時間毎に(所定の制御周期で)繰り返し実行される。また、図22に示す流れ図の各ステップは、それぞれ「S」という表記を用い、例えばステップ41を「S41」として示すものとする。
モニタ39の電源スイッチ40がON操作され処理動作が開始されると、各カメラ22R,22L,22F,22Bが撮像を開始する。そして、S41〜S46は、図9中のS1〜S6までと同様の制御処理が行われる。
S47では、各障害物が車体2と接触する時間の算出処理を行う。即ち、S47は、S46で「YES」と判定されているので、1エリア内に複数個の障害物が有る場合である。従って、接触時間算出部81は、例えば俯瞰映像28における直交座標系を基にして、記憶部32に保存された今回の映像と前回の映像とを比較することにより、障害物の進行方向、速さ(時速)、および車体2の進行方向、速度から障害物が車体2に接触するまでの推定時間を算出する。各障害物における車体2と接触するまでの推定時間は記憶部32に記憶され、次のS49に進む。
一方、S48では、障害物に障害物マーカ35を表示する。即ち、S48は、S46で「NO」と判定されているので、1エリア内に1個の障害物しか存在しない場合である。従って、マーカ表示処理部33は、この障害物に障害物マーカ35を表示させて、次なる状況に備えるためにリターンする。
S49では、一番早い障害物から予め定められた数の障害物に障害物マーカ35を表示する。即ち、マーカ選択処理部82は、1エリア内に存在している障害物の総数から1減じた数の範囲内で車体2に接触する時間(推定時間)が短い順に予め定められた数の障害物に障害物マーカ35を表示する。
一例を挙げると、図21に示すように、ダンプトラック1の車体2の右エリア(右側俯瞰映像28R)には、障害物として3台の自動車84A〜84Cが存在している。そして、マーカ選択処理部82の記憶部には、車体2に一番早く接触する可能性が高い障害物に障害物マーカ35を表示する設定がなされている。この場合、マーカ選択処理部82は、記憶部32に記憶された各自動車84A〜84Cが車体2に接触するまでの時間を比較して、車体2に一番早く接触する可能性が高い自動車84Bに障害物マーカ35を表示する。また、マーカ選択処理部82は、前回以前の映像を参照して自動車84Bの軌跡83を表示させる。一方、その他の自動車84A,84Cには、障害物マーカ35を表示させない。そして、次なる状況に備えるためにリターンする。
かくして、第5の実施の形態では、1エリア内に複数個の障害物が存在している場合に、車体2に接触する可能性が高い順に予め定められた数の障害物に障害物マーカ35を表示させている。これにより、オペレータは、最も注意しなければならない障害物を認識することができる。また、1エリア内に障害物が複数個ある場合に、障害物に表示させる障害物マーカ35を減少させているので、モニタ39上の視認性を向上させることができる。
次に、図23ないし図26は、本発明の第6の実施の形態を示している。第6の実施の形態の特徴は、上述した第5の実施の形態において、さらに複数個の障害物が近接している場合に、車体に接触する可能性が高い順番に障害物マーカを表示させたことにある。なお、第6の実施の形態では、前述した第1の実施の形態および第5の実施の形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。
マーカ位置検出部91は、マーカ減少処理部36にさらに設けられたものである。このマーカ位置検出部91は、1エリア内に位置する複数個の障害物マーカ35が近接または重なり合うことを検出するものである。マーカ位置検出部91は、上述した第1の実施の形態のマーカ位置検出部37と同様に、例えば仮想障害物マーカ35Aを設定して、俯瞰映像28における直交座標系から各仮想障害物マーカ35Aの位置を検出することにより、各障害物マーカ35が近接または重なり合うか否かを検出する。そして、マーカ選択処理部82は、近接している障害物の中で車体2に接触する可能性が高い順番に予め定められた数の障害物に障害物マーカ35を表示する。
次に、車両周囲障害物検出装置21による障害物検知の制御処理について図25および図26を参照して説明する。なお、障害物検知の制御処理は、例えばモニタ39の電源スイッチ40がON操作されている間、所定時間毎に(所定の制御周期で)繰り返し実行される。また、図25および図26に示す流れ図の各ステップは、それぞれ「S」という表記を用い、例えばステップ51を「S51」として示すものとする。
モニタ39の電源スイッチ40がON操作され処理動作が開始されると、各カメラ22R,22L,22F,22Bが撮像を開始する。そして、S51〜S57は、図9中のS1〜S7までと同様の制御処理が行われる。
S58では、障害物に障害物マーカ35を表示する。即ちマーカ表示処理部33は、S56で「NO」と判定された場合には、1エリア内に1個の障害物が存在することになるので、この障害物に障害物マーカ35を表示して、次なる状況に備えるためにリターンする。また、S57で「NO」と判定された場合には、各仮想障害物マーカ35Aが近接または重なっていないので、1エリア内に存在する複数個の障害物に個別に障害物マーカ35を表示して、次なる状況に備えるためにリターンする。
図26に示すS59では、各障害物が車体2と接触する時間の算出処理を行う。接触時間算出部81は、図22中のS47と同様に、例えば俯瞰映像28における直交座標系を基にして、記憶部32に保存された今回の映像と前回の映像とを比較することにより、障害物の進行方向、速さ(時速)、および車体2の進行方向、速さから障害物が車体2に接触するまでの推定時間を算出する。各障害物における車体2と接触するまでの推定時間は記憶部32に記憶され、次のS60に進む。
S60では、一番早く車体2に接触する障害物から予め定められた数の障害物に障害物マーカ35を表示する。マーカ選択処理部82は、1エリア内に近接して存在している障害物の総数から1減じた数の範囲内で車体2に接触する可能性が高い障害物から順に予め定められた数の障害物に障害物マーカ35を表示する。
一例を挙げると、図24に示すように、ダンプトラック1の車体2の右エリア(右側俯瞰映像28R)には、障害物として3台の自動車92A〜92Cが近接して存在している。そして、マーカ選択処理部82の記憶部には、車体2に一番早く接触する可能性が高い障害物に障害物マーカ35を表示する設定がなされている。この場合、マーカ選択処理部82は、記憶部32に記憶された各自動車92A〜92Cが車体2に接触するまでの時間を比較して、車体2に一番早く接触する可能性が高い自動車92Bに障害物マーカ35を表示する。また、マーカ選択処理部82は、前回以前の映像を参照して自動車92Bの軌跡83を表示させる。一方、その他の自動車92A,92Cには、障害物マーカ35を表示させない。そして、次なる状況に備えるためにリターンする。
かくして、第6の実施の形態では、1エリア内に複数個の障害物が近接して存在している場合に、その近接して存在している障害物の中で、車体2に接触する時間が早い順に予め定められた数の障害物に障害物マーカ35を表示させている。これにより、オペレータは、錯綜している障害物のうち、より注意を払わなければならない障害物を認識することができる。また、障害物マーカ35が他の障害物に干渉するのを可及的に少なくすることができるので、モニタ39上の視認性を向上することができる。
なお、上述した第1の実施の形態では、障害物検知部31は映像処理部26から送信された俯瞰映像28に基づいて障害物の検知を行った場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば障害物検知部は、カメラスルー映像22R1,22L1,22F1,22B1から障害物を検知し、その情報を基にして映像処理部で俯瞰映像を作成してもよい。このことは、第2〜第6の実施の形態についても同様である。
また、上述した第1の実施の形態では、障害物検知部31は、俯瞰映像やカメラスルー映像に基づいて障害物を検知する場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えばダンプトラック1にレーダ発信器およびレーダ受信器または超音波発信器および超音波受信器を備えて障害物の検知を行ってもよい。このことは、第2〜第6の実施の形態についても同様である。
また、上述した第1の実施の形態では、4個のカメラ22R,22L,22F,22Bにより、俯瞰映像28を作成した場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば2個または3個のカメラを用いて俯瞰映像を作成してもよく、4個以上のカメラを用いて俯瞰映像を作成してもよい。このことは、第2〜第6の実施の形態についても同様である。
また、上述した各実施の形態では、俯瞰映像合成処理部27でダンプトラック1を上方からみた俯瞰映像28を作成した場合について説明した。しかし、本発明はこれに限らず、例えば映像合成処理部は、複数個のカメラで撮像した映像を合成して球面俯瞰映像を作成し、この球面俯瞰映像内で障害物に表示する障害物マーカを少なくしてもよい。
また、上述した各実施の形態では、車両周囲障害物検出装置21を超大型のダンプトラック1に搭載した場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば車両周囲障害物検出装置21を油圧ショベル、油圧クレーン、ホイールローダ等の作業車両に用いてもよい。