JP2017074870A - 車両周囲障害物検出装置 - Google Patents

Abstract

【課題】障害物の検出率を高めることができる車両周囲障害物検出装置を提供する。
【解決手段】ダンプトラックには、車体周囲を撮像する４個のカメラ２２が設けられている。コントローラ２３は、俯瞰映像合成処理部２７と、障害物検知部３１とを備えている。俯瞰映像合成処理部２７は、４個のカメラ２２で撮像した映像ＣＴｉを合成して一つの映像とし、合成された一つの映像の中央部に車体のシンボル２５を配置した俯瞰映像ＢＶｉを作成する。障害物検知部３１は、カメラ２２で撮影した映像ＣＴｉ中で予め定めた障害物色の部分を、障害物Ｏとして検知する。障害物検知部３１のマーカ表示処理部３５は、障害物Ｏの位置データをモニタ３６に出力する。モニタ３６は、障害物Ｏに障害物マーカＭＫを付した俯瞰映像ＢＶｉを表示する。
【選択図】図３

Description

本発明は、運搬車両、作業車両等の周囲を表示するモニタを備えた車両周囲障害物検出装置に関する。

運搬車両として、鉱山のような作業現場で砕石等のような運搬物を運搬する大型のダンプトラックが知られている。このような大型のダンプトラックは、その車体の大きさからオペレータが車体の周囲を認識することが困難である。そこで、車体に複数個のカメラを搭載し、各カメラにより撮影された映像を合成して車体周囲の映像（俯瞰映像）を運転室のモニタに表示したものが知られている（例えば、特許文献１参照）。

国際公開第２０１２／１６９３５２号

ところで、特許文献１に記載されたダンプトラックは、車体の周囲に位置する複数の障害物を検知してモニタに表示している。しかし、一般的に障害物が車体から遠くなるほど障害物を正確に検知することが難しくなり、誤検知の頻度が増加する。特に、車体に取り付けたカメラによって映像を撮影し、この映像から障害物を検知する場合には、障害物が車体から所定の距離以上に離れると、障害物を写した映像上の画素数（pixel数）が減少し、障害物の検知率が低下するという問題がある。

本発明は、上述した従来技術の問題に鑑みなされたもので、本発明の目的は、障害物の検出率を高めることができる車両周囲障害物検出装置を提供することにある。

上述した課題を解決するため、本発明は、車体に設けられ車体周囲を撮像する複数個のカメラと、該複数個のカメラで撮像した映像を処理するコントローラと、該コントローラにより処理された映像を表示するモニタとを備えてなる車両周囲障害物検出装置において、前記コントローラは、前記複数個のカメラで撮像した映像を合成して一つの映像とし、合成された一つの映像の中央部に車体のシンボルを配置して前記車体周囲を認識できる合成映像を作成する映像合成処理部と、前記カメラで撮影した映像中で予め定めた前記障害物の色の部分を、前記車体周囲の障害物として検知する障害物検知部とを備えたことを特徴としている。

本発明によれば、例えば作業現場に少ない色を、障害物の色に設定することによって、障害物の検出率を高めることができる。

本発明の第１の実施の形態による車両周囲障害物検出装置が搭載されたダンプトラックを示す正面図である。 図１中のダンプトラックのキャブ内を示す斜視図である。 車両周囲障害物検出装置を示す制御ブロック図である。 右カメラによるカメラスルー映像を示す説明図である。 図４中のＡ部を拡大して示す説明図である。 図２中のモニタに表示された俯瞰映像を示す正面図である。 モニタに表示された右カメラの直接映像を示す正面図である。 障害物色の設定処理を示す流れ図である。 障害物検知処理を示す流れ図である。 図９中の障害物色Ｃ１に基づく障害物検知処理を示す流れ図である。 本発明の第２の実施の形態による車両周囲障害物検出装置を示す制御ブロック図である。 右カメラによるカメラスルー映像を示す説明図である。 モニタに表示された右カメラの直接映像を示す正面図である。 障害物検知処理を示す流れ図である。 図１４中の遠方検知処理を示す流れ図である。 図１４中の近傍検知処理を示す流れ図である。

以下、本発明の実施の形態による車両周囲障害物検出装置を搭載したダンプトラックを例に挙げて、添付図面に従って説明する。

図１ないし図１０は、本発明の第１の実施の形態を示している。図１に示すダンプトラック１は、例えば鉱山で採掘された砕石、土砂等の運搬物Ｒを運搬する作業に用いられる大型のダンプトラックである。このダンプトラック１は、左右の前輪３と左右の後輪４とを有する車体２と、車体２の後方上部に上下方向に回動可能（傾斜可能）に設けられた荷台１６とを含んで構成されている。そして、車体２は、フレーム５、建屋７、デッキ８、キャブ１２等を含んで構成されている。

フレーム５は、車体２のベースとなるもので、強固な支持構造体として形成されている。このフレーム５は、前後方向に延びるベースフレーム６と、ベースフレーム６の前後方向の中間部に配置された上部横梁（図示せず）とを含んで構成されている。ベースフレーム６の中央部には、図示しないエンジンが配置されている。ベースフレーム６の前端側には、内部にラジエータ等の熱交換装置（図示せず）が収容される建屋７が設けられている。一方、ベースフレーム６の後端側には、後方に向けて突設された左右一対の荷台取付部６Ａ（左側のみ図示）が設けられている。また、ベースフレーム６の後端側で左右の荷台取付部６Ａ間には、後述の後カメラ２２Ｂが設けられている。

デッキ８は、フレーム５と建屋７とによって下側から支持されることにより、左右の前輪３よりも上方となる位置に配置されている。このデッキ８は、建屋７上に平坦な通路面を形成している。デッキ８上には、コントロールキャビネット９、グリッドボックス（図示せず）、キャブ１２等が設置されている。

コントロールキャビネット９内には、走行用のモータを制御するインバータと、エンジンに設けられた発電機（図示せず）により発生する電流およびエンジン速度を制御する制御盤とが収容されている。このとき、走行用のモータは、発電機からの電力供給によって駆動する。これにより、ダンプトラック１は走行する。また、グリッドボックス内には、車両の減速時に直流電力を消費する抵抗器とその抵抗器を冷却するブロアとからなる装置が収容されている。

デッキ８の外周には、メンテナンス作業等を行うときの安全性を確保する手摺り１０が設けられている。また、建屋７の前側には、階段状に形成された乗降用ステップ１１が設けられている。この乗降用ステップ１１は、オペレータ等がデッキ８に乗降するときの足場を構成するものである。また、デッキ８の前端側には、後述の前カメラ２２Ｆが設けられ、デッキ８の左右両端側には、右カメラ２２Ｒと、左カメラ２２Ｌとが設けられている。

キャブ１２は、内部にオペレータが乗り込む運転室を画成するもので、荷台１６の前側に配設されている。図２に示すように、キャブ１２内には、操舵用のハンドル１３、計器類等を表示するパネル１４、図示しない運転席、アクセルペダル、ブレーキペダル、操作レバー等が設けられている。また、キャブ１２の左前支柱１５には、後述のモニタ３６が取付けられている。

荷台１６は、車体２上に傾転可能に搭載されている。この荷台１６は、例えば油圧ショベル（図示せず）によって採掘された大量の鉱物等を受入れるものである。荷台１６は、鉱物等を多量に積載するため、全長が１０〜１５メートルの大型の容器として形成されている。荷台１６の後側底部は、ベースフレーム６の後端側に設けられた左右の荷台取付部６Ａに連結ピン１７等を介して回動可能に連結されている。また、荷台１６の前部側には、その上端部から前方に向けて水平に延びる庇部１６Ａが一体に設けられている。この庇部１６Ａは、キャブ１２を上側から覆った状態でデッキ８の前端部近傍まで延びている。

ホイストシリンダ１８は、車体２に対して荷台１６を上下に傾動するためのものである（図１中に１個のみ図示）。ホイストシリンダ１８は、例えば多段式の油圧シリンダからなり、ベースフレーム６と荷台１６との間に伸縮可能に設けられている。従って、ホイストシリンダ１８を伸長または縮小させることにより、荷台１６の前部側は、連結ピン１７を支点として上下方向に回動（昇降）する。これにより、荷台１６に積載された鉱物等を排出させることができる。

次に、ダンプトラック１に搭載された車両周囲障害物検出装置２１について説明する。

車両周囲障害物検出装置２１は、ダンプトラック１に設けられた複数個のカメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂにより、ダンプトラック１の周囲の状況をモニタ３６に表示して、オペレータがダンプトラック１の周囲の状況を把握し易くするものである。そして、車両周囲障害物検出装置２１は、複数個のカメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂ、コントローラ２３、モニタ３６を含んで構成されている。

複数個（例えば４個）のカメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂは、ダンプトラック１の外周にそれぞれ設けられている。これら４個のカメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂは、例えばカラー映像を撮像可能なカメラで、ダンプトラック１の四方（周囲）を撮像している。具体的には、右カメラ２２Ｒは、デッキ８の右端側に設けられ、ダンプトラック１の右方を撮像している。一方、左カメラ２２Ｌは、デッキ８の左端側に設けられ、ダンプトラック１の左方を撮像している。

また、前カメラ２２Ｆは、デッキ８の前端側に設けられ、ダンプトラック１の前方を撮像している。後カメラ２２Ｂは、ベースフレーム６の後端側に設けられ、ダンプトラック１の後方を撮像している。各カメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂは、地面から２〜５メートルの高さに配置されている。そして、各カメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂにより撮像されたカメラスルー映像ＣＴｉＲ，ＣＴｉＬ，ＣＴｉＦ，ＣＴｉＢは、コントローラ２３に出力される。

なお、以下では、カメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂを総称するときは、カメラ２２という。また、カメラスルー映像ＣＴｉＲ，ＣＴｉＬ，ＣＴｉＦ，ＣＴｉＢを総称するときは、カメラスルー映像ＣＴｉという。

コントローラ２３は、カメラ２２が撮像した映像を処理するものである。このコントローラ２３は、例えばキャブ１２内に配設され、入力側にカメラ２２が接続され、出力側にモニタ３６が接続されている。コントローラ２３は、マイクロプロセッサ等によって構成され、例えばＲＯＭ、ＲＡＭ等の記憶部２４を備えている。この記憶部２４には、ダンプトラック１を上方からみた平面図が車体のシンボル２５として記憶されている。なお、図３中に示す車体のシンボル２５に対して右方がダンプトラック１の前方となっている。そして、コントローラ２３は、映像処理部２６、障害物検知部３１を含んで構成されている。

映像処理部２６には、カメラ２２により撮像されたカメラスルー映像ＣＴｉが入力される。映像処理部２６は、俯瞰映像合成処理部２７と、直接映像処理部２８とを備えている。

俯瞰映像合成処理部２７は、４個のカメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂで撮像した各映像ＣＴｉを合成して１つの映像（俯瞰映像ＢＶｉ）に加工する。俯瞰映像合成処理部２７は、本発明の映像合成処理部を構成している。俯瞰映像合成処理部２７は、例えば右カメラスルー映像ＣＴｉＲから俯瞰映像ＢＶｉに加工するための切出映像ＴｉＲ（図３中の点線部）を抽出する。

そして、俯瞰映像合成処理部２７は、切出映像ＴｉＲを１８０°回転させたり、伸縮させたりすることにより、ダンプトラック１の右側俯瞰映像ＢＶｉＲを作成する。他のカメラ２２Ｌ，２２Ｆ，２２Ｂも同様に切出映像（図示せず）を加工して左側俯瞰映像ＢＶｉＬ，前側俯瞰映像ＢＶｉＦ，後側俯瞰映像ＢＶｉＢを作成する。なお、切出映像は、入力されたカメラスルー映像ＣＴｉからノイズ除去、歪み補正、色調補正等を行って修正した映像から切出してもよい。

そして、俯瞰映像合成処理部２７は、中央部に車体のシンボル２５を貼り付け、車体のシンボル２５の右側に右側俯瞰映像ＢＶｉＲを貼り付け、車体のシンボル２５の左側に左側俯瞰映像ＢＶｉＬを貼り付ける。また、俯瞰映像合成処理部２７は、車体のシンボル２５の前側に前側俯瞰映像ＢＶｉＦを貼り付け、車体のシンボル２５の後側に後側俯瞰映像ＢＶｉＢを貼り付ける。これにより、俯瞰映像合成処理部２７は、合成映像となる俯瞰映像ＢＶｉを作成することができる。そして、作成された俯瞰映像ＢＶｉは、定期的に（所定の周期で）モニタ３６に出力される。このとき、モニタ３６に表示された俯瞰映像ＢＶｉでは、モニタ３６上の距離（ピクセル数）の比率と、実際の距離の比率とが等しくなる。このため、オペレータは、モニタ３６を目視することによって、容易に障害物Ｏまでの距離を推測することができる。

直接映像処理部２８は、カメラ２２により撮像された直接映像Ｄｉ（図７に、右カメラスルー映像ＣＴｉＲを修正したもののみ図示）を処理するものである。この直接映像処理部２８は、例えばカメラスルー映像ＣＴｉからノイズ除去、歪み補正等を行って修正された直接映像Ｄｉを定期的に（所定の周期で）モニタ３６に出力する。なお、以下の説明においては、各直接映像について、右カメラ２２Ｒの直接映像Ｄｉを代表例として述べるが、他のカメラ２２Ｌ，２２Ｆ，２２Ｂの直接映像についても同様である。

障害物検知部３１は、車体周囲の障害物Ｏを検知するものである。この障害物検知部３１は、直接映像処理部２８から定期的に入力される映像ＣＴｉを用いて、障害物Ｏの検知を行う。即ち、障害物検知部３１の記憶部３２には、図９に示す障害物検知処理を行うプログラムが記憶されている。障害物検知部３１は、このプログラムを実行することによって、映像ＣＴｉから障害物Ｏを検知する。

具体的には、障害物検知部３１は、カメラ２２からの映像ＣＴｉを定期的に取込み、記憶部３２に保存する。そして、障害物検知部３１は、記憶部３２に保存されたカメラスルー映像ＣＴｉから、予め決められた障害物の色（障害物色Ｃ１，Ｃ２）の部分を抽出して、障害物Ｏを検知する。このとき、障害物色Ｃ１，Ｃ２は、例えば黄色、紫色のように、鉱山等の作業現場（車体周囲）に少ない色が予め設定される。このため、作業現場に進入する自動車の外装や作業者の服装等は、障害物色Ｃ１または障害物色Ｃ２に染められている。

また、障害物検知部３１は、障害物色Ｃ１，Ｃ２を複数（例えば２色）定める複数色設定部３３と、障害物色Ｃ１，Ｃ２を変更する色変更部３４とを備えている。即ち、障害物検知部３１の記憶部３２には、図８に示す障害物色の設定処理を行うプログラムが記憶されている。障害物検知部３１は、このプログラムを実行することによって、複数色設定部３３および色変更部３４が動作する。これに加え、障害物検知部３１は、マーカ表示処理部３５を備えている。このマーカ表示処理部３５は、例えば自動車等の障害物Ｏに障害物マーカＭＫを表示する処理を行う。

モニタ３６は、コントローラ２３により処理された映像を表示するものである。図２に示すように、モニタ３６は、例えばキャブ１２内の左前支柱１５に取付けられ、オペレータが運転席に着座した状態でモニタ３６を操作、確認することができるようになっている。そして、モニタ３６は、電源スイッチ３７、切替スイッチ３８、表示部３９を含んで構成されている。

オペレータが電源スイッチ３７をＯＮ操作すると、モニタ３６が起動すると共にカメラ２２およびコントローラ２３が起動する。このとき、モニタ３６の表示部３９には、コントローラ２３により処理された俯瞰映像ＢＶｉおよび／または直接映像Ｄｉが表示される。

切替スイッチ３８は、表示部３９に表示される映像を切替えるもので、各映像を順送りするアップスイッチ３８Ａと、各映像を逆送りするダウンスイッチ３８Ｂとにより構成されている。これにより、オペレータは、表示部３９に所望の映像を表示させることができる。具体的には、オペレータが切替スイッチ３８を操作すると、図６に示す俯瞰映像ＢＶｉから図７に示す右カメラ２２Ｒの直接映像Ｄｉに切替えることができる。さらに、オペレータが切替スイッチ３８を操作すると、左カメラ２２Ｌの直接映像、前カメラ２２Ｆの直接映像、後カメラ２２Ｂの直接映像および俯瞰映像ＢＶｉと各直接映像との２画面表示に順次切替えることができる構成となっている。

第１の実施の形態によるダンプトラック１に搭載された車両周囲障害物検出装置２１は、上述のような構成を有する。次に、車両周囲障害物検出装置２１による障害物色の設定処理および障害物検知処理について説明する。

まず、例えばモニタ３６の電源スイッチ３７をＯＦＦからＯＮに切り換えると、障害物検知部３１は、最初に図８に示す障害物色の設定処理を実行する。

ステップ１では、障害物検知部３１の色変更部３４は、モニタ３６に障害物色の変更を問い合わせるメッセージ等を表示し、オペレータに障害物色を変更するか否かを確認する。このとき、オペレータは、切替スイッチ３８等を操作することによって、障害物色を変更するか否かを決定する。

オペレータが障害物色の変更を選択したときには、ステップ１で「ＹＥＳ」と判定され、ステップ２に移行する。ステップ２では、障害物検知部３１の色変更部３４は、スイッチ３８Ａ，３８Ｂによって所望の色を選択し、複数（例えば２色）の障害物色Ｃ１，Ｃ２を所望の色に変更する。

一方、オペレータが障害物色の変更を選択しないときには、ステップ１で「ＮＯ」と判定され、ステップ３に移行する。ステップ３では、障害物検知部３１の複数色設定部３３によって、記憶部３２に記憶された初期状態または前回起動時に設定された色が障害物色Ｃ１，Ｃ２に設定される。障害物色Ｃ１，Ｃ２は、鉱山等の作業現場に存在しない色として、例えば黄色、紫色が設定される。ステップ２，３が終了すると、障害物色の設定処理を終了する。

なお、図８中のステップ１，２が、色変更部３４の具体的な処理を示し、ステップ３が複数色設定部３３の具体的な処理を示している。また、障害物色の設定処理は、モニタ３６の電源投入時に限らず、オペレータの要求に応じて、障害物検知処理の途中で割込み処理してもよい。これにより、例えばダンプトラック１が作業現場を移動して、現場全体の色合いが変化したときでも、移動後の現場に応じた障害物色Ｃ１，Ｃ２を設定することができる。

障害物色の設定処理が終了すると、障害物検知部３１は、図９に示す障害物検知処理を実行する。なお、障害物検知処理は、例えばモニタ３６の電源スイッチ３７がＯＮ状態の間は、所定時間毎に（所定の制御周期で）繰り返し実行される。

ステップ１１では、カメラ２２から出力されたカメラスルー映像ＣＴｉは、定期的に（所定の周期で）障害物検知部３１に入力される。障害物検知部３１は、カメラスルー映像ＣＴｉを記憶部３２に保存する。

続くステップ１２では、障害物検知部３１は、図１０に示す障害物色Ｃ１に基づく障害物検知処理を実行する。具体的には、カメラスルー映像ＣＴｉ中で障害物色Ｃ１（例えば黄色）の部分を検索し、障害物色Ｃ１の部分が存在するときには、その部分を障害物Ｏと判定する。一方、カメラスルー映像ＣＴｉ中で障害物色Ｃ１の部分が存在しないときには、障害物Ｏがないと判定する。

続くステップ１３では、障害物検知部３１は、障害物色Ｃ２（例えば紫色）に基づく障害物検知処理を実行する。具体的には、カメラスルー映像ＣＴｉ中で障害物色Ｃ２の部分を検索し、障害物色Ｃ２の部分が存在するときには、その部分を障害物Ｏと判定する。一方、カメラスルー映像ＣＴｉ中で障害物色Ｃ２の部分が存在しないときには、障害物Ｏがないと判定する。

続くステップ１４では、障害物検知部３１のマーカ表示処理部３５は、ステップ１２，１３で障害物Ｏと判定された部分に障害物マーカＭＫを付加するために、障害物マーカＭＫの位置データ等をモニタ３６に出力する。これにより、モニタ３６の切替スイッチ３８の操作により、俯瞰映像ＢＶｉおよび直接映像Ｄｉ等が選択されたときに、モニタ３６の表示部３９には、映像ＢＶｉ，Ｄｉ中の障害物Ｏに障害物マーカＭＫが付加された状態で、選択された映像が表示される。この結果、オペレータは、モニタ３６を目視することによって、車体２の周囲に自動車等の障害物Ｏが存在することを把握することができる。

次に、図１０に示す障害物色Ｃ１に基づく障害物検知処理について説明する。なお、障害物色Ｃ１は、黄色の場合を例に挙げて説明する。

ステップ２１では、図４および図５に示すように、映像ＣＴｉ中の全ての画素Ｐ（Ｎ）を、例えばＲＧＢ（赤、緑、青）からなる８ビット（０〜２５５）の色調データに変換する。これにより、画素総数Ｎtotalの画素Ｐ（１）〜画素Ｐ（Ｎtotal）について、色調データが得られる。なお、画素Ｐ（Ｎ）の色はＲＧＢカラーモデルによる変換に限らず、例えばＨＳＶモデル等の他のモデルによる変換を行ってもよい。また、データの解像度は、８ビットに限らず、１６ビット、２０ビット等のように、８ビット以上でもよく、６ビット、４ビットのように、８ビット以下でもよい。

続くステップ２２では、カウンタＮを１（初期値）にセットし、ステップ２３に移行する。ステップ２３では、Ｎ番目の画素Ｐ（Ｎ）の赤成分が障害物色Ｃ１の範囲内か否かを判定する。障害物色Ｃ１が黄色の場合、赤と緑の中間色になるから、８ビットのＲＧＢ表記では（２５５，２５５，０）になる。

但し、図５に示すように、障害物Ｏとなる自動車と背景との境界部分では、色や輝度階調が、量子化誤差やカメラ２２に入射される光量に応じて、常に変動している。このため、障害物Ｏと背景との境界部分は、線を引いたように分かれず、色や輝度が段階的に変化した階調が発生する。従って、障害物Ｏと背景との境界部分は、これらに閾値を設けて判断する必要がある。特に、遠方に位置する障害物Ｏは、映像ＣＴｉ中の画素数が少なくなるから、このような境界部分の影響を受け易い。

ステップ２３では、上述のような実際の検出に伴う誤差等を考慮して、例えばデータ最大値の１０％程度（２５程度）の許容範囲を設け、Ｎ番目の画素Ｐ（Ｎ）の赤成分が２３０以上で２５５以下か否かを判定する（２３０≦Ｐ（Ｎ）のRed≦２５５）。なお、誤差等の許容範囲は、１０％に限らず、装置の仕様や検出確度等を考慮して、例えば５％以上２０％以下の範囲で適宜設定される。この点は、緑成分、青成分での判定処理についても、同様である。

ステップ２３で「ＹＥＳ」と判定したときは、画素Ｐ（Ｎ）の赤成分が障害物色Ｃ１の条件を満たしているから、ステップ２４に移行する。ステップ２４では、Ｎ番目の画素Ｐ（Ｎ）の緑成分が障害物色Ｃ１（黄色）の範囲内か否かを判定する。具体的には、ステップ２４では、例えば１０％程度の許容範囲を設け、Ｎ番目の画素Ｐ（Ｎ）の緑成分が２３０以上で２５５以下か否かを判定する（２３０≦Ｐ（Ｎ）のGreen≦２５５）。

ステップ２４で「ＹＥＳ」と判定したときは、画素Ｐ（Ｎ）の緑成分が障害物色Ｃ１の条件を満たしているから、ステップ２５に移行する。ステップ２５では、Ｎ番目の画素Ｐ（Ｎ）の青成分が障害物色Ｃ１（黄色）の範囲内か否かを判定する。具体的には、ステップ２５では、例えば１０％程度の許容範囲を設け、Ｎ番目の画素Ｐ（Ｎ）の緑成分が０以上で２５以下か否かを判定する（０≦Ｐ（Ｎ）のBlue≦２５）。

ステップ２５で「ＹＥＳ」と判定したときは、Ｎ番目の画素Ｐ（Ｎ）の色は、障害物色Ｃ１（黄色）の範囲内であると考えられる。このため、ステップ２６に移行し、Ｎ番目のバッファに「１」を格納する。

一方、ステップ２３，２４，２５のいずれかで「ＮＯ」と判定したときは、Ｎ番目の画素Ｐ（Ｎ）の色は、障害物色Ｃ１の範囲外であると考えられる。このため、ステップ２７に移行し、Ｎ番目のバッファに「０」を格納する。

ステップ２６，２７が終了すると、ステップ２８に移行する。ステップ２８では、カウンタＮが画素総数Ｎtotal以下か否かを判定する。ステップ２８で「ＹＥＳ」と判定したときには、画素Ｐ（Ｎ）の判定途中であるから、ステップ２９でカウンタＮを１つ増加させて、ステップ２３〜２８の処理を繰り返す。一方、ステップ２８で「ＮＯ」と判定したときには、全ての画素Ｐ（Ｎ）の判定が終了したから、ステップ３０に移行する。

ステップ３０では、全てのバッファのうちいずれかが「１」か否か、即ち、全てのバッファのうち少なくとも１つが「１」か否かを判定する。ステップ３０で「ＹＥＳ」と判定したときには、映像ＣＴｉ中に障害物Ｏが映っているから、ステップ３１に移行して障害物あり判定の処理を行う。具体的には、障害物色Ｃ１の部分を障害物Ｏと認識し、その部分の位置データとして、例えば座標や画素Ｐ（Ｎ）を記憶する。この場合、マーカ表示処理部３５は、障害物Ｏの該当箇所を特定して、障害物Ｏの位置データをモニタ３６に出力する。これにより、モニタ３６の表示部３９には、障害物Ｏに障害物マーカＭＫを付した映像ＢＶｉ，Ｄｉが表示される。

一方、ステップ３０で「ＮＯ」と判定したときには、映像ＣＴｉ中に障害物Ｏが映っていないから、ステップ３２に移行して障害物なし判定の処理を行う。具体的には、障害物色Ｃ１の障害物Ｏが存在しないことを記憶する。この場合、マーカ表示処理部３５は、障害物Ｏの位置データを出力しない。このため、モニタ３６の表示部３９には、障害物マーカＭＫが付されない映像ＢＶｉ，Ｄｉが表示される。ステップ３１，３２が終了すると、リターンする。

なお、障害物色Ｃ２に基づく障害物検知処理は、障害物色Ｃ１に基づく障害物検知処理とほぼ同様である。例えば障害物色Ｃ２が紫色である場合には、１１０≦Ｐ（Ｎ）のRed≦１３５が画素Ｐ（Ｎ）の赤成分が障害物色Ｃ２の範囲内であり、０≦Ｐ（Ｎ）のGreen≦２５が画素Ｐ（Ｎ）の緑成分が障害物色Ｃ２の範囲内であり、１７５≦Ｐ（Ｎ）のBlue≦２００が画素Ｐ（Ｎ）の青成分が障害物色Ｃ２の範囲内であると判定される。これらの判断基準以外は、障害物色Ｃ２に基づく障害物検知処理と障害物色Ｃ１に基づく障害物検知処理とは、ほぼ同じ処理を行う。このため、障害物色Ｃ２に基づく障害物検知処理については、その詳しい説明を省略する。

また、図１０に示す障害物色Ｃ１に基づく障害物検知処理では、単一の画素Ｐ（Ｎ）が障害物色Ｃ１であっても、障害物Ｏがあると判定する。本発明はこれに限らず、例えば障害物Ｏの誤検出を抑制するために、障害物Ｏの大きさに応じた複数の連続した画素が障害物色Ｃ１の範囲内であるときに、障害物Ｏがあると判定してもよい。このことは、障害物色Ｃ２に基づく障害物検知処理でも同様である。

かくして、第１の実施の形態では、コントローラ２３は、カメラ２２で撮影した映像ＣＴｉ中で予め定めた障害物色Ｃ１，Ｃ２の部分を、車体周囲の障害物Ｏとして検知する障害物検知部３１を備えた。このとき、コントローラ２３は、例えば作業現場が全体的に土砂によって茶色となるときに、作業現場と異なる色（例えば黄色、紫色）を障害物色Ｃ１，Ｃ２に設定する。これに加え、作業現場を走行する自動車の全体または屋根等の一部、作業現場に立ち入る作業者の服装またはヘルメット等は、障害物色Ｃ１，Ｃ２に染めておく。これにより、コントローラ２３は、カメラ２２で撮影した映像ＣＴｉ中で予め定めた障害物色Ｃ１，Ｃ２の部分を抽出することによって、障害物Ｏを検出することできる。この結果、障害物Ｏが車体２から遠方に離れた状態で、障害物Ｏの画像の画素数が少ないときでも、任意の色の障害物を検出するときに比べて、障害物Ｏを検知し易くなり、障害物Ｏの検出率を高めることができる。

また、例えばダンプトラック１が硫黄を含む作業現場に移動したときには、作業現場は障害物色Ｃ１である黄色が多くなる。これに対し、コントローラ２３は障害物色Ｃ１，Ｃ２を複数定める複数色設定部３３をさらに備え、障害物検知部３１は、カメラ２２で撮影した映像ＣＴｉ中で複数の障害物色Ｃ１，Ｃ２のうち少なくともいずれか１つの色の部分を障害物Ｏとして検知する。このため、障害物色Ｃ１が多い作業現場であっても、障害物色Ｃ１と異なる紫色の障害物色Ｃ２を用いることによって、障害物Ｏを検出することができる。従って、作業現場毎に全体の色が異なるときでも、例えば２トーン塗装のように、自動車等を複数色で塗装しておくことによって、少なくともいずれか１つの色は作業現場と異なる色にすることができる。これにより、ダンプトラック１が作業現場を移動して、現場毎に全体の色が変わるときでも、カメラ２２で撮影した映像ＣＴｉから障害物Ｏを検出することができる。

さらに、コントローラ２３は、障害物色Ｃ１，Ｃ２を変更する色変更部３４をさらに備えている。このため、作業現場毎に現場全体の色が異なるときでも、色変更部３４によって、作業現場で識別が容易な色に障害物色を変更することができる。この結果、障害物Ｏの誤検出や未検出を抑制することができる。

次に、図１１ないし図１６は、本発明の第２の実施の形態を示している。第２の実施の形態の特徴は、障害物検知部は、遠方エリアと近傍エリアで異なる判断基準で障害物を検知することにある。なお、第２の実施の形態では、前述した第１の実施の形態と同一の構成要素に同一の符号を付し、その説明を省略するものとする。

第２の実施の形態による車両周囲障害物検出装置５１は、第１の実施の形態による車両周囲障害物検出装置２１とほぼ同様に、複数個のカメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂ（カメラ２２）、コントローラ５２、モニタ３６を含んで構成されている。

このとき、コントローラ５２は、第１の実施の形態によるコントローラ２３とほぼ同様に構成され、記憶部２４、映像処理部２６、障害物検知部５３を含んで構成されている。障害物検知部５３は、第１の実施の形態による障害物検知部３１とほぼ同様に、記憶部３２、複数色設定部３３、色変更部３４、マーカ表示処理部３５を備えている。

これに加え、障害物検知部５３は、映像ＣＴｉ中で移動体Ｍを検出する移動体検出部５４と、映像ＣＴｉ中で車体２から離れた遠方エリアＦＡで障害物Ｏを検知する遠方検知部５５と、映像ＣＴｉ中で車体２に近い近傍エリアＮＡで障害物Ｏを検知する近傍検知部５６とをさらに備えている。即ち、障害物検知部５３の記憶部３２には、図１４ないし図１６に示す障害物検知処理、遠方検知処理、近傍検知処理のプログラムが記憶されている。障害物検知部５１は、これらのプログラムを実行することによって、移動体検出部５４、遠方検知部５５および近傍検知部５６が動作する。

遠方検知部５５は、例えば映像ＣＴｉ中で車体２から予め決められた所定距離よりも離れた領域を遠方エリアＦＡと判定し、この遠方エリアＦＡ内で障害物Ｏの検出を行う。また、遠方検知部５５は、移動体検出部５４が遠方エリアＦＡで移動体Ｍを検出したときであって、かつ、検出した移動体Ｍが予め定めた障害物色Ｃ１，Ｃ２であると判定したときに、その移動体Ｍを障害物Ｏと判断する。

一方、近傍検知部５６は、例えば映像ＣＴｉ中で車体２から予め決められた所定距離よりも近い領域を近傍エリアＮＡと判定し、この近傍エリアＮＡ内で障害物Ｏの検出を行う。近傍検知部５６は、移動体検出部５４が近傍エリアＮＡで移動体Ｍを検出したとき、または、映像ＣＴｉ中で障害物色Ｃ１，Ｃ２の部分を検出したときに、移動体Ｍおよび障害物色Ｃ１，Ｃ２の部分のいずれも障害物Ｏと判断する。

なお、障害物検知部５３は、映像ＣＴｉを遠方エリアＦＡと近傍エリアＮＡの２つのエリアに区分けする。このため、映像ＣＴｉ中で近傍エリアＮＡ以外の部分は、遠方エリアＦＡになる。また、遠方エリアＦＡと近傍エリアＮＡを分ける基準となる距離は、カメラ２２の解像度や分解能、検出可能な障害物Ｏの大きさ、障害物Ｏの検出確度等を考慮して、適宜設定される。

第２の実施の形態によるダンプトラック１に搭載された車両周囲障害物検出装置５１は、上述のような構成を有する。次に、車両周囲障害物検出装置５１による障害物検知処理等について説明する。

まず、モニタ３６の電源スイッチ３７をＯＦＦからＯＮに切り換えると、障害物検知部５３は、第１の実施の形態による障害物検知部３１と同様に、図８に示す障害物色の設定処理を実行する。

障害物色の設定処理が終了すると、障害物検知部５３は、図１４に示す第２の実施の形態による障害物検知処理を実行する。なお、障害物検知処理は、例えばモニタ３６の電源スイッチ３７がＯＮ状態の間は、所定時間毎に（所定の制御周期で）繰り返し実行される。

ステップ４１では、カメラ２２から出力されたカメラスルー映像ＣＴｉは、定期的に（所定の周期で）障害物検知部５３に入力される。障害物検知部５３は、カメラスルー映像ＣＴｉを記憶部３２に保存する。

続くステップ４２では、障害物検知部５３は、図１５に示す遠方検知処理を実行する。具体的には、カメラスルー映像ＣＴｉ中で遠方エリアＦＡを判定し、遠方エリアＦＡ内で障害物Ｏを検出する。

続くステップ４３では、障害物検知部５３は、図１６に示す近傍検知処理を実行する。具体的には、カメラスルー映像ＣＴｉ中で近傍エリアＮＡを判定し、近傍エリアＮＡ内で障害物Ｏを検出する。

続くステップ４４では、ステップ４２，４３で、障害物Ｏと判定された部分に障害物マーカＭＫを付加し、モニタ３６に出力する。これにより、モニタ３６の切替スイッチ３８の操作により、俯瞰映像ＢＶｉおよび直接映像Ｄｉ等が選択されたときに、モニタ３６の表示部３９には、映像ＢＶｉ，Ｄｉ中の障害物Ｏに障害物マーカＭＫが付加された状態で、選択された映像が表示される。

なお、図１１および図１３に示すように、モニタ３６は、遠方エリアＦＡと近傍エリアＮＡとを区分けするエリアラインＡＬが合成された映像ＢＶｉ，Ｄｉを表示してもよい。この場合には、オペレータは、障害物Ｏが存在するエリア（遠方エリアＦＡまたは近傍エリアＮＡ）を、把握することができる。

次に、図１５に示す遠方検知処理について説明する。この遠方検知処理は、車体２から離れた遠方エリアＦＡでの障害物検知を行うものである。

ステップ５１では、カメラスルー映像ＣＴｉ中で遠方エリアＦＡ（遠方領域の映像）を抽出する（図１２参照）。続くステップ５２では、移動体検出部５４によって遠方エリアＦＡ内で移動体Ｍを検出する。具体的には、遠方検知部５５は、一周期前に取込んだ遠方エリアＦＡ（前回の遠方エリアＦＡ）と現在取込んでいる遠方エリアＦＡ（今回の遠方エリアＦＡ）とを比較して、動いている映像（物体）を移動体Ｍとして判断する。例えば、動いている自動車を検知する場合には、自動車の映像は動いているが、自動車の背景は動かない。このことから、この自動車を移動体Ｍとして検知することができる。

続くステップ５３では、移動体Ｍを検出したか否かを判定する。移動体Ｍを検出したときには、ステップ５３で「ＹＥＳ」と判定し、ステップ５４に移行する。ステップ５４では、検出した移動体Ｍの色と障害物色Ｃ１，Ｃ２とを比較する。即ち、移動体Ｍの色が障害物色Ｃ１，Ｃ２の範囲内か否かを判定し、その判定結果を出力する。移動体Ｍの色が障害物色Ｃ１の範囲内か否かの判定処理は、映像ＣＴｉの一部である移動体Ｍの部分について判定する点で異なるものの、その他は図１０に示す障害物色Ｃ１に基づく障害物検知処理とほぼ同様である。また、移動体Ｍの色が障害物色Ｃ２の範囲内か否かの判定処理についても、移動体Ｍの部分について判定する点と、障害物色Ｃ２と比較する点とが異なるものの、それ以外は障害物色Ｃ１に基づく障害物検知処理と同様である。

続くステップ５５では、移動体Ｍの色が障害物色Ｃ１，Ｃ２のいずれかであるか否かを判定する。ステップ５４で、移動体Ｍの色が障害物色Ｃ１の範囲内である、または障害物色Ｃ２の範囲内であるとの判定結果が出力されたときには、ステップ５５で「ＹＥＳ」と判定し、ステップ５６に移行して障害物あり判定の処理を行う。具体的には、移動体Ｍを障害物Ｏと認識し、その部分の座標や画素Ｐ（Ｎ）を記憶する。この場合、マーカ表示処理部３５は、障害物Ｏの該当箇所を特定し、障害物Ｏの位置データをモニタ３６に出力する。これにより、モニタ３６の表示部３９には、遠方エリアＦＡに障害物マーカＭＫを付した映像ＢＶｉ，Ｄｉが表示される。

一方、ステップ５３，５４のいずれかで「ＮＯ」と判定したときには、遠方エリアＦＡに移動中の障害物Ｏが映っていないから、ステップ５７に移行して障害物なし判定の処理を行う。具体的には、遠方エリアＦＡに移動体Ｍの障害物Ｏが存在しないことを記憶する。この場合、マーカ表示処理部３５は、障害物Ｏの位置データを出力しない。このため、モニタ３６の表示部３９には、遠方エリアＦＡに障害物マーカＭＫが付されない映像ＢＶｉ，Ｄｉが表示される。ステップ５６，５７が終了すると、リターンする。

次に、図１６中に示す近傍検知処理について説明する。この近傍検知処理は、車体２に近い近傍エリアＮＡでの障害物検知を行うものである。

ステップ６１では、カメラスルー映像ＣＴｉ中で近傍エリアＮＡ（近傍領域の映像）を抽出する（図１２参照）。続くステップ６２では、移動体検出部５４によって近傍エリアＮＡ内で移動体Ｍを検出する。具体的には、近傍検知部５６は、一周期前に取込んだ近傍エリアＮＡ（前回の近傍エリアＮＡ）と現在取込んでいる近傍エリアＮＡ（今回の近傍エリアＮＡ）とを比較して、動いている映像（物体）を移動体Ｍとして判断する。

続くステップ６３では、近傍エリアＮＡについて、障害物色Ｃ１，Ｃ２に基づく障害物検知処理を行う。障害物色Ｃ１に基づく障害物検知処理は、近傍エリアＮＡで検知する点を除いて、図１０に示す障害物色Ｃ１に基づく障害物検知処理とほぼ同様である。また、障害物色Ｃ２に基づく障害物検知処理は、近傍エリアＮＡで検知する点、および、障害物色Ｃ１が障害物色Ｃ２になる点で異なるものの、それ以外は障害物色Ｃ１に基づく障害物検知処理と同様である。

続くステップ６４では、ステップ６２で移動体Ｍを検出したか否かを判定する。移動体Ｍを検出しなかったときには、ステップ６３で「ＮＯ」と判定し、ステップ６５に移行する。ステップ６５では、近傍エリアＮＡに障害物色Ｃ１，Ｃ２の部分があるか否かを判定する。障害物色Ｃ１，Ｃ２のいずれの部分もないときには、ステップ６５で「ＮＯ」と判定し、ステップ６６に移行して、障害物なし判定の処理を行う。具体的には、近傍エリアＮＡに障害物Ｏが存在しないことを記憶する。この場合、マーカ表示処理部３５は、障害物Ｏの位置データを出力しない。このため、モニタ３６の表示部３９には、近傍エリアＮＡに障害物マーカＭＫが付されない映像ＢＶｉ，Ｄｉが表示される。

一方、ステップ６４，６５のいずれかで「ＹＥＳ」と判定したときには、ステップ６７に移行して障害物あり判定の処理を行う。具体的には、移動体Ｍおよび障害物色Ｃ１，Ｃ２の部分の両方について、障害物Ｏと認識し、その部分の座標や画素Ｐ（Ｎ）を記憶する。この場合、マーカ表示処理部３５は、障害物Ｏの該当箇所を特定し、障害物Ｏの位置データをモニタ３６に出力する。これにより、モニタ３６の表示部３９には、近傍エリアＮＡに障害物マーカＭＫを付した映像ＢＶｉ，Ｄｉが表示される。ステップ６６，６７が終了すると、リターンする。

かくして、このように構成された第２の実施の形態においても、前述した第１の実施の形態とほぼ同様の作用効果を得ることができる。また、第２の実施の形態では、遠方検知部５５は、映像ＣＴｉのうち遠方エリアＦＡでは、移動体検出部５４が移動体Ｍを検出したときであって、かつ、移動体Ｍが障害物色Ｃ１，Ｃ２であると判定したときに、移動体Ｍを障害物Ｏと判断する。このため、障害物Ｏが車体２の遠方に位置して、映像ＣＴｉ中の障害物部分の画素数が少ないときでも、誤検出を抑制しつつ、障害物Ｏを検出することができる。

さらに、近傍検知部５６は、映像ＣＴｉのうち近傍エリアＮＡでは、移動体検出部５４が移動体Ｍを検出したとき、または、映像ＣＴｉ中で障害物色Ｃ１，Ｃ２の部分を検出したときに、移動体Ｍまたは障害物色Ｃ１，Ｃ２の部分を障害物Ｏと判断する。このため、障害物が車体２の近傍に位置したときには、移動する障害物Ｏが検出できるのに加えて、静止した障害物Ｏも検出することができる。

なお、前記第１の実施の形態では、障害物検知部３１は２色の障害物色Ｃ１，Ｃ２に基づいて障害物Ｏを検出した場合を例に挙げて説明した。しかし、本発明はこれに限らず、障害物検知部３１は、１色の障害物色に基づいて障害物Ｏを検出してもよく、３色以上の障害物色に基づいて障害物Ｏを検出してもよい。このことは、第２の実施の形態についても同様である。

前記第１の実施の形態では、障害物検知部３１はカメラスルー映像ＣＴｉに基づいて障害物Ｏを検出した場合を例に挙げて説明した。しかし、本発明はこれに限らず、障害物検知部３１は、映像処理部２６から出力される直接映像Ｄｉや俯瞰映像ＢＶｉに基づいて障害物Ｏを検出してもよい。このことは、第２の実施の形態についても同様である。

前記第１の実施の形態では、４個のカメラ２２Ｒ，２２Ｌ，２２Ｆ，２２Ｂにより、俯瞰映像ＢＶｉを作成した場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば２個または３個のカメラを用いて俯瞰映像を作成してもよく、４個以上のカメラを用いて俯瞰映像を作成してもよい。このことは、第２の実施の形態についても同様である。

前記各実施の形態では、俯瞰映像合成処理部２７でダンプトラック１を上方からみた俯瞰映像ＢＶｉを作成した場合について説明した。しかし、本発明はこれに限らず、例えば映像合成処理部は、複数個のカメラで撮像した映像を合成して球面俯瞰映像を作成し、この球面俯瞰映像に障害物を検知する予め設定された内側エリアと該内側エリア以外の外側エリアとを識別表示させてもよい。

前記各実施の形態では、車両周囲障害物検出装置２１，５１を超大型のダンプトラック１に搭載した場合を例に挙げて説明した。しかし、本発明はこれに限らず、例えば車両周囲障害物検出装置を油圧ショベル、油圧クレーン、ホイールローダ等の作業車両に用いてもよい。

１ ダンプトラック
２ 車体
２１，５１ 車両周囲障害物検出装置
２２Ｒ 右カメラ
２２Ｌ 左カメラ
２２Ｆ 前カメラ
２２Ｂ 後カメラ
２３，５２ コントローラ
２５ 車体のシンボル
２７ 俯瞰映像合成処理部（映像合成処理部）
３１，５３ 障害物検知部
３３ 複数色設定部
３４ 色変更部
３６ モニタ
５４ 移動体検出部
５５ 遠方検知部
５６ 近傍検知部

Claims (5)

1. 車体に設けられ車体周囲を撮像する複数個のカメラと、該複数個のカメラで撮像した映像を処理するコントローラと、該コントローラにより処理された映像を表示するモニタとを備えてなる車両周囲障害物検出装置において、
   前記コントローラは、
   前記複数個のカメラで撮像した映像を合成して一つの映像とし、合成された一つの映像の中央部に車体のシンボルを配置して前記車体周囲を認識できる合成映像を作成する映像合成処理部と、
   前記カメラで撮影した映像中で予め定めた前記障害物の色の部分を、前記車体周囲の障害物として検知する障害物検知部とを備えたことを特徴とする車両周囲障害物検出装置。
2. 前記コントローラは、前記障害物の色を複数定める複数色設定部をさらに備え、
   前記障害物検知部は、前記カメラで撮影した映像中で前記複数色のうち少なくともいずれか１つの色の部分を前記障害物として検知してなる請求項１に記載の車両周囲障害物検出装置。
3. 前記コントローラは、前記障害物の色を変更する色変更部をさらに備えてなる請求項１に記載の車両周囲障害物検出装置。
4. 前記コントローラは、前記映像中で移動体を検出する移動体検出部をさらに備え、
   前記障害物検知部は、前記映像のうち前記車体から離れた遠方エリアでは、前記移動体検出部が前記移動体を検出したときであって、かつ、前記移動体が予め定めた前記障害物の色であると判定したときに、前記移動体を前記障害物と判断する遠方検知部を備えてなる請求項１に記載の車両周囲障害物検出装置。
5. 前記コントローラは、前記映像中で移動体を検出する移動体検出部をさらに備え、
   前記障害物検知部は、前記映像のうち前記車体に近い近傍エリアでは、前記移動体検出部によって前記移動体を検出したとき、または、前記映像中で予め定めた前記障害物の色の部分を検出したときに、前記移動体および前記障害物の色の部分のいずれも前記障害物と判断する近傍検知部を備えてなる請求項１に記載の車両周囲障害物検出装置。

Images