JP2017030688A - 作業機械の周囲監視装置 - Google Patents

Abstract

【課題】障害物認識性能の向上を図ることができる周囲監視装置の提供。【解決手段】周囲監視装置１００は、カメラ１０５〜１２０から撮像情報を取得する映像獲得部１２５と、取得された撮像情報に基づいて俯瞰画像を生成する俯瞰画像生成部１５５と、移動体を検知する移動体検知部１６０と、検知された移動体が静止すると、その移動体の静止を検知する静止位置算出部１７０と、検知された移動体の位置を示す第１検知マーカまたは静止位置算出部１７０により検知された移動体の位置を示す第２検知マーカの少なくとも一方が、俯瞰画像に重畳表示された表示画像を生成する表示画像生成部１３５と、を備える。表示画像生成部１３５は、移動体検知部１６０により移動体が検知されると、移動体の位置を示す第１検知マーカを俯瞰画像に重畳表示し、移動体の静止が検知されると、静止位置を示す第２検知マーカを俯瞰画像に重畳表示する。【選択図】図２

Description

本発明は、作業機械の周囲監視装置に関する。

建設機械、鉱山機械などの大型作業機械は、車両が大きいことから運転者から周囲を見たときに死角が多い。そのため、車両周囲にカメラを搭載し、周囲状況を映像で監視する周囲監視装置が知られている。例えば、非特許文献１に記載の装置では、カメラで車両周囲の映像を取得し、その映像内の移動体を検知して移動体の存在を示すマーカを表示部に表示し警告音を発生するようにしている。

"移動物検知"、［online］、日産自動車株式会社、［平成２７年６月５日検索］、インターネット＜URL:http://www.nissan- global.com/JP/TECHNOLOGY/OVERVIEW/mod.html＞

しかしながら、移動体に対してはマーカ表示や警告音発生が行われるが、移動体が静止するとそれらが停止する。そのため、静止した移動体が表示部に表示されているにも拘わらずマーカ表示や警告音が停止するので、運転者は装置の故障と勘違いするおそれがあった。

本発明に係る作業機械の周囲監視装置は、作業機械周囲を撮像する撮像装置から撮像情報を取得する取得部と、前記取得部で取得された撮像情報に基づいて俯瞰画像を生成する俯瞰画像生成部と、作業機械周囲の移動体を検知する第１検知部と、前記第１検知部により検知された移動体が静止したことを検知する第２検知部と、前記第１検知部により検知された移動体の位置を示す第１検知マーカまたは前記第２検知部により検知された移動体の位置を示す第２検知マーカの少なくとも一方が、前記俯瞰画像に重畳表示された表示画像を生成する表示画像生成部と、を備え、前記表示画像生成部は、前記第１検知部により移動体が検知されると、移動体の位置を示す第１検知マーカを前記俯瞰画像に重畳表示し、前記第２検知部により移動体の静止が検知されると、静止位置を示す第２検知マーカを前記俯瞰画像に重畳表示する。

本発明によれば、移動体が静止した場合には第２検知マーカが表示されるので、運転者は装置の故障と勘違いするのを防止でき、障害物認識性能の向上を図ることができる。

図１は、本発明の一実施の形態による周囲監視装置を搭載する鉱山ダンプを示す図である。 図２は、作業機械周囲の障害物を検知する検知システムの全体構成を示すブロック図である。 図３は、障害物検知処理の一例を示すフローチャートである。 図４は、静止物検知処理の一例を示すフローチャートである。 図５は、移動体が検知エリアに侵入した場合の、表示画像の一例を示す図である。 図６は、移動体が静止した場合の、表示画像を示す図である。 図７は、静止した移動体が静止物として検知された場合の、表示画像の一例を示す図である。 図８は、静止していた移動体が再び動き出した場合の、表示画像の一例を示す図である。 図９は、再び動き出した移動体が検知エリアから脱出する場合の、表示画像の一例を示す図である。 図１０は、俯瞰画像表示処理フローの一例を示す図である。 図１１は、俯瞰画像の生成を説明する図である。 図１２は、検知マーカの他の表示形態の一例を示す図である。 図１３は、静止物の誤検知を説明する図である。

以下、図面を参照して本発明の一実施の形態による作業機械の周囲監視装置について詳細に説明する。本実施の形態では、作業機械の一例として、鉱山での作業等に用いられる鉱山ダンプを例に説明する。なお、以下において、「左方」とは鉱山ダンプの運転室から見た左方向であり、「右方」とは鉱山ダンプの運転室から見た右方向である。

図１は、本発明の一実施の形態による周囲監視装置を搭載する鉱山ダンプ２００を示す図である。鉱山ダンプ２００の運転室２１０の前方には、鉱山ダンプ２００の前方を撮影する前方カメラ１０５が設けられている。鉱山ダンプ２００の左側面には、例えば、前輪２０５の上方には、鉱山ダンプ２００の左方を撮影する左方カメラ１２０が設けられている。また、図１は鉱山ダンプ２００を左方から見た図であるため、図１では示されていないが、鉱山ダンプ２００の右側面には、鉱山ダンプ２００の右方を撮影する右方カメラ１１５（後述する図２参照）が設けられている。鉱山ダンプ２００の後部であって、荷台２１５の下には、鉱山ダンプ２００の後方を撮影する後方カメラ１１０が設けられている。鉱山ダンプ２００の運転室内に設けられた周囲監視装置が設けられている。

前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０は、それぞれ魚眼レンズのような広画角のレンズを有し、地表面を主に撮影するために所定の俯角をつけて設置されている。前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０から出力された映像データは、運転室２１０内に設けられた周囲監視装置に入力される。なお、本実施形態では４つのカメラを用いて鉱山ダンプ２００の周囲の画像を撮影するようにしたが４つに限らず、作業機械に応じてカメラの数を適宜設定する。

図２は、作業機械周囲の障害物を検知する検知システムの全体構成を示すブロック図である。検知システムは、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０と、周囲監視装置１００と、表示装置１４５とから構成される。周囲監視装置１００は、映像獲得部１２５、映像バッファ１３０、表示画像生成部１３５、入出力インタフェース１４０、制御部１５０、俯瞰画像生成部１５５、移動体検知部１６０、静止物検知部１６５、静止位置算出部１７０、静止物移動検知部１７５、停止時間検知部１８０および静止物検知解除部１８５を備えている。表示装置１４５は、表示部１４５１および入力部１４５２を備えている。表示装置１４５には、例えば、液晶表示装置が用いられる。

各カメラ１０５，１１０，１１５，１２０からは、それぞれ原画像のＮＴＳＣなどのコンポジット信号が映像獲得部１２５に入力される。映像獲得部１２５は、これら各コンポジット信号をＡ／Ｄ変換してＲＧＢ信号にデコードする。映像獲得部１２５で処理された映像データは、映像バッファ１３０に一時的に記憶される。

俯瞰画像生成部１５５は、映像バッファ１３０に一時的に記憶された映像データに基づいて、カメラの映像を鉱山ダンプの上方の視点から見た画像に変換し、俯瞰画像を生成する。移動体検知部１６０は、映像データの映像の中からオプティカルフロー等を利用して移動している物体を検知する。このオプティカルフローは、連続する映像のフレームを用いて映像内の動きベクトルを計算する手法である。本実施の形態では、この映像内の動きベクトルの中から、障害物らしい大きさや速度を持つ対象を抽出し、それを移動する障害物として検知する。

静止物検知部１６５は、検知対象の形状、輝度、色合い、エッジ数およびノード数等の画像特徴量に基づきマッチングを行うことで、映像データの映像中の静止している物体を検知する。静止位置算出部１７０は、移動体検知部１６０で検知した移動体が静止したか否かを判定し、移動体が静止した場合の静止位置や、その静止位置を含む所定領域を算出する。以下では、この所定領域を静止物検知領域と呼ぶことにする。移動体が静止すると、オプティカルフローの動きベクトルがゼロまたは微小になるため、移動体検知部１６０は移動体として検知できなくなる。その場合に、静止位置算出部１７０は静止と判定する。

表示画像生成部１３５は、表示装置１４５の表示部１４５１に表示するための表示画像を生成する。表示画像は、俯瞰画像生成部１５５で形成された俯瞰画像に、移動体検知部１６０で検知された移動体の位置に表示される検知マーカ（移動体マーカ）や、静止位置算出部１７０で検知された静止位置に表示される検知マーカ（静止物マーカ）を重畳表示した画像である。もちろん、移動体や静止物体が検知されなかった場合には、検知マーカは表示されない。

静止物移動検知部１７５は、静止物検知部１６５で検知された静止している移動体が、再び移動したか否かを検知する。静止物検知部１６５が検知している移動物が移動しているか否かは、フレーム間の差分を取ることにより判別する。静止物移動検知部１７５により静止した移動体の再移動が検知されると、静止物検知部１６５による静止物体の検知は停止する。

停止時間検知部１８０は、静止物検知部１６５で検知された静止物体の静止状態が一定時間以上継続しているか否かを判定する。静止物検知解除部１８５は、オペレータが入力部１４５２を操作することにより、入力部１４５２から静止物体の検知を解除する解除指令が入力されると、後述する静止物検知解除処理を行う。

表示部１４５１は、表示画像生成部１３５で生成された表示画像を表示する。制御部１５０は、周囲監視装置１００の全体を制御する。

次に、周囲監視装置１００における障害物検知処理の一例を、図３および４のフローチャートを用いて説明する。図３および４に示す処理は、鉱山トラックのイグニッションキー操作により、周囲監視装置１００に通電されるとスタートする。ステップＳ３００では、周囲監視装置１００、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５、左方カメラ１２０等の起動状態を核にする初期設定処理を行う。

ステップＳ３０５では、映像獲得部１２５において、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０からの映像データを獲得する。そして、獲得された映像データを映像バッファ１３０に一時的に記憶する。ステップＳ３１０では、移動体検知部１６０において移動体を検知する。移動体の検知では、上述したように、映像バッファ１３０に一時的に記憶されている映像データに基づいて、オプティカルフローなどを利用して移動している物体を検知する。

ステップＳ３１５では、表示画像生成部１３５は、俯瞰画像に移動体検知位置を示す検知マーカを重畳表示した表示画像を生成する。すなわち、俯瞰画像の移動体の画像上に検知マーカが重畳表示される。なお、表示部１４５１に表示される俯瞰画像の表示処理については後述する。

ステップＳ３２０では、ステップＳ３１０で検知された移動体が静止したか否かを判定する。この判定は、上述したように図２の静止位置算出部１７０において行われる。ステップＳ３２０において移動体が静止したと判定されるとステップＳ３２５へ進み、静止と判定されない場合にはステップＳ３３０へ進む。

ステップＳ３２５では、図４に示す静止物検知処理を開始する。図４の処理は、図３の処理と並行して行われる。なお、静止物検知処理の詳細は後述する。ステップＳ３３０では、制御部１５０において、終了要求が有るか否かを判定する。終了要求が無い場合にはステップＳ３３０からステップＳ３０５へ進み、終了要求があった場合には、ステップＳ３３５へ進んで、周囲監視装置１００における障害物検知処理を終了する。終了要求としては、例えば、入力部１４５２を介したオペレータによる終了指令や、鉱山ダンプ２００のエンジン停止に伴う終了処理などがある。

なお、ステップＳ３１０で移動体が検知されない場合には、ステップＳ３１５における検知マーカの表示処理が行われず、ステップＳ３２０で非静止と判定されてステップＳ３３０へ進む。

図５は、自車周囲の検知エリア内に車両などの移動体が侵入した場合の表示部１４５１に表示される表示画像５００の一例を示したものである。表示画像５００の中央には、自車両（鉱山ダンプ２００）を示す自車両アイコン５３０が表示されている。自車両アイコン５３０の周囲には俯瞰画像５０１が表示されている。図５に示す例では、表示された俯瞰画像５０１の領域と検知エリアとが同一に設定されている。

移動体は左斜め上方向から検知エリアに侵入しており、検知エリア内に侵入した移動体を示す移動体画像５０５が俯瞰画像５０１に描画されている。矢印５０２は俯瞰画像上における移動体の移動方向を示している。移動体の検知位置には検知マーカ５１５が表示されている。移動体画像５０５が表示画像５００内を移動すると、検知マーカ５１５も同様に移動表示される。

図４は、上述したステップＳ３２５で開始される静止物検知処理の一例を示すフローチャートである。ステップＳ５００では、静止した移動体の検知マーカを消去する。図６は、図５の移動体画像５０５で示す移動体が検知エリア内で静止した場合の表示画像５００を示す。移動体画像５０５は自車両アイコンの上方近傍（自車両の前方近傍）に表示されている。静止直前まで表示されていた検知マーカ５１５は、移動体の静止とともに消去される。図６では、消去された検知マーカ５１５を点線で示し、実際には表示されていないことを表している。

図４のステップＳ５０５では、静止位置算出部１７０において、移動体が静止した静止位置、および、その静止位置を含む所定領域を上述した静止物検知領域として算出する。ここで、所定領域とは、移動体画像５０５の領域に対応する領域である。移動体検知では、必ずしも移動体画像５０５と同一の領域を移動体と認識できるわけではなく、映像の状態に応じて誤差が生じる。そのため、所定領域は、移動体を含む領域となるように、移動体検知で認識された移動体の領域ほぼ同程度（若干大きめ）に設定される。図６では、一点鎖線で示す矩形領域が静止物検知領域５１７である。

ステップＳ５１０では、映像獲得部１２５において、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０からの映像データを獲得する。そして、獲得された映像データを映像バッファ１３０に一時的に記憶する。ステップＳ５１５では、映像バッファ１３０に一時的に記憶された映像データから、ステップＳ５０５で算出した静止物検知領域内５１７の映像を抽出する。そして、抽出した映像の中から画像特徴量に基づきマッチングを行い、静止物検知領域５１７内の静止物を検知する。映像の抽出および静止物の検知は、図２の静止物検知部１６５において行われる。

前述したように、画像特徴量とは、検知対象の形状、輝度、色合い、エッジ数およびノード数等の検知対象が有する画像上での特徴のことである。例えば、車両を検知する場合には、車両の構造上、エンジンやノードが多く含まれるため、その性質を利用して映像の中から車両を検知する。

ステップＳ５２０では、表示画像生成部１３５は、静止位置算出部１７０で算出された静止位置に検知マーカを重畳表示する。なお、検知マーカの表示とともに警告音を発生するようにしても良い。図７に示す例では、静止状態の移動体（図７の移動体画像５０５が対応する）が、ステップＳ５１５において静止物として検知され、三角形の検知マーカ５２０が表示されている。静止位置に表示する検知マーカの表示形態については、移動体の検知位置に表示される検知マーカと異なっていても良いし、同一であっても良い。例えば、移動体の検知マーカと判別ができるように、検知マーカの色を異ならせても良い。

ステップＳ５２５では、静止物移動検知部１７５において、ステップＳ５１５で検知した静止物が移動したか否かを判定する。ステップＳ５２５において静止物が移動したと判定された場合にはステップＳ５４５に進み、移動と判定されない場合（非移動）にはステップＳ５３０に進む。

ステップＳ５３０では、表示画像生成部１３５において、静止物検知結果の解除の判断をオペレータに促す解除入力提示を行う。例えば、解除入力表示を表示部１４５１に表示する。ここで、静止物検知結果の解除とは、ステップＳ５２０の処理で静止位置に表示された検知マーカを消去することである。

ステップＳ５３５では、静止物検知解除部１８５は、オペレータの入力操作によって入力部１４５２からの解除信号を受信するまではステップＳ５４０へ進み、解除信号を受信するとステップＳ５４５に進む。ステップＳ５４０では、停止時間検知部１８０において、ステップＳ５１５で検知した静止物の静止状態が所定継続時間以上となったか否かを判定する。ステップＳ５４０において静止状態が所定継続時間以上と判定されると、ステップＳ５４５へ進む。一方、ステップＳ５４０で静止状態が所定継続時間未満と判定されると、ステップＳ５１０へ戻る。

ステップＳ５４５では、静止物検知解除部１８５による静止物検知を解除する処理が行われる。すなわち、静止物検知解除部１８５は、ステップＳ５２０において表示された静止位置の検知マーカを消去する指令を表示画像生成部１３５に出力する。表示画像生成部１３５は、静止物検知解除部１８５からの指令を受信すると、静止位置の検知マーカの表示を消去する。ステップＳ５４５の処理により、静止物検知処理は終了する。

図３，４に示す障害物検知処理では、移動体が静止したときに図４に示す静止物検知処理を行う点に特徴がある。例えば、移動体が検知エリア内に侵入し、静止→移動→検知エリアからの脱出までの表示形態の変化を、図を用いて説明すると以下のようになる。

まず、検知エリア内に移動体が侵入すると、図５のように移動体画像５０５に検知マーカ５１５が表示される（Ｓ３１５）。そして、移動体画像５０５で示す移動体が検知エリア内で静止すると、図６のように検知マーカ５１５は消去される（Ｓ５００）。その後、図７に示すように静止した移動体の位置（すなわち移動体画像５０５の位置）に、静止物の位置を示す検知マーカ５２０が表示される（Ｓ５２０）。

次いで、表示された検知マーカ５２０を消去するか否かを促す表示５２２が、図７のように表示部１４５１に表示される（Ｓ５３０）。ここで、オペレータが入力部１４５２を操作して静止物検知結果の解除、すなわち検知マーカ５２０の消去を指令すると、検知マーカ５２０が消去され（Ｓ５３５→Ｓ５４５）、図６に示すように静止状態の移動体を示す移動体画像５０５のみが表示された状態となる。オペレータによる静止物検知結果の解除の具体的操作例としては、例えば、表示部１４５１の表示画面がタッチパネル式の表示画面であれば、表示されている検知マーカ５２０をタッチ操作することで、検知マーカ５２０が消去され、静止物検知処理が中断される。また、一回の操作で、複数の検知マーカ５２０の全てを消去するようにしても良い。

一方、オペレータが静止物検知結果の解除操作を行わないと、所定継続時間が経過するまでは検知マーカ５２０が表示された状態となる（Ｓ５３５→Ｓ５４０→Ｓ５１０→Ｓ５１５→Ｓ５２０）。そして、静止物検知結果の解除操作を行わないまま所定継続時間が経過すると、検知マーカ５２０は消去される（Ｓ５４５）。

ただし、解除操作を行わない場合であっても、所定継続時間が経過する前に静止していた移動体が再び動き出すと、図８のように検知マーカ５２０は消去される（Ｓ５２５→Ｓ５４５）。図９は、移動を再開した移動体が検知エリアから脱出している状態を示す表示画像である。移動体画像５０５上には検知マーカ５１５が表示されている。

以上のように、本実施の形態では、移動体が静止すると、移動体を示す検知マーカ５１５に代えて、移動体が静止していることを示す検知マーカ５２０を表示するようにした。このように移動体に付けられていた検知マーカが静止と共に突然消えることが無いので、オペレータは違和感を覚えることがなく、従来のように装置が故障したのではないかと勘違いすることもない。

ところで、移動体が検知領域に侵入して停止した場合、静止障害物が一つ増加することになる。しかし、そのような移動体の侵入および停止が、オペレータが表示部１４５１から視線を外した際に発生した場合、従来のように移動体に付いていた検知マーカを停止と共に消去する装置構成では、表示部１４５１に視線を戻したときに、新たに静止障害物が増えたことに気づかないおそれがある。

一方、本実施の形態の場合には、静止している移動体の位置に検知マーカ５２０を表示するので、オペレータが表示部１４５１に視線を戻したときに、視線を外す前には無かった静止障害物が新たに増えたことを容易に認識することができる。また、検知マーカ５２０が新たに表示されたことにより、新たな障害物に対する目視による確認を促す効果がある。

また、静止した移動体が再び移動すると検知マーカ５２０を消去すると共に、静止した移動体を含むように設定された静止物検知領域５１７内での静止物検知が中断されるので、検知マーカ５２０が不用意に残ることがない。

なお、静止物検知領域５１７の大きさが静止した移動体に対して大き過ぎると、静止物検知領域５１７内での静止物検知において、静止している移動体以外のものを静止物として誤検知するおそれがある。そのような場合には、移動体が再び移動して静止物検知領域５１７から出て行った後でも、静止物と誤検知したものに検知マーカ５２０が表示されたままとなってしまう。

例えば、図１３に示すように移動体が水たまり７００の領域に停車した場合、移動体を示す移動体画像５０５に対して大き過ぎる静止物検知領域５１７ａを設定すると、水たまり７００を静止物と誤検知する可能性がある。特に、水たまり７００の画像特徴が移動体の画像特徴と似ている場合には、誤検知の可能性が高くなる。そのような場合、この水たまり７００の映像に基づいて静止した移動体の再移動検知が行われてしまい、実際の移動体が静止物検知領域５１７ａの領域外に移動した場合でも、水たまり７００が静止物として検知され続ける。その結果、検知マーカ５２０が表示されたままとなってしまう。

それに対して、本実施の形態では、図７の静止物検知領域５１７のように、検知領域を移動体とほぼ同程度の大きさと同程度の大きさとすることで、このような誤検知の発生が低減される。

また、ステップＳ５３５の処理を設けたので、仮に、図１３の場合のように静止した移動体以外のものが静止物と誤検知された場合でも、手動で静止物検知を解除することができる。オペレータは、実際に目視確認することで、検知マーカ５２０が表示された静止障害物が実際に静止した移動体か、単なる誤検知かを確認することができる。そして、誤検知であると分かったならば、手動にて検知マーカ５２０を消去すればよい。そうすることで、表示画面上に誤検知された検知マーカ５２０が表示され続けることを、防止することができる。

さらに、ステップＳ５４０の処理を設けることによって、オペレータによる解除操作が無かった場合でも、静止物検知による検知マーカ５２０の表示が所定継続時間続いたならば、自動的に検知マーカ５２０が消去される。この処理により、表示画像５００上に検知マーカ５２０が表示され続けてしまうのを防止できる。車両発進時の障害物検知を想定した場合、所定継続時間としては、例えば、２分程度が考えられる。

図１０は、俯瞰画像表示処理フローの一例を示す図である。俯瞰画像表示処理は、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０の映像を鉱山ダンプの上方の視点から見た画像に変換し、俯瞰画像を生成する処理である。俯瞰画像表示処理は障害物検知処理と並列に処理が行われる。

図１０のステップＳ４００では、周囲監視装置１００、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０などの起動状態を確認する初期設定処理を行う。ステップＳ４０５では、映像獲得部１２５において、前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０からの映像データを獲得する。そして、獲得された映像データを映像バッファ１３０に一時的に記憶する。

ステップＳ４１０では、俯瞰画像生成部１５５において、映像バッファ１３０に一時的に記憶された前方カメラ１０５、後方カメラ１１０、右方カメラ１１５および左方カメラ１２０の映像を、鉱山ダンプの上方の視点から見た上方視点画像にそれぞれ変換し、それらの画像を繋ぎ合わせることで、俯瞰画像を生成する。図１１に示すように、自車両アイコン５３０の周囲に表示された俯瞰画像５０１は、前方カメラ１０５の映像に基づく上方視点画像５０１ａと、後方カメラ１１０の映像に基づく上方視点画像５０１ｂと、右方カメラ１１５の映像に基づく上方視点画像５０１ｃと、左方カメラ１２０の映像に基づく上方視点画像５０１ｄとを繋ぎ合わせたものである。

ステップＳ４１５では、表示画像生成部１３５において、俯瞰画像５０１に自車両アイコン５３０を重畳表示した表示画像を生成し、その表示画像を表示部１４５１に表示させる。ステップＳ４２０では、制御部１５０において終了判定、すなわち終了要求の有無の判定を行い、終了（終了要求有り）と判定されるとステップＳ４２５に進み、非終了（終了要求無し）と判定されるとステップＳ４０５に戻る。終了判定における終了要求としては、例えば、入力部１４５２を介したオペレータによる終了指令や、鉱山ダンプ２００のエンジン停止に伴う終了処理などがある。ステップＳ４２５では、制御部１５０において終了処理を行う。この終了処理により、一連の処理を終了する。

（検知マーカの他の例）
上述した実施の形態では、検知マーカの表示形態として、丸（図５や図１１）や三角（図７）の検知マーカを重畳表示した。このように移動体や静止物の画像上に検知マーカを重畳表示する表示形態の他に、図１２に示すように表示形態でも良い。図１２に示す検知マーカの表示形態では、上方視点画像５０１ａ〜５０１ｄのそれぞれの領域毎に検知エリアを設定する。そして、検知された移動体や静止物が存在する検知エリアを示す、検知エリア枠を表示する。検知エリア枠の形状は、上方視点画像５０１ａ〜５０１ｄの縁の形状と同一である。図１２に示す例では、移動体画像５０５で示す移動体が上方視点画像５０１ａの検知エリアに存在するので、上方視点画像５０１ａの縁を彩色表示した検知エリア枠６０５が彩色表示されている。

このように検知エリア枠６０５を表示することで、表示画像５００内に存在する検知対象と自車両との位置関係を容易に把握することができる。一方、図１１のように検知マーカ５１５を移動体画像５０５に重畳表示する形態では、検知対象の正確な位置を把握することができる。なお、検知エリア枠６０５を表示する形態では、検知マーカを消去する処理においては、静止と判定された移動体が存在する検知エリアに他の移動体が存在しない場合にのみ、検知エリア枠を消去する。

以上説明したように、本実施の形態の周囲監視装置は以下のような作用効果を奏する。
（１）周囲監視装置１００が備える表示画像生成部１３５は、第１検知部である移動体検知部１６０により移動体が検知されると、移動体の位置を示す検知マーカ５１５を俯瞰画像５０１に重畳表示し、第２検知部である静止位置算出部１７０により移動体の静止が検知されると、静止位置を示す検知マーカ５２０を俯瞰画像５０１に重畳表示する。

これにより、移動体が静止した場合でも移動体に検知マーカ５２０が表示されるので、オペレータは表示状況に違和感を覚えず、装置故障と勘違いするおそれがない。また、オペレータが表示部１４５１から視線を外している間に、移動体が検知エリアに侵入して静止した場合でも、静止した移動体に対して検知マーカ５２０が表示されているので、静止した移動体をオペレータが見逃すのを防止することができる。

（２）さらに、移動体検知部１６０（第１検知部）で静止を検知したときの移動体の位置を含む静止物検知領域５１７において静止物を検知する第３検知部である静止物検知部１６５と、静止物検知部１６５（第３検知部）で検知された静止物が移動したことを検知する第４検知部である静止物移動検知部１７５と、を備え、静止物移動検知部１７５（第４検知部）により移動が検知されると、検知マーカ５２０を消去して検知マーカ５１５を俯瞰画像５０１に重畳表示するのが好ましい。静止物検知部１６５（第３検知部）に誤検知が生じた場合には、静止した移動体が移動した後も検知マーカ５２０の表示が継続されてしまうことになるが、上述のように静止していた移動体の移動が検知されると検知マーカ５２０を消去することで、そのような問題が生じない。

（３）さらに、静止位置算出部１７０（第２検知部）の検知から所定時間経過しても静止物移動検知部１７５（第４検知部）による検知が行われなかった場合には、静止物検知部１６５（第３検知部）は静止物の検知を中断し、表示画像生成部１３５は検知マーカ５２０を消去するのが好ましい。このようにすることにより、静止物誤検知によって検知マーカ５２０が表示され続けてしまうのを、確実に防止することができる。

（４）また、検知マーカ５２０の消去指令を手動入力するための入力部１４５２を備え、入力部１４５２に消去指令が手動入力されると、静止物検知部１６５（第３検知部）は静止物の検知を中断し、表示画像生成部１３５は検知マーカ５２０を消去するようにしても良い。これにより、目視により静止物誤検知であることを確認した場合に、直ちに検知マーカ５２０を消去することができる。

なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。例えば、上述した実施形態では、カメラ１０５〜１２０で撮影した映像を利用して移動体や静止物の検知を行ったが、レーザレンジファインダやミリレーダにより得られる車両周辺情報（三次元点群データ）を利用して移動体や静止物の検知を行っても良い。

１００…周囲監視装置、１０５…前方カメラ、１１０…後方カメラ（撮像装置）、１１５…右方カメラ（撮像装置）、１２０…左方カメラ（撮像装置）、１２５…映像獲得部（取得部）、１３５…表示画像生成部、１４５…表示装置、１５０…制御部、１５５…俯瞰画像生成部、１６０…移動体検知部（第１検知部）、１６５…静止物検知部（第３検知部）、１７０…静止位置算出部（第２検知部）、１７５…静止物移動検知部（第４検知部）、１８０…停止時間検知部、１８５…静止物検知解除部、２００…鉱山ダンプ（作業機械）、５０１…俯瞰画像、５０５…移動体画像、５１５…検知マーカ（第１検知マーカ）、５１７…静止物検知領域（所定領域）、５２０…検知マーカ（第２検知マーカ）、１４５１…表示部、１４５２…入力部

Claims (4)

1. 作業機械周囲を撮像する撮像装置から撮像情報を取得する取得部と、
   前記取得部で取得された撮像情報に基づいて俯瞰画像を生成する俯瞰画像生成部と、
   作業機械周囲の移動体を検知する第１検知部と、
   前記第１検知部により検知された移動体が静止したことを検知する第２検知部と、
   前記第１検知部により検知された移動体の位置を示す第１検知マーカまたは前記第２検知部により検知された移動体の位置を示す第２検知マーカの少なくとも一方が、前記俯瞰画像に重畳表示された表示画像を生成する表示画像生成部と、を備え、
   前記表示画像生成部は、前記第１検知部により移動体が検知されると、移動体の位置を示す第１検知マーカを前記俯瞰画像に重畳表示し、前記第２検知部により移動体の静止が検知されると、静止位置を示す第２検知マーカを前記俯瞰画像に重畳表示する、作業機械の周囲監視装置。
2. 請求項１に記載の作業機械の周囲監視装置において、
   前記第１検知部で静止を検知したときの移動体の位置を含む所定領域において静止物を検知する第３検知部と、
   前記第３検知部で検知された静止物が移動したことを検知する第４検知部と、を備え、
   前記表示画像生成部は、前記第４検知部により移動が検知されると、前記第２検知マーカを消去して前記第１検知マーカを前記俯瞰画像に重畳表示する、作業機械の周囲監視装置。
3. 請求項２に記載の作業機械の周囲監視装置において、
   前記第２検知部の検知から所定時間経過しても前記第４検知部による検知が行われなかった場合には、
   前記第３検知部は静止物の検知を中断し、
   前記表示画像生成部は前記第２検知マーカを消去する、作業機械の周囲監視装置。
4. 請求項２または３に記載の作業機械の周囲監視装置において、
   前記第２検知マーカの消去指令を手動入力するための入力部を備え、
   前記入力部に前記消去指令が手動入力されると、前記第３検知部は静止物の検知を中断し、前記表示画像生成部は前記第２検知マーカを消去する、作業機械の周囲監視装置。

Images