JP2017046277A - 作業機械の周囲監視装置 - Google Patents

Abstract

【課題】近傍俯瞰画像を表示する場合においても、近傍領域に近づいてくる障害物の方向を把握することができる周囲監視装置の提供。【解決手段】作業機械の周囲監視装置は、作業機械の周囲監視装置は１００、作業機械周囲を撮像するカメラ３０２〜３０５から撮像情報を取得する取得部１０１と、取得部１０１で取得された撮像情報に基づいて俯瞰画像を生成する画像生成部１０４と、作業機械周囲の障害物を検出する検出部１０２と、作業機械周囲の近傍領域の俯瞰画像である第１俯瞰画像と、第１俯瞰画像および前記近傍領域よりも外側の領域の俯瞰画像を含む第２俯瞰画像とを選択的に表示する表示部と、を備え、表示部は、第１俯瞰画像を表示する場合には、近傍領域よりも外側の領域で検出された障害物の方向を表す方向表示を表示する。【選択図】図３

Description

本発明は、作業機械の周囲監視装置に関する。

従来、作業機械に複数のカメラを設置し、各カメラの撮像データに基づいて、運転席に設けられた表示モニタに上方視点の俯瞰画像を表示する周囲監視装置が知られている。そのような周囲監視装置において、障害物検出結果もしくは作業機械の動作状況に応じて、車体近傍のみを表示する近傍画面と遠方までを表示する遠方画面とを切り替える構成のものが知られている（例えば、特許文献１参照）。

国際公開第２０１１／１５８９５５号

しかしながら、特許文献1に記載の発明では、遠方から車両等の障害物が近づいてきた場合に、オペレータが近傍の状況を確認していたにも拘わらず、近づいてきた障害物を表示可能な遠方画面に自動的に切り替わってしまう。そのため、作業効率が低下してしまう。また、近傍画面と遠方画面とを手動で切り替える構成の場合、近傍画面を表示している状況においては、近傍画面では表示されていない領域に車両が進入しても、画面表示からは車両進入を知ることができない。

本発明に係る作業機械の周囲監視装置は、作業機械周囲を撮像する撮像装置から撮像情報を取得する取得部と、前記取得部で取得された撮像情報に基づいて俯瞰画像を生成する画像生成部と、作業機械周囲の障害物を検出する検出部と、作業機械周囲の近傍領域の俯瞰画像である第１俯瞰画像と、前記第１俯瞰画像および前記近傍領域よりも外側の領域の俯瞰画像を含む第２俯瞰画像とを選択的に表示する表示部と、を備え、前記表示部は、前記第１俯瞰画像を表示する場合には、前記近傍領域よりも外側の領域で検出された障害物の方向を表す方向表示を表示する。

本発明によれば、近傍領域の第１俯瞰画像を表示する場合においても、近傍領域よりも外側の領域で検出された障害物の方向を表す方向表示が表示されるので、オペレータは、近傍領域に近づいてくる障害物の方向を把握することができる。

図１は、本発明の一実施の形態による周囲監視装置が搭載される作業機械を模式的に示した斜視図である。 図２は、作業機械の周囲環境に関する俯瞰画像について説明する図である。 図３は、本発明の一実施の形態による周囲監視装置のブロック図である。 図４は、第１表示設定および第２表示設定におけるモニタ表示例を説明する図である。 図５は、移動物体検出処理の一例を説明する図である。 図６は、周囲監視装置の動作の一例を説明するフローチャートである。 図７は、図４に示す方向表示の他の表示形態を説明する図である。 図８は、方向表示に関する変形例１を示す図である。 図９は、方向表示に関する変形例２を示す図である。 図１０は、方向表示に関する変形例３を示す図である。 図１１は、方向表示に関する変形例４を示す図である。 図１２は、方向表示に関する変形例５を示す図である。 図１３は、方向表示に関する変形例６を示す図である。 図１４は、中型ショベルの場合および超大型ショベルの場合の表示例を示す図である。

以下、図面を参照して本発明の一実施の形態による作業機械の周囲監視装置について詳細に説明する。本実施の形態では、作業機械の一例として、鉱山での作業等に用いられるダンプトラックに周囲監視装置を搭載した場合について説明する。なお、以下において、「左方」とはダンプトラックの運転室から見た左方向であり、「右方」とはダンプトラックの運転室から見た右方向である。

図１は、本発明の一実施の形態による周囲監視装置を搭載するダンプトラック３０１を模式的に示した全体斜視図である。ダンプトラック３０１は、前面上部に運転室３１０を有している。運転室３１０には図示しないイグニッションキースイッチが備えられており、そのイグニッションキースイッチをオンすると、図示しないエンジンが始動し、ダンプトラック３０１は駆動できるようになる。また、そのイグニッションキースイッチをオフするとエンジンが停止し、ダンプトラック３０１は停止する。運転室３１０の前方にダンプトラック３０１の前方を撮影する前方カメラ３０２が設けられている。ダンプトラック３０１の左側面、たとえばダンプトラック３０１の前輪４０１ａの上方には、ダンプトラック３０１の左方を撮影する左方カメラ３０３が設けられている。ダンプトラック３０１の右側面、たとえばダンプトラック３０１の前輪４０１ｂの上方には、ダンプトラック３０１の右方を撮影する右方カメラ３０４が設けられている。ダンプトラック３０１の後部、荷台４０３の下には、ダンプトラック３０１の後方を撮影する後方カメラ３０５が設けられている。

前方カメラ３０２、左方カメラ３０３、右方カメラ３０４および後方カメラ３０５は、それぞれ魚眼レンズのような広画角のレンズを有し、地表面を主に撮影するために所定の俯角をつけて設置されている。なお、本実施形態では４つのカメラを用いてダンプトラック３０１の周囲の画像を撮影するようにしたが、４つに限らず、作業機械に応じて１または複数のカメラが用いられる。

図１には、前方カメラ３０２、左方カメラ３０３、右方カメラ３０４および後方カメラ３０５により撮影された画像の一例が図示されている。前方画像３０６は、前方カメラ３０２により撮影される画像の一例である。左方画像３０７は、左方カメラ３０３により撮影される画像の一例である。右方画像３０８は、右方カメラ３０４により撮影される画像の一例である。後方画像３０９は、後方カメラ３０５により撮影される画像の一例である。カメラ３０２〜３０５は広角で撮影しているため、それぞれの画像の下部には、カメラ近傍に存在するダンプトラック３０１の一部が映っている。

図２（ａ）〜（ｄ）に例示されるように、前方画像３０６、左方画像３０７、右方画像３０８および後方画像３０９には、それぞれ前方抽出領域６０１、左方抽出領域６０２、右方抽出領域６０３および後方抽出領域６０４が設定されている。

周囲監視装置は、前方抽出領域６０１、左方抽出領域６０２、右方抽出領域６０３および後方抽出領域６０４の各画像を用いて、図２（ｅ）に示すような俯瞰画像６０５を生成する。俯瞰画像６０５は、運転室３１０（図１）に設けられた表示モニタ（不図示）などに表示される。また、周囲監視装置の起動停止については、一例として、前述の図示しないイグニッションキースイッチをオンすることで周囲監視装置は起動し、イグニッションキースイッチをオフすることで周囲監視装置は停止する。しかし、このような構成に限らず、運転室３１０に専用のスイッチを設け、そのスイッチのオンオフにより周囲監視装置を起動停止させるなど、イグニッションキースイッチ以外の手段で起動停止させる構成としても良い。

図２（ｅ）に示すように、俯瞰画像６０５の中央にはダンプトラック３０１の位置を示す自車両アイコン６１０が配置されている。自車両アイコン６１０の図示上側には、前方抽出領域６０１の各画素を座標変換して俯瞰画像とした前方変換画像６０６が配置されている。自車両アイコン６１０の左側には、左方抽出領域６０２の各画素を座標変換して俯瞰画像とした左方変換画像６０７が配置されている。自車両アイコン６１０の右側には、右方抽出領域６０３の各画素を座標変換して俯瞰画像とした右方変換画像６０８が配置されている。自車両アイコン６１０の下側には、後方抽出領域６０４の各画素を座標変換して俯瞰画像とした後方変換画像６０９が配置されている。

前方抽出領域６０１、左方抽出領域６０２、右方抽出領域６０３および後方抽出領域６０４の形状は、前方変換画像６０６、左方変換画像６０７、右方変換画像６０８および後方変換画像６０９が図２（ｅ）に図示したように重なることなく境界線で接するように予め定められている。自車両アイコン６１０には、運転室３１０、前輪４０１ａ、前輪４０１ｂなどの位置を示す画像が含まれている。これにより、オペレータはダンプトラック３０１の向きを容易に判断できる。

図３は、本発明の一実施の形態による周囲監視装置のブロック図である。周囲監視装置１００は、コントローラ１１０と、表示モニタ１１１と、切替スイッチ１０６とを備える。コントローラ１１０は、不図示のＣＰＵ、ＲＡＭ、ＲＯＭなどを有し、ＲＯＭなどに予め記憶されたプログラムを実行することにより、取得部１０１、検出部１０２、判定部１０３、画像生成部１０４および表示設定部１０５として機能する。表示モニタ１１１は、図１に示した運転室３１０に設けられる表示モニタなどを含む。

取得部１０１は、図１に示した前方カメラ３０２、左方カメラ３０３、右方カメラ３０４および後方カメラ３０５から前方画像３０６、左方画像３０７、右方画像３０８および後方画像３０９（図１参照）に関する画像情報を所定のフレームレートで順次取得する。取得部１０１は、取得した前方画像３０６、左方画像３０７、右方画像３０８および後方画像３０９に関する画像情報を検出部１０２や画像生成部１０４に出力する。

検出部１０２は、取得部１０１により順次取得された複数の前方画像３０６、左方画像３０７、右方画像３０８および後方画像３０９に関する画像情報の中から作業員や自動車など、ダンプトラック３０１の周囲を移動する障害物を検出する。そして、検出した障害物の位置（検知位置）を判定部１０３に出力する。なお、障害物の検出処理についての詳細は後述する。

表示設定部１０５は、切替スイッチ１０６からの信号により、第１表示設定および第２表示設定のいずれか一方を出力する。第１表示設定とは、俯瞰画像６０５の内、ダンプトラック３０１の周囲の近傍領域の俯瞰画像である第１俯瞰画像（後述する図４（ｂ）の符号６０５ａで示す俯瞰画像）を表示モニタ１１１に表示する設定である。第２表示設定とは、図２（ｅ）の俯瞰画像６０５を表示モニタ１１１に表示する設定である。俯瞰画像６０５は、第１俯瞰画像および上述した近傍領域よりも外側の領域の俯瞰画像を含んでいる。以下では、俯瞰画像６０５を第２俯瞰画像と呼ぶことにする。オペレータは、切替スイッチ１０６により、表示設定部１０５から出力される表示設定を第１表示設定と第２表示設定との間で切り替えることができる。本実施形態では、切替スイッチ１０６として物理スイッチを用いているが、タッチパネルなどによるソフトスイッチでも良い。

表示設定部１０５は、切替スイッチ１０６の操作により選択された表示設定（第１表示設定または第２表示設定）を、判定部１０３および画像生成部１０４に出力する。判定部１０３は、入力された障害物（移動物体）の検知位置と、表示設定部１０５から出力される表示設定の俯瞰画像（上述した第１俯瞰画像または第２俯瞰画像６０５）との位置関係を判定し、その判定結果を画像生成部１０４に出力する。

画像生成部１０４は、表示設定部１０５より入力された表示設定に基づいて、取得部１０１により取得された前方画像３０６、左方画像３０７、右方画像３０８および後方画像３０９の中から必要な部分を切り出し、座標変換および合成を行って、障害物の重畳画像を合成する。画像生成部１０４は、得られた合成画像を表示モニタ１１１に出力する。なお、本実施例では各カメラの映像の一部を切り出し合成しているが、隣り合うカメラの重複する領域の各画像の対応する画素値にα（および、１−α）をかけて合成するαブレンド処理と呼ばれる画像処理を行ってもよい。

この時、判定部１０３の判定結果が、表示モニタ１１１に表示される俯瞰画像（第１俯瞰画像または第２俯瞰画像６０５）の領域内に障害物が存在するという判定であった場合、画像生成部１０４は、生成した合成画面上に障害物の位置を示すマーカを表示画像上に生成する。マーカとしては、一例として、後述するような障害物を囲む枠（以下では、検知枠と呼ぶ）などが用いられる。

また、第１表示設定では、第２俯瞰画像６０５の内、第１俯瞰画像よりも外側の俯瞰画像は表示モニタ１１１に表示されない。後述するように、第１表示設定において、表示モニタ１１１に表示されない第１俯瞰画像よりも外側の俯瞰画像の領域に障害物が存在するときには、画像生成部１０４は、その障害物の存在する方向を表す方向表示を表示モニタ１１１に生成する。

図４は、上述した第１表示設定および第２表示設定における表示モニタ１１１の表示例を説明する図である。図４（ａ）は、第２俯瞰画像６０５が表示される第２表示設定の場合の一例を示す。図４（ｂ）は、図４（ａ）の場合と同一周囲状況において、第１俯瞰画像が表示される第１表示設定で表示した場合の表示例を示す。図４において、符号１１１ａで示す領域は、表示モニタ１１１の表示画面を示す。

図４（ａ）において、符号５０２で示す矩形リング状領域は、俯瞰画像が表示されない無画像領域である。無画像領域５０２の内側の表示領域にはダンプトラック３０１を示す自車両アイコン５０３と、ダンプトラック３０１の周囲の第２俯瞰画像６０５とが表示されている。第２俯瞰画像６０５上には障害物を表す障害物画像５０４、５０５が重畳表示されている。さらに、障害物画像５０４、５０５を囲むように検知枠５１４、５１５が表示されている。検知枠５１４、５１５によって移動する障害物画像５０４、５０５の存在が強調される。

図４（ｂ）の第１表示設定では、無画像領域５０２の内側に表示される第１俯瞰画像６０５ａは、図４（ａ）に示す第２俯瞰画像６０５のダンプトラック近傍の画像（破線５１０の内側領域の画像）を抜き出して拡大表示したものである。ここでは、説明の都合上、前方変換画像６０６を、破線５１０を境に近傍画像６０６ａと遠方画像６０６ｂとに分けて考える。図４（ｂ）の第１俯瞰画像６０５ａでは、前方変換画像６０６の内の近傍画像６０６ａのみが表示されている。その他の左方変換画像６０７、右方変換画像６０８および後方変換画像６０９についても、図４（ｂ）に示す第２表示設定では、近傍画像６０７ａ、６０８ａ、６０９ａが表示される。

図４（ｂ）に示す第１俯瞰画像６０５ａには、ダンプトラックに近い障害物画像５０４のみが表示される。一方、図４（ｂ）に表示されていない遠方画像６０６ｂに存在する障害物の障害物画像５０５は、第１俯瞰画像６０５ａには表示されていない。

図４（ｂ）に示す第１表示設定では、近傍画像６０６ａの図示上側の無画像領域５０２に、彩色ライン５０６が表示される。彩色ライン５０６は、障害物画像５０５で表される障害物が存在する方向を示す方向表示として機能するものである。オペレータは、例えば赤表示の彩色ライン５０６が表示されることによって、自車両の前方の遠方領域に障害物があることを容易に認識することができる。

図４（ｂ）に示す例では、無画像領域５０２は黒表示としている。また、彩色ライン５０６は、非点灯時（破線で示す）には黒表示、点灯時には赤表示とする。彩色ライン５０６は、無画像領域５０２の左右方向および上下方向に各々一つずつ合計で４つ設けられている。例えば、図４（ｂ）において、車両左方向の遠方（左方変換画像６０７の遠方領域）に障害物がある場合には、無画像領域５０２の左側領域に設けられた彩色ライン５０６が点灯表示（赤色表示）される。

図４に示す例では、黒表示の無画像領域５０２に設けられた彩色ライン５０６の点灯（赤色）および非点灯（黒表示）で、遠方領域における障害物の存在および非存在を表現したが、図７に示すような表示形態でもよい。図７（ａ）は、第１表示設定において、表示されている第１俯瞰画像６０５ａよりも遠方の領域に障害物が存在しない場合を示す。この場合、彩色ライン５０６は白表示とされる。図７（ｂ）は、第１表示設定において、第１俯瞰画像６０５ａよりも外側の前方側遠方領域に障害物が存在する場合であって、彩色ライン５０６は赤表示とされる。

さらに、彩色ライン５０６の色を、障害物までの距離に応じて変化させるようにしても良い。例えば、近距離、中間距離、遠距離に対応して赤色、黄色、緑色のように変える。また、彩色ライン５０６を点滅させ、その点滅周期の長短により障害物の遠近を表現するようにしても良い。オペレータは、表示されていない遠方の障害物の方向に加えて、色の変化や点滅周期の変化により障害物までの距離を認識することができる。

なお、本発明を中型ショベルの周囲監視装置に適用した場合には、第１表示設定における表示画面１１１ａの表示は図１４（ａ）のようになる。中型ショベルの場合、表示画面１１１ａに表示される俯瞰画像は、左方変換画像、右方変換画像および後方変換画像で構成される。そのため、第１俯瞰画像６０５ａは、左方変換画像、右方変換画像および後方変換画像の各変換画像における近傍側の近傍画像６０７ａ、６０８ａ、６０９ａによって構成される。図１４（ａ）に示すように、中型ショベルを表す自車両アイコン６１１の左側には左方の近傍画像６０７ａが配置され、右側には右方の近傍画像６０８ａが配置され、下側には後方の近傍画像６０９ａが配置される。

無画像領域５０２には、障害物の方向として前方、左方、右方および後方を表す４つの彩色ライン５０６が設けられている。図１４（ａ）に示す例では、前方の彩色ライン５０６が赤色で表示されており、第１俯瞰画像６０５ａの外側前方に障害物が有ることを表している。

図１４（ｂ）は、本発明を超大型ショベルの周囲監視装置に適用した場合を示す。超大型ショベルの場合、表示画面１１１ａに表示される俯瞰画像は、前方変換画像、左方変換画像、右方変換画像および後方変換画像で構成される。そのため、第１俯瞰画像６０５ａは、前方変換画像、左方変換画像、右方変換画像および後方変換画像の各変換画像における近傍側の近傍画像６０６ａ、６０７ａ、６０８ａ、６０９ａによって構成される。なお、超大型ショベルの場合には、前方の近傍画像６０６ａは自車両から見て左側の前方画像で構成されており、右側の近傍画像６０８ａは自車両の右方と右側前方の画像で構成されている。

図１４（ｂ）に示すように、超大型ショベルを表す自車両アイコン６１２の上側には近傍画像６０６ａが配置され、左側には近傍画像６０７ａが配置され、右側には近傍画像６０８ａが配置され、下側には近傍画像６０９ａが配置される。無画像領域５０２の左側、右側および下側には、図１４（ａ）の場合と同様の形態で彩色ライン５０７が配置されている。また、無画像領域５０２の前方側（図示上側）には、近傍画像６０６ａよりも前方の障害物の方向を表す彩色ライン５０７と、近傍画像６０８ａよりも前方の障害物の方向を表す彩色ライン５０７とが設けられている。図１４（ｂ）に示す例では、前方左側の彩色ライン５０６が赤色で表示されており、近傍画像６０６ａの外側前方に障害物が有ることを表している。

このように、本実施の形態では、第１表示設定においては、表示画面１１１ａに表示されている第１俯瞰画像よりも外側の領域に障害物が検出された場合、その障害物の方向を表す方向表示を表示モニタ１１１に表示するようにした。その結果、オペレータは、検出された障害物が表示可能な第２表示設定に切り替えなくても、第１表示設定のままで障害物の方向を認識することができ、作業性の向上を図ることができる。さらに、彩色ライン５０６の色を障害物までの距離に応じて変化させるなど、方向表示を障害物までの距離に応じた複数の表示形態で表示することで、オペレータは障害物までの大まかな距離を把握することができる。

（移動物体検出処理）
図５は、検出部１０２における移動物体検出処理の一例を説明する図である。図５では、図２（ｃ）に示す右方画像３０８における移動物体検出処理を例に説明する。右方画像３０８には、下部左側にダンプトラック３０１の前輪４０１ｂが映し出されている。また、後輪４０２ｂは、前輪４０１ｂに比べ小さく画像右側に映し出されている。この画像上の大きさの違いは右方カメラ３０４が前輪４０１ｂの上方付近に搭載されているためである。

図５（ａ）および（ｂ）は、取得部１０１により所定のフレームレートで取得された連続する２フレームの画像の一例を示す。すなわち、図５（ｂ）は、時刻ｔ０に取得部１０１により右方カメラ３０４から取得されたｆ０フレーム目の右方画像３０８ｂを示す。図５（ａ）は、図５（ｂ）よりも１フレーム前、すなわちｆ０−１フレーム目の右方画像３０８ａを示す。換言すると、図５（ａ）は、時刻ｔ０−Δｔにおいて右方カメラ３０４から取得した映像を処理した右方画像３０８ａを示す。

右方画像３０８ａには、自動車の画像である障害物画像５０４ａが右方抽出領域６０３の右端近傍に存在している。ｆ０−１フレームからｆ０フレームの期間Δｔ、すなわち時刻ｔ０−Δｔから時刻ｔ０の期間Δｔに自動車は移動しており、右方画像３０８ｂでは、自動車に関する障害物画像５０４ｂが右方抽出領域６０３の中央近傍に存在している。右方画像３０８ａおよび右方画像３０８ｂは、不図示の複数の小領域に分割されている。たとえば、右方画像３０８ａが６４０×４８０画素で、小領域が８×８画素の領域の場合、４８００個の小領域に分割されている。

検出部１０２は、右方画像３０８ａの各小領域に対し右方画像３０８ｂにおける同一または周辺の位置の小領域との相関演算を行う。検出部１０２は、それらの相関演算の結果に基づいて、右方画像３０８ａの小領域毎にそれぞれに最も相関が高い右方画像３０８ｂの小領域を検出する。検出部１０２は、右方画像３０８ａの小領域と、その小領域と最も相関が高い右方画像３０８ｂの小領域との位置関係を表す動ベクトルを右方画像３０８ａの小領域毎に算出する。なお、このときの動ベクトルとは、右方画像３０８ａの各小領域の画像が、それぞれΔｔの間にどの方向にどれだけ移動したかを示すベクトルのことである。

検出部１０２は、動ベクトルの方向と大きさが同一または類似である小領域には、同一の移動物体の像が含まれていると判断し、それらの小領域を統合し、移動物体に関する物体領域として検出する。なお、右方画像３０８ａの各小領域に対し、右方画像３０８ｂにおける同一または周辺の位置の小領域との相関演算を行う際に、右方画像３０８ａの各小領域に対して動ベクトルが算出されている場合には、その動ベクトルに基づいてその相関演算の対象とする右方画像３０８ｂの小領域の範囲を設定してもよい。たとえば、動ベクトルによって指定された右方画像３０８ｂの小領域とその周辺の小領域との間で、相関演算を行うようにしてもよい。

図５（ｃ）は検出結果を示す画像表示である。画面中央に表示されている障害物画像５０４は、移動物体である自動車の画像である。障害物画像５０４には検知枠５１４が重畳表示されている。

図６は、周囲監視装置１００の動作の一例を説明するフローチャートである。ステップＳ２０１では、取得部１０１は、カメラ３０２〜３０５からの画像情報を取得する。ステップＳ２０２では、検出部１０２は、前方画像３０６、左方画像３０７、右方画像３０８および後方画像３０９に対して、画像処理による移動物体検出処理を実行する。この移動物体検出処理によって、図４（ａ）の障害物画像５０４、５０５で示されている移動物体（障害物）が検出される。

ステップＳ２０３では、ステップＳ２０２で検出された移動物体の検知位置の内、第２俯瞰画像６０５の領域内に検知位置が存在するか否かを判定する。この判定は、例えば、図３の検出部１０２で行われる。ステップＳ２０３において第２俯瞰画像６０５の領域内に検知位置が存在すると判定されると、ステップＳ２０４へ進む。一方、ステップＳ２０２において第２俯瞰画像６０５の領域内に検知位置が存在しないと判定されると、ステップＳ２０８へ進む。

ステップＳ２０４では、表示設定部１０５で設定された表示設定が第２表示設定か否かを判定する。第２表示設定の場合には、ステップＳ２０４からステップＳ２０７へ進む。一方、第２表示設定ではなく第１表示設定の場合には、ステップＳ２０４からステップＳ２０５へ進む。ステップＳ２０５では、第１表示設定における表示領域外に障害物の検知位置が存在するか否かを判定する。表示領域外とは、第２俯瞰画像６０５の領域であって、かつ、第１俯瞰画像６０５ａの外側の領域である。表示領域外に検知位置が存在する場合には、ステップＳ２０６に進む。

ステップＳ２０６では、方向表示（例えば、図４（ｂ）の彩色ライン５０６）の描画位置を設定し画像生成部１０４に送出する。ステップＳ２０７では、表示画像内に検知枠の描画位置を設定し画像生成部１０４に送出する。ステップＳ２０４〜Ｓ２０７の処理は、判定部１０３によって行われる。

ステップＳ２０８では、ダンプトラック３０１の周囲状況を表す表示画像を表示モニタ１１１に表示させるために、表示設定に応じた俯瞰画像を画像生成部１０４において生成する。例えば、第１表示設定の場合には、図４（ｂ）に示すような障害物画像５０４および検知枠５１４が重畳表示された第１俯瞰画像６０５ａを生成する。また、第２表示設定の場合には、図４（ａ）に示すような障害物画像５０４、５０５および検知枠５１４、５１５が重畳表示された第２俯瞰画像６０５を生成する。なお、第１俯瞰画像６０５ａおよび第２俯瞰画像６０５の中央には、自車両アイコン５０３が表示される。

ステップＳ２０９では、ステップＳ２０８にて生成した表示画像を表示モニタ１１１に出力する。ステップＳ２１０では、前述の運転室３１０に備えられた図示しないイグニッションキースイッチがオフされたか否かを判定する。オフした場合は処理を終了し、それ以外の場合にはステップＳ２０１に戻る。

（変形例１）
図８は、方向表示に関する変形例１を示す図である。変形例１では、無画像領域５０２（黒表示）に８つの方向表示（彩色ライン７００）を配置し、８種類の方向を表示可能としている。方向の数については、例えば、カメラの台数や障害物検出装置の台数、監視範囲に準じた方向などを考慮して設定される。彩色ライン７００の色表示に関しては、図４の場合と同様の色表示が適用される。なお、表示画面１１１ａの周囲に示した８つの矢印は、彩色ライン７００の表す方向が分かりやすいように便宜的に示したものである。

（変形例２）
図９は、方向表示に関する変形例２を示す図である。変形例２では、一つの方向に関して、複数の彩色ライン５０６ａ、５０６ｂ、５０６ｃをセットで配置した。彩色ライン５０６ａは表示されていない障害物までの距離が近距離の場合に点灯され、彩色ライン５０６ｂは障害物までの距離が中距離の場合に点灯され、彩色ライン５０６ｃは障害物までの距離が遠距離の場合に点灯される。図９に示す例では、遠距離を示す彩色ライン５０６ｃが点灯している。彩色ライン５０６ａ、５０６ｂ、５０６ｃのどれが点灯しているかによって、表示されていな障害物までの距離を把握することができる。さらに、彩色ライン５０６ａ、５０６ｂ、５０６ｃの表示色を変えることで、どの彩色ラインが点灯しているかが認識しやすくなる。なお、図９では、左右方向および後方に関する彩色ラインの表示は省略している。

（変形例３）
図１０は、方向表示に関する変形例３を示す図である。変形例３では、複数の方向表示７１０を、無画像領域５０２（黒表示）に第１俯瞰画像６０５ａを囲むように配置した。方向表示７１０はそれぞれ個別に発光表示できる。符号７１０ａを付した３つの方向表示は発光状態にあり、矢印で示す方向に障害物Ｍがあることを表している。図１０に示す例では、自車両アイコン５０３と第１俯瞰画像６０５ａの領域よりも外側の領域で検出された障害物Ｍとを結ぶ線分Ｌと重なる方向表示７１０ａと、その方向表示７１０ａの両側に配置された２つ方向表示７１０ａとを点灯状態としている。

なお、方向表示７１０の点灯数は、点灯された方向表示７１０ａの視認し易さを考慮して設定すれば良い。また、表示形態としては、発光・非発光だけでなく、色を変える形態でも良い。方向表示７１０としては、液晶表示パネルによる表示画面１１１ａの液晶表示素子で構成しても良いし、表示画内にＬＥＤ等の発光素子を配置して構成しても良い。

（変形例４）
図１１は、方向表示に関する変形例４を示す図である。図１０に示す変形例３では表示画面１１１ａ内に方向表示７１０を配置した。一方、変形例４では、表示画面１１１ａの外側にモニタ領域７２０を設け、そのモニタ領域７２０に方向表示７２１を配置した。方向表示７２１は、表示画面１１１ａを囲むように複数設けられている。図１１に示す例では、自車両アイコン５０３と第１俯瞰画像６０５ａの領域よりも外側の領域で検出された障害物Ｍとを結ぶ線分Ｌと重なる方向表示７２１を発光させることで、障害物Ｍの方向を表すようにしている。符号７２１ａは発光状態の方向表示を表しており、矢印方向に障害物Ｍがあることを表している。

（変形例５）
図１２は、方向表示に関する変形例５を示す図である。変形例５では、第１俯瞰画像６０５ａの外側の縁領域を強調表示することで、方向表示８００とした。図１２（ａ）に示す例では、第１俯瞰画像６０５ａの図示上側の縁領域を強調表示することにより、第１俯瞰画像６０５ａの前方外側に障害物が有ることを表している。強調表示としては、例えば、表示色を他の縁領域（左右および下側の縁領域）と異なる色とする。また、図１２（ｂ）に示すように、強調表示が認識しやすいように、縁領域の表示幅を太くするようにしても良い。

（変形例６）
図１３は、方向表示に関する変形例６を示す図である。上述した変形例５では、第１俯瞰画像６０５ａの外側の縁領域を強調表示して方向表示８００としたが、変形例６では、自車両アイコン６１０の縁領域を強調表示することにより方向表示８１０としている。強調表示の形態は、変形例５の場合と同様とする。図１３では、自車両アイコン６１０の前方側の縁領域を強調表示した場合を示しており、方向表示８１０は、第１俯瞰画像６０５ａの前方外側に障害物が有ることを表している。

以上説明したように、作業機械であるダンプトラック３０１の周囲監視装置は１００、作業機械周囲を撮像する撮像装置であるカメラ３０２〜３０５から撮像情報を取得する取得部１０１と、取得部１０１で取得された撮像情報に基づいて俯瞰画像６０５を生成する画像生成部１０４と、作業機械周囲の障害物を検出する検出部１０２と、作業機械周囲の近傍領域の俯瞰画像である第１俯瞰画像６０５ａと、第１俯瞰画像６０５ａおよび前記近傍領域よりも外側の領域の俯瞰画像を含む第２俯瞰画像６０５とを選択的に表示する表示部である表示画面１１１ａと、を備える。そして、第１俯瞰画像６０５ａを表示する場合には、例えば図４（ｂ）に示すように、近傍領域よりも外側の領域で検出された障害物の方向を表す方向表示である彩色ライン５０６を赤色表示で表示する。

このように赤表示の彩色ライン５０６が表示されることによって、オペレータは、自車両の前方の遠方領域に障害物があることを容易に認識することができる。その結果、第１表示設定で自車両の近傍を観察しつつ、第２表示設定へと表示設定を変えることなく、近傍領域に近づいてくる障害物の方向を把握することができ、作業性の向上を図ることができる。

なお、上述した実施形態では、俯瞰画像６０５を第２俯瞰画像としているが、第１俯瞰画像６０５ａの境界と俯瞰画像６０５の外側境界との間に監視範囲を設定し、その監視範囲の俯瞰画像を第２俯瞰画像に設定しても良い。この場合、第１俯瞰画像６０５ａが表示される第１表示設定のときに障害物が監視範囲に侵入すると、方向表示が表示される。

方向表示の形態としては、図４に示すように、表示画面１１１ａの縁領域である無画像領域５０２に設定しても良いし、図１３に示すように、自車両アイコン６１０の縁領域を方向表示８１０としても良い。

また、図９に示すように、３つの彩色ライン５０６ａ〜５０６ｃからなる方向表示を設け、ダンプトラック３０１と障害物との距離に応じて、彩色ライン５０６ａ〜５０６ｃのいずれか一つを表示するようにしても良い。図９では距離に応じた表示形態は３つであるが、表示形態の数は３つに限定されない。

さらにまた、図１０に示すように、障害物の方向を表す方向表示７１０ａを、自車両アイコン５０３と障害物Ｍとを結ぶ線分に対応した位置に設定しても良い。

なお、以上の説明はあくまでも一例であり、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。図４に示す例では、表示画面１１１ａに、図４（ａ）の第１表示設定の画像と、図４（ｂ）の第２表示設定の画像とを切り替え表示できる構成としたが、表示形態はこれに限らない。例えば、上述した第１または第２表示設定の画像と、各カメラ映像をそのまま同時表示したり、リアカメラであるカメラ３０５の映像の鏡像表示画像を同時表示したりしても良い。また、上述した実施形態および各変形例はそれぞれ単独に、あるいは組み合わせて用いても良い。

１００…周囲監視装置、１０１…取得部、１０２…検出部、１０３…判定部、１０４…画像生成部、１０５…表示設定部、１０６…切替スイッチ、１１０…コントローラ、１１１…表示モニタ、１１１ａ…表示画面（表示部）、３０１…ダンプトラック、３０２…前方カメラ（撮像装置）、３０３…左方カメラ（撮像装置）、３０４…右方カメラ（撮像装置）、３０５…後方カメラ（撮像装置）、５０２…無画像領域（縁領域）、５０６，５０６ａ〜５０６ｃ，５０７，７００…彩色ライン（方向表示）、６０５…第２俯瞰画像、６０５ａ…第１俯瞰画像、５０３，６１０，６１１，６１２…自車両アイコン、７１０，７１０ａ，７２１，８００，８１０…方向表示、Ｌ…線分、Ｍ…障害物

Claims (5)

1. 作業機械周囲を撮像する撮像装置から撮像情報を取得する取得部と、
   前記取得部で取得された撮像情報に基づいて俯瞰画像を生成する画像生成部と、
   作業機械周囲の障害物を検出する検出部と、
   作業機械周囲の近傍領域の俯瞰画像である第１俯瞰画像と、前記第１俯瞰画像および前記近傍領域よりも外側の領域の俯瞰画像を含む第２俯瞰画像とを選択的に表示する表示部と、を備え、
   前記表示部は、前記第１俯瞰画像を表示する場合には、前記近傍領域よりも外側の領域で検出された障害物の方向を表す方向表示を表示する、作業機械の周囲監視装置。
2. 請求項１に記載の作業機械の周囲監視装置において、
   前記方向表示が前記表示部の縁領域に設定されている、作業機械の周囲監視装置。
3. 請求項１に記載の作業機械の周囲監視装置において、
   前記表示部には、作業機械を表す自車両アイコンと、該自車両アイコンの周囲に配置される前記第１俯瞰画像または前記第２俯瞰画像とが表示され、
   前記方向表示は、前記自車両アイコンと前記近傍領域よりも外側の領域で検出された障害物とを結ぶ線分上に設定されている、作業機械の周囲監視装置。
4. 請求項１に記載の作業機械の周囲監視装置において、
   前記表示部には、作業機械を表す自車両アイコンと、該自車両アイコンの周囲に配置される前記第１俯瞰画像または前記第２俯瞰画像とが表示され、
   前記方向表示は、前記自車両アイコンの縁領域に設定されている、作業機械の周囲監視装置。
5. 請求項１に記載の作業機械の周囲監視装置において、
   前記方向表示は、作業機械と前記障害物との距離に応じた複数の表示形態を有する、作業機械の周囲監視装置。

Images